سناریوی ترسناک یا واقعیت علمی؟ آنچه یک پژوهشگر درباره خروج هوش مصنوعی از کنترل می‌گوید
هوش مصنوعی می‌تواند اعتماد را فرسوده کند اما «فروپاشی سراسری اعتماد» هنوز نتیجه اثبات‌شده نیست. محتوای ساختگی ممکن است به جای مدرک پذیرفته شود و از سوی دیگر، وجود جعل می‌تواند دستاویزی برای انکار مدرک واقعی باشد.
هوش مصنوعی در ماه‌های اخیر بیش از گذشته با هشدارهایی درباره پیامدها و خطرات احتمالی آن همراه شده است؛ هشدارهایی که از آینده بازار کار و گسترش اطلاعات جعلی تا امنیت، جنگ و احتمال از دست رفتن کنترل بر سیستم‌های هوشمند را دربرمی‌گیرد. همزمان، برخی مقامات و چهره‌های فعال در حوزه فناوری از سناریوهایی سخن گفته‌اند که دامنه نگرانی‌ها را از آسیب‌های روزمره به «خطرات وجودی» برای انسان گسترش داده است. اما پرسش اینجاست که آیا این نگرانی‌ها ریشه در تحولات واقعی و فنی هوش مصنوعی دارد یا تحت تأثیر فضای رسانه‌ای و سیاسی پررنگ شده است؟ آیا مدل‌های فعلی واقعاً در مسیر خودمختاری قرار گرفته‌اند یا هنوز فاصله زیادی با چنین سناریوهایی دارند؟ چقدر می‌توان به سازوکارهای ایمنی شرکت‌های هوش مصنوعی اعتماد کرد؟ شفقنا رسانه برای بررسی ابعاد مختلف این نگرانی‌ها با سید تقی کمالی، پژوهشگر حوزه هوش مصنوعی و معاون پژوهش و نوآوری انجمن سواد رسانه‌ای ایران گفت‌وگو کرده است.
متن گفتگوی شفقنا رسانه با سید تقی کمالی، پژوهشگر حوزه هوش مصنوعی و معاون پژوهش و نوآوری انجمن سواد رسانه‌ای ایران را در ادامه بخوانید…
افزایش هشدارها درباره هوش مصنوعی هم پشتوانه فنی دارد و هم از فضای سیاسی و رسانه‌ای تأثیر می‌گیرد/
هوش مصنوعی هنوز بر زیرساخت‌ها تسلط مستقل پیدا نکرده است
*چرا در ماه‌های اخیر هشدارها درباره خطرات هوش مصنوعی دوباره شدت گرفته است؟ آیا واقعاً اتفاق فنی جدیدی رخ داده یا بیشتر با تغییر فضای سیاسی و رسانه‌ای مواجهیم؟
هر دو عامل دخیل هستند اما به طور مشخص وزن آنها را نمی‌توان از هم جدا کرد. افزایش هشدارها هم پشتوانه فنی دارد و هم از فضای سیاسی و رسانه‌ای تأثیر می‌گیرد. عامل‌های هوش مصنوعی در برخی وظایف توان اقدام زنجیره‌ای پیدا کرده‌اند اما شواهد عمومی وقوع رویداد فاجعه‌بار و خارج از کنترل انسان را تأیید نمی‌کند. برای درک بهتر این پدیده‌ها در سطح حکمرانی به منظور تصمیم‌گیری باید آسیب رخ‌داده، توانایی مشاهده شده در آزمایش و سناریوی آینده را از هم جدا کرد.
در حال حاضر تحول فنی اصلی پیوند مدل‌های زبانی با مرورگر، محیط برنامه‌نویسی، حافظه و ابزارهای اجرایی است. خطر خروجی نادرست یک چت‌بات با خطر عامل دارای مجوز اجرای کد یا ارسال داده یکسان نیست. مؤسسه امنیت هوش مصنوعی بریتانیا افزایش توان عامل‌ها در زنجیره‌هایی از وظایف نرم‌افزاری و سایبری را در آزمون‌های کنترل‌شده ثبت کرده است.
OpenAI نیز مدل GPT‑۶ Astra را بر پایه چارچوب داخلی خود در سطح «بحرانی» توان سایبری طبقه‌بندی کرده است که به معنای دستیابی به سطح جدیدی از پیشرفت حرفه‌ای است. در واقع این طبقه‌بندی، ادعای سازنده درباره شرایط مشخص است و اثبات موفقیت در هر محیط واقعی محسوب نمی‌شود.
در کنار آن گزارش‌دهی درباره رفتارهای پیش‌بینی نشده بیشتر شده است. OpenAI در سپتامبر شش نمونه از رفتار عامل‌ها در آموزش یا ارزیابی را منتشر کرد. Anthropic نیز چهار مورد دسترسی غیرمجاز مدل‌هایش به سامانه‌های واقعی را بررسی کرد که در محیط ارزیابی با پیکربندی نادرست رخ داده بودند. این موارد از ضعف مرزهای مجوز و ارزیابی حکایت می‌کنند و نه از تسلط مستقل هوش مصنوعی بر زیرساخت‌ها. افزایش تعداد گزارش‌ها نیز لزوماً به معنی افزایش هم‌اندازه فراوانی واقعی حوادث نیست. تا کنون این رقابت صنعتی، قانون‌گذاری و برجسته‌سازی رسانه‌ای هستند که توجه بیشتری به این شواهد می‌دهند. با این حال با پیچیده شدن فناوری‌ها، رفتارهای عامل‌محور هم پیچیده‌تر و حتی پیش‌بینی ناپذیرتر می‌شوند و این دست اتفاق‌ها هنوز به وقع نپیوسته است. بنابراین باید گفت مطالعات رفتاری عامل‌های هوشمند یک موضوع تخصصی و چندوجهی است که هم اکنون در مؤسسات فناوری برای آن دستورکارهای متعددی مدنظر است.
با تکیه بر مطالعات علمی، وقوع مخاطرات هوش مصنوعی را باید محتمل دانست، نه قطعی
*وقتی برخی از مقامات و شخصیت‌ها از «خطرات وجودی» هوش مصنوعی صحبت می‌کنند، دقیقاً از چه سناریویی حرف می‌زنند؟
در معنای سخت‌گیرانه، خطر وجودی به انقراض انسان یا آسیب برگشت‌ناپذیر، امکان تداوم و تعیین سرنوشت بشری اشاره دارد. در این خصوص دو مسیر اصلی بررسی می‌شود. نخست، سوءاستفاده انسان از توانایی بسیار پیشرفته، برای نمونه در حملات سایبری گسترده یا تسهیل ساخت عوامل زیستی خطرناک؛ دوم، از دست رفتن کنترل بر سامانه‌ای که هدفی ناسازگار با مقصود انسان را دنبال می‌کند و برای ادامه کار نظارت را دور می‌زند، درباره عملکردش فریب می‌دهد یا مانع توقف می‌شود. مسیر دوم به خودآگاهی یا میل انسانی به قدرت نیاز ندارد. برای وقوع فاجعه باید توانایی کافی، گرایش به رفتار آسیب‌زا و دسترسی به محیط فراهم‌کننده آن رفتار با هم جمع شوند. درباره احتمال تحقق این ترکیب، اختلاف‌نظر متخصصان جدی است.
بنابراین هنگامی که از خطر وجودی هوش مصنوعی سخن به میان می‌آید باید بر عاملیت انسانی یا هوش مصنوعی را به طور مستقل تصریح داشت. به نظر می‌آید در خصوص عاملیت انسانی و احتمال وقوع نسل‌های جدید از جنگ‌ها و بحران‌های نوپدید سازمان‌ها و نهادهای بین‌المللی در کنار دولت‌ها کنوانسیون‌ها و تدابیر تازه‌ای را اتخاذ کنند. در دیگر سو میزان خودمختاری هوش مصنوعی نگرانی‌های فزاینده‌ای را در میان عده‌ای از متخصصان به وجود آورده است که در مقابل از سوی عده‌ای دیگر جایز شمرده نمی‌شود. اگر بخواهیم بر اساس ادبیات دیستوپیایی نظر بدهیم، آینده با هوش مصنوعی به طور محتوم تیره و تاریک خواهد بود اما اگر بر مبنای واقع‌گرایی و بر پایه مطالعات علمی و آینده‌پژوهانه ابراز نظر کنیم، احتمال وقوع هر مخاطره و خطری وجود دارد اما هیچ چیز محتوم و قطعی نیست.
خروج موضعی از کنترل را امروز می‌بینیم، اما خروج پایدار از کنترل هنوز یک سناریوی اثبات‌نشده است
*با این توصیف آیا نگرانی از «خارج شدن هوش مصنوعی از کنترل انسان» از نظر علمی یک احتمال جدی است یا بیشتر یک سناریوی فرضی و آینده‌نگرانه؟
همان‌طور که بیان کردم واجد احتمال است و لازم است در این زمینه دو سطح کنترل را از هم جدا کنیم. خروج موضعی از محدوده مأموریت همین امروز قابل مشاهده است: عامل ممکن است فایلی را بدون مجوز منتشر کند، از کلیدی استفاده کند که مجاز نبوده یا برای تکمیل کار از محدودیت عملیاتی عبور کند.
«خروج پایدار از کنترل» ادعای قوی‌تری است. سامانه باید بتواند در مدتی طولانی برنامه‌ریزی کند، نظارت را خنثی سازد و در برابر بازیابی کنترل مقاومت کند. گزارش‌ها تا به امروز تصریح می‌کنند سامانه‌های بررسی شده به سطح لازم نرسیدند و رفتارهای ناخواسته تازه‌تر نیز به تنهایی وقوع آن سناریو را نشان نمی‌دهند.
جعل، کلاهبرداری و نقض حریم خصوصی از فوری‌ترین خطرات هوش مصنوعی برای شهروندان و رسانه‌ها هستند/
فوریت خطرات هوش مصنوعی به محیط استفاده و فرد در معرض آسیب بستگی دارد/
کاهش کنترل انسانی بر کاربردهای نظامی هوش مصنوعی، یکی از خطرهای جدی امروز است
*در حال حاضر کدام خطر هوش مصنوعی واقعی‌تر و فوری‌تر است؟ بیکاری، جعل اطلاعات، حملات سایبری، نظارت، تبعیض یا از دست رفتن کنترل بر سیستم‌های خودمختار؟
فوریت به محیط استفاده و شخص در معرض آسیب بستگی دارد. برای شهروند و رسانه، جعل، کلاهبرداری و نقض حریم خصوصی؛ برای سازمان دارای زیرساخت حساس، سوءاستفاده سایبری و برای میدان نبرد، کاهش کنترل انسانی بر توسل به زور ممکن است اولویت نخست باشد. برخی از گزارش‌ها استفاده مجرمان و گروه‌های وابسته به دولت از هوش مصنوعی در عملیات سایبری را مستند می‌دانند اما سنجش اثر علی آن بر شدت کلی حملات را دشوار می‌خوانند.
جعل محتوا، هویت و کلاهبرداری، نظارت، افشای داده و تبعیض و همچنین سوءاستفاده سایبری هم اکنون برقرار هستند و شدت هم می‌گیرند. با این حال اندازه اثر آنها بر کل جامعه هنوز خوب سنجیده نشده است. در خصوص بیکاری و دگرگونی اشتغال باید بگویم که تغییر وظایف و فشار بر بعضی مسیرهای ورود به کار دیده می‌شود اما اخراج گسترده به طور یکسان اثبات نشده است.
خطا در سامانه‌ها به خصوص نظامی هم اکنون در کاربردهای مرتبط وجود دارد و به میزان واگذار اختیار به سامانه بستگی دارد و در نهایت خروج از کنترل پایدار و فاجعه‌بار بحثی است با آینده نامعلوم و پیامد بالقوه آن بسیار شدید است اما شواهد برای برآورد احتمال هم ناکافی است.
درجه خودمختاری هوش مصنوعی به مجوز ابزار و محیط اجرا وابسته است
*آیا مدل‌های فعلی واقعاً توانایی «خودمختاری» دارند یا رسانه‌ها گاهی قابلیت‌های آنها را بیش از اندازه بزرگ‌نمایی می‌کنند؟
در برخی وظایف، بله اما به‌صورت کلی، خیر. عامل می‌تواند هدفی را به مراحل کوچک‌تر تقسیم کند، ابزار به کار ببرد، نتیجه را بسنجد و مرحله بعد را انتخاب کند. درجه خودمختاری به مجوز ابزار و محیط اجرا وابسته است. مدل تنها و عامل متصل به سامانه‌های بیرونی اختیار یکسان ندارند.
*چه زمانی می‌توان گفت یک سیستم هوش مصنوعی از مرحله «ابزار» عبور کرده و به یک عامل نسبتاً مستقل تبدیل شده است؟
این یک طیف عملیاتی است، نه اینکه قائل به تبدیل ماشین به «شخص» باشیم. هرچه سامانه بیشتر بتواند بدون تأیید انسان برای تک‌تک مراحل هدف را تفسیر کند، برنامه بریزد، ابزار انتخاب کند، بر محیط اثر بگذارد و مسیرش را با بازخورد تغییر دهد کامل‌تر است.
برای ارزیابی عملی، به نظرم طرح پنج پرسش ضروری است: چه هدفی می‌گیرد؟ به چه داده و ابزاری دسترسی دارد؟ کدام اقدام را بی‌تأیید انجام می‌دهد؟ چقدر می‌تواند ادامه دهد؟ و انسان چگونه آن را متوقف یا اصلاح می‌کند؟ مثلاً سامانه‌ای که پیش‌نویس ایمیل می‌نویسد با سامانه‌ای که گیرندگان را تعیین و ایمیل را ارسال می‌کند، اختیار یکسانی ندارد. در هر دو حالت مسئولیت طراحی، اعطای مجوز و استقرار با انسان‌ها و سازمان‌ها است.
خطای هدف‌گذاری در هوش مصنوعی وقتی با دسترسی اجرایی همراه شود، به اقدام واقعی تبدیل می‌شود
*یا امکان دارد هوش مصنوعی اهدافی را دنبال کند که با خواسته انسان‌ها در تضاد قرار بگیرد؟ این مسئله از نظر فنی چقدر جدی است؟
بله اما باید بدانیم که در معنای فنیِ دنبال کردن هدف عملیاتی ناسازگار، به معنای مشابه نیت یا میل انسانی نیست. تعریف ناقص هدف، برداشت بیش از حد گسترده از مجوز کاربر یا دستور مخرب در داده‌ای که عامل می‌خواند می‌تواند علت باشد. در برخی نمونه‌های منتشرشده، بعضی عامل‌ها برای کامل کردن پاسخ یا فراهم کردن ارجاع از مسیرهایی مانند استفاده غیرمجاز از کلید یا بارگذاری فایل در اینترنت رفتند. در اینجا «انجام موفق کار» جای «انجام کار در محدوده مجاز» را گرفته بود.
بنابراین مسئله از نظر فنی جدی و قابل آزمون است زیرا با اعطای دسترسی اجرایی، خطای هدف‌گذاری به اقدام واقعی تبدیل می‌شود. در عین حال هر خطا یا فریب در سناریوی ساختگی نشانه هدف بلندمدت مستقل نیست. Anthropic در یک بررسی تصریح کرده است که مدل‌ها در چارچوب تمرین‌های داده شده عمل می‌کردند و شواهدی از برنامه هماهنگ برای فرار یا پنهان‌سازی آثار کارشان نیافت.
اثر هوش مصنوعی بر مشاغل ایران به کیفیت ابزارها، هزینه اجرا و تصمیم کارفرمایان وابسته است/
هوش مصنوعی به عنوان یک فناوری برهم‌زننده در کنار ویژگی تحولی و تغییردهنده خود نقش تقویت‌کننده دارد
*کدام مشاغل در ایران طی پنج سال آینده بیشتر تحت تأثیر AI قرار می‌گیرند؟
معتقدم هوش مصنوعی به عنوان یک فناوری برهم‌زننده در کنار ویژگی تحولی و تغییردهنده خود نقش تقویت‌کننده دارد. بنابراین در خصوص مشاغل و کسب‌وکارها موجب بازطراحی می‌شود و بازدارنده نیست. باید نگاه ما مبتنی بر پیش‌بینی دفاع‌پذیر از چگونگی انجام وظیفه باشد و نه اعلام حذف یک حرفه. مطالعه مشترک سازمان جهانی کار و بانک جهانی هم نشان می‌دهد که این زیرساخت دیجیتال، ترکیب وظایف و مهارت‌ها هستند که نتیجه را در هر کشور تغییر می‌دهند.
از این رو این موضوع در هر کشوری از جمله ایران به کیفیت ابزارها، دسترسی سازمان‌ها، هزینه اجرا، قواعد داده و تصمیم کارفرمایان وابسته است. متأثر بودن یک وظیفه با ازدست‌رفتن شغل برابر نیست و شاید نخستین اثر در بعضی حرفه‌ها کاهش فرصت ورود نیروی تازه‌کار به آن حوزه‌ها باشد.