سيناريو مرعب أم حقيقة علمية؟ ما يقوله باحث عن خروج الذكاء الاصطناعي عن السيطرة

قد يُضعف الذكاء الاصطناعي الثقة، لكن «الانهيار الشامل للثقة» لم يثبت بعد كنتيجة. فقد يُقبل المحتوى المُختلَق بوصفه دليلاً، وفي المقابل، قد يصبح وجود التزوير ذريعة لإنكار الدليل الحقيقي.

في الأشهر الأخيرة، رافق الذكاء الاصطناعي تحذيرات بشأن عواقبه ومخاطره المحتملة؛ تحذيرات تتراوح بين مستقبل سوق العمل وانتشار المعلومات المزيفة إلى الأمن والحرب واحتمال فقدان السيطرة على الأنظمة الذكية. في الوقت نفسه، تحدث بعض المسؤولين والشخصيات الناشطة في مجال التكنولوجيا عن سيناريوهات وسعت نطاق المخاوف من الضرر اليومي إلى «أخطار وجودية» على البشر. لكن السؤال هو هل هذه المخاوف متجذرة في التطورات الحقيقية والتقنية للذكاء الاصطناعي، أم أنها أصبحت أكثر بروزاً تحت تأثير الأجواء الإعلامية والسياسية؟ فهل النماذج الحالية تسير بالفعل على طريق الاستقلالية أم أنها لا تزال بعيدة عن مثل هذه السيناريوهات؟ إلى أي مدى يمكنك الوثوق بآليات السلامة التي تعتمدها شركات الذكاء الاصطناعي؟ وأجرت شفقنا ميديا ​​مقابلة مع سيد تقي كمالي، الباحث في مجال الذكاء الاصطناعي ونائب رئيس البحث والابتكار في جمعية الثقافة الإعلامية الإيرانية، للتحقيق في الأبعاد المختلفة لهذه المخاوف.

اقرأ نص حوار شفقنا ميديا مع سيد تقي كمالي، الباحث في مجال الذكاء الاصطناعي ونائب رئيس البحث والابتكار في جمعية التربية الإعلامية في إيران...

إن الزيادة في التحذيرات بشأن الذكاء الاصطناعي تحظى بدعم فني وتتأثر بالبيئة السياسية والإعلامية.

لم يهيمن الذكاء الاصطناعي بعد على البنية التحتية بشكل مستقل

* لماذا تكثفت التحذيرات من مخاطر الذكاء الاصطناعي من جديد في الأشهر الأخيرة؟ هل حدث بالفعل حدث فني جديد أم أننا أمام تغيير في البيئة السياسية والإعلامية؟

كلا العاملين متورطان، ولكن من الواضح أنه لا يمكن فصل وزنهما. وتحظى الزيادة في التحذيرات بدعم فني وتتأثر بالأجواء السياسية والإعلامية. لقد وجد عملاء الذكاء الاصطناعي قوة العمل المتسلسل في بعض المهام، لكن الأدلة العامة لا تؤكد وقوع حدث كارثي خارج عن سيطرة الإنسان. ومن أجل فهم هذه الظواهر بشكل أفضل على مستوى الإدارة، ومن أجل اتخاذ القرارات، من الضروري فصل الضرر الذي حدث، والقدرة الملاحظة في التجربة والسيناريو المستقبلي.

حاليًا، يتمثل التطور التقني الرئيسي في ربط نماذج اللغة بالمتصفحات وبيئات البرمجة والذاكرة وأدوات التنفيذ. إن خطر الإخراج غير الصحيح من برنامج الدردشة الآلي ليس هو نفس خطر قيام وكيل معتمد بتنفيذ تعليمات برمجية أو إرسال البيانات. قام معهد أمن الذكاء الاصطناعي في المملكة المتحدة بتوثيق زيادة قوة الوكيل عبر البرامج وسلاسل المهام السيبرانية في الاختبارات الخاضعة للرقابة.

كما صنفت OpenAI نموذج GPT‑6 Astra بناءً على إطارها الداخلي على المستوى "الحرج" من القوة السيبرانية، مما يعني الوصول إلى مستوى جديد من التطوير المهني. في الواقع، هذا التصنيف هو ادعاء الشركة المصنعة بشأن شروط معينة ولا يعتبر دليلا على النجاح في أي بيئة حقيقية.

بالإضافة إلى ذلك، زاد الإبلاغ عن السلوكيات غير المتوقعة. في سبتمبر، نشرت شركة OpenAI ستة أمثلة لسلوك الوكيل في التدريب أو التقييم. قامت Anthropic أيضًا بالتحقيق في أربع حالات للوصول غير المصرح به لنماذجها إلى الأنظمة الحقيقية التي حدثت في بيئة تقييم تم تكوينها بشكل خاطئ. تشير هذه الحالات إلى ضعف حدود الترخيص والتقييم، وليس السيطرة المستقلة للذكاء الاصطناعي على البنية التحتية. إن الزيادة في عدد التقارير لا تعني بالضرورة زيادة في التكرار الفعلي للحوادث. وحتى الآن، فإن المنافسة الصناعية والتشريعات والبروز الإعلامي هي التي تولي المزيد من الاهتمام لهذه الأدلة. ومع ذلك، عندما تصبح التقنيات أكثر تعقيدًا، تصبح السلوكيات الموجهة للوكلاء أكثر تعقيدًا وحتى لا يمكن التنبؤ بها، ولم تحدث مثل هذه الأحداث بعد. لذلك، لا بد من القول أن الدراسات السلوكية للوكلاء الأذكياء هي موضوع متخصص ومتعدد الأوجه، وتنظر فيه حاليًا العديد من الأجندات في المؤسسات التكنولوجية.

استناداً إلى الدراسات العلمية، ينبغي اعتبار حدوث مخاطر الذكاء الاصطناعي أمراً محتملاً وليس مؤكداً

* عندما يتحدث بعض المسؤولين والشخصيات عن «المخاطر الوجودية» للذكاء الاصطناعي، فما هو السيناريو الذي يتحدثون عنه بالضبط؟

بالمعنى الدقيق للكلمة، يشير الخطر الوجودي إلى انقراض الإنسان أو الضرر الذي لا يمكن إصلاحه، وإمكانية الاستمرارية وتحديد مصير الإنسان. وفي هذا الصدد، يتم دراسة مسارين رئيسيين. أولاً، إساءة استخدام القدرات البشرية المتقدمة للغاية، على سبيل المثال في الهجمات السيبرانية واسعة النطاق أو تسهيل إنشاء عوامل بيولوجية خطيرة؛ ثانياً، فقدان السيطرة على نظام يسعى لتحقيق هدف لا يتوافق مع نية الإنسان ويتجاوز المراقبة لمواصلة العمل، أو يخدع في أدائه، أو يمنعه من التوقف. أما المسار الثاني فلا يتطلب الوعي الذاتي أو رغبة الإنسان في السلطة. ولكي تحدث الكارثة، يجب الجمع بين القدرة الكافية، والميل إلى الانخراط في سلوك ضار، والوصول إلى البيئة التي توفر هذا السلوك. وهناك خلاف جدي بين الخبراء حول إمكانية تحقيق هذا الجمع.

لذلك، عند الحديث عن الخطر الوجودي للذكاء الاصطناعي، يجب تحديد الفاعلية البشرية أو الذكاء الاصطناعي بشكل مستقل. يبدو أنه فيما يتعلق بالفاعلية البشرية وإمكانية نشوب حروب وأزمات جديدة لأجيال جديدة، يجب على المنظمات والمؤسسات الدولية إلى جانب الحكومات أن تتبنى اتفاقيات وتدابير جديدة. من ناحية أخرى، أثارت درجة استقلالية الذكاء الاصطناعي مخاوف متزايدة لدى بعض الخبراء، وهو ما لا يعتبر مقبولا لدى البعض الآخر. إذا أردنا التعليق بناءً على الأدب الديستوبيا، فإن المستقبل مع الذكاء الاصطناعي سيكون بالتأكيد مظلمًا ومظلمًا، لكن إذا أردنا التعليق بناءً على الواقعية وعلى أساس الدراسات البحثية العلمية والمستقبلية، فهناك احتمال لأي خطر وخطر، لكن لا شيء مؤكد.

نحن نرى خروجًا محليًا عن نطاق السيطرة اليوم، لكن استمراره خارج نطاق السيطرة لا يزال سيناريو غير مثبت

* وبهذا التوصيف، هل القلق من "خروج الذكاء الاصطناعي عن سيطرة الإنسان" احتمال جدي من الناحية العلمية، أم أنه أقرب إلى سيناريو افتراضي ومستقبلي؟

وكما قلت، من الممكن ومن الضروري الفصل بين مستويين من السيطرة في هذا السياق. يظهر اليوم خروج محلي عن نطاق المهمة: قد ينشر الوكيل ملفًا دون إذن، أو يستخدم مفتاحًا غير مصرح به، أو يتجاوز الحد التشغيلي لإكمال المهمة.

"الخروج عن نطاق السيطرة باستمرار" هو ادعاء أقوى. يجب أن يكون النظام قادرًا على التخطيط على مدى فترة طويلة من الزمن، وتجاوز المراقبة، ومقاومة استعادة السيطرة. تشير التقارير حتى الآن إلى أن الأنظمة التي تم فحصها لم تصل إلى المستوى المطلوب، وأن السلوكيات الجديدة غير المرغوب فيها لا تشير وحدها إلى حدوث هذا السيناريو.

يعد التزوير والاحتيال وانتهاك الخصوصية من أكثر مخاطر الذكاء الاصطناعي إلحاحًا على المواطنين ووسائل الإعلام.

وتعتمد مدى إلحاح مخاطر الذكاء الاصطناعي على بيئة الاستخدام والشخص المعرض للضرر.

يعد الحد من السيطرة البشرية على التطبيقات العسكرية للذكاء الاصطناعي أحد المخاطر الجسيمة اليوم

ما هو تهديد الذكاء الاصطناعي الأكثر واقعية وإلحاحًا الآن؟ البطالة، تزوير المعلومات، الهجمات السيبرانية، المراقبة، التمييز أو فقدان السيطرة على الأنظمة الذاتية؟

تعتمد درجة الاستعجال على بيئة الاستخدام والشخص المعرض للإصابة. للمواطنين والإعلاميين، التزوير والاحتيال وانتهاك الخصوصية؛ بالنسبة للمؤسسات ذات البنية التحتية الحساسة، والاستغلال السيبراني، وفي ساحة المعركة، قد يكون الحد من السيطرة البشرية على استخدام القوة أولوية قصوى. توثق بعض التقارير استخدام الذكاء الاصطناعي من قبل المجرمين والجماعات التابعة للحكومة في العمليات السيبرانية، لكنها ترى أنه من الصعب قياس تأثيره السببي على الخطورة الإجمالية للهجمات.

إن انتحال المحتوى، والهوية والاحتيال، والمراقبة، والكشف عن البيانات والتمييز، بالإضافة إلى الإساءة عبر الإنترنت، أصبحت الآن حاضرة ومكثفة. ومع ذلك، فإن حجم تأثيرها على المجتمع بأكمله لم يتم قياسه بشكل جيد بعد. وفيما يتعلق بالبطالة والتحول الوظيفي، يجب أن أقول إنه يمكن ملاحظة تغير المهام والضغط على بعض طرق الدخول إلى العمل، لكن انتشار الفصل من العمل لم يثبت بالتساوي.

الأخطاء في الأنظمة، وخاصة العسكرية منها، موجودة الآن في التطبيقات ذات الصلة وتعتمد على درجة تفويض السلطة للنظام، وفي النهاية، الخروج عن السيطرة المستقرة والكارثية هو نقاش ذو مستقبل غامض وعواقبه المحتملة شديدة للغاية، لكن الأدلة غير كافية لتقدير الاحتمالية.

تعتمد درجة استقلالية الذكاء الاصطناعي على ترخيص الأداة وبيئة التنفيذ

*هل تتمتع النماذج الحالية حقًا بالقدرة على أن تكون "مستقلة" أم أن وسائل الإعلام تبالغ أحيانًا في تضخيم قدراتها؟

في بعض المهام نعم، لكن بشكل عام لا. يمكن للوكيل تقسيم الهدف إلى خطوات أصغر، وتطبيق الأداة، وقياس النتيجة، واختيار الخطوة التالية. تعتمد درجة الاستقلالية على ترخيص الأداة وبيئة التنفيذ. لا يتمتع النموذج الواحد والوكيل المتصل بالأنظمة الخارجية بنفس السلطة.

*متى يمكن القول أن نظام الذكاء الاصطناعي قد تجاوز مرحلة "الأداة" وأصبح عاملاً مستقلاً نسبياً؟

وهذا عبارة عن مجموعة من العمليات، وليس تحويل الآلة إلى "شخص". كلما تمكن النظام من تفسير الهدف والتخطيط واختيار الأدوات والتأثير على البيئة وتغيير مساره بالتغذية الراجعة دون موافقة الإنسان على كل خطوة، كلما كان أكثر اكتمالاً.

ومن أجل التقييم العملي، أعتقد أنه من الضروري طرح خمسة أسئلة: ما هو الغرض؟ ما هي البيانات والأدوات التي يمكنه الوصول إليها؟ ما هو الإجراء غير المؤكد؟ كم من الوقت يمكن أن تستمر؟ وكيف يمكن إيقافه أو تصحيحه؟ على سبيل المثال، لا يتمتع النظام الذي يقوم بصياغة البريد الإلكتروني بنفس السلطة التي يتمتع بها النظام الذي يحدد المستلمين ويرسل البريد الإلكتروني. وفي كلتا الحالتين، تقع مسؤولية التصميم والترخيص والنشر على عاتق البشر والمنظمات.

يصبح خطأ الاستهداف في الذكاء الاصطناعي إجراءً حقيقيًا عندما يقترن بوصول المدير التنفيذي

* أم أنه من الممكن أن يسعى الذكاء الاصطناعي إلى تحقيق أهداف تتعارض مع رغبات البشر؟ ما مدى خطورة هذا من الناحية الفنية؟

نعم، ولكن يجب أن نعرف أنه بالمعنى الفني للسعي وراء هدف عملياتي غير متسق، فهو ليس مثل النية أو الرغبة البشرية. يمكن أن يكون السبب هو التعريف غير الكامل للهدف، أو التفسير الواسع للغاية لإذن المستخدم، أو أمر ضار في البيانات التي يقرأها الوكيل. في بعض الأمثلة المنشورة، ذهب بعض الوكلاء لإكمال الإجابة أو تقديم الإحالات من خلال طرق مثل الاستخدام غير المصرح به للمفاتيح أو تحميل الملفات على الإنترنت. وهنا تم استبدال عبارة "العمل الناجح" بعبارة "العمل ضمن النطاق المسموح به".

لذا فإن المشكلة خطيرة من الناحية الفنية وقابلة للاختبار لأنه من خلال منح حق الوصول التنفيذي، يصبح خطأ الاستهداف إجراءً فعليًا. وفي الوقت نفسه، فإن كل خطأ أو خداع في سيناريو وهمي ليس علامة على هدف مستقل طويل المدى. ذكرت أنثروبيك في مراجعة أن النماذج كانت تعمل ضمن التدريبات المحددة ولم تجد أي دليل على وجود خطة منسقة للهروب أو إخفاء عملهم.

يعتمد تأثير الذكاء الاصطناعي على الشركات الإيرانية على جودة الأدوات وتكلفة التنفيذ وقرار أصحاب العمل.

الذكاء الاصطناعي باعتباره تكنولوجيا مدمرة له دور تمكيني إلى جانب طبيعته التحويلية والتحويلية

*ما هي الوظائف في إيران التي ستكون الأكثر تأثراً بالذكاء الاصطناعي في السنوات الخمس المقبلة؟

أعتقد أن الذكاء الاصطناعي باعتباره تقنية مدمرة له دور تمكيني بالإضافة إلى طبيعته التحويلية. لذلك، فيما يتعلق بالوظائف والشركات، فإنه يسبب إعادة تصميم وليس رادعًا. يجب أن تكون وجهة نظرنا مبنية على توقع يمكن الدفاع عنه حول كيفية أداء المهمة، وليس الإعلان عن إلغاء المهنة. وتظهر دراسة مشتركة أجرتها منظمة العمل الدولية والبنك الدولي أيضا أن البنية التحتية الرقمية، أي مزيج المهام والمهارات، هي التي تغير النتائج في كل بلد.

لذلك، تعتمد هذه المشكلة في أي بلد، بما في ذلك إيران، على جودة الأدوات، ووصول المنظمات، وتكلفة التنفيذ، وقواعد البيانات، وقرار أصحاب العمل. إن التأثر بمهمة ما ليس مثل فقدان الوظيفة، ولعل التأثير الأول في بعض المهن هو تقليل فرصة دخول الموظفين الجدد إلى تلك المجالات.