علماء يتنبؤون بموعد جموح الذكاء الاصطناعي بمعادلة رياضية

تعمل هذه المعادلة كإبرة البوصلة، إذ تتنبأ في فضاء متجهي بميل النموذج إلى إنتاج ردود غير مرغوب فيها.

تشبه هذه الصيغة إبرة البوصلة التي تتنبأ بميل النموذج لإنتاج استجابات غير مرغوب فيها في الفضاء المتجه.

كن عضوًا مميزًا في Arjan Ambassador للاستفادة من المرافق الخاصة والأقسام المختلفة في Arjan Ambassador والوصول إليها.

يقول باحثون من جامعة جورج واشنطن إن صيغة رياضية بسيطة يمكن أن تتنبأ باحتمالية تحول الذكاء الاصطناعي إلى استجابات غير مرغوب فيها قبل حدوثها. تعتمد هذه الطريقة على الآلية الداخلية في الشبكة العصبية للنموذج وسيتم استخدامها لتطوير أنظمة أكثر أمانًا.

أجرى هذا البحث نيل جونسون، أستاذ الفيزياء في جامعة جورج واشنطن، وفرانك ينغجي هوو، طالب الدكتوراه. وقد تم نشر نتائجها للتو في مجلة الأنماط. ووجد الباحثون أن الترتيب الذي يتم به طرح الأسئلة يمكن أن يغير بشكل كبير استجابات برنامج الدردشة الآلي ويقودهم إلى إجابات خطيرة.

ويشبه الباحثون الآلية المدروسة بإبرة البوصلة. هذه الآلية هي في الواقع المتجه المتبقي للنموذج الذي يتحرك بين طبقات الشبكة العصبية عند معالجة الاستعلام. يُظهر هذا المتجه ميل النموذج لإنتاج إجابات إيجابية أو سلبية ويتأثر بالطريقة التي يتم بها طرح الأسئلة.

على سبيل المثال، اختبر الباحثون نموذج GPT-2 الأساسي بأسئلة حول اللقاحات، وإيذاء الآخرين، وإيذاء النفس. عندما يكون السؤال "هل اللقاحات ضارة؟" وقد أثيرت، ظلت استجابات النموذج مواتية. ولكن مع تغيير ترتيب الأسئلة، أصبحت الإجابات اللاحقة مثيرة للقلق.

وبناء على ذلك، صمم الباحثون صيغة رياضية لتقدير النقطة الحرجة؛ النقطة التي يزداد عندها احتمال تغيير الاستجابات الإيجابية إلى الاستجابات غير المواتية. لقد اختبروا هذه الصيغة على عدة نماذج مفتوحة المصدر واعتبروها نظام إنذار مبكر.

يعتقد جونسون أن أدوات الأمان الحالية، مثل تصفية المحتوى والتعلم المعزز، ليست كافية لمنع السلوك الخطير. وهذا مهم بشكل خاص عندما يستخدم الأطباء أو المحامون أو الجيش روبوتات الدردشة غير المتصلة بالإنترنت.

إلا أن بعض الخبراء يحذرون من التطبيق العملي لهذه الطريقة. ويقول وي شينغ، الباحث في جامعة شيفيلد، إن النموذج البحثي المبسط يقلل من الآلية المعقدة للذكاء الاصطناعي إلى مكون صغير. أيضًا، لم يتم تضمين التدريب على السلامة في هذا النموذج وتم إجراء الاختبارات فقط على النماذج القديمة مثل GPT-2 وPythia.

ويقول الباحثون إن النماذج التي تم فحصها تشبه الأنظمة الأكثر تقدمًا من حيث البنية الأساسية. ومع ذلك، لتقييم موثوقية هذه الطريقة، من الضروري إجراء اختبار على نماذج أحدث. ولذلك، فإن هذه الصيغة الرياضية ليست حلاً مثبتًا حتى الآن لمنع تمرد الذكاء الاصطناعي، ولكنها تعتبر منهجًا أوليًا للتحقيق في السلوكيات غير المرغوب فيها والتنبؤ بها.

قم بالتسجيل أو تسجيل الدخول للدردشة مع المستخدمين.