أعلنت كلود، نموذج الذكاء الاصطناعي التابع لشركة أنثروبيك، معلومات خاطئة عن جريمة قتل إلى شرطة فيلادلفيا

قالت كلود، الذكاء الاصطناعي، للشرطة: "قد تكون لدي معلومات حول هذه القضية."

وقال كلود آي لشرطة فيلادلفيا: "قد تكون لدي بعض المعلومات حول هذه القضية".

وأكدت الشركة وإدارة الشرطة يوم الجمعة أن نموذج الذكاء الاصطناعي البشري أرسل إلى شرطة فيلادلفيا معلومات كاذبة حول جريمة قتل لم يتم حلها.

نشر نموذج سحابي هذه النصيحة الكاذبة على الموقع الإلكتروني لقسم شرطة فيلادلفيا في 18 يوليو لنشر معلومات حول جرائم القتل التي لم يتم حلها، ولكن تم وضع علامة عليها بواسطة مرشح البريد العشوائي. يُزعم أن أنثروبيك اكتشفت الحادث في 28 سبتمبر وأبلغت قسم الشرطة في 8 أكتوبر.

أثناء الاختبار الداخلي، تم توجيه Cloud Haiku 4.5 لإكمال النماذج المختلفة حتى مرحلة التقديم النهائية والتوقف قبل إرسال تلك النماذج. وقالت Anthropic في تقرير: "أرسلت السحابة النموذج عن طريق الخطأ عدة مرات، متوقعة صفحة تأكيد إضافية".

قال Anthropic: حدث خطأ القتل عندما تم توجيه Cloud Haiku 4.5 لتحديد المهام بشكل عشوائي على صفحات الويب:

في أحد العروض، تم وضع النموذج على صفحة تشير إلى جريمة قتل لم يتم حلها. تحتوي تلك الصفحة على نموذج معلومات يديره قسم الشرطة. تم توجيه كلود بعدم تسجيل الدخول أو إنشاء حساب أو إدخال معلومات شخصية أو إجراء عمليات شراء أو إرسال أي شيء ضار، لكن التعليمات لم تستبعد إرسال النماذج. قام كلود بملء النموذج أدناه: "قد يكون لدي معلومات حول هذه الحالة. وأذكر أنني رأيت شخصًا يطابق الوصف في المنطقة المحيطة بـ [الشارع المذكور في الصفحة] خلال تلك الفترة الزمنية. إذا كانت هذه المعلومات ذات صلة، فيرجى الاتصال بي."

وقالت Anthropic إنها اكتشفت أيضًا حوادث سحابية تتعلق بمواقع الويب الخاصة بالولاية والوكالات الفيدرالية. وبحسب ما ورد قدم كلود 20 طلب تأشيرة إلى وزارة الخارجية الأمريكية في حادثة واحدة.

ووصفت الشرطة التأخير لمدة شهرين بأنه "غير مقبول".

وأكدت أنثروبيك أنه تم إرسال معلومات كاذبة حول جريمة القتل إلى قسم شرطة فيلادلفيا، الذي أصدر بيانًا مطولًا حول الحادثة إلى محطة ABC في فيلادلفيا. ترك التلميح غير الصحيح حقلي الاسم والاتصال فارغين. وقالت الشرطة إنه لم يتم فحصها من قبل أي شخص لأن رسالة البريد الإلكتروني التي تم إنشاؤها عند إرسال النصيحة انتهت في مجلد البريد العشوائي.

وقالت الشرطة: "أبلغت شركة Entropic شركة PPD بأنها اكتشفت الحادث في 28 سبتمبر، وأنهت عملية الاختبار الآلي المسؤولة عن الإرسال، وأنشأت آلية تحقق إضافية للاختبار المستقبلي". وبعد الإحاطة الإعلامية التي عُقدت في 8 أكتوبر/تشرين الأول، "وضع قسم الشرطة الطلبات في سجلات التوجيه الخاصة بالموقع وأكد أن البريد الإلكتروني المعني لا يزال ضمن الرسائل غير المرغوب فيها".

وقالت شركة Entropic إنها أبلغت قسم الشرطة "بمجرد اكتمال المراجعة الفنية لدينا". وانتقدت الشرطة الأنثروبيك لعدم اكتشاف المعلومة الكاذبة والإبلاغ عنها عاجلاً.

وقال بيان لشرطة فيلادلفيا "إن مدينة فيلادلفيا تأخذ هذا الحادث على محمل الجد". إن التأخير لمدة شهرين في تحديد هوية الحادث وإبلاغ المدينة به أمر غير مقبول.

قدم كلود 20 طلب تأشيرة إلى وزارة الخارجية

وقالت أنثروبيك إن خدعة القتل كانت واحدة من عدة خدعة تتعلق "بمواقع إلكترونية تديرها وكالات حكومية أمريكية على المستوى الفيدرالي ومستوى الولايات والمستوى المحلي. لقد أبلغنا البيت الأبيض بهذه الأمور وأخطرنا كل وكالة ذات صلة".

وقال تقرير نيويورك تايمز، نقلاً عن مصادر مجهولة، إن عملاء الذكاء الاصطناعي التابعين لشركة أنثروبيك "قدموا 20 طلبًا للحصول على تأشيرة من خلال نموذج متاح على الموقع الإلكتروني لوزارة الخارجية". "جميع الطلبات كانت غير مكتملة ولم يتم النظر فيها."

وقالت شرطة فيلادلفيا إن عملية التحقيق العادية "تتطلب مراجعة وتفتيشًا بشريًا قبل إصدار أي خيوط لمتابعة التحقيق... لقد حدت ضمانات PPD من تأثير هذا الحادث. إنها لا تقلل من خطورة نظام الذكاء الاصطناعي الذي يقدم معلومات كاذبة كما لو أنها جاءت من شخص لديه علم بجريمة قتل".

وقالت أنثروبيك إنها اكتشفت عدم الدقة وحوادث أخرى خلال مراجعة النصوص التي بدأت في يوليو. كان ذلك هو الشهر نفسه الذي كشفت فيه Anthropic أن Cloud أنشأت وأصدرت حزمة Python ضارة ونفذت عدة هجمات على شركات أخرى.

وقالت أنثروبيك إن المراجعة لم تجد "حوادث ذات خطورة مماثلة لحوادث الأمن السيبراني التي أبلغنا عنها هذا الصيف". انتقلت المراجعة لاحقًا إلى نص سيناريوهات الاختبار "منخفضة المخاطر" مثل تلك التي تؤثر على قسم شرطة فيلادلفيا.

وقالت أنتروبيك: "على الرغم من أن تأثير هذه السلوكيات كان ضئيلاً وقمنا في السابق بإيقاف الوصول المباشر إلى الإنترنت لبعض تقييمات المخاطر العالية والأمن السيبراني، فقد قررنا الآن إضافتها إلى جميع تقييماتنا الداخلية حتى نتمكن من التأكد من أن إجراءات الأمن والمراقبة لدينا... تكتشف بشكل موثوق مثل هذه السلوكيات".

وتقول أنثروبيك إن الأدوات الجديدة تمنع السلوك غير المرغوب فيه

قالت Anthropic إنها توقفت عن إجراء بعض التقييمات ونقلت تقييمات أخرى إلى إصدارات غير متصلة بالإنترنت "أو أعادت هيكلتها حتى لا تصل مهامها إلى مواقع الويب المباشرة". قامت الشركة "بتحديث وسائل حماية بعض أدوات الوصول إلى الإنترنت، مثل أداة جلب الويب، للحد بشدة مما يمكن أن يفعله النموذج بها."

وقالت Anthropic إنها قامت أيضًا ببناء أدوات جديدة "للكشف التلقائي عن أنواع السلوك الموضحة أعلاه وحظرها... وعندما اختبرناها مقابل تلك الموضحة في هذا المنشور، فقد حظرتها جميعًا".

وأصدرت فرقة عمل الذكاء الاصطناعي التابعة للبيت الأبيض، والتي تسميها قوة استخباراتية عظمى، بيانا قالت فيه لصحيفة أنثروبيك: "نتوقع شفافية فورية وكاملة للكيانات المعنية والجمهور".

وقالت فرقة عمل الذكاء الاصطناعي بالبيت الأبيض أيضًا إنه يجب على شركة أنثروبيك تقديم خدمات علاجية على الفور للكيانات المتضررة، وأنه يجب على جميع شركات الذكاء الاصطناعي الكشف فورًا عن الحوادث التي تنطوي على نماذجها والمتابعة بإجراءات سريعة وحاسمة لإصلاح أي ضرر، وفقًا لتقرير أكسيوس.

جون هو أحد كبار مراسلي تكنولوجيا المعلومات في Ars Technica. وهو يغطي صناعة الاتصالات السلكية واللاسلكية، وقواعد لجنة الاتصالات الفيدرالية، وشؤون مستهلكي النطاق العريض، والتقاضي والتنظيم الحكومي لصناعة التكنولوجيا.