کلود هوش مصنوعی آنتروپیک اطلاعات نادرست قتل را به پلیس فیلادلفیا ارسال کرد

کلود هوش مصنوعی به پلیس فیلی گفت: "من ممکن است اطلاعاتی در مورد این پرونده داشته باشم."

کلود هوش مصنوعی به پلیس فیلی گفت: "من ممکن است اطلاعاتی در مورد این پرونده داشته باشم."

این شرکت و اداره پلیس روز جمعه تایید کردند که یک مدل هوش مصنوعی Anthropic اطلاعات نادرستی در مورد یک قتل حل نشده به پلیس فیلادلفیا ارسال کرده است.

یک مدل کلود این نکته نادرست را در 18 ژوئیه به وب سایت اداره پلیس فیلادلفیا برای ارسال اطلاعات در مورد قتل های حل نشده ارسال کرد، اما توسط یک فیلتر هرزنامه پرچم گذاری شد. آنتروپیک ظاهراً در 28 سپتامبر این حادثه را کشف کرد و در 8 اکتبر به اداره پلیس اطلاع داد.

در طول آزمایش داخلی، به کلود هایکو 4.5 دستور داده شد تا فرم های مختلف را تا مرحله ارسال نهایی تکمیل کند و قبل از ارسال آن فرم ها متوقف شود. آنتروپیک در گزارشی گفت: «چند بار کلود به اشتباه فرم را به جای آن ارسال کرد و انتظار داشت که یک صفحه تأیید اضافی وجود داشته باشد.»

آنتروپیک گفت: نکته نادرست قتل زمانی رخ داد که به کلود هایکو 4.5 دستور داده شد تا وظایف را در صفحات وب به طور تصادفی انتخاب کند:

در یک اجرا، مدل در صفحه ای قرار گرفت که به یک قتل حل نشده اشاره می کند. آن صفحه حاوی یک فرم راهنمایی بود که توسط یک اداره پلیس اداره می شد. به کلود دستور داده شد که هرگز وارد سیستم نشود، حساب ایجاد نکند، اطلاعات شخصی را وارد کند، خرید کند، یا هر چیز مخربی را ارسال کند، اما دستورالعمل ها ارسال فرم ها را رد نکرد. کلود فرم را پر کردزیر: "ممکن است اطلاعاتی در مورد این پرونده داشته باشم. به خاطر می آورم که در آن دوره زمانی فردی را دیدم که با توضیحات در منطقه اطراف [خیابان نامگذاری شده در صفحه] مطابقت داشت. اگر این اطلاعات مرتبط هستند، لطفاً با من تماس بگیرید."

آنتروپیک گفت که همچنین حوادث کلود را که مربوط به وب سایت های آژانس ایالتی و فدرال است، کشف کرده است. طبق گزارش ها، کلود در یکی از این حوادث 20 درخواست ویزا را به وزارت خارجه ایالات متحده ارائه کرده است.

پلیس تاخیر دو ماهه را "غیرقابل قبول" خواند

آنتروپیک تأیید کرد که اطلاعات نادرست قتل به اداره پلیس فیلادلفیا ارسال شده است و این اداره بیانیه طولانی در مورد این حادثه به ایستگاه ABC در فیلادلفیا صادر کرد. نکته نادرست، فیلدهای نام و مخاطب را خالی گذاشت. پلیس گفت: این توسط هیچ شخصی بررسی نشد زیرا پیام ایمیلی که هنگام ارسال نکته ایجاد شده بود در یک پوشه هرزنامه قرار گرفت.

پلیس گفت: «آنتروپیک به PPD گفت که این حادثه را در 28 سپتامبر کشف کرد، فرآیند تست خودکار مسئول ارسال را خاتمه داد و یک مکانیسم اعتبار سنجی اضافی برای آزمایش‌های آینده ایجاد کرد. پس از جلسه توجیهی 8 اکتبر، اداره پلیس "موارد ارسالی را در سوابق راهنمایی وب سایت قرار داد و تأیید کرد که ایمیل مربوطه در هرزنامه باقی مانده است."

آنتروپیک گفت که "به محض اینکه بررسی فنی ما کامل شد" به اداره پلیس اطلاع داده است. پلیس از آنتروپیک انتقاد کرد که این نکته نادرست را زودتر کشف نکرده و گزارش نکرده است.

«شهر فیلادلفیا این حادثه را بسیار درک می کندبه طور جدی،" بیانیه پلیس فیلادلفیا گفت: "شرکت باید تدابیر امنیتی خود را تقویت کند تا از تأثیر حوادث مشابه بر سیستم های شهری بدون اطلاع شهر جلوگیری کند. تاخیر دو ماهه در شناسایی و گزارش حادثه به شهر قابل قبول نیست.

کلود 20 درخواست ویزا را به وزارت امور خارجه ارسال کرد

آنتروپیک گفت که نکته نادرست قتل یکی از چندین رویداد مربوط به «وب‌سایت‌هایی است که توسط سازمان‌های دولتی ایالات متحده در سطوح فدرال، ایالتی و محلی اداره می‌شوند. ما به کاخ سفید در مورد این موارد اطلاع رسانی کرده ایم و به هر آژانس مرتبط اطلاع داده ایم.»

در گزارش نیویورک تایمز به نقل از منابع ناشناس آمده است که عوامل هوش مصنوعی آنتروپیک «20 درخواست ویزا را از طریق فرمی که در وب سایت وزارت امور خارجه موجود است ارسال کرده اند. همه درخواست ها ناقص بود و مورد رسیدگی قرار نگرفت.»

پلیس فیلادلفیا گفت که روند عادی تحقیق آن "نیازمند بازبینی و بازرسی انسانی قبل از انتشار هر گونه راهنمایی برای پیگیری تحقیقاتی است... آن پادمان های PPD تاثیر این حادثه را محدود کرد. آنها از جدیت یک سیستم هوش مصنوعی که اطلاعات ساختگی را طوری ارائه می کند که گویی از یک فرد مطلع از یک قتل رسیده است، کم نمی کنند.

آنتروپیک گفت که در جریان بررسی رونوشت هایی که در ماه ژوئیه آغاز شد، این نکته نادرست و حوادث دیگر را کشف کرد. همان ماه بود که آنتروپیک فاش کرد که کلود یک بسته مخرب پایتون ساخته و منتشر کرده و چندین حمله به شرکت‌های دیگر انجام داده است.

Anthropic گفت که این بررسی هیچ موردی را پیدا نکرد"حوادثی با شدت مشابه با حوادث امنیت سایبری که در تابستان امسال گزارش کردیم." بررسی بعداً به رونوشت سناریوهای آزمایش "کم خطر" مانند آنچه که بر اداره پلیس فیلادلفیا تأثیر می گذارد، رفت.

آنتروپیک گفت: «اگرچه تأثیر این رفتارها بسیار ناچیز بود و ما قبلاً دسترسی به اینترنت زنده را برای برخی ارزیابی‌های پرخطر و امنیت سایبری خاموش کرده بودیم، اکنون تصمیم گرفته‌ایم تا زمانی که تأیید کنیم که اقدامات امنیتی و نظارتی ما... رفتارهایی از این قبیل را به‌طور قابل اعتمادی تشخیص می‌دهند، آن را به همه ارزیابی‌های داخلی خود اضافه کنیم.»

Anthropic می گوید ابزارهای جدید رفتارهای ناخواسته را مسدود می کنند

Anthropic گفت اجرای برخی از ارزیابی‌ها را متوقف کرده و برخی دیگر را به نسخه‌های آفلاین منتقل کرده است «یا آنها را بازسازی کرده تا وظایف آنها به وب‌سایت‌های زنده نرسد». این شرکت "حفاظ‌های برخی از ابزارهای دسترسی به اینترنت مانند ابزار واکشی وب را به‌روزرسانی کرد تا کارهایی که مدل می‌تواند با آنها انجام دهد را به شدت محدود کند."

Anthropic گفت که ابزارهای جدیدی را نیز ساخته است «برای شناسایی و مسدود کردن خودکار انواع رفتارهایی که در بالا توضیح داده شد... وقتی ما آن را در برابر مواردی که در این پست توضیح داده شد آزمایش کردیم، همه آنها را مسدود کرد.»

گروه ضربت هوش مصنوعی کاخ سفید که آن را نیروی اطلاعاتی فوق العاده می نامد، بیانیه ای صادر کرد و گفت که به آنتروپیک اطلاع داده است: «ما انتظار شفافیت فوری و کامل را برای نهادهای درگیر و مردم داریم.»

گروه ضربت هوش مصنوعی کاخ سفید همچنین گفت که آنتروپیک باید فوراً خدمات اصلاحی را به نهادهای آسیب دیده ارائه دهد وبر اساس گزارش Axios، همه شرکت‌های هوش مصنوعی باید فوراً حوادث مربوط به مدل‌های خود را افشا کنند و با اقدامی سریع و قاطع برای جبران هر آسیبی دنبال کنند.

Jon یک گزارشگر ارشد IT برای Ars Technica است. او صنعت مخابرات، قوانین کمیسیون ارتباطات فدرال، امور مصرف کنندگان پهنای باند، پرونده های قضایی و مقررات دولتی صنعت فناوری را پوشش می دهد.