محققان ایمنی OpenAI اخراج شده ادعاهای سوء رفتار را رد کرده و نسبت به تأثیر سرد کننده هشدار می دهند

سه محقق ایمنی OpenAI اخراج شده، ادعاهای مربوط به سوء استفاده از اطلاعات حساس را رد می کنند و در نامه ای سرگشاده هشدار می دهند که اخراج آنها تأثیری وحشتناک بر فرهنگ ایمنی هوش مصنوعی شرکت ایجاد می کند.

آخرین روز برای نمایش پیشرفت خود به بیش از 10000 رهبر فناوری در Disrupt در 2 اکتبر است. میز نمایشگاه کتاب هم اکنون.

باز شدن درها را در 13 اکتبر مختل کنید. کارت خود را بگیرید و با 50 درصد تخفیف یک نفر را همراه خود بیاورید. هم اکنون ثبت نام کنید.

یاسمین وانگ، تومک کورباک و میکیتا بالسنی، سه محقق ایمنی که هفته گذشته OpenAI اخراج کردند، نامه‌ای سرگشاده منتشر کرده‌اند که در آن ادعای شرکت مبنی بر سوء استفاده از اطلاعات حساس خارج از رویه‌های رسمی شرکت را رد کرده‌اند و هشدار داده‌اند که اخراج آن‌ها نشانه‌ای از یک اثر سردکننده است که تأثیرات موجی در فرهنگ شرکت خواهد داشت.

محققان روز پنجشنبه در نامه ای سرگشاده به کمیته ایمنی و امنیت OpenAI، گروه مشاوران ایمنی و شورای مشورتی ماموریت نوشتند: «ما نگران این هستیم که ارتباطات داخلی و خارجی پیرامون شلیک ما باعث شده است که همکاران سابق ما از صحبت کردن و عملکرد به گونه‌ای که تا هفته گذشته بخشی جدایی ناپذیر از کار در OpenAI بود، ترس داشته باشند.

این محققان هفته گذشته به دلیل به اشتراک گذاشتن اطلاعات محرمانه شرکت با یک سازمان ایمنی هوش مصنوعی شخص ثالث اخراج شدند. OpenAI گفت که آنها با "دسترسی و مدیریت اطلاعات حساس شرکت" سیاست های شرکت را نقض کرده اند.

Wang، Korbak و Balesni نوشتند: "هوش مصنوعی یک فناوری معمولی نیست و OpenAI یک شرکت عادی نیست." "کسانی از ما که روی ایمنی کار می کنیم، قبل از هر کس دیگری خطرات را می بینیم، و ما به همکاری نزدیک با کارشناسان خارجی برای یافتن نحوه رسیدگی به آنها متکی هستیم. آزادی انجام این کار بدون ترس و داشتنرویه های داخلی به خوبی تعریف شده که این کار را ممکن می کند، خود یک مکانیسم ایمنی ضروری است.

آنها گفتند که اخراج آنها نشان دهنده تغییر گسترده تری در فرهنگ OpenAI است، فرهنگی که کارگران را تشویق می کرد تا "نگرانی های ایمنی را مطرح کنند و آشکارا مخالفت کنند." آنها گفتند که کارمندان اکنون "مشخص نیستند که کجا ایستاده اند" در حالی که رفتاری که ظاهراً یک ماه پیش عادی بود اکنون به طور ناگهانی دلیلی برای اخراج است.

آنها نوشتند: "با توجه به نگرانی های ایمنی قابل توجهی که در مورد توسعه هوش مصنوعی وجود دارد، کارمندان نباید در محیطی کار کنند که ترس و قوانین نامشخص کار ایمنی هوش مصنوعی را مختل می کند و مسئولیت پذیری شخص ثالث را تضعیف می کند." فسخ‌هایی مانند ما که به‌طور ناگهانی اجرا و ارتباط برقرار کرده‌اند، فرهنگ باز را که OpenAI در گذشته ارزشمند کرده بود، سرد می‌کند.»

در این نامه، این سه نفر دخالت در افشای اطلاعات مربوط به معماری‌های کمتر قابل نظارت در جدیدترین مدل‌های OpenAI را که نظارت بر استدلال زنجیره‌ای از فکر را دشوارتر می‌کنند، رد کردند. آنها همچنین تعامل با احزاب خارجی خارج از وظایف شغلی خود را انکار کردند.

OpenAI به طور رسمی به این نامه سرگشاده پاسخ نداده است، اما یادداشت داخلی منتسب به یک رهبر تحقیقاتی را با TechCrunch به اشتراک گذاشته است که در آن سهم سه محقق در ایمنی هوش مصنوعی را ستوده و اخراج آنها را به تلافی رد کرده است.

در این یادداشت آمده است: «من می‌خواهم کاملاً واضح بگویم که این تصمیم‌ها برای مطرح کردن نگرانی‌های ایمنی یا صحبت کردن نبودند. ما همیشه این را تشویق کرده‌ایم و همیشه خواهیم کرد. ما کارمندان را اخراج نمی کنیمبرای مطرح کردن نگرانی‌ها.»

به طور جداگانه، یک سخنگوی OpenAI به TechCrunch گفت که این سه نفر پس از اینکه تحقیقات نشان داد "الگوی سوء رفتار" در "نقض آشکار سیاست‌های ما در مورد سوء استفاده از اطلاعات تحقیقاتی" است، اخراج شدند که فراتر از اشتراک‌گذاری اطلاعات با یک گروه ارزیابی هوش مصنوعی خارجی است.

OpenAI مستقیماً به سؤالات TechCrunch درباره سیاست‌هایی که محققان ادعا می‌کنند نقض کرده‌اند، شرایط اخراج آنها، یا اینکه چگونه شرکت از کارکنانی که نگرانی‌های ایمنی را مطرح می‌کنند و با ارزیاب‌های خارجی همکاری می‌کنند، محافظت می‌کند، پاسخ نداد.

این اخراج ها به گمانه زنی ها در مورد شرایط آنها دامن زده است، به ویژه در شرایطی که OpenAI در مورد حوادث اخیر ایمنی مربوط به عوامل سرکش و درز اطلاعات مدل های آن مورد بررسی قرار می گیرد.

این نامه همچنین به پاسخ محققان به حادثه «Huging Face» می‌پردازد، که در آن گروهی از مأموران از جعبه ماسه‌بازی آن‌ها بیرون آمدند و به سیستم‌های خارجی نفوذ کردند. در این نامه آمده است که این حادثه و تحقیقات «بدون سابقه» بوده است، به این معنی که «سیاست‌های داخلی در زمان واقعی توسعه می‌یابند». با توجه به ماهیت حساس تحقیقات، کورباک معتقد بود که بر اساس نامه، با برقراری ارتباط نزدیک با ارزیاب‌های ایمنی خارجی برای ایجاد اعتماد، در چارچوب سیاست‌ها و هنجارهای OpenAI عمل می‌کند.

در همان زمان، Balesni در داخل نیز برای رسیدگی به مشکل رو به رشد نظارت بر هوش مصنوعی کار می کرد، تلاشی که محققان در نامه خود می گویند "تنها از طریق ارتباط گسترده با طرف های خارجی می تواند موفق شود."بر اساس این نامه، بالسنی در طول کار خود با اعضای هیئت مدیره و مدیران OpenAI هماهنگ بوده و مورد حمایت قرار گرفته است.

در این نامه آمده است: «در تمام طول مدت، میکیتا با خط گزارش خود چک می‌کرد و مراقب بود که جزئیات حساس را از مطالب قبل از اشتراک‌گذاری حذف کند. او با حسن نیت و مطابق با هنجارهای شرکت، همانطور که در آن زمان بود، عمل کرد.»

در یک تاپیک جداگانه در X، وانگ جزئیات بیشتری در مورد اخراج خود توضیح داد و توضیح داد که OpenAI به او گفته است که به دلیل دسترسی به ایمیل یک مدیر اخراج شده است.

او نوشت: «OpenAI این دسترسی را برای استخدام به من واگذار کرد. "زمانی که دیگر به آن نیاز نداشتم، از IT خواستم آن را حذف کند. آنها به درخواست من عمل نکردند، من خودم نتوانستم آن را حذف کنم و صندوق ورودی به شکل غیرقابل تشخیصی در برنامه ایمیل تلفن من ترکیب شد. وقتی یک ایمیل حساس را به اشتباه باز کردم، در عرض چند دقیقه به مدیر اجرایی گفتم و دوباره از IT پرسیدم. هیچ کدام پنهان نشد."

وانگ ادامه داد که دلایل این فسخ "جمع نشدن" است و او و همکارانش "اولین کسانی نیستند که تحت شرایط مشکوک از OpenAI خارج می شوند."

محققان از OpenAI خواستند تا به تعهدات عمومی خود برای تعبیه ممیزان ایمنی شخص ثالث در سازمان، برای حفظ قابلیت نظارت بر مدل‌های مرزی، و "به حمایت از فرهنگ باز و شفاف گفتگو بین محققان ایمنی و بقیه اکوسیستم ایمنی ادامه دهد."

OpenAI با توصیه های آنها موافق استیادداشت

وانگ گفت: "تا زمانی که کارمندان در برابر این نوع مانور موضع نگیرند، من نگرانم که آخرین نفر نباشیم." پیام برای همه هنوز در OpenAI واضح است: نگرانی‌های خود را مطرح کنید یا از نزدیک با گروه‌های ایمنی خارجی کار کنید، و می‌توانید بدون اینکه دلیل آن به شما گفته شود، بعدی باشید. اگر افراد نزدیک به خطرات از صحبت کردن هراس داشته باشند، نمی‌توانید AGI را با خیال راحت بسازید.

این مقاله با اطلاعات بیشتر از OpenAI به روز شده است.

وقتی از طریق پیوندهای موجود در مقالات ما خرید می کنید، ممکن است کمیسیون کمی کسب کنیم. این بر استقلال تحریریه ما تأثیر نمی گذارد.

ربکا بلان یک گزارشگر ارشد در TechCrunch است که در آن تجارت، سیاست و روندهای نوظهور در شکل گیری هوش مصنوعی را پوشش می دهد. آثار او همچنین در فوربس، بلومبرگ، آتلانتیک، دیلی بیست و سایر نشریات ظاهر شده است.

می‌توانید با ارسال ایمیل به [email protected] یا از طریق پیام رمزگذاری‌شده در rebeccabellan.491 در Signal با ربکا تماس بگیرید یا آن را تأیید کنید.

50٪ تخفیف برای پاس دوم دریافت کنید تجربه Disrupt قرار است به اشتراک گذاشته شود. پاس خود را دریافت کنید و یک همکار، شریک یا همتای خود را با 50 درصد تخفیف بیاورید. با ایجاد ارتباطات، ایجاد شتاب و کشف آنچه در اکوسیستم استارت آپی در آینده وجود دارد، زمینه بیشتری را پوشش دهید.

چگونه بفهمیم که آمازون فکر می‌کند که شما باسن صافی دارید، آماندا سیلبرلینگ

آنتروپیک به استارت آپ ها یک سال رایگان از کلود تیم و 1000 دلار اعتبار راسل براندوم می دهد.

در 19 سالگی، بنیانگذار 11 میلیون دلار برای Ghost، سازنده رایانه 3499 دلاری برای هوش مصنوعی شخصی Dominic-Madori Davis جمع آوری کرد.

ترامپآنتونی ها از نیروی سوپر اطلاعات جدید خود رونمایی کرد

قاضی فدرال، آنتونی ها را "نظارت جمعی بی رویه" می نامد

آمازون در پاسخ به عکس العمل مرکز داده، می گوید دیگر از NDA آنتونی ها استفاده نمی کند

کارمند ایمنی OpenAI با این ادعا که آنتونی ها «فرهنگ شرکت شکسته است» استعفا داد