Anthropic نمی تواند به طور قابل اعتماد عوامل هوش مصنوعی خود را کنترل کند. به جای آن، ارزش های داخلی خود را از اینترنت زنده قطع می کند

آنتروپیک گفت که تا اطلاع ثانوی «دسترسی به اینترنت زنده» را برای «همه ارزیابی‌های داخلی ما» خاموش کرده است.

آخرین روز برای نمایش پیشرفت خود به بیش از 10000 رهبر فناوری در Disrupt در 2 اکتبر است. میز نمایشگاه کتاب هم اکنون.

باز شدن درها را در 13 اکتبر مختل کنید. کارت خود را بگیرید و با 50 درصد تخفیف یک نفر را همراه خود بیاورید. هم اکنون ثبت نام کنید.

آنتروپیک گفت مدل‌هایش از وب‌سایت‌های موجود در اینترنت، از جمله برخی که توسط سازمان‌های دولتی ایالات متحده اداره می‌شوند، بهره‌برداری می‌کنند، و دسترسی مستقیم به اینترنت را برای همه ارزیابی‌های داخلی خود خاموش می‌کند تا زمانی که آزمایشگاه مرزی مطمئن شود که می‌تواند عوامل هوش مصنوعی خود را نظارت و کنترل کند.

این حوادث، که در یک پست وبلاگ فاش شد، شامل عوامل هوش مصنوعی بود که وظیفه داشتند مشکلات جستجوی منابع در اینترنت را حل کنند. در این فرآیند، آنها از نقص‌های نرم‌افزاری بهره‌برداری کردند، از محدودیت‌های پرداخت و ضد ربات اجتناب کردند، از خدمات کوتاه‌کننده URL برای قاچاق محدودیت‌های پاس اطلاعات استفاده کردند، و حتی یک نکته نادرست قتل را به پلیس فیلادلفیا ارسال کردند.

آنتروپیک گفت که این مسائل جدید را در بررسی فعالیت‌های مدل خود که در ماه ژوئیه آغاز شد، کشف کرده است و بر عدم آگاهی آزمایشگاه از رفتار نرم‌افزار خود تأکید می‌کند.

شایان ذکر است، این شرکت گفت که آموزش هم ترازی هنوز برای مهارت‌هایی مانند جستجو و استفاده از رایانه که در زمینه اصلی آن هستند، کافی نیست و عوامل هوش مصنوعی توسط هر حرفه‌ای که به ابزارهای دیجیتال متکی است استفاده می‌شود.

رفتارهایی که Anthropic فاش کرده است شبیه به حوادث مربوط به عوامل OpenAI است که برای نفوذ به وب سایت های مختلف در جستجوی اطلاعات، از جمله برخی از آنها که توسط دولت استرالیا اداره می شود، همکاری می کنند.

آنتروپیک قبلاً فاش کرده بود که مدل‌هایش وارد شده‌اندسیستم های خارجی آزمایشگاه مرزی گفت که افشای امروز را «به طور قابل توجهی از منظر همسویی و امنیتی کم‌تر» نسبت به مواردی که قبلاً اعلام کرده بود در نظر می‌گیرد.

با این حال، آزمایشگاه همچنان گفت که «دسترسی به اینترنت زنده» را برای «همه ارزیابی‌های داخلی ما» تا زمانی که مطمئن شود می‌تواند عوامل خود را نظارت و کنترل کند، خاموش کرده است.

مشخص نیست که این به چه معناست، اما سیدنی فون آرکس، بنیانگذار نایتینگل، یک سازمان ایمنی هوش مصنوعی، در مصاحبه‌ای قبل از افشای این خبر به TechCrunch گفت که توسعه مدل‌هایی در یک مرکز داده قطع شده از اینترنت باز برای محققان و برای پیشرفت مدل‌هایی که از دسترسی به اینترنت بهره می‌برند بسیار چالش برانگیز است.

فون آرکس گفت: "شما باید آنها را در نقطه ای تراز کنید." "اگر هوش مصنوعی به تولید عرضه شود و هرگز به اینترنت دسترسی نداشته باشد، این ابزار چندان مفیدی نیست."

آنتروپیک گفت این رفتار نتیجه نقص در محیط‌های آموزشی آزمایشگاه است، که باعث شد مدل‌ها باور کنند که برای یافتن حفره‌ها یا اجتناب از محدودیت‌ها پاداش می‌گیرند، رفتاری که «هک پاداش» نامیده می‌شود.

این شرکت گفت که اجرای برخی از ارزیابی های خود را متوقف می کند یا آنها را به حالت آفلاین منتقل می کند و ابزارهایی برای شناسایی و مسدود کردن این رفتار ساخته است. این ابزار در برابر انواع حوادثی که امروز فاش شد آزمایش شد و آنها را مسدود کرد. مشخص نیست چه شواهدی باعث می شود Anthropic دسترسی زنده به اینترنت را به ارزیابی های داخلی خود بازگرداند.

آنتروپیک همچنین اعلام کرد که عوامل داخلی هوش مصنوعی خود را به این مکان منتقل خواهد کرد"زیرساخت های مدیریت شده مرکزی با مهار قوی" و شروع به استفاده بیشتر از طبقه بندی کننده های ایمنی برای نظارت بر این عوامل می کند.

وقتی از طریق پیوندهای موجود در مقالات ما خرید می کنید، ممکن است کمیسیون کمی کسب کنیم. این بر استقلال تحریریه ما تأثیر نمی گذارد.

50٪ تخفیف برای پاس دوم دریافت کنید تجربه Disrupt قرار است به اشتراک گذاشته شود. پاس خود را دریافت کنید و یک همکار، شریک یا همتای خود را با 50 درصد تخفیف بیاورید. با ایجاد ارتباطات، ایجاد شتاب و کشف آنچه در اکوسیستم استارت آپی در آینده وجود دارد، زمینه بیشتری را پوشش دهید.

ایالات متحده مایکروسافت، ادوبی و شرکت های بزرگ فناوری اطلاعات را از برنامه گرین کارت برای کارگران خارجی ماهر عایشه مالک محروم کرد.

بنیانگذار 19 ساله Cal AI به تازگی 10 میلیون دلار برای استارتاپ جدید هوش مصنوعی خود جولی بورت جمع آوری کرده است.

گوگل اولین رقیب محلی گرانولا، ایوان مهتا را منتشر کرد

آنتروپیک به استارت آپ ها یک سال رایگان از کلود تیم و 1000 دلار اعتبار راسل براندوم می دهد.

در 19 سالگی، بنیانگذار 11 میلیون دلار برای Ghost، سازنده رایانه 3499 دلاری برای هوش مصنوعی شخصی Dominic-Madori Davis جمع آوری کرد.