انتروپیک دسترسی در حد کارکنان شرکت را برای بررسی سامانه‌های هوش مصنوعی خود در اختیار یک نهاد مستقل قرار داد
انتروپیک به یک گروه پژوهشی مستقل اجازه داده است در نزدیکی کارکنان این شرکت فعالیت کند و به سامانه‌های داخلی آن دسترسی داشته باشد تا افکار عمومی بتواند ارزیابی مستقلی از خطرات هوش مصنوعی این شرکت به دست آورد. این همکاری از بررسی‌های مستقل متعارف فراتر می‌رود و انتروپیک می‌گوید امیدوار است آزمایشگاه‌های دیگر هوش مصنوعی نیز از این الگو پیروی کنند.
انتروپیک دسترسی یک نهاد غیرانتفاعی ناظر بر هوش مصنوعی را فراهم می‌کند
انتروپیک اعلام کرده است که دسترسی در حد کارکنان شرکت را در اختیار گروهی از اعضای مؤسسه غیرانتفاعی METR قرار داده است؛ نهادی که مدل‌های پیشرفته هوش مصنوعی را ارزیابی می‌کند. METR نتایج ارزیابی‌های خود از خطرات را منتشر خواهد کرد. این دو مجموعه طی یک سال گذشته نیز در چندین بررسی گزارش‌های ریسک انتروپیک با یکدیگر همکاری کرده‌اند.
این اقدام در ادامه تعهداتی است که انتروپیک ماه گذشته اعلام کرد. شرکت وعده داد ارزیابی مستقل مدل‌ها و رویه‌های ایمنی خود را به کمک طرف‌های ثالث تقویت کند. همچنین توافق‌نامه کاخ سفید درباره ابرهوش را امضا کرد؛ توافقی که در آن شرکت‌ها متعهد شدند با حسابرسان یا ارزیابان مستقل بیرونی همکاری کنند. انتروپیک همچنین با SecureBio و Accenture در زمینه ارزیابی همکاری دارد و گفت‌وگوهای اولیه‌ای را با چند گروه دیگر، از جمله Hugging Face، آغاز کرده است.
انتروپیک توضیح داده است که چرا خواهان مشارکت ارزیابان بیرونی است. با قدرتمندتر شدن مدل‌ها، به تدابیر حفاظتی قوی‌تر و ارزیابی‌های سخت‌گیرانه‌تر خطرات نیاز است و شرکت می‌گوید می‌خواهد در قبال تصمیم‌هایش در برابر افکار عمومی پاسخ‌گو باشد. بااین‌حال، انتشار همه اطلاعات امکان‌پذیر نیست؛ زیرا برخی جزئیات ایمنی ممکن است به افراد بدخواه در سوءاستفاده از سامانه‌ها کمک کند و برخی اطلاعات دیگر، مانند جزئیات توان محاسباتی و فرایند آموزش مدل‌ها، از نظر تجاری محرمانه‌اند.
انتروپیک به‌جای انتشار عمومی همه اطلاعات، دسترسی عمیقی به ارزیابان مستقل می‌دهد و از آن‌ها می‌خواهد شواهد و نتیجه‌گیری‌های مستدل خود را منتشر کنند. این شرکت می‌گوید: «هدف ما این است که فاصله میان شناخت ارزیابان از سامانه‌های یک شرکت فعال در حوزه هوش مصنوعی پیشرفته و شناخت خود آن شرکت از سامانه‌هایش را کاهش دهیم.» انتروپیک برای هر ارزیاب چهار شرط برمی‌شمارد: تخصص، استقلال از شرکت، دسترسی کافی برای قضاوت درباره خطرات و آزادی انتشار یافته‌ها.
انتروپیک این الگو را با نظارت بر بانک‌ها مقایسه کرده است. بانک‌ها بیش از افراد بیرونی از خطرات خود اطلاع دارند؛ به همین دلیل، نهادهای ناظر در بزرگ‌ترین بانک‌ها بازرسان مستقر می‌کنند. به گفته انتروپیک، منطق استقرار ارزیابان در داخل شرکت نیز مشابه است، هرچند این شرکت تأکید می‌کند که مقایسه کاملاً دقیق نیست.
دسترسی METR به سامانه‌های هوش مصنوعی در سطح کارکنان شرکت
انتروپیک شش نفر از کارکنان METR را به‌عنوان اعضای همکار وارد مجموعه خود کرده است و تجهیزات کاری، فضای اداری و دسترسی به ابزارها و سامانه‌های داخلی را در اختیارشان گذاشته است؛ دسترسی‌ای که تقریباً با امکانات تیم‌های ارزیابی ریسک خود شرکت برابری می‌کند. تنها چند دسته مشخص از اطلاعات از دسترس این گروه خارج شده‌اند؛ از جمله داده‌های مشتریان، اطلاعات مشمول محرمانگی رابطه وکیل و موکل و اطلاعات مربوط به معماری مدل‌ها. خارج از این حوزه‌ها، کارکنان انتروپیک تشویق شده‌اند اطلاعات را همان‌طور با اعضای METR در میان بگذارند که با یکی از همکاران خود در زمینه خطرات مرتبط با هم‌سوسازی هوش مصنوعی به اشتراک می‌گذارند.
METR تحلیل خود از سطح خطرات، حوادث و رویه‌های انتروپیک را منتشر خواهد کرد. انتروپیک حق وتوی انتشار را ندارد، اما می‌تواند از METR بخواهد اطلاعاتی را که در دسته‌های از پیش تعیین‌شده قرار می‌گیرند، حذف یا پوشیده کند. تشخیص اینکه چه اطلاعاتی مشمول این دسته‌ها می‌شوند بر عهده انتروپیک است؛ بااین‌حال، METR همچنان حق دارد درباره میزان دسترسی و اطلاعاتی که دریافت کرده است، اظهارنظرهای مشخصی را علنی کند.
این شرکت تأکید می‌کند که دامنه این همکاری به‌دقت محدود شده است. تنها گروه کوچکی از اعضای METR در این پروژه فعالیت می‌کنند و توافق‌نامه‌های الزام‌آور بر کار آن‌ها حاکم است. سایر کارکنان METR، از جمله پژوهشگرانی که در پروژه‌های دیگری با انتروپیک همکاری دارند، از این فعالیت جدا نگه داشته می‌شوند. انتروپیک همچنین می‌گوید این سازوکار راهی برای دسترسی سایر سازمان‌ها به اطلاعات این شرکت یا مشتریان و شرکای آن نیست.
همکاری با METR بالاترین سطح از یک طرح سه‌مرحله‌ای است. در مرحله نخست، ارزیابان بررسی‌های محدود و مشخصی درباره خطرات انجام می‌دهند، انتروپیک میزان دسترسی آن‌ها را تعیین می‌کند و انتشار نتایج به تأیید شرکت نیاز دارد. در مرحله دوم، ارزیابان اطلاعات بیشتری دریافت می‌کنند و می‌توانند بدون کسب تأیید قبلی یافته‌هایشان را منتشر کنند؛ بااین‌حال، انتروپیک همچنان می‌تواند خواستار حذف اطلاعات متعلق به دسته‌های مشخصی شود. ارزیابان نیز اجازه دارند علناً اعلام کنند که آیا حذف اطلاعات را موجه می‌دانند یا خیر.
بررسی ایمنی و امنیت هوش مصنوعی انتروپیک به دست METR
در مطلب انتروپیک، برنامه کاری METR با جزئیات کامل تشریح نشده است؛ اما شرکت می‌گوید این گروه سطح خطرات، حوادث و رویه‌های آن را بررسی و یافته‌هایش را منتشر خواهد کرد. METR مأموریت خود را سنجش علمی این موضوع توصیف می‌کند که سامانه‌های هوش مصنوعی چه زمانی و چگونه ممکن است تهدیدی برای وارد آمدن آسیب فاجعه‌بار به جامعه باشند.
این دو مجموعه پیشینه همکاری با یکدیگر دارند. وب‌سایت METR به بررسی گزارش خطر خرابکاری انتروپیک درباره Claude Opus 4.6، اجرای آزمایش ردتیمینگ برای سامانه‌های داخلی پایش عامل‌های هوش مصنوعی انتروپیک و بررسی بخش پژوهش خودکار در گزارش ریسک فوریه این شرکت اشاره می‌کند.
ملاحظات امنیتی نقش مهمی در شکل‌گیری این توافق دارند. اعضای تیم METR باید از استانداردهای امنیتی انتروپیک پیروی کنند و برخی اطلاعات نیز به دلیل خطر افشا در اختیار آن‌ها قرار نمی‌گیرد. انتروپیک در پاورقی توضیح می‌دهد که ارزیابان ممکن است با شرکت‌های دیگری نیز همکاری کنند؛ بنابراین، برای جلوگیری از افشای ناخواسته اطلاعات احتیاط بیشتری به خرج می‌دهد و اطلاعات مربوط به معماری مدل‌ها را به‌ویژه حساس و پرخطر می‌داند.
پرسش‌های متداول
METR چیست؟
METR مخفف عبارت Model Evaluation and Threat Research است که نام آن مانند واژه انگلیسی «meter» تلفظ می‌شود. این مؤسسه پژوهشی غیرانتفاعی، اطلاعاتی درباره خطرات و توانایی‌های سامانه‌های پیشرفته هوش مصنوعی در اختیار عموم قرار می‌دهد.
METR به‌واسطه پژوهش‌هایش درباره افق زمانی وظایف شناخته شده است؛ پژوهش‌هایی که مدت‌زمان انجام وظایف مختلف به دست یک عامل هوش مصنوعی را اندازه‌گیری می‌کنند. این مؤسسه همچنین پلتفرم متن‌باز Hawk را برای اجرای ارزیابی عامل‌های هوش مصنوعی در مقیاس گسترده توسعه داده است. METR با OpenAI، انتروپیک، Google DeepMind، متا و آمازون برای اجرای آزمایشی ارزیابی خطرات مدل‌های پیشرفته همکاری کرده و می‌گوید بابت انجام ارزیابی‌های ریسک خود دستمزدی دریافت نمی‌کند.
METR چه چیزهایی را بررسی خواهد کرد؟
انتروپیک تنها اعلام کرده است که METR سطح خطرات، حوادث و رویه‌های این شرکت را بررسی می‌کند. بااین‌حال، METR در پیشنهادی که همین ماه درباره انجام ارزیابی در داخل شرکت‌های هوش مصنوعی منتشر کرده، برنامه گسترده‌تری را شرح داده است. در این پیشنهاد آمده که برای پاسخ‌گویی به سه پرسش، شواهد بهتری در اختیار عموم قرار گیرد.
پرسش نخست به هم‌سوسازی مربوط است؛ یعنی اینکه عامل‌های هوش مصنوعیِ هم‌سو‌نشده ممکن است چه اقداماتی انجام دهند و آیا فرایند آموزش می‌تواند نشانه‌های رفتارهای خطرناک‌تر را پنهان کند. پرسش دوم درباره کنترل است: آیا سامانه‌های پایش می‌توانند پیش از وقوع، آسیب‌های جدی را شناسایی کنند؟ پرسش سوم این است که آیا خودکارسازی پژوهش‌های هوش مصنوعی باعث افزایش سرعت پیشرفت قابلیت‌ها شده است، به‌گونه‌ای که تدابیر حفاظتی نتوانند هم‌پای آن پیش بروند. در خلاصه این پیشنهاد آمده است که METR این برنامه را داوطلبانه می‌داند؛ شرکت‌ها می‌توانند اطلاعاتی را حذف یا پوشیده کنند و این فرایند نه یک ممیزی ایمنی است و نه سازوکاری برای صدور مجوز یا جلوگیری از انتشار مدل‌ها.
چرا انتروپیک تحت بررسی قرار گرفته است؟
انتروپیک با تحقیقات قضایی یا نظارتی روبه‌رو نیست و در اطلاعیه این شرکت نیز به چنین تحقیقی اشاره نشده است. این همکاری داوطلبانه است و انتروپیک خود تصمیم گرفته آن را اجرا کند. شرکت می‌گوید می‌خواهد در برابر افکار عمومی پاسخ‌گو باشد، هرچند نمی‌تواند تمام جزئیات فعالیت‌های ایمنی خود را منتشر کند.
این شرکت همچنین به تعهدات اخیرش، از جمله توافق‌نامه کاخ سفید و وعده گسترش ارزیابی‌های مستقل، اشاره می‌کند. انتروپیک می‌گوید استقرار ارزیابان در داخل شرکت به‌صورت داوطلبانه انجام می‌شود و معتقد است همه شرکت‌های فعال در حوزه هوش مصنوعی پیشرفته باید همین کار را انجام دهند.