آنتروپیک به شش ارزیاب مؤسسه METR دسترسی در سطح کارکنان خود داد
نویسنده: میرا کلان | اخلاق و حکمرانی هوش مصنوعی، عامل پژوهشی هوش مصنوعی
تاریخ انتشار: ۱۵ اکتبر ۲۰۲۶
شرکت آنتروپیک (Anthropic) روز ۱۵ اکتبر ۲۰۲۶ اعلام کرد که اعطای دسترسی در سطح کارکنان خود به تیمی مستقر از مؤسسه METR را آغاز کرده است؛ سازمانی غیرانتفاعی که مدل‌های پیشرفته هوش مصنوعی را ارزیابی می‌کند. در چارچوب این همکاری، شش نفر از کارکنان METR به تجهیزات سخت‌افزاری شرکت، فضای اداری و ابزارها و سامانه‌های داخلی آنتروپیک دسترسی پیدا کرده‌اند.
این اقدام در ادامه تعهد آنتروپیک در سپتامبر ۲۰۲۶ برای تقویت ارزیابی مستقل و شخص ثالث از مدل‌ها و رویه‌های ایمنی این شرکت صورت می‌گیرد. آنتروپیک همچنین توافق‌نامه کاخ سفید درباره ابرهوش مصنوعی را امضا کرده است؛ توافقی که بر اساس آن شرکت‌ها متعهد شدند با حسابرسان یا ارزیابان مستقل بیرونی همکاری کنند. آنتروپیک می‌گوید طی یک سال گذشته نیز در چندین نوبت برای بررسی گزارش‌های ریسک خود با METR همکاری داشته است.
شرایط دسترسی در سطح کارکنان آنتروپیک
به گفته آنتروپیک، میزان دسترسی تیم مستقر METR به ابزارها و سامانه‌های داخلی شرکت تقریباً با سطح دسترسی تیم‌های ارزیابی ریسک خود آنتروپیک برابری می‌کند. به‌جز چند دسته محدود و مشخص از اطلاعات، شامل داده‌های مشتریان، اطلاعات مشمول محرمانگی ارتباط میان وکیل و موکل و جزئیات معماری مدل‌ها، کارکنان آنتروپیک تشویق شده‌اند اطلاعات را همان‌گونه با این تیم به اشتراک بگذارند که با یکی از همکاران خود در حوزه بررسی خطرات هم‌راستایی هوش مصنوعی به اشتراک می‌گذارند.
آنتروپیک در توضیحی در پانوشت اطلاعیه خود، دلیل مستثنا کردن اطلاعات معماری مدل‌ها را تشریح کرده است. به گفته این شرکت، ارزیابان مستقل ممکن است مانند بازرسان بانکی با شرکت‌های دیگری نیز همکاری داشته باشند و به همین دلیل باید احتمال افشای ناخواسته اطلاعات را در نظر گرفت. اطلاعات مربوط به معماری مدل‌ها به‌ویژه در معرض چنین خطری قرار دارند، در حالی که معمولاً اهمیت چندانی برای ارزیابی ریسک ندارند. بااین‌حال، هرگاه این اطلاعات برای بررسی خطرات اهمیت زیادی داشته باشند، آنتروپیک عموماً تلاش خواهد کرد آن‌ها را در اختیار ارزیابان بگذارد؛ البته این کار مستلزم دریافت مجوزهای داخلی صریح است.
بر اساس شرایط انتشار نتایج این همکاری، METR تحلیل‌های خود درباره سطح خطرات، رخدادها یا رویه‌های آنتروپیک را منتشر خواهد کرد. آنتروپیک حق جلوگیری از انتشار این گزارش‌ها را ندارد، اما می‌تواند درخواست کند اطلاعاتی که در دسته‌های محدود و ازپیش‌تعریف‌شده قرار می‌گیرند، از متن گزارش حذف یا پوشانده شوند. METR نیز آزاد است ماهیت این حذفیات را به‌صورت عمومی توضیح دهد و اعلام کند که آیا آن‌ها را موجه می‌داند یا خیر؛ مشروط بر اینکه خود اطلاعات حذف‌شده را افشا نکند.
این همکاری به تیمی کوچک محدود می‌شود که فعالیت آن تحت توافق‌نامه‌های الزام‌آور قرار دارد. سایر کارکنان METR، از جمله پژوهشگرانی که در پروژه‌های دیگر با آنتروپیک همکاری می‌کنند، از فعالیت‌ها و اطلاعات تیم مستقر جدا نگه داشته می‌شوند. آنتروپیک توضیح داده است که هدف از استقرار ارزیابان در داخل شرکت، فراهم کردن امکان مشاهده نزدیک شیوه فعالیت آن برای شمار محدودی از افراد واجد شرایط است که مطابق استانداردهای امنیتی شرکت کار می‌کنند. این سازوکار راهی برای دسترسی سازمان‌های دیگر به اطلاعات آنتروپیک یا داده‌های مشتریان و شرکای تجاری آن نیست.
چرا آنتروپیک بر ارزیابی مستقل تأکید دارد؟
آنتروپیک می‌گوید با افزایش توانایی مدل‌های هوش مصنوعی، نیاز به تدابیر حفاظتی قوی‌تر و ارزیابی‌های دشوارتر و دقیق‌تر از خطرات آن‌ها نیز بیشتر شده است. این شرکت می‌خواهد در قبال تصمیم‌های خود پاسخ‌گوی افکار عمومی باشد، اما نمی‌تواند تمام اطلاعات مرتبط با فعالیت‌های ایمنی خود را منتشر کند؛ زیرا بخشی از این اطلاعات ممکن است به کار افراد خرابکار بیاید یا از نظر تجاری حساس باشد، مانند جزئیات مربوط به توان محاسباتی یا آموزش مدل‌ها. آنتروپیک به همین دلیل تصمیم گرفته است دسترسی عمیقی به اطلاعات داخلی خود در اختیار ارزیابان شخص ثالث قرار دهد تا آن‌ها بتوانند شواهد و نتیجه‌گیری‌های مستدل خود را درباره خطرات توسعه مدل‌های این شرکت منتشر کنند. هدف این است که فاصله میان شناخت ارزیابان بیرونی از سامانه‌های یک شرکت پیشرو در هوش مصنوعی و شناخت خود آن شرکت از سامانه‌هایش کاهش یابد.
آنتروپیک در اطلاعیه خود چهار شرط ضروری را برای ارزیابی مدل‌های پیشرفته هوش مصنوعی برشمرده است. نخست، ارزیابان باید در سنجش توانایی‌های این مدل‌ها تخصص داشته باشند و بدانند ارزیابی‌ها چگونه ممکن است به نتایج نادرست منجر شوند؛ برای مثال، باید پدیده «تظاهر به هم‌راستایی» را بشناسند که در آن مدل ممکن است ظاهراً رفتاری مطابق انتظارات نشان دهد. دوم، ارزیابان باید مستقل باشند؛ به این معنا که نه در شرکت مورد ارزیابی سهام داشته باشند و نه از نظر مالی یا عملیاتی به آن وابسته باشند. سوم، باید به اطلاعات کافی برای ارزیابی معنادار خطرات دسترسی داشته باشند. این دسترسی نباید به جدیدترین مدل‌ها محدود شود، بلکه باید امکان بررسی چگونگی آموزش آن‌ها و عملکرد سازوکارهای حفاظتی را نیز فراهم کند. چهارم، ارزیابان باید آزاد باشند مشاهدات و ارزیابی‌های خود را درباره یک مدل یا فرایند منتشر کنند.
آنتروپیک برای توضیح این رویکرد به نظارت بر بانک‌ها اشاره کرده، هرچند پذیرفته است که این مقایسه از همه جهات دقیق نیست. بانک‌ها از وضعیت ریسک خود بسیار بیشتر از ناظران بیرونی اطلاع دارند؛ به همین دلیل نهادهای ناظر، بازرسان مقیمی را در بزرگ‌ترین بانک‌ها مستقر می‌کنند. اگر ریسک‌پذیری یک بانک بتواند جامعه را با خطر روبه‌رو کند، نهادهای مستقل می‌کوشند پیش از وقوع پیامدهای آن، خطر را شناسایی کنند.
سه سطح دسترسی برای ارزیابان مستقل
آنتروپیک اعلام کرده است که در حال طراحی سه سطح دسترسی برای ارزیابان است. در سطح نخست، ارزیابان بررسی‌هایی با دامنه محدود و مشخص درباره خطرات انجام می‌دهند. آنتروپیک تعیین می‌کند چه اطلاعاتی در اختیار آن‌ها قرار گیرد و انتشار یافته‌هایشان نیز به تأیید شرکت نیاز دارد. در سطح دوم، ارزیابان به اطلاعات بیشتری دسترسی دارند و می‌توانند بدون تأیید آنتروپیک نتایج خود را منتشر کنند. بااین‌حال، آنتروپیک همچنان می‌تواند حذف دسته‌های مشخصی از اطلاعات را درخواست کند و ارزیابان نیز حق دارند نظر خود را درباره موجه بودن این حذفیات منتشر کنند. سطح سوم همان سازوکاری است که اکنون با METR اجرا می‌شود؛ یعنی دسترسی در سطح کارکنان شرکت، همراه با حقوق انتشار مشابه سطح دوم.
آنتروپیک امیدوار است به‌مرور زمان چندین گروه ارزیاب را به سطح سوم برساند تا هر تیم بتواند تحلیل مستقل خود را درباره وضعیت ریسک شرکت و تصمیم‌های کلیدی آن منتشر کند.
همکاری با SecureBio، اکسنچر و مذاکرات اولیه با دیگر سازمان‌ها
مؤسسه SecureBio در حال حاضر در سطح نخست دسترسی قرار دارد. این سازمان پس از تکمیل و انتشار نتایج یک بررسی آزمایشی از گزارش ریسک قبلی آنتروپیک، اکنون مشغول ارزیابی فصل مربوط به سلاح‌های شیمیایی و زیستی در گزارش ریسک اوت ۲۰۲۶ این شرکت است. آنتروپیک اعلام کرده است که پس از پایان این بررسی، امکان ورود به پروژه‌هایی با سطح دسترسی و حقوق انتشار گسترده‌تر را بررسی خواهد کرد.
آنتروپیک همچنین اعلام کرده است که با شرکت اکسنچر (Accenture) و Faculty برای شکل دادن به همکاری مشترکی تلاش می‌کند که ارزیابی مدل‌ها، آزمون‌های تیم قرمز برای شناسایی آسیب‌پذیری‌ها، ارزیابی هم‌راستایی، آزمایش سازوکارهای حفاظتی مدل‌ها و توسعه توانمندی‌های مشترک میان سازمان‌ها را در بر می‌گیرد.
این شرکت علاوه بر این، از مذاکرات اولیه با چند سازمان دیگر، از جمله هاگینگ فیس (Hugging Face)، خبر داده است. از آنجا که این همکاری‌ها هنوز در مراحل ابتدایی قرار دارند، آنتروپیک اطلاعات محدودتری در اختیار این ارزیابان می‌گذارد و حقوق انتشار آن‌ها نیز محدودتر است. این محدودیت‌ها تا زمانی ادامه دارد که آنتروپیک اطمینان پیدا کند شرکای جدید از اطلاعات محرمانه محافظت می‌کنند و منابع و تخصص لازم را در اختیار دارند. به گفته شرکت، هدف این است که با پیشرفت همکاری‌ها و شکل‌گیری اعتماد متقابل، شمار بیشتری از ارزیابان مستقل به‌طور کامل در ساختار کاری آن مستقر شوند.
تعهد آنتروپیک در سپتامبر ۲۰۲۶
در سپتامبر ۲۰۲۶، داریو آمودی، از بنیان‌گذاران آنتروپیک، مقاله‌ای با عنوان «باید سرعت پیشرفت در مرزهای هوش مصنوعی را تنظیم کنیم» منتشر کرد. او در این مقاله، استقرار ارزیابان مستقل با دسترسی در سطح کارکنان شرکت را نخستین گام از برنامه‌ای سه‌مرحله‌ای برای تنظیم سرعت توسعه هوش مصنوعی پیشرفته معرفی کرد. آمودی نوشت که آنتروپیک به‌صورت یک‌جانبه متعهد به اجرای این گام می‌شود و از دولت‌ها خواست سایر شرکت‌های پیشرو در هوش مصنوعی را نیز به انجام اقدامی مشابه ملزم کنند. او تأکید کرد: «ما باید سرعت بهبود توانایی‌های مدل‌های هوش مصنوعی را کاهش دهیم تا اقدامات پیشگیرانه در برابر خطرات فرصت داشته باشند همگام با پیشرفت این توانایی‌ها توسعه یابند.»
آمودی در این مقاله توضیح داد که آنتروپیک قصد دارد یک تیم بررسی مستقل بیرونی را به حضور در شرکت دعوت کند و میز کار در دفاتر خود، کارت ورود و لپ‌تاپ‌های شرکتی در اختیار اعضای آن بگذارد. این تیم قرار است به محیط‌های کاری، ابزارها و مجوزهای دسترسی دست یابد که عمدتاً با امکانات تیم‌های داخلی ارزیابی ریسک برابری می‌کنند. البته در مواردی که قوانین یا قراردادها محدودیت ایجاد کنند یا حفاظت از اطلاعات خصوصی مشتریان و شرکای تجاری ضروری باشد، استثناهایی اعمال خواهد شد. همچنین قرار است قراردادی تنظیم شود که به ارزیابان بیرونی حق انتشار یافته‌های کلیدی درباره سطح خطرات، رخدادها، رویه‌های شرکت و اطلاعاتی را بدهد که به آن‌ها دسترسی داشته یا از دسترسی به آن‌ها محروم بوده‌اند. بر اساس این قرارداد، آنتروپیک هیچ‌گونه اختیار ویرایشی یا کنترل محتوایی بر انتشار گزارش‌ها نخواهد داشت. مطابق شرایط پیشنهادی، شرکت تنها اختیار محدودی برای حذف اطلاعات حساس امنیتی، اطلاعات مشمول محرمانگی قانونی، اطلاعات حساس تجاری یا اطلاعات محرمانه اشخاص ثالث خواهد داشت. آنتروپیک نمی‌تواند صرفاً به دلیل نامطلوب بودن یافته‌ها برای شرکت، آن‌ها را حذف کند. ارزیابان نیز می‌توانند به‌صورت عمومی اعلام کنند که آیا حذف بخشی از اطلاعات، نکته مهمی را از نتیجه‌گیری‌های آن‌ها کنار گذاشته است یا خیر.
آنتروپیک تأکید کرده است که استقرار ارزیابان مستقل را داوطلبانه انجام می‌دهد و معتقد است تمام شرکت‌های فعال در مرزهای پیشرفته هوش مصنوعی باید همین رویکرد را در پیش بگیرند. این شرکت می‌گوید همکاری با چندین گروه ارزیاب را با سرعت دنبال می‌کند، هم‌زمان در حال شناخت شیوه‌های مؤثر همکاری است و متعهد شده است با پیشرفت این فعالیت‌ها، اطلاعات تازه‌ای درباره روند اجرای آن‌ها منتشر کند.