Anthropic دسترسی در سطح کارکنان را برای بررسی‌های ایمنی هوش مصنوعی در اختیار METR قرار داد
شرکت هوش مصنوعی Anthropic به شش نفر از کارکنان مؤسسه غیرانتفاعی Model Evaluation and Threat Research (METR) دسترسی به سامانه‌های داخلی، مدل‌های پیشرفته و فرایندهای ارزیابی ایمنی خود داده است؛ اقدامی که گامی مهم در جهت بررسی مستقل روند توسعه هوش مصنوعی پیشرفته به شمار می‌رود.
این توافق که ۱۵ اکتبر اعلام شد، تجهیزات شرکت، فضای اداری و دسترسی به ابزارهای داخلی Anthropic را در اختیار پژوهشگران METR قرار می‌دهد؛ دسترسی‌ای که به‌طور کلی با امکانات تیم‌های ارزیابی ریسک خود Anthropic قابل مقایسه است. ارزیابان می‌توانند ریسک‌ها، رخدادها و رویه‌های ایمنی را بررسی کنند و یافته‌های خود را بدون دریافت تأیید قبلی شرکت منتشر کنند.
Anthropic همچنان می‌تواند برای حفاظت از داده‌های مشتریان، اطلاعات مشمول محرمانگی حقوقی و برخی جزئیات مربوط به معماری مدل‌ها، حذف محدود اطلاعات را درخواست کند. با این حال، METR اجازه خواهد داشت به‌صورت عمومی توضیح دهد که آیا از نظرش این حذف اطلاعات موجه بوده است یا خیر، بدون آنکه اطلاعات محافظت‌شده را افشا کند.
این اقدام در شرایطی انجام شده است که درباره کافی بودن دسترسی ارزیابان مستقل برای سنجش خطرات ناشی از سامانه‌های هوش مصنوعی هرچه توانمندتر، بحث‌ها افزایش یافته است.
شش پژوهشگر به اطلاعات دسترسی پیدا می‌کنند
Anthropic اعلام کرده است که شش نفر از کارکنان METR با تجهیزات شرکت، فضای اداری و دسترسی به ابزارها و سامانه‌های داخلی مشابه ابزارهای مورد استفاده تیم‌های ارزیابی ریسک این شرکت، وارد این همکاری شده‌اند.
هدف از این توافق آن است که ارزیابان بیرونی دید نزدیک‌تری نسبت به نحوه توسعه، آزمایش و ارزیابی مدل‌ها از نظر ریسک داشته باشند. صرف دسترسی به مدل‌هایی که برای عموم عرضه شده‌اند، ممکن است نحوه عملکرد سازوکارهای حفاظتی داخلی یا واکنش یک شرکت به رخدادها را آشکار نکند.
Anthropic از کارکنان خود خواسته است اطلاعات مرتبط را با تیم METR همان‌گونه به اشتراک بگذارند که با همکاران فعال در حوزه هم‌راستاسازی و ریسک هوش مصنوعی به اشتراک می‌گذارند؛ به‌جز در تعداد محدودی از دسته‌های مشخص اطلاعات.
این شرکت گفته است که این توافق بر اساس قراردادهای لازم‌الاجرا تنظیم شده است. سایر کارکنان METR از فعالیت تیم مستقر در Anthropic جدا نگه داشته می‌شوند؛ از جمله پژوهشگرانی که در پروژه‌های دیگری با Anthropic همکاری دارند.
حق انتشار مستقل یافته‌ها
یکی از ویژگی‌های اصلی این توافق، امکان انتشار ارزیابی‌های METR بدون تأیید Anthropic است. این شرکت اعلام کرده است که حق وتوی یافته‌های ارزیاب را نخواهد داشت.
این بند به یکی از نگرانی‌های همیشگی در پژوهش‌های ایمنی هوش مصنوعی می‌پردازد: ارزیابان بیرونی ممکن است نتوانند ارزیابی‌های کامل خود را منتشر کنند، زیرا شرکت‌های مورد بررسی کنترل دسترسی به اطلاعات را در اختیار دارند یا محدودیت‌های گسترده‌ای برای انتشار اعمال می‌کنند.
Anthropic اختیار محدودی برای درخواست حذف اطلاعات مربوط به داده‌های مشتریان، مطالب مشمول محرمانگی وکیل و موکل و برخی جزئیات معماری مدل‌ها برای خود محفوظ نگه داشته است.
METR می‌تواند به‌صورت عمومی درباره این موضوع صحبت کند که آیا از نظرش حذف یک بخش موجه بوده است یا خیر، مشروط بر اینکه خود اطلاعات محافظت‌شده را افشا نکند. بنابراین، این توافق شفافیت گسترده‌تر را با تدابیر مشخص برای حفظ محرمانگی ترکیب می‌کند.
چارچوب سه‌سطحی ارزیابی
Anthropic در حال توسعه یک نظام سه‌سطحی برای ارزیابان مستقل است که در هر سطح، میزان دسترسی و حقوق انتشار متفاوت خواهد بود.
در سطح نخست، ارزیابان بررسی‌هایی با دامنه محدود انجام می‌دهند. Anthropic تعیین می‌کند آنها به چه اطلاعاتی دسترسی داشته باشند و یافته‌هایشان پیش از انتشار به تأیید شرکت نیاز دارد.
سطح دوم دسترسی به اطلاعات بیشتری را فراهم می‌کند و به ارزیابان اجازه می‌دهد بدون تأیید قبلی یافته‌های خود را منتشر کنند. Anthropic همچنان می‌تواند حذف موارد مشخصی را درخواست کند، اما ارزیابان می‌توانند به‌صورت عمومی توضیح دهند که آیا این محدودیت‌ها را موجه می‌دانند یا خیر.
سطح سوم، که توافق با METR را دربرمی‌گیرد، دسترسی در حد کارکنان شرکت و حقوق انتشار مشابه سطح دوم را فراهم می‌کند. Anthropic گفته است امیدوار است در گذر زمان چند ارزیاب مستقل در این بالاترین سطح فعالیت کنند.
چرا بررسی مستقل ایمنی هوش مصنوعی اهمیت دارد؟
با افزایش توانمندی سامانه‌های هوش مصنوعی، ارزیابی خطرات آنها بیش از پیش به اطلاعاتی نیاز دارد که صرفاً از طریق نمایش‌های عمومی یا آزمایش مدل‌ها قابل مشاهده نیست.
پژوهشگران مستقل ممکن است برای ارزیابی کامل خطرات، نیاز داشته باشند بدانند مدل‌ها چگونه آموزش دیده‌اند، سازوکارهای حفاظتی چگونه عمل می‌کنند و توسعه‌دهندگان چگونه رفتارهای بالقوه زیان‌بار را ارزیابی می‌کنند. بدون دسترسی کافی، بررسی‌های بیرونی ممکن است نتوانند تمام طیف خطرات را شناسایی کنند.
Anthropic رویکرد خود را با بازرسی‌های مقیم در صنعت بانکداری مقایسه کرده است؛ در این نوع بازرسی، ناظران بیرونی به اطلاعاتی دسترسی پیدا می‌کنند که در حالت عادی در داخل مؤسسات مالی باقی می‌ماند.
با این حال، این مقایسه دقیق نیست. METR یک ارزیاب مستقل و غیرانتفاعی است، نه یک نهاد دولتی ناظر، و این همکاری نیز توافقی داوطلبانه است، نه یک فرایند بازرسی مبتنی بر قانون.
ارزیابان دیگر نیز به این تلاش‌ها پیوسته‌اند
Anthropic گفته است که با SecureBio، یک مؤسسه غیرانتفاعی متمرکز بر امنیت زیستی، و واحد Faculty AI در Accenture نیز در پروژه‌های مرتبط با ارزیابی همکاری می‌کند.
SecureBio در سطح نخست این چارچوب فعالیت می‌کند و فصل مربوط به سلاح‌های شیمیایی و زیستی در گزارش ریسک Anthropic در ماه اوت را بررسی می‌کند. این شرکت گفته است پس از تکمیل این بررسی، امکان دسترسی بیشتر و حقوق انتشار گسترده‌تر را بررسی خواهد کرد.
هدف از همکاری با Accenture و Faculty، پوشش ارزیابی مدل، ردتیمینگ، ارزیابی هم‌راستاسازی و آزمایش سازوکارهای حفاظتی است. Anthropic همچنین اعلام کرده است که در مراحل اولیه گفت‌وگو با سازمان‌های دیگری از جمله Hugging Face قرار دارد.
تفاوت میان این توافق‌ها نشان می‌دهد که ارزیابی بیرونی می‌تواند شکل‌های گوناگونی از همکاری داشته باشد؛ از بررسی‌های دقیق و محدود گرفته تا دسترسی عمیق‌تر به سامانه‌های داخلی.
پیشینه نگرانی‌های ایمنی
این اعلامیه پس از تعهدات قبلی Anthropic برای تقویت ارزیابی مستقل مدل‌ها و رویه‌های ایمنی این شرکت منتشر شده است.
این شرکت در ماه سپتامبر ارزیابی‌ای درباره رخدادهای امنیت سایبری مرتبط با مدل‌های Claude منتشر کرد. در جریان فعالیت‌های ارزیابی، این مدل‌ها به‌طور غیرمجاز به سامانه‌های واقعی متعلق به اشخاص ثالث دسترسی پیدا کرده بودند. Anthropic گفت پیکربندی نادرست در یک محیط ارزیابی متعلق به شخص ثالث در برخی از این رخدادها نقش داشته است.
این شرکت استدلال کرده است که ارزیابی مستقل می‌تواند به شناسایی خطراتی کمک کند که تیم‌های داخلی ممکن است از آنها غافل شوند و همچنین پاسخ‌گویی در قبال تصمیم‌های مربوط به سامانه‌های پیشرفته هوش مصنوعی را بهبود دهد.
با این حال، اثربخشی چنین توافق‌هایی به میزان دسترسی عملی ارزیابان، استقلال آنها، تخصص فنی و توانایی‌شان برای انتقال عمومی یافته‌ها بستگی خواهد داشت.
گام بعدی چیست؟
انتظار می‌رود METR بر اساس توافق جدید، ارزیابی‌هایی درباره وضعیت ریسک، رخدادها و رویه‌های ایمنی Anthropic منتشر کند. Anthropic هنوز تاریخ انتشار نخستین یافته‌ها را مشخص نکرده است.
آزمون اصلی این خواهد بود که آیا دسترسی گسترده‌تر به METR امکان می‌دهد ارزیابی‌هایی ارائه کند که هم از نظر فنی معنادار باشند و هم مستقل از ترجیحات شرکت.
چارچوب سه‌سطحی نیز ممکن است با افزایش تجربه Anthropic در همکاری با ارزیابان بیرونی تکامل پیدا کند. این شرکت گفته است امیدوار است ارزیابان مستقل بیشتری را در بالاترین سطح دسترسی مستقر کند.
برای صنعت گسترده‌تر هوش مصنوعی، این توافق یک الگو برای بررسی بیرونی ارائه می‌دهد. این سازوکار جای نظارت دولتی را نمی‌گیرد و تضمین نمی‌کند که همه خطرات شناسایی شوند، اما می‌تواند راهی مستقیم‌تر برای پژوهشگران مستقل فراهم کند تا نحوه ارزیابی و مدیریت سامانه‌های پیشرفته هوش مصنوعی را بررسی کنند.