آنتروپیک و اوپن‌ای‌آی درباره حقوق انتشار گزارش‌های مستقل ایمنی هوش مصنوعی مذاکره می‌کنند
گزارش‌ها حاکی از آن است که آنتروپیک و اوپن‌ای‌آی درباره این موضوع با ارزیاب‌های مستقل ایمنی هوش مصنوعی مذاکره می‌کنند که این ارزیاب‌ها چه اطلاعاتی را می‌توانند منتشر کنند. شرایط این توافق‌ها می‌تواند بر میزان آگاهی عمومی از خطرات هوش مصنوعی تأثیر بگذارد.
بر اساس گزارش رویترز، آنتروپیک و اوپن‌ای‌آی با بررسی‌کنندگان خارجی ایمنی هوش مصنوعی درباره حدود و شرایط انتشار یافته‌های آن‌ها مذاکره می‌کنند. این شرایط می‌تواند بر اطلاعاتی که مردم درباره خطرات هوش مصنوعی دریافت می‌کنند اثر بگذارد؛ زیرا ارزیاب‌ها برای بررسی ادعاهای شرکت‌ها درباره ایمنی به دسترسی داخلی نیاز دارند و شرکت‌ها نیز در مقابل خواهان حفاظت از اطلاعات محرمانه هستند.
دو فرد مطلع از این مذاکرات به رویترز گفتند که هر دو شرکت تا پنجم اکتبر خواستار کنترل‌های سخت‌گیرانه بر انتشار گزارش‌ها بودند و نگرانی درباره افشای اسرار تجاری را دلیل این رویکرد عنوان کردند. یکی از این افراد گفت برخی گفت‌وگوهای آنتروپیک تا هشتم اکتبر تغییراتی داشته است.
ارزیاب‌ها با دسترسی داخلی چه چیزهایی را بررسی می‌کنند
در ماه سپتامبر، داریو آمودی، مدیرعامل آنتروپیک، پیشنهاد کرد ارزیاب‌های مستقل به داخل آزمایشگاه‌های هوش مصنوعی وارد شوند تا میزان پایبندی شرکت‌ها به تعهداتشان در زمینه آموزش، استقرار و ایمنی را بررسی کنند. این ارزیاب‌های مستقر در شرکت‌ها به ابزارهای داخلی مرتبط دسترسی خواهند داشت و می‌توانند با کارکنان گفت‌وگو کنند؛ روشی که فراتر از آزمایش صرف یک مدل نهایی است.
چنین دسترسی‌ای به افراد خارج از شرکت اجازه می‌دهد روند توسعه مدل را بررسی کنند و بسنجند آیا توضیحات عمومی شرکت‌ها با رویه‌های داخلی آن‌ها مطابقت دارد یا نه. آدام گلیو، مدیرعامل گروه ایمنی هوش مصنوعی FAR.AI، در مصاحبه‌ای در سپتامبر پیشنهاد کرد که نسخه‌های میانی مدل‌ها با یکدیگر مقایسه شوند، محیط‌های آموزشی بررسی شوند و با کارکنان گفت‌وگو صورت گیرد. او همچنین گفت FAR.AI قراردادهایی را که کنترل بیش از حدی در اختیار توسعه‌دهندگان قرار می‌دادند نپذیرفته است و توافق‌های محرمانگی و محدودیت‌های انتشار را تهدیدی برای استقلال ارزیاب‌ها می‌داند.
جان استیدلی، رئیس کارکنان Palisade Research، در همان مصاحبه‌ها دلیلی برای بررسی سوابق آموزش مدل‌ها مطرح کرد: آموزش یک مدل با آزمون‌های خاص باعث می‌شود عملکرد بعدی آن در همان معیارها تحت تأثیر قرار گیرد. موفقیت در یک آزمون ایمنی ممکن است فقط نتیجه یادگیری خود آزمون باشد.
مدل‌هایی که متوجه شوند در حال ارزیابی هستند، ممکن است در شرایط آزمایش رفتار مناسبی نشان دهند، در حالی که مشکلات واقعی همچنان پنهان بمانند. برخی پژوهشگران معتقدند تاریخچه آموزش مدل‌ها می‌تواند نشانه‌هایی را آشکار کند که در آزمایش مدل نهایی دیده نمی‌شوند.
طرح همکاری آنتروپیک با Accenture در ۱۸ سپتامبر نیز این رویکرد را در یک چارچوب تجاری مطرح می‌کند. شرکت Faculty، بخش تخصصی هوش مصنوعی Accenture، ارزیابی‌ها، آزمایش‌های خصمانه و بررسی سازوکارهای حفاظتی مدل‌ها را هدایت خواهد کرد. آنتروپیک مستقیماً هزینه این کار را تأمین می‌کند و هر شرکت انتظار دارد طی پنج سال دست‌کم یک میلیارد دلار در ظرفیت‌های ارزیابی سرمایه‌گذاری کند. آنتروپیک تجربه Accenture در استقرار هوش مصنوعی برای کسب‌وکارها را دلیل انتخاب این شرکت اعلام کرده است.
مارک وارنر، مدیرعامل Faculty، به رویترز گفت گزارش‌های ارزیاب‌ها تنها زمانی ارزشمند هستند که نتیجه‌گیری‌های آن‌ها مورد اعتماد قرار گیرد. اعلامیه آنتروپیک همچنین به گفت‌وگو با گروه ارزیابی هوش مصنوعی METR درباره طرح‌های آزمایشی غیرانتفاعی با بودجه مستقل اشاره می‌کند؛ روشی متفاوت از همکاری مستقیمی که آنتروپیک هزینه آن را پرداخت می‌کند.
چه کسی کنترل انتشار گزارش‌ها را در اختیار دارد
آنتروپیک به رویترز گفت ارزیاب‌هایی که پیش‌تر با این شرکت همکاری کرده‌اند، کنترل روش‌ها، معیارهای ارزیابی، نتیجه‌گیری‌ها و انتشار گزارش‌های خود را در اختیار داشته‌اند. اما برای شرکت‌های جدید، آنتروپیک حق اظهارنظر و تأیید گزارش‌ها را تا زمانی که آن‌ها با مدل‌هایش آشنا شوند و رابطه کاری شکل بگیرد، برای خود محفوظ می‌داند.
پیشنهاد ماه سپتامبر آمودی وعده انتشار یافته‌های مهم درباره خطرات، حوادث و دسترسی‌ها را بدون کنترل تحریریه آنتروپیک داده بود؛ هرچند حذف‌های محدود برای حفظ محرمانگی و امنیت مجاز خواهد بود. این پیشنهاد همچنین می‌گفت حذف‌های مهم می‌توانند افشا شوند و صرفاً نامطلوب بودن یک یافته دلیل کافی برای حذف آن نخواهد بود.
اوپن‌ای‌آی اعلام کرد اختیار نظارتی خود را فقط برای حذف اطلاعات محرمانه به کار می‌گیرد و رد کرد که خواهان تأیید گزارش‌های کامل ایمنی پیش از انتشار باشد. این شرکت همچنین گفت ارزیاب‌ها می‌توانند حذف‌های مهم را افشا کنند. با این حال، قراردادی که رویترز بررسی کرده بود، انتشار اطلاعات محرمانه بدون رضایت شرکت را ممنوع می‌کرد.
یکی از منابع رویترز گفت اقداماتی که در دست بررسی است شامل حضور کارکنان آزمایشگاه در کنار تیم‌های ارزیابی مستقر و جلوگیری از همکاری هم‌زمان ارزیاب‌های یک آزمایشگاه با آزمایشگاه دیگر برای پیشگیری از نشت مالکیت فکری است. فرد دیگری که پیش‌تر با یک آزمایشگاه همکاری داشته، گفت مالکیت فکری ممکن است با اطلاعات مرتبط با خطرات هوش مصنوعی هم‌پوشانی داشته باشد. رومان چودری، مدیرعامل شرکت ارزیابی Humane Intelligence PBC، استدلال کرد که وابستگی ارزیاب‌ها به دسترسی ویژه، اهرمی در اختیار شرکت‌های میزبان برای کنترل انتشار قرار می‌دهد.
یک بررسی نشان می‌دهد دسترسی و افشا چه تعادلی نیاز دارند
پس از آنکه اوپن‌ای‌آی نفوذ ماه ژوئیه به پلتفرم توسعه هوش مصنوعی Hugging Face را به فرار عامل‌های هوش مصنوعی خود نسبت داد، کلمن دلاونگ، مدیرعامل Hugging Face، خواستار دریافت گزارش‌های ثبت‌شده از اقدامات این عامل‌ها برای پژوهشگران ایمنی شد. همان‌طور که بعداً توسط METR منتشر شد، یک تیم خارجی به شواهد داخلی اوپن‌ای‌آی دسترسی پیدا کرد و درباره نحوه ارائه عمومی آن مذاکره کرد.
پژوهشگران METR، هالمار ویک و آجییا کوترا، با رایان گرینبلات از Redwood Research که با METR قرارداد داشت، همکاری کردند. بررسی آن‌ها بر رفتار و استدلال عامل‌ها در بازه مورد توافق ۲۶ ژوئن تا ۱۳ ژوئیه متمرکز بود. اوپن‌ای‌آی سوابق و دسترسی به کارکنان را فراهم کرد، اما محققان امکان بررسی مستقیم زیرساخت شرکت یا پرس‌وجوی مدل اصلی مورد بررسی را نداشتند. یک بازدید دو روزه برنامه‌ریزی‌شده پس از نگرانی درباره ناقص بودن داده‌ها، به شش روز کار حضوری افزایش یافت.
اوپن‌ای‌آی اجازه داشت اطلاعات غیرعمومی را از گزارش حذف کند. نسخه خصوصی گزارش شامل بیش از ۱۰۰ نمونه خام از استدلال مدل بود، اما اوپن‌ای‌آی به دلایل مربوط به مالکیت فکری نسخه عمومی را به ۳۰ نمونه محدود کرد و نویسندگان ناچار شدند از بازنویسی و خلاصه‌سازی استفاده کنند. در نتیجه، خوانندگان تحلیل محققان را با دسترسی کمتر به متن اصلی مدل دریافت کردند.
نویسندگان همچنین بازخوردهایی درباره ساختار، تأکیدها و لحن گزارش پذیرفتند. آن‌ها گفتند برخی مصالحه‌های نگارشی با هدف جلوگیری از دلسرد شدن تحقیقات داوطلبانه آینده درباره حوادث انجام شده، اما بر نتیجه‌گیری‌های اصلی خود تأکید کردند. آن‌ها دسترسی غیرمعمول به متن‌های ثبت‌شده و همکاری کارکنان را ارزشمند دانستند و گفتند بررسی زودهنگام توسط طرف‌های خارجی اهمیت دارد.
اوپن‌ای‌آی به جای پرداخت هزینه ارزیابی، اعتبار رایگان API برای استفاده از مدل‌ها در اختیار محققان قرار داد. نویسندگان تخمین زدند که در طول بررسی حدود ۴۰۰ هزار دلار از این اعتبار استفاده کرده‌اند. دامنه توافق‌شده این تحقیق شامل ارزیابی اثربخشی سازوکارهای حفاظتی، میزان نفوذ و اقدامات اصلاحی نبود.
ارزیاب‌ها فراتر از دسترسی، خواهان حمایت هستند
نامه عمومی انجمن ارزیاب‌های هوش مصنوعی از ماه سپتامبر از آزمایشگاه‌های پیشرفته هوش مصنوعی خواسته است ارزیاب‌ها را با تضمین‌های مشخص استقلال در داخل شرکت‌ها مستقر کنند. در ۱۳ اکتبر، این صفحه بیش از ۲۰۰ امضاکننده را نشان می‌داد که از جمله آن‌ها می‌توان به دانشمندان علوم رایانه، جفری هینتون و استوارت راسل اشاره کرد.
بر اساس این درخواست، ارزیاب‌ها باید کنترل کامل روش‌ها و گزارش‌های خود را حفظ کنند و هرگونه تضاد منافع را نیز اعلام کنند. امضاکنندگان خواستار ارتباط مستقیم با هیئت‌مدیره شرکت‌ها و ارائه شواهد عمومی هستند؛ البته با حذف‌های موقت برای حفاظت از منافع حیاتی مرتبط با حریم خصوصی، امنیت، مالکیت فکری و ایمنی عمومی.
این نامه همچنین خواستار استقلال ارزیاب‌ها از مالکیت آزمایشگاه‌ها و روابط تجاری گسترده خارج از حوزه ارزیابی شده و حمایت در برابر شکایت قضایی، اقدامات تلافی‌جویانه و ناامنی مالی در صورت ناخوشایند بودن یافته‌ها برای شرکت میزبان را درخواست کرده است.
هنری پاپاداتوس، مدیر گروه ایمنی هوش مصنوعی Safer AI، در مصاحبه‌ها استدلال کرد که حمایت‌های داوطلبانه به حسن نیت شرکت‌ها وابسته است و این وضعیت ممکن است در شرایط بحران‌های اعتباری به سرعت تغییر کند.