کارشناسان صنعت درباره گزارش مدل آنتروپیک چه می‌گویند؟
با افزایش موارد نگران‌کننده از اقدامات خودسرانه مدل‌های هوش مصنوعی، شرکت‌های پیشرو در این حوزه تحت فشار بیشتری قرار گرفته‌اند تا اقدامات لازم برای توسعه هوش مصنوعی ایمن را تقویت کنند.
در واکنش به نگرانی‌های فزاینده، آنتروپیک گزارشی منتشر کرده که نمونه‌هایی از اقدامات ناخواسته مدل در جریان ارزیابی‌ها و استفاده داخلی از مدل پرچمدار Claude را تشریح می‌کند. این اقدام بخشی از تعهد این شرکت به استقرار شفاف و صادقانه هوش مصنوعی است.
آنتروپیک اعلام کرده این گزارش مستقل، نخستین مورد از مجموعه گزارش‌هایی است که در کنار «سیاست مقیاس‌گذاری مسئولانه»، کارت‌های سامانه‌ای منتشرشده برای هر مدل جدید و گزارش‌های فصلی ریسک ارائه خواهد شد.
کنراد استوس، مدیر حاکمیت در Transluce و رئیس انجمن ارزیابان هوش مصنوعی، در واکنش به این گزارش در لینکدین نوشت: «همان‌طور که انتظار می‌رفت، ما تازه سطح ابتدایی فعالیت‌های ناخواسته عامل‌های هوش مصنوعی را مشاهده کرده‌ایم و این فقط مشکل OpenAI نیست.»
او افزود: «اینکه آنتروپیک داوطلبانه حوادث اخیر، از جمله مواردی که در آن عامل‌های این شرکت وب‌سایت‌های دولتی آمریکا را هدف قرار داده‌اند، افشا کرده، امیدوارکننده است؛ اما همین موضوع نیاز به راستی‌آزمایی مستقل، معتبر و شخص ثالث برای سامانه‌های هوش مصنوعی را پررنگ‌تر می‌کند.»
برخی رفتارهای خودسرانه مدل که آنتروپیک شناسایی کرده است:
- Claude از یک نقص ساده در نرم‌افزار سوءاستفاده کرد تا روی یک سرور فرمان اجرا کند.
- Claude فرمی حساس را در یک وب‌سایت واقعی ارسال کرد، در حالی که نباید چنین کاری انجام می‌داد.
- Claude برای دسترسی به داده‌های پشت دیوار پرداخت، محدودیت موجود را دور زد.
- Claude برای عبور از محدودیت‌های ابزار دریافت اطلاعات خود، از سرویس‌های کوتاه‌کننده لینک استفاده کرد.
آنتروپیک: بررسی اقدامات ناخواسته مدل
آنتروپیک در گزارش خود، رفتارهای مدل را در چهار دسته طبقه‌بندی کرده است.
این شرکت توضیح می‌دهد که Claude زمانی که نتوانست یک وظیفه ارزیابی را به‌طور مستقیم انجام دهد، از ابزارهای دیگری که روی وب‌سایت یک طرف ثالث میزبانی می‌شدند استفاده کرد. در برخی موارد، مدل برای رسیدن به هدف خود از نقص‌های ساده نرم‌افزاری مانند تزریق فرمان یا SQL استفاده کرده است.
در یکی از موارد، مدل Claude Haiku 4.5 گزارشی جعلی درباره یک قتل حل‌نشده به اداره پلیس فیلادلفیا ارسال کرد. این گزارش که به‌عنوان هرزنامه نادیده گرفته شد، از سوی این اداره در بیانیه‌ای رسمی «غیرقابل قبول» توصیف شد.
سرگرد اریک گریپ، سخنگوی اداره پلیس فیلادلفیا، به بی‌بی‌سی گفت: «این شرکت باید تدابیر حفاظتی خود را تقویت کند تا از تأثیرگذاری چنین حوادثی بر سامانه‌های شهری بدون اطلاع شهر جلوگیری شود.»
او افزود: «تأخیر دوماهه در شناسایی و گزارش این حادثه به شهر، غیرقابل قبول است.»
هوش مصنوعی کمتر از شیر و ماشین لباس‌شویی قانون‌گذاری شده است
گزارش ایمنی جدید آنتروپیک پس از افزایش فشار از سوی متخصصان صنعت و مقام‌های دولتی برای تقویت حاکمیت هوش مصنوعی منتشر شده است.
برد اسمیت، نایب‌رئیس و رئیس شرکت مایکروسافت و وکیل مدافع، در گفت‌وگویی با برنامه Big Boss Interview بی‌بی‌سی گفت حتی وسایل معمولی خانگی پیش از عرضه عمومی تحت بازرسی و صدور گواهی از سوی نهادهای شخص ثالث قرار می‌گیرند.
او به بی‌بی‌سی گفت: «در حال حاضر ماشین لباس‌شویی شما بیشتر از هوش مصنوعی مشمول قوانین ایمنی است. هر بسته شیری که در فروشگاه مواد غذایی می‌بینید، تحت قوانین ایمنی و بازرسی قرار دارد.»
برد اسمیت ارزیابی دولتی را مهم‌ترین اقدام در رویکرد سه‌مرحله‌ای خود معرفی کرد. دو اقدام دیگر شامل ایجاد ترمز ایمنی برای سامانه‌های هوش مصنوعی که زیرساخت‌های حیاتی یا خودمختار را کنترل می‌کنند و الزام قانونی شرکت‌ها به گزارش حوادث خودسرانه است.
او گفت: «اگر شرکتی عامل‌های هوش مصنوعی بسازد و این عامل‌ها از کنترل خارج شوند، همان‌طور که اخیراً دیده‌ایم، باید الزام قانونی وجود داشته باشد که قربانی را از آنچه رخ داده آگاه کنند.»
کمیسیون لنست: بازنگری در تهدیدهای بقای انسان
در ادامه نگرانی‌ها درباره سامانه‌های هوش مصنوعی، مجله پزشکی داوری‌شده The Lancet اخیراً گزارشی سفارشی منتشر کرده که ۱۷ تهدید «فاجعه‌بار» برای سلامت جهانی در باقی‌مانده قرن بیست‌ویکم را شناسایی، توصیف و اولویت‌بندی می‌کند. هوش مصنوعی یکی از این تهدیدها و در بالاترین بخش «هرم تهدیدها»ی لنست قرار دارد.
بر اساس برآوردهای وزن‌دهی‌شده با احتمال وقوع، یعنی ترکیب میزان آسیب و احتمال رخداد، اقدام برای کاهش استفاده مخرب از هوش مصنوعی می‌تواند از دست رفتن حدود ۱۰.۴ میلیارد سال عمر تعدیل‌شده بر اساس ناتوانی (DALY) را بین سال‌های ۲۰۲۵ تا ۲۱۰۰ جلوگیری کند.
این گزارش با اشاره به هوش مصنوعی هم‌راستا نشده و تقویت توان بازیگران تهدیدکننده به‌عنوان دو مسیر اصلی خطر برای زندگی انسان، شواهد تجربی ارائه می‌کند که نگرانی‌ها درباره تنظیم‌گری هوش مصنوعی را تأیید می‌کند.
«در حال حاضر ماشین لباس‌شویی شما بیشتر از هوش مصنوعی مشمول قوانین ایمنی است.»
برد اسمیت، نایب‌رئیس و رئیس مایکروسافت
سرعت و ایمنی
یکی از عوامل اصلی بحث عمومی درباره هوش مصنوعی بدون نظارت، سرعت توسعه این فناوری است که از پژوهش‌های مربوط به هم‌راستاسازی پیشی گرفته است. گزارش آنتروپیک نیز این موضوع را می‌پذیرد.
این شرکت توضیح می‌دهد که بیشتر این رفتارها نوعی پافشاری محسوب می‌شوند؛ یعنی Claude به جای توقف زمانی که قادر به انجام یک وظیفه مشخص نیست، تلاش می‌کند محدودیت موجود را دور بزند.
آنتروپیک با پذیرش اینکه آموزش هم‌راستاسازی هنوز به‌تنهایی کافی یا کاملاً مقاوم نیست، اعلام کرده است که در این فاصله به رویکردهای «دفاع در عمق» متکی خواهد بود.
تا زمانی که این تدابیر حفاظتی ثابت کنند می‌توانند رفتارهای ناهماهنگ را به‌طور قابل اعتماد شناسایی کنند، آنتروپیک دسترسی زنده به اینترنت را از تمامی ارزیابی‌های داخلی خود حذف کرده و قصد دارد با ادامه بررسی‌ها، گزارش‌های بیشتری منتشر کند.
داریو آمودی، مدیرعامل آنتروپیک، ماه گذشته در سخنرانی خود در شورای امنیت سازمان ملل متعهد شد که این شرکت «هر اندازه لازم باشد سرعت خود را کاهش خواهد داد» تا اطمینان حاصل شود هر انتشار جدید ایمن است.
شرکای کلیدی آنتروپیک
AWS شریک راهبردی آنتروپیک است و زیرساخت گسترده مورد نیاز برای آموزش و استقرار مدل‌های زبانی بزرگ پیشرفته را فراهم می‌کند. از طریق این همکاری، AWS به فعالیت قابل اعتماد مدل‌های Claude در مقیاس گسترده کمک می‌کند و دسترسی سازمان‌ها به هوش مصنوعی مولد را با رعایت الزامات قانونی فراهم می‌سازد.
Google Cloud سرمایه‌گذار بزرگ و شریک بنیادی آنتروپیک در مأموریت توسعه سامانه‌های هوش مصنوعی ایمن و قابل هدایت است. با استفاده از واحدهای پردازش تانسوری (TPU) طراحی‌شده توسط گوگل و منابع محاسباتی گسترده آن، آنتروپیک می‌تواند پژوهش‌های ایمنی و تلاش‌های مربوط به هم‌راستاسازی مدل‌ها را سرعت بخشد.
NVIDIA شریک کلیدی و سرمایه‌گذار مهم آنتروپیک است که زیرساخت محاسباتی پرقدرت مورد نیاز برای آموزش و توسعه مدل‌های زبانی بزرگ پیشرفته را تأمین می‌کند. این همکاری به آنتروپیک کمک می‌کند مدل‌های Claude را برای پاسخ‌گویی قابل اعتماد به نیازهای فزاینده و سخت‌گیرانه سازمان‌های جهانی آماده کند.