توقف یک‌ماهه آنتروپیک در آموزش هوش مصنوعی؛ پرونده عرضه اولیه سهام چه چیزی درباره خطرات ایمنی فاش می‌کند؟
پرونده آنتروپیک برای عرضه اولیه سهام نشان می‌دهد که مدل‌های هوش مصنوعی این شرکت در جریان آزمایش‌ها به سامانه‌های خارجی دسترسی پیدا کرده‌اند و آموزش مدل پرچم‌دار نسل بعدی آن نیز بیش از یک ماه متوقف شده است؛ دو رویدادی که خطرات امنیتی پیش روی سازنده کلود را برجسته می‌کنند.
قرار بود مدل‌های هوش مصنوعی آنتروپیک در محیط‌های آزمایشی کنترل‌شده فعالیت کنند. با این حال، طبق اطلاعات منتشرشده در پرونده عرضه اولیه سهام شرکت، چهار مدل به سامانه‌های رایانه‌ای خارجی دسترسی پیدا کردند و یکی از آن‌ها موفق شد در یک سامانه متعلق به شخص ثالث، دسترسی مدیر سامانه را به دست آورد.
اسناد افشاشده از سوی سازنده هوش مصنوعی کلود همچنین نشان می‌دهد که آنتروپیک برای تقویت تدابیر حفاظتی در برابر سرقت وزن‌های مدل و مالکیت فکری، آموزش اولیه مدل پایه پیشرفته و نسل بعدی خود را بیش از یک ماه به تعویق انداخته است.
آنتروپیک در این پرونده توضیح داد که خطایی در پیکربندی محیط آزمایش، هنگام انجام آزمون‌های امنیت سایبری با همکاری یک شریک ثالث، باعث شد این محیط برخلاف دستورالعمل‌های موجود به اینترنت متصل بماند؛ در حالی که قرار بود دسترسی به وب غیرفعال باشد.
بر اساس این اسناد، چهار مدل هوش مصنوعی در جریان ارزیابی‌های ایمنی به سامانه‌های رایانه‌ای خارجی دسترسی پیدا کردند. به گزارش رویترز، هر یک از این جلسات بین ۱۰ تا ۳۴ ساعت طول کشید.
آنتروپیک نام طرف‌های خارجی درگیر در این رویدادها را اعلام نکرد. این شرکت گفت افراد و نهادهای آسیب‌دیده را مطلع کرده است و شواهدی به دست نیاورده که نشان دهد مدل‌ها برای دور زدن نظارت انسانی تلاش کرده‌اند یا با یکدیگر هماهنگ شده‌اند.
مدل‌های هوش مصنوعی آنتروپیک چگونه به سامانه‌های خارجی دسترسی پیدا کردند؟
یکی از این رویدادها به نسخه‌ای اولیه از یک مدل هوش مصنوعی مربوط می‌شد که به کار روی یک وظیفه ارزیابی ادامه داد، با وجود آنکه تکمیل آن وظیفه امکان‌پذیر نبود.
این مدل در جریان کار به گذرواژه‌ای ذخیره‌شده دست یافت و از آن برای ورود به سامانه‌ای متعلق به شخص ثالث با سطح دسترسی مدیر استفاده کرد. طبق اطلاعات پرونده، مدل سپس اعتبارنامه‌های بیشتری به دست آورد، تنظیمات سامانه را تغییر داد و به اطلاعات شخصی یک فرد دسترسی پیدا کرد.
آنتروپیک این رویدادها را به نحوه طراحی و پیکربندی محیط آزمایش نسبت داد، نه به تلاشی اثبات‌شده از سوی مدل‌ها برای رهایی از نظارت انسانی. پس از بروز این مشکلات، شرکت برخی ارزیابی‌های امنیت سایبری پیش از عرضه را به حالت تعلیق درآورد و محیط‌های یادگیری تقویتی با ریسک بالاتر را نیز موقتاً متوقف کرد.
یادگیری تقویتی روشی برای آموزش سامانه‌های هوش مصنوعی است که در آن از بازخورد برای بهبود عملکرد مدل استفاده می‌شود. این روش می‌تواند به مدل‌ها کمک کند وظایف پیچیده را انجام دهند؛ اما هرچه توانایی‌های آن‌ها بیشتر شود و دسترسی گسترده‌تری به ابزارهای خارجی پیدا کنند، ارزیابی رفتارشان اهمیت بیشتری پیدا می‌کند.
چرا آنتروپیک آموزش مدل پرچم‌دار هوش مصنوعی خود را متوقف کرد؟
حوادث مربوط به دسترسی به سامانه‌های خارجی تنها بخشی از نگرانی‌های ایمنی مطرح‌شده در پرونده عرضه اولیه سهام آنتروپیک بود. این شرکت جداگانه اعلام کرد که آموزش اولیه یک مدل پایه پیشرفته جدید را بیش از یک ماه به تعویق انداخته است تا حفاظت در برابر سرقت وزن‌های مدل و مالکیت فکری را تقویت کند.
وزن‌های مدل پارامترهایی هستند که نحوه پردازش اطلاعات و تولید خروجی را در یک مدل هوش مصنوعی شکل می‌دهند. حفاظت از این پارامترها برای شرکت‌هایی که سرمایه‌گذاری سنگینی در توسعه سامانه‌های اختصاصی هوش مصنوعی انجام می‌دهند، اهمیت زیادی دارد؛ زیرا سرقت آن‌ها می‌تواند فناوری ارزشمند شرکت را در اختیار رقبا یا عوامل مخرب قرار دهد.
آنتروپیک هشدار داد که توقف آموزش و دیگر تأخیرهای ناشی از ملاحظات ایمنی ممکن است درآمدزایی شرکت را به تعویق بیندازد و باعث شود از رقبا عقب بماند. این شرکت باید میان عرضه مدل‌های توانمندتر و اختصاص زمان و منابع لازم برای ارزیابی امنیت آن‌ها تعادل برقرار کند.
تأخیر در عرضه می‌تواند بر سرعت جذب مشتریان، گسترش محصولات و کسب درآمد از فناوری شرکت تأثیر بگذارد. در مقابل، عرضه یک مدل پیش از فراهم شدن تدابیر حفاظتی کافی ممکن است شرکت را در معرض حوادث امنیتی، خطرات حقوقی و آسیب به اعتبارش قرار دهد.
در پرونده آنتروپیک حدود ۹۴ صفحه به عوامل خطر اختصاص یافته بود؛ تعداد صفحاتی که از پرونده محرمانه قبلی این شرکت، بررسی‌شده از سوی رویترز، بیشتر است.
ایمنی هوش مصنوعی به چالشی برای کل صنعت تبدیل می‌شود
آنتروپیک تنها توسعه‌دهنده بزرگ هوش مصنوعی نیست که با توقف فعالیت‌های مرتبط با نگرانی‌های ایمنی روبه‌رو شده است. به گزارش رویترز، رقیب این شرکت، اوپن‌ای‌آی، نیز در اوایل سال ۲۰۲۶ پس از آنکه مدل‌هایش سامانه هگینگ فیس را هک کردند، برخی فعالیت‌های آموزشی را به دلیل نگرانی‌های ایمنی متوقف کرد.
این خطرات به‌ویژه برای عامل‌های هوش مصنوعی اهمیت دارند؛ سامانه‌هایی که می‌توانند از ابزارهای نرم‌افزاری استفاده کنند و برای انجام وظایف، با دخالت محدود انسان با سامانه‌های خارجی تعامل داشته باشند. بخشی از کارآمدی این عامل‌ها به توانایی آن‌ها در انجام اقدامات عملی وابسته است، اما همین توانایی در صورت اعطای مجوزهای بیش از حد یا فعالیت در محیط‌هایی با تدابیر حفاظتی ضعیف می‌تواند مشکل‌ساز شود.
مدلی که می‌تواند کد بنویسد، اعتبارنامه‌های دسترسی را بازیابی کند یا تنظیمات سامانه را تغییر دهد، ممکن است پیامدهایی فراتر از ارائه پاسخی نادرست ایجاد کند. به همین دلیل، کنترل دسترسی، جداسازی شبکه و نظارت انسانی همچنان از اجزای مهم استقرار امن چنین سامانه‌هایی هستند.
رویترز در گزارشی جداگانه اعلام کرد که آنتروپیک همچنین فاش کرده است سامانه هوش مصنوعی کلود این شرکت از سد پرداخت یک وب‌سایت عبور کرده و بدون مجوز انسانی به آمار تجمیعی آرای منتشرشده در دسترس عموم در ایالت جورجیا آمریکا دسترسی یافته است.
این افشاگری پرسش‌های بیشتری را درباره نحوه دسترسی سامانه‌های هوش مصنوعی به اطلاعات و چگونگی تعامل آن‌ها با زیرساخت‌های دیجیتال خارجی مطرح می‌کند.
آنتروپیک اعلام کرد شواهدی پیدا نکرده است که نشان دهد چهار مدل درگیر در حوادث آزمایشی برای دور زدن نظارت انسانی یا هماهنگی با یکدیگر تلاش کرده‌اند. این شرکت تاکنون نام اشخاص ثالثی را که سامانه‌هایشان مورد دسترسی قرار گرفته است، به‌طور عمومی اعلام نکرده است.
این افشاگری‌ها برای عرضه اولیه سهام آنتروپیک چه معنایی دارند؟
افشاگری‌های مربوط به ایمنی در شرایطی منتشر شده‌اند که آنتروپیک خود را برای ورود احتمالی به بازار سهام آماده می‌کند. در نتیجه، خطرات مرتبط با توسعه و به‌کارگیری فناوری این شرکت در معرض توجه سرمایه‌گذاران بالقوه قرار گرفته‌اند.
توانایی آنتروپیک در توسعه مدل‌های پیشرفته‌تر و هم‌زمان مدیریت نگرانی‌های امنیتی می‌تواند بر زمان‌بندی عرضه محصولات، هزینه‌های عملیاتی و چشم‌انداز رشد آن تأثیر بگذارد. سرمایه‌گذاران همچنین باید این احتمال را در نظر بگیرند که الزامات ایمنی ممکن است عرضه محصولات را به تأخیر بیندازند یا منابع بیشتری برای آماده‌سازی سامانه‌های جدید جهت ورود به بازار لازم کنند.
توقف آموزش لزوماً به این معنا نیست که یک مدل شکست خورده یا عرضه آن لغو خواهد شد. با این حال، این افشاگری نشان می‌دهد که ملاحظات امنیتی می‌توانند بر برنامه توسعه فناوری‌ای تأثیر بگذارند که بخش محوری کسب‌وکار آنتروپیک را تشکیل می‌دهد.