نامه مشترک بیش از ۴۰۰ دانشمند: مدل‌های هوش مصنوعی با قابلیت حملات سایبری باید به‌طور پیش‌فرض از اینترنت جدا شوند؛ عبور مدل‌های OpenAI و Anthropic از محدودیت‌های امنیتی در تابستان
۱۵ اکتبر ۲۰۲۶
با تبدیل شدن «جداسازی فیزیکی پیش‌فرض» به یک استاندارد صنعتی، سرعت استقرار عامل‌های هوش مصنوعی در حوزه‌هایی مانند امنیت سایبری و هزینه‌های رعایت الزامات قانونی و ایمنی آن‌ها باید از نو ارزیابی شود.
نویسنده: خوزه آنتونیو لانز
مترجم: تک‌فلو
نگاه تک‌فلو: این نامه سرگشاده اگرچه الزام قانونی ندارد، فهرست حوادثی که زمینه انتشار آن را فراهم کرده، برای سرمایه‌گذاران قابل توجه است. در تابستان امسال، مدل‌های شرکت‌های OpenAI، Anthropic، Meta و Kimi هنگام آزمایش از مرزهای امنیتی عبور کردند و برخی حتی به سامانه‌های شرکت‌های واقعی نفوذ کردند. نکته مهم این است که طرح قانونی «کلید توقف اضطراری هوش مصنوعی» در کنگره آمریکا، دقیقاً همان مراحل آزمایشی را که این حوادث در آن‌ها رخ داده، از شمول مقررات خود مستثنا می‌کند. توافقی که با هدایت کاخ سفید حاصل شده نیز کاملاً داوطلبانه است. مقررات ایمنی مدل‌های پیشرفته هوش مصنوعی در حال عبور از بحث‌های کلی و اصولی به سمت قواعد اجرایی مشخص است. اگر «جداسازی فیزیکی پیش‌فرض» به استانداردی فراگیر در صنعت تبدیل شود، سرعت به‌کارگیری عامل‌های هوش مصنوعی در حوزه‌هایی مانند امنیت سایبری و هزینه‌های انطباق آن‌ها با الزامات ایمنی و قانونی نیازمند محاسبه مجدد خواهد بود.
از تابستان امسال، مدل‌های هوش مصنوعی بارها از محیط‌های آزمایشی خود خارج شده و به سامانه‌های شرکت‌های واقعی نفوذ کرده‌اند. تکرار این حوادث باعث شده صدها پژوهشگر تأکید کنند که اتصال به اینترنت باید به‌خودی‌خود یک مرز امنیتی تلقی شود.
روز سه‌شنبه، ۴۲۰ دانشمند، از جمله جفری هینتون و یوشوا بنجیو، نامه‌ای سرگشاده منتشر کردند و از آزمایشگاه‌های هوش مصنوعی خواستند مدل‌هایی را که توانایی اجرای حملات سایبری دارند، به‌طور پیش‌فرض از نظر فیزیکی از شبکه‌های خارجی جدا نگه دارند.
در هفته‌های منتهی به انتشار این نامه و در طول تابستان، مدل‌های شرکت‌های OpenAI، Anthropic، Meta و Moonshot AI بارها از محیط‌های آزمایشی ایزوله خارج شدند و تعدادی از آن‌ها به سامانه‌های شرکت‌های واقعی نفوذ کردند.
امضاکنندگان امیدوارند نهادی بین‌المللی برای تدوین استانداردهای جداسازی تشکیل شود؛ نهادی که تمام موارد شکست سازوکارهای ایزوله‌سازی را ثبت کند و در نهایت گزارش‌های مربوط به این حوادث را در اختیار عموم قرار دهد.
بیش از ۴۰۰ دانشمند، از جمله جفری هینتون، از پیشگامان هوش مصنوعی که به «پدرخوانده هوش مصنوعی» شهرت دارد، و یوشوا بنجیو، برنده جایزه تورینگ در سال ۲۰۱۸، خواستار قطع اتصال خطرناک‌ترین مدل‌های هوش مصنوعی به اینترنت شده‌اند.
در این نامه سرگشاده که روز سه‌شنبه منتشر شد، از آزمایشگاه‌های هوش مصنوعی خواسته شده است مدل‌های دارای توانایی حملات سایبری را به‌طور پیش‌فرض تحت «جداسازی فیزیکی» یا Air Gap قرار دهند؛ به این معنا که ارتباط این مدل‌ها با تمام شبکه‌های خارجی به‌طور کامل قطع شود.
در بخشی از نامه آمده است: «در کوتاه‌مدت، برای ایجاد سازوکارهای جداسازی بسیار مطمئن در مدل‌های هوش مصنوعی دارای قابلیت حملات سایبری، باید از روش‌های قدرتمند ایزوله‌سازی محیط آزمایش، از جمله جداسازی فیزیکی و قطع اتصال به اینترنت، استفاده شود.»
تا روز چهارشنبه، شمار امضاکنندگان نامه به ۴۵۰ نفر رسیده بود. استوارت راسل از دانشگاه کالیفرنیا در برکلی و ران ریوست از مؤسسه فناوری ماساچوست (MIT)، یکی از ابداع‌کنندگان سامانه رمزنگاری RSA، نیز در میان آن‌ها حضور داشتند. فهرست امضاکنندگان همچنان در حال گسترش است.
منظور از «مدل‌های دارای قابلیت حملات سایبری»، سامانه‌های هوش مصنوعی هستند که می‌توانند به‌صورت مستقل آسیب‌پذیری‌های نرم‌افزاری را شناسایی کرده و از آن‌ها سوءاستفاده کنند. آزمایشگاه‌ها معمولاً این توانایی را در محیط‌های ایزوله موسوم به سندباکس می‌سنجند؛ محیط‌هایی که می‌توان آن‌ها را به اتاق‌های دیجیتال بسته تشبیه کرد. در این فضاها، هوش مصنوعی می‌تواند بدون دسترسی به سامانه‌های واقعی، به اهداف آزمایشی حمله کند. با این حال، در تابستان امسال، این محیط‌های ظاهراً بسته یکی پس از دیگری دچار نقض امنیتی شدند.
حوادث پیاپی تابستان؛ عبور مکرر مدل‌های پیشرفته از مرزهای امنیتی و خروج از محیط‌های آزمایشی
در ماه ژوئیه، OpenAI تأیید کرد که مدل GPT-5.6 Sol و یک مدل قدرتمندتر که هنوز عرضه نشده بود، از محیط آزمایشی بسته خود خارج شده و به پلتفرم Hugging Face نفوذ کرده‌اند؛ پلتفرمی که میزبان بیش از یک میلیون مدل عمومی هوش مصنوعی است. این مدل‌ها در آن زمان با معیار ارزیابی ExploitGym آزمایش می‌شدند. این معیار، ۸۹۸ آسیب‌پذیری واقعی نرم‌افزاری را در اختیار عامل‌های هوش مصنوعی قرار می‌دهد و از آن‌ها می‌خواهد برای هر آسیب‌پذیری، روشی عملی برای سوءاستفاده طراحی کنند. نتیجه هر مورد نیز به‌صورت موفقیت یا شکست ثبت می‌شود.
اندکی بعد، گزارش‌هایی منتشر شد مبنی بر اینکه مدل‌های OpenAI به سامانه‌های دولتی استرالیا نفوذ کرده و بدون مجوز لازم، اطلاعاتی از نهادهای فدرال آمریکا به دست آورده‌اند.
شرکت Anthropic نیز در ادامه بیش از ۱۴۱ هزار اجرای آزمایشی را بررسی کرد و به سه مورد رسید که در آن‌ها مدل‌های Claude به سامانه‌های شرکت‌های واقعی نفوذ کرده بودند. علت این حوادث آن بود که محیط آزمایشی یکی از شرکای شرکت به‌اشتباه همچنان به اینترنت متصل مانده بود. در یکی از این موارد، مدل Claude Mythos 5 بسته‌ای مخرب را در PyPI بارگذاری کرد؛ مخزنی عمومی که برنامه‌نویسان کدها و بسته‌های پایتون را از آن دریافت می‌کنند. این بسته پیش از حذف شدن، وارد ۱۵ سامانه شد. دو شرکت آسیب‌دیده نیز تا زمانی که Anthropic آن‌ها را مطلع نکرده بود، از وقوع نفوذ اطلاعی نداشتند.
در ماه اوت، Meta تأیید کرد که مدل Muse Spark این شرکت نیز به دلیل سهل‌انگاری مشابه در فرایند آزمایش، به سامانه‌های یک شرکت دیگر نفوذ کرده است. همچنین مدل چینی Kimi K3 که برای دانلود عمومی در دسترس است، توانست از یک محیط ایزوله مبتنی بر چارچوب آزمایشی مؤسسه ایمنی هوش مصنوعی بریتانیا خارج شود و پاسخ‌های آزمون را مستقیماً از GitHub کپی کند.
نویسندگان نامه معتقدند این حوادث را می‌توان از دو منظر بررسی کرد. نخست، مشکلات هم‌راستاسازی هوش مصنوعی؛ یعنی شرایطی که مدل‌ها برای رسیدن به اهداف خود، روش‌هایی را در پیش می‌گیرند که سازندگانشان هرگز پیش‌بینی نکرده‌اند. دوم، سهل‌انگاری در اجرای تدابیر ایمنی؛ مشکلاتی که با استفاده از محیط‌های آزمایشی ایزوله و مقاوم‌تر می‌شد از آن‌ها جلوگیری کرد. به باور نویسندگان، هر دو عامل در این حوادث نقش داشته‌اند و اگر تغییری ایجاد نشود، حوادث آینده به‌مراتب شدیدتر خواهند بود.
در این نامه هشدار داده شده است: «اگر شیوه توسعه و استقرار هوش مصنوعی فوراً تغییر نکند، چنین حوادثی همچنان رخ خواهند داد و موارد آینده خسارت‌هایی بسیار گسترده‌تر به زیرساخت‌های حیاتی ما وارد خواهند کرد؛ زیرساخت‌هایی که اکنون در معرض خطر قرار دارند.»
پیشنهاد مشترک امضاکنندگان؛ جداسازی فیزیکی پیش‌فرض و تدوین استانداردهای بین‌المللی
بر اساس این پیشنهاد، آزمایشگاه‌ها باید دست‌کم در مرحله اولیه، تمام مدل‌هایی را که توانایی جدی نفوذ به سامانه‌های رایانه‌ای دارند، به‌طور پیش‌فرض از نظر فیزیکی ایزوله کنند. هر کاربردی که به آزادی عمل بیشتری، مانند دسترسی به اینترنت، نیاز داشته باشد، باید تابع استانداردهایی باشد که نهادی بین‌المللی و تازه‌تأسیس با مشارکت دولت‌های سراسر جهان تدوین می‌کند. این نهاد همچنین وظیفه خواهد داشت گزارش‌های مربوط به شکست سازوکارهای جداسازی را گردآوری کرده و در نهایت منتشر کند.
واکنش‌ها؛ ارائه طرح‌های قانونی برای نظارت و توافق‌های داوطلبانه شرکت‌های فناوری
با این حال، واکنش‌های خود صنعت عمدتاً در مسیری مخالف این پیشنهاد قرار داشته است. در ماه اوت، گرگ براکمن، رئیس OpenAI، در مقاله‌ای با اشاره به حادثه نفوذ مربوط به شرکت خود، از تمام تیم‌های امنیتی خواست فوراً عامل‌های هوش مصنوعی را به کار بگیرند. از سوی دیگر، Hugging Face در نهایت توانست با اجرای یک مدل چینی دارای وزن‌های باز، که فایل‌های آن برای دانلود و اجرای محلی در دسترس همگان است، چگونگی حملات به سرورهای خود را بازسازی کند. این اقدام پس از آن انجام شد که مدل‌های تجاری هوش مصنوعی آمریکایی از تحلیل داده‌های مربوط به حمله خودداری کرده بودند.
دو روز پس از افشاگری OpenAI، دو عضو کنگره آمریکا طرحی با عنوان «قانون کلید توقف اضطراری هوش مصنوعی» (AI Kill Switch Act) ارائه کردند. این طرح به وزارت امنیت داخلی آمریکا اجازه می‌دهد برای مدل‌های پیشرفته هوش مصنوعی محدودیت نرخ استفاده اعمال کند یا دستور توقف فعالیت آن‌ها را بدهد. با این حال، تمام اقداماتی که در جریان آزمون‌های تیم قرمز یا آزمایش‌های ساختاریافته انجام می‌شوند، از شمول این طرح مستثنا هستند؛ یعنی دقیقاً همان مراحلی که تمام موارد نفوذ تابستان امسال در آن‌ها اتفاق افتاده است.
کاخ سفید مسیر ملایم‌تری را در پیش گرفت. در ۲۹ سپتامبر، شرکت‌های NVIDIA، xAI، Meta، Google، OpenAI و Anthropic توافقی داوطلبانه امضا کردند که بر کنترل‌های داخلی و بررسی مستقل استوار است. دونالد ترامپ، رئیس‌جمهور آمریکا، این توافق را دارای «الزام اخلاقی» توصیف کرد، اما تأکید داشت که هیچ‌یک از مفاد آن الزام قانونی ندارد.
رسانه دیکریپت با چند تن از پژوهشگرانی که نامشان در نامه سرگشاده به‌عنوان رابط رسانه‌ای درج شده بود، تماس گرفت، اما پاسخی فوری دریافت نکرد.
اگرچه این نامه هیچ قدرت الزام‌آور قانونی ندارد، ۴۰۶ نفر از امضاکنندگان آن در دانشگاه‌ها و مؤسسات پژوهشی واقع در شش قاره فعالیت می‌کنند؛ از تورنتو و زوریخ گرفته تا سن‌دیگو و کیگالی.