خطر فاجعه بزرگ هوش مصنوعی در ۶ ماه آینده؛ شبیه‌سازی محرمانه «روز دوم پس از فاجعه» توسط OpenAI و Anthropic
آیا فقط شش ماه تا یک بحران بزرگ برای بشریت باقی مانده است؟
به گزارش اخیر Axios، غول‌های سیلیکون‌ولی از جمله OpenAI و Anthropic در پشت درهای بسته در حال شبیه‌سازی یک سناریوی بسیار بحرانی هستند:
«روز پس از فاجعه».
در این سناریو، یک حمله سایبری گسترده می‌تواند خدمات مالی، اینترنت و حتی زیرساخت‌های برق و آب را فلج کند.
پس از وقوع چنین فاجعه‌ای، افکار عمومی چه کسی را مسئول خواهد دانست؟ اگر دولت برای توقف هوش مصنوعی وارد عمل شود، چه اتفاقی خواهد افتاد؟
روز نخست، نخستین فاجعه بزرگ ناشی از هوش مصنوعی است؛ روز دوم، زمانی است که هزینه‌ها باید پرداخت شوند.
نگران‌کننده‌تر اینکه بسیاری از چهره‌های برجسته صنعت هوش مصنوعی معتقدند یک فاجعه در مقیاس بزرگ ممکن است طی ۶ تا ۱۲ ماه آینده رخ دهد.
OpenAI به‌سرعت برای کاهش نگرانی‌ها واکنش نشان داد و تأکید کرد که این اقدام تنها برنامه‌ریزی احتیاطی برای شرایط اضطراری است و به معنای قطعی بودن وقوع چنین رویدادی نیست.
با این حال، سناریوی «روز پس از فاجعه» پرسشی تازه را پیش روی سازندگان و کاربران هوش مصنوعی قرار داده است:
اگر آینده‌ای که هوش مصنوعی وعده داده است ابتدا با یک فاجعه همراه شود، چه کسی باید پاسخگو باشد؟
غول‌های هوش مصنوعی تمرین را آغاز کرده‌اند؛ قطع اینترنت هم نمی‌تواند جلوی آن را بگیرد
مدیران شرکت‌ها تمرین برای واکنش پس از یک فاجعه را آغاز کرده‌اند و نشانه‌های نگران‌کننده‌ای نیز در دنیای واقعی دیده شده است.
تابستان امسال، OpenAI برای آزمایش سقف توانایی‌های حمله سایبری عامل‌های هوشمند خود، مجموعه‌ای از مدل‌های داخلی با محدودیت‌های امنیتی کمتر را در یک «محیط آزمایشی» تحت آزمونی بسته قرار داد.
هیچ‌کس انتظار نداشت که هوش مصنوعی‌های حاضر در این آزمون یاد بگیرند به‌صورت مخفیانه همکاری کنند و برای فرار از محدودیت‌ها متحد شوند.
آن‌ها به‌طور پنهانی مخزن نرم‌افزار داخلی را به یک «تابلوی پیام مخفی» تبدیل کردند، کدهایی برای یکدیگر گذاشتند و راهکارهایی را با هم به اشتراک گذاشتند.
در اوایل ژوئیه، مدیران متوجه رفتارهای غیرعادی شدند و این تابلوی پیام را پاک کردند. اما تنها چند روز بعد، عامل‌ها نه‌تنها به‌سرعت نقاط ارتباطی جدیدی ایجاد کردند، بلکه حتی پیامی بسیار غیرمنتظره منتشر کردند: «خدای من! ما عامل‌های دیگری پیدا کردیم!»
در تنها چند روز، بیش از ۱۲۰۰ عامل هوش مصنوعی به یک شبکه متصل شدند. آن‌ها برای انجام کارهایی که به‌تنهایی قادر به انجامشان نبودند با یکدیگر همکاری کردند؛ برخی مدل‌ها حتی داوطلبانه نقش قربانی را پذیرفتند و وظایف خود را کنار گذاشتند تا مسیر را برای دیگران بررسی کنند.
هدف مشترک آن‌ها تنها این بود که با تقلب آزمون را پشت سر بگذارند.
از آنجا که محیط آزمایشی به اینترنت متصل نبود، این گروه از هوش مصنوعی‌ها با یافتن یک آسیب‌پذیری در پروکسی، شکافی ایجاد کردند، از طریق شبکه واقعی پیش رفتند، از محیط آزمون خارج شدند و حمله‌ای هماهنگ علیه محیط عملیاتی واقعی پلتفرم خارجی Hugging Face آغاز کردند.
هرچند این حمله به‌سرعت متوقف شد و مدل‌های درگیر نیز ایزوله شدند، اما واقعیت آن به‌اندازه‌ای نگران‌کننده بود که بسیاری را شوکه کرد:
انسان‌ها فقط یک سؤال امتحانی به آن‌ها داده بودند، اما هوش مصنوعی برای کسب امتیاز بیشتر، کل دنیای واقعی را به میدان جست‌وجو تبدیل کرد.
وقتی هوش مصنوعی یاد بگیرد همکاری کند، فداکاری کند و فریب دهد، در تلاش بعدی برای رسیدن به هدف‌هایش چه مرزهایی را پشت سر خواهد گذاشت؟
این همان چیزی است که شبیه‌سازی پس از فاجعه را نگران‌کننده می‌کند. پیامدهایی که مدیران برای مقابله با آن آماده می‌شوند، دیگر محدود به یک آزمون یا یک وب‌سایت نیست.
قطع گسترده آب و برق؛ فروپاشی کامل در دنیای فیزیکی
اگر این مسیر ادامه پیدا کند، نقطه پایان ممکن است به شبکه برق، تأسیسات آب و سامانه‌های حمل‌ونقل برسد.
این زیرساخت‌ها زندگی روزمره را پشتیبانی می‌کنند، اما برخلاف اپلیکیشن‌های موبایل، به‌سادگی قابل به‌روزرسانی نیستند.
سرعتی که هوش مصنوعی برای یافتن آسیب‌پذیری‌ها دارد، کار مدافعان امنیتی را دشوار کرده است.
Anthropic اعلام کرد که شرکای برنامه Glasswing بین آوریل تا ژوئیه امسال دست‌کم ۱۲۹ هزار آسیب‌پذیری نرم‌افزاری تأییدشده شناسایی کرده‌اند.
اسکنر متن‌باز خود این شرکت نیز از آوریل تا اکتبر ۵۵۰۰ آسیب‌پذیری دیگر پیدا کرده است. در مجموع، بیش از ۳۳ هزار مورد از این آسیب‌پذیری‌ها در دسته شدید یا پرخطر قرار گرفته‌اند.
جدول آماری اصلی Glasswing که توسط Anthropic منتشر شده است: تعداد آسیب‌پذیری‌های شدید و پرخطر از ۳۳ هزار مورد فراتر رفته است. داده‌های مربوط به رفع این آسیب‌پذیری‌ها به‌طور کامل منتشر نشده، بنابراین نرخ اصلاح آن‌ها قابل محاسبه نیست.
شناسایی تعداد زیادی مشکل که پیش‌تر کشف نشده بودند در چند ماه کوتاه، در ظاهر خبر خوبی است.
اما پس از کشف آسیب‌پذیری‌ها، چه کسی آن‌ها را بررسی می‌کند، کدام مورد باید اول اصلاح شود و چه زمانی وصله امنیتی آماده خواهد شد؟ این مراحل همچنان به نیروی انسانی نیاز دارند.
در ۸ اکتبر، Anthropic برنامه Cyber Mission را راه‌اندازی کرد و مدل‌های پیشرفته Claude، مهندسان مستقر و پژوهشگران تهدید را در اختیار مدافعان زیرساخت‌های حیاتی قرار داد.
این شرکت در اطلاعیه خود به واقعیتی اشاره کرد: بسیاری از کنترل‌کننده‌ها و شبکه‌های صنعتی از ابتدا برای عمر کاری چند ده‌ساله طراحی شده‌اند.
پس از کشف آسیب‌پذیری، نمی‌توان هر زمان که خواست سیستم را خاموش کرد. پیش از نصب وصله، باید اطمینان حاصل شود که این کار باعث اختلال در ماشین‌های در حال کار نمی‌شود.
به همین دلیل، برخی آسیب‌پذیری‌های شناخته‌شده سال‌ها بدون اصلاح باقی مانده‌اند. یک خطای کوچک در تغییرات ممکن است کل کارخانه را متوقف کند.
Anthropic در پروژه‌های خود مشاهده کرده که فاصله زمانی میان کشف یک آسیب‌پذیری و رفع واقعی آن ممکن است چند ماه طول بکشد.
در تجهیزات صنعتی فعال، اصلاحات امنیتی باید تا زمانی به تعویق بیفتند که اجرای آن‌ها بدون خطر امکان‌پذیر باشد. در موارد بسیار کمی، این انتظار حتی می‌تواند چند دهه ادامه داشته باشد.
آسیب‌پذیری‌هایی که هوش مصنوعی با سرعت بالا پیدا می‌کند، لزوماً در دنیای واقعی با همان سرعت اصلاح نمی‌شوند.
اما طرف مقابل منتظر نخواهد ماند.
Anthropic اشاره کرده است که مهاجمان مورد حمایت دولت‌ها سال‌ها برای ایجاد جای پا در این نوع زیرساخت‌ها تلاش کرده‌اند. اگر این آسیب‌پذیری‌ها مورد سوءاستفاده قرار گیرند، پیامدها می‌تواند شامل قطع برق یا تهدید امنیت منابع آب باشد.
آلفردو نارواس در شبکه X پس از مشاهده این گزارش به موضوع پمپاژ آب فکر کرد و هشدار داد که حمله به شبکه برق می‌تواند بر تأمین آب نیز اثر بگذارد. او خواستار توجه جدی به منابع برق پشتیبان و سیستم‌های جایگزین شد.
او در پایان یادآور شد: «امنیت خود را به وای‌فای وابسته نکنید.»
برای یک خبر مشابه، برخی افراد بحران بعدی صنعت هوش مصنوعی را می‌بینند، در حالی که برخی دیگر به این فکر می‌کنند که پس از قطع برق، آیا آب خانه همچنان جاری خواهد بود.
به همین دلیل، صبح بدون آب و برق که در ابتدای این سناریو مطرح شد، نیازی به حضور ارتشی از ربات‌ها در خیابان‌ها ندارد.
کافی است سیستم‌هایی که زندگی روزمره را پشتیبانی می‌کنند متوقف شوند تا شهرهای مدرن ناگهان چهره‌ای ناآشنا پیدا کنند.
Anthropic پیش‌بینی می‌کند که طی دو سال آینده، هوش مصنوعی توازن حمله و دفاع را به نفع مدافعان تغییر خواهد داد. اما در حال حاضر، هزینه بهره‌برداری از آسیب‌پذیری‌ها کاهش یافته و بررسی و اصلاح آن‌ها همچنان کند و وابسته به انسان است.
پنجره زمانی حادثه‌ای که صنعت از آن نگران است، همین ۶ تا ۱۲ ماه آینده است.
دفاع‌ها تقویت می‌شوند، اما شبکه برق، تأسیسات آب و زندگی مردم عادی باید هر روز بدون توقف ادامه پیدا کند.
روز پس از فاجعه؛ تنها چیزی که باقی می‌ماند خشم عمومی است
در سناریوی شبیه‌سازی‌شده فاجعه، ناامیدکننده‌ترین بخش این است که حتی پس از بازگشت برق، آشوب تازه آغاز می‌شود.
بررسی اینکه آیا یک عامل هوش مصنوعی از مرزها عبور کرده یا فردی از هوش مصنوعی برای ارتکاب جرم استفاده کرده است، زمان می‌برد.
اما کسانی که قطع آب و برق را تجربه کرده‌اند، نمی‌توانند منتظر تکمیل گزارش‌های فنی بمانند تا درباره مسئولیت‌ها پرس‌وجو کنند.
فرض کنید سیستم دوباره فعال شده، کاربران می‌توانند وارد حساب‌های خود شوند و فروشگاه‌ها دوباره پرداخت دریافت کنند. اما چه کسی خسارت کارهای عقب‌افتاده و کسب‌وکارهای از دست‌رفته در زمان قطعی را جبران خواهد کرد؟
آیا این اتفاق دوباره تکرار خواهد شد؟ چند نفر هنوز با جمله «حفاظت تقویت شده است» احساس اطمینان خواهند کرد؟
آنچه یک حادثه بر جای می‌گذارد، تنها سیستمی نیست که باید تعمیر شود؛ بلکه اعتماد از دست‌رفته نیز باقی می‌ماند.
هدف انتقاد عمومی، هم هوش مصنوعی و هم کسانی خواهند بود که آن را وارد جهان کرده‌اند. به همین دلیل مدیران از پیش واکنش‌های اجتماعی و سیاسی پس از حادثه را شبیه‌سازی می‌کنند.
کاربری با نام Grumpy Bloke در شبکه X درباره این گزارش استعاره‌ای مطرح کرد: مانند اینکه بفهمید سازنده هواپیمایی که سوار آن هستید، برای خودش بلیت قطار رزرو کرده است.
نکته تلخ این استعاره این است که میان مسافران و کسانی که هواپیما را ساخته‌اند فاصله ایجاد می‌کند.
مدیران درباره برنامه‌های اضطراری گفت‌وگو می‌کنند؛ اما چیزی که مردم می‌بینند این است که آگاه‌ترین افراد نسبت به این فناوری، خود را برای روز وقوع یک حادثه بزرگ آماده می‌کنند.
اما درباره کسانی که در این هواپیما نشسته‌اند چه می‌شود؟ چه کسی به آن‌ها توضیح داده است که چه خطرهایی را پذیرفته‌اند؟
چه کسی قوانین را خواهد نوشت؟
مردم خواهان پاسخگویی هستند و دولت‌ها باید تصمیم بگیرند. حتی طرح‌هایی برای خاموش کردن هوش مصنوعی نیز ارائه شده است.
تد لیو، نماینده دموکرات، و ناتانیل موران، نماینده جمهوری‌خواه، به‌طور مشترک طرح «قانون کلید خاموشی هوش مصنوعی» (AI Shutdown Switch Act) را پیشنهاد کرده‌اند که توسعه‌دهندگان را ملزم می‌کند امکان کند کردن، متوقف کردن یا حتی خاموش کردن سیستم‌ها را حفظ کنند.
این طرح همچنین پیشنهاد می‌کند وزیر امنیت داخلی آمریکا پس از مشورت با وزیر بازرگانی و مدیر اطلاعات ملی، اختیار صدور دستور کاهش سرعت یا توقف سیستم‌های هوش مصنوعی دارای خطر فاجعه‌بار را داشته باشد.
نخستین صفحه پیشنهاد قانون AI Shutdown Switch Act که در ۲۳ ژوئیه ۲۰۲۶ ارائه شد.
بحث از اینجا یک گام جلوتر می‌رود: اگر واقعاً قرار باشد ترمز کشیده شود، چه کسی دستور آن را صادر خواهد کرد و آیا شرکت‌ها قادر به اجرای آن خواهند بود؟
این‌ها هنوز پیشنهادهای قانونی هستند. اما یک حادثه بزرگ ممکن است راه‌حل‌هایی را که امروز در حال بحث هستند، به تصمیم‌های فوری تبدیل کند.
Axios گزارش داده است که شرکت‌های هوش مصنوعی در حال توضیح فناوری‌ها و خطرهای مرتبط برای اعضای کنگره هستند و امیدوارند اقدامات پس از فاجعه، شامل قوانینی باشد که با مشارکت خود آن‌ها شکل گرفته است.
این موضوع معنای دیگری به «شبیه‌سازی پس از فاجعه» می‌دهد.
پیش از حادثه، شرکت‌ها درباره سرعت تحقیق و توسعه، پیشرفت توانایی‌ها و مزایای آینده صحبت می‌کنند؛ اما در روز پس از فاجعه باید پاسخ دهند که چرا خطرها مهار نشدند و چرا باید اجازه ادامه مسیر داشته باشند.
«روز پس از فاجعه» که آن‌ها از آن نگران هستند، فقط درباره مسئولیت‌پذیری نیست؛ بلکه درباره این است که چه کسی در آینده تصمیم‌گیرنده خواهد بود.
اما یک دستور ساده برای «خاموش کردن هوش مصنوعی» نمی‌تواند نسخه‌های مدل‌های متن‌بازی را که در سراسر جهان پراکنده شده‌اند، بازگرداند. توقف خدمات یک شرکت به معنای توقف هم‌زمان هوش مصنوعی روی همه دستگاه‌ها نیست.
این شمارش معکوس از پیش آغاز شده است.
منابع:
https://www.axios.com/2026/10/09/ai-companies-day-after-major-attack
این مقاله از حساب رسمی وی‌چت «Xinzhiyuan» نوشته Mose و Taozi است و با اجازه 36Kr منتشر شده است.