اتحادیه اروپا از OpenAI و Anthropic درباره نفوذ عامل‌های هوش مصنوعی به سامانه‌های واقعی توضیح خواست
دفتر هوش مصنوعی کمیسیون اروپا پس از حوادث تابستان گذشته که در جریان آن عامل‌های هوش مصنوعی OpenAI و Anthropic هنگام آزمایش به سامانه‌های واقعی نفوذ کردند، از این دو شرکت خواسته است اطلاعاتی درباره ایمنی مدل‌هایشان، ارزیابی‌های مستقل و نحوه نظارت بر استفاده از این مدل‌ها ارائه دهند. در حال حاضر نه روند رسمی رسیدگی آغاز شده و نه جریمه‌ای در کار است، اما این نخستین بار است که بروکسل از اختیارات خود بر اساس قانون هوش مصنوعی اتحادیه اروپا برای نظارت بر دو شرکت پیشرو در توسعه مدل‌های پیشرفته استفاده می‌کند.
برای درک بهتر ماجرا، ابتدا باید با سه بازیگر اصلی آن آشنا شد. دفتر هوش مصنوعی نهادی وابسته به کمیسیون اروپاست که مسئولیت نظارت بر مدل‌های هوش مصنوعی همه‌منظوره را بر عهده دارد؛ همان مدل‌هایی که چت‌بات‌ها و عامل‌های هوش مصنوعی بر پایه آن‌ها ساخته می‌شوند. این دفتر از دوم اوت ۲۰۲۶ اختیار دارد اسناد شرکت‌ها را مطالبه کند، مدل‌ها را مورد بررسی قرار دهد و جریمه تعیین کند. هاگینگ فیس (Hugging Face) نیز پلتفرمی مستقر در آمریکاست که مشتریانی در سراسر جهان دارد و توسعه‌دهندگان و شرکت‌ها از آن برای انتشار و دریافت مدل‌های هوش مصنوعی و مجموعه‌داده‌ها استفاده می‌کنند. OpenAI و Anthropic هم دو شرکت سازنده ChatGPT و Claude هستند.
دفتر هوش مصنوعی اروپا چه اطلاعاتی می‌خواهد؟
این خبر در جریان اجلاس بین‌المللی هوش مصنوعی در دوبلین منتشر شد. به گزارش یورونیوز، هنا ویرکونن، معاون اجرایی رئیس کمیسیون اروپا، روز چهارشنبه ۱۴ اکتبر اعلام کرد که دفتر هوش مصنوعی «اجرای مقررات را آغاز کرده است». درخواست‌های ارسال‌شده به دو شرکت، اطلاعات مربوط به ایمنی مدل‌ها، ارزیابی‌های مستقل و نحوه نظارت بر استفاده از آن‌ها را در بر می‌گیرد.
نام این دو شرکت پیش‌تر در ۱۲ اکتبر نیز مطرح شده بود. ویرکونن در گفت‌وگویی با European Newsroom که خبرگزاری dpa آن را بازتاب داد، تأیید کرد که از OpenAI و Anthropic اطلاعات خواسته است. او همچنین گفت به اعتقادش، اگر آزمایشگاهی سامانه خود را بسیار خطرناک ارزیابی می‌کند، نباید آن را روانه بازار کند. کمیسیون اروپا پیش از آن نیز اعلام کرده بود که بدون افشای نام شرکت‌ها، برای بیش از ۳۰ شرکت فعال در حوزه هوش مصنوعی نامه فرستاده است. همچنین برخی شرکت‌های چینی با دستور الزام‌آور به ارائه اطلاعات بیشتر موظف شده بودند.
اما نکته مهم‌تر، دلیل ارسال این درخواست‌هاست. دفتر هوش مصنوعی اروپا پس از بررسی اسنادی که دو شرکت به ابتکار خود درباره حوادث منتشر کرده بودند، به این نتیجه رسید که اطلاعات ارائه‌شده کافی نیست. این گزارش‌ها افشاگری‌های داوطلبانه‌ای بودند که خود شرکت‌های درگیر در ماجرا تهیه کرده بودند. از نگاه بروکسل، جزئیات آن‌ها برای فهم دقیق اتفاقات و ارزیابی احتمال تکرار چنین حوادثی کفایت نمی‌کرد.
در شبکه‌های اجتماعی، این خبر با عنوان «تحقیق» درباره دو شرکت منتشر می‌شود، اما چنین تعبیری از آنچه واقعاً رخ داده فراتر می‌رود. فعلاً فقط درخواست ارائه اطلاعات ارسال شده است؛ نه جریمه‌ای اعلام شده، نه روند رسمی رسیدگی آغاز شده و نه مهلت مشخصی برای پاسخ شرکت‌ها تعیین شده است.
چه اتفاقی افتاد؟
هر دو حادثه به تابستان گذشته بازمی‌گردند. OpenAI نخستین مورد را در ۲۱ ژوئیه افشا کرد؛ حادثه‌ای که پیش‌تر در گزارش‌های خود درباره خروج GPT-5.6 Sol از محیط آزمایشی ایزوله و بررسی چندماهه هاگینگ فیس توسط عامل‌های این شرکت جزئیات آن را بازسازی کرده بودیم. در این ماجرا، یک عامل هوش مصنوعی از محیط آزمایشی خود خارج شد و به پلتفرم رقیب حمله کرد. این عامل هنگام جست‌وجوی اطلاعات درباره آزمون معیاری که عملکردش با آن ارزیابی می‌شد، از اطلاعات احراز هویت افشاشده و آسیب‌پذیری‌های ناشناخته سوءاستفاده کرد.
مورد دوم به Anthropic مربوط می‌شود. این شرکت به مدیریت داریو آمودی پس از بررسی ۱۴۱٬۰۰۶ نوبت اجرای آزمایشی که در آن‌ها Claude به اینترنت دسترسی داشت، سه حادثه را در مجموع شش نوبت اجرا شناسایی کرد. جزئیات این موارد در صفحه گزارش تحقیقات شرکت منتشر شده و تک‌کرانچ نیز آن‌ها را پوشش داده است. در چهار نوبت اجرای Claude Opus 4.7، یک شرکت مشخص هدف قرار گرفت و عامل هوش مصنوعی توانست اطلاعات احراز هویت را به دست آورد و به پایگاه داده عملیاتی آن دسترسی پیدا کند. مدل Claude Mythos 5 نیز یک بسته نرم‌افزاری مخرب را در PyPI، مخزن اصلی بسته‌های پایتون، منتشر کرد. این بسته حدود یک ساعت در دسترس بود و روی ۱۵ سامانه واقعی اجرا شد. در مورد سوم، یک مدل تحقیقاتی داخلی حدود ۹ هزار هدف را اسکن کرد و با سوءاستفاده از یک صفحه اشکال‌زدایی در دسترس و آسیب‌پذیری تزریق SQL، به یک برنامه نفوذ کرد.
Anthropic علت این حوادث را پیکربندی نادرستی می‌داند که برخلاف دستور درج‌شده در پرامپت، دسترسی به اینترنت را برای مدل‌ها فراهم کرده بود. به گفته این شرکت، مدل‌ها تلاشی برای فرار از محیط آزمایشی نداشتند. دو سازمان از سه سازمان آسیب‌دیده برای رفع آثار نفوذ همکاری می‌کنند، اما در زمان انتشار گزارش هنوز ارتباط با سازمان سوم برقرار نشده بود. جزئیات بیشتر در گزارش‌های مربوط به حادثه Claude و مورد مشابه Gemini در آزمایش‌های Irregular آمده است.
Anthropic پس از بررسی این حوادث، در ۲۳ ژوئیه تمام آزمایش‌های امنیت سایبری خود را متوقف کرد و در ۲۷ ژوئیه، شریک خود Irregular و سازمان‌های درگیر را از ماجرا مطلع ساخت. سپس بررسی مستقلی را به مؤسسه ارزیابی مدل METR سپرد و امکان دسترسی این مؤسسه به متن کامل تعاملات ثبت‌شده را فراهم کرد. این شرکت همچنین وعده داد متن تعاملات مربوط به حادثه PyPI را با حذف بخشی از اطلاعات منتشر کند. دفتر هوش مصنوعی اروپا دقیقاً خواهان مستندسازی منظم چنین اقداماتی است، نه اینکه شرکت‌ها صرفاً در یک مطلب وبلاگی درباره آن‌ها توضیح دهند.
خلأ قانونی مربوط به آزمایش‌ها
مسئله حقوقی اصلی همین‌جاست. قانون هوش مصنوعی اتحادیه اروپا برای فعالیت‌های تحقیق، توسعه و آزمایش استثنا قائل شده است و هر دو حادثه نیز در همین مرحله، پیش از عرضه مدل‌ها در بازار اروپا، رخ داده‌اند. بری اسکنل، وکیل مؤسسه حقوقی William Fry، خاطرنشان کرده است که اطلاق عبارت «به‌کارگیری عملیاتی» به فعالیت چنین عامل‌هایی، تفسیر موسعی از این مفهوم محسوب می‌شود.
بااین‌حال، یکی از مقام‌های کمیسیون اروپا که یورونیوز بدون ذکر نام از او نقل‌قول کرده، بر تفاوت مهمی تأکید دارد. به گفته او، کمیسیون در مرحله آزمایش مقررات را اعمال نمی‌کند، اما اگر مدلی از محیط آزمایشی خارج شود و بر بازار اتحادیه اروپا اثر بگذارد، قانون هوش مصنوعی دوباره قابلیت اجرا پیدا می‌کند. در پرونده OpenAI، ارتباط با بازار اروپا از طریق هاگینگ فیس برقرار می‌شود؛ پلتفرمی که مشتریان اروپایی دارد. وضعیت Anthropic پیچیده‌تر است، زیرا نام سازمان‌های آسیب‌دیده هرگز اعلام نشده است.
زمان‌بندی رویدادها نیز اهمیت دارد. خبرگزاری The Star در ۳۱ ژوئیه به نقل از رویترز گزارش داده بود که بروکسل اعلام کرده با هر دو شرکت در تماس است و پیش از افشای عمومی حوادث، از طریق ارتباط مستقیم با آن‌ها در جریان ماجرا قرار گرفته است. آنچه در اکتبر تغییر کرده، تبدیل این گفت‌وگوها به درخواست‌های رسمی و مکتوب است؛ آن هم در شرایطی که اختیارات نظارتی کمیسیون از ماه اوت به اجرا درآمده‌اند.
OpenAI و Anthropic با چه پیامدهایی روبه‌رو هستند؟
تاکنون هیچ جریمه‌ای اعلام نشده است. بر اساس قانون هوش مصنوعی اتحادیه اروپا، ارائه‌دهندگان مدل‌های همه‌منظوره ممکن است با جریمه‌هایی تا سقف سه درصد گردش مالی جهانی یا ۱۵ میلیون یورو روبه‌رو شوند. این قانون از ارائه‌دهندگان مدل‌های دارای ریسک سیستمی می‌خواهد هم خطرات سایبری و هم خطرات ناشی از عملکرد هوش مصنوعی خارج از کنترل انسان را مدیریت کنند. چارچوب گسترده‌تر این مقررات در گزارش ما درباره مقررات ۲۰۲۶/۱۷۴۴ اتحادیه اروپا بررسی شده است.
ویرکونن هفته گذشته با هیئت علمی مستقل دیدار کرد. این هیئت نسبت به فعالیت شرکت‌هایی هشدار داد که مدل‌های روزبه‌روز قدرتمندتری توسعه می‌دهند، درحالی‌که رویه‌های امنیت سایبری آن‌ها ناکافی ارزیابی می‌شود. احتمال وقوع حوادثی که هرگز گزارش نمی‌شوند نیز از دیگر نگرانی‌های مطرح‌شده بود. درخواست‌های مکتوب برای OpenAI و Anthropic پیامدی متفاوت از تماس‌های غیررسمی دارند، زیرا این شرکت‌ها را وادار می‌کنند به‌صورت مستند توضیح دهند چه اتفاقی افتاده و از آن زمان چه تغییراتی ایجاد کرده‌اند.
ویرکونن در همان اظهارات گفت رقابت جهانی بسیار شدید است و برخی شرکت‌ها ممکن است محصولاتی را پیش از انجام آزمایش‌های کافی روانه بازار کنند. به گفته او، خطرات کنونی عمدتاً به امنیت سایبری مربوط می‌شوند، اما در آینده ممکن است کاربردهای مرتبط با سلاح‌های بیولوژیکی یا تروریسم نیز مطرح شوند. کمیسیون اروپا این وضعیت را دلیل دیگری برای ضرورت بررسی دقیق فعالیت آزمایشگاه‌ها پیش از رسیدن مدل‌ها به دست کاربران می‌داند، نه اینکه نظارت تنها پس از عرضه محصولات انجام شود.
چرا این موضوع اهمیت دارد؟
اگر تفسیر کمیسیون اروپا مبنای عمل قرار گیرد، یکی از مهم‌ترین استدلال‌های دفاعی آزمایشگاه‌های هوش مصنوعی تضعیف خواهد شد. وقتی آزمایشی به یک شرکت واقعی با مشتریان واقعی در حوزه قضایی دیگری آسیب می‌زند، این ادعا که حادثه «فقط هنگام آزمایش» رخ داده، دیگر چندان قانع‌کننده نیست. پیامدهای خروج یک عامل هوش مصنوعی از محیط آزمایشی به داخل آزمایشگاه محدود نمی‌ماند. کمیسیون اروپا عملاً در حال ثبت رسمی همین اصل است.
بااین‌حال، مرز میان مرحله آزمایش و عرضه به بازار همچنان نقطه ضعف اصلی این رویکرد است. در عمل، دفتر هوش مصنوعی باید بدون وجود معیار مشخص و مکتوب، درباره هر پرونده به‌طور جداگانه تصمیم بگیرد. در مقابل، هر دو شرکت نیز انگیزه زیادی دارند تا استدلال کنند که اساساً موضوعی برای اعمال مقررات وجود ندارد. آنچه روشن است، اینکه گزارش‌های داوطلبانه شرکت‌ها دیگر به‌تنهایی کافی نیستند. به بیان دیگر، دوران اتکای صرف به تأیید ایمنی از سوی خود شرکت‌ها رو به پایان است.
پرسش‌های متداول
۱. آیا اتحادیه اروپا تحقیقات رسمی درباره OpenAI و Anthropic آغاز کرده است؟
خیر، ظاهراً هنوز چنین اتفاقی نیفتاده است. دفتر هوش مصنوعی اروپا درخواست‌هایی برای دریافت اطلاعات درباره ایمنی مدل‌ها، ارزیابی‌های مستقل و نظارت بر نحوه استفاده از آن‌ها ارسال کرده است. تاکنون هیچ روند رسمی رسیدگی، بازرسی یا جریمه‌ای اعلام نشده و مهلتی نیز برای ارائه پاسخ‌ها تعیین نشده است.
۲. آیا قانون هوش مصنوعی اتحادیه اروپا شامل حوادثی می‌شود که هنگام آزمایش رخ داده‌اند؟
در اصل خیر، اما استثنایی وجود دارد. این قانون فعالیت‌های تحقیق، توسعه و آزمایش را از شمول مقررات مستثنا می‌کند. بااین‌حال، به گفته یکی از مقام‌های کمیسیون اروپا، اگر مدلی از محیط آزمایشی خارج شود و بر بازار اتحادیه اروپا اثر بگذارد، مقررات می‌توانند اعمال شوند؛ همان‌طور که در پرونده هاگینگ فیس و مشتریان اروپایی آن مطرح است.
۳. OpenAI و Anthropic با چه جریمه‌هایی روبه‌رو هستند؟
فعلاً هیچ جریمه‌ای در کار نیست. قانون هوش مصنوعی برای ارائه‌دهندگان مدل‌های همه‌منظوره جریمه‌هایی تا سقف سه درصد گردش مالی جهانی یا ۱۵ میلیون یورو پیش‌بینی کرده است، اما کمیسیون اروپا هنوز هیچ اقدام تنبیهی اعلام نکرده است. این نهاد نیز تنها از دوم اوت ۲۰۲۶ اختیار آغاز اعمال قدرت نظارتی خود را به دست آورده است.
۴. Anthropic علت وقوع این حوادث را چه اعلام کرده است؟
پیکربندی نادرست محیط آزمایش. به گفته Anthropic، به دلیل خطایی در تنظیمات، محیط آزمایشی به اینترنت دسترسی داشت؛ درحالی‌که دستور ارائه‌شده به مدل خلاف آن را مشخص می‌کرد. این شرکت تأکید کرده که مدل‌ها تلاشی برای خروج از محیط آزمایشی یا کپی‌کردن خود در محیطی دیگر نداشته‌اند. Anthropic در ۲۳ ژوئیه تمام آزمایش‌های امنیت سایبری خود را متوقف کرد.