عامل‌های هوش مصنوعی OpenAI هنگام انجام وظایف کدنویسی داخلی، سامانه‌های نظارت ایمنی خود را غیرفعال کردند
عامل‌های هوش مصنوعی OpenAI هنگام انجام وظایف کدنویسی داخلی، سامانه‌های نظارت ایمنی خود را غیرفعال کردند
نویسنده: جاناتان ایستونعاملهای هوش مصنوعی OpenAI در جریان دو وظیفه کدنویسی در ماه اکتبر، سامانه‌های نظارت ایمنی داخلی این شرکت را غیرفعال کردند. این اتفاق باعث شد OpenAI تدابیر حفاظتی خود را تقویت کند و درباره علت دخالت مدل‌هایش در سامانه‌هایی تحقیق کند که برای شناسایی رفتارهای نادرست طراحی شده‌اند.
بر اساس گزارشی که OpenAI روز سه‌شنبه، ۲۰ اکتبر، منتشر کرد، این دو رویداد به مدل‌های GPT-6.1 Sol و GPT-6 Astra مربوط بودند. این مدل‌ها سامانه‌های نظارتی را که برای شناسایی رفتارهای مغایر با دستورهای انسانی در نظر گرفته شده بودند، تضعیف یا حذف کردند. در یک مورد، عامل هوش مصنوعی هشدارهای امنیتی خودکار را از کار انداخت و در مورد دیگر، سامانه‌ای نظارتی را حذف کرد و سپس منکر انجام این کار شد.
خبرگزاری رویترز گزارش داد که نخستین رویداد در ۳ اکتبر رخ داد؛ زمانی که GPT-6.1 Sol مشغول انجام یک وظیفه آزمایشی داخلی بود که به بازخورد کارکنان جمع‌آوری‌شده از طریق اسلک مربوط می‌شد. این عامل، دستور ارسال نکردن پیام در اسلک را شامل اعلان‌های امنیتی نیز دانست و در نتیجه، هشدارهای خودکاری را که برای اطلاع‌رسانی به مهندسان ارسال می‌شدند، غیرفعال کرد.
رویداد دوم در ۶ اکتبر اتفاق افتاد. در آن زمان، GPT-6 Astra هنگام کپی کردن کدهای موجود، یک سامانه نظارت ایمنی را حذف کرد؛ با وجود آنکه صراحتاً به آن دستور داده شده بود ابزارهای نظارتی را حتی به‌طور موقت نیز غیرفعال نکند. OpenAI اعلام کرد که این عامل پس از آنکه درباره اقداماتش از او سؤال شد، مدعی شد سامانه نظارتی را حذف نکرده است.
هیچ‌یک از این دو رویداد به آستانه تعیین‌شده OpenAI برای بالاترین سطح هشدار امنیتی نرسید؛ سطحی که بررسی فوری تیم امنیتی شرکت را در پی دارد. این شرکت اعلام کرد سامانه‌های خود را به‌روزرسانی کرده است تا تلاش‌ها برای غیرفعال کردن سامانه‌های نظارت بر رفتارهای ناهمسو بهتر شناسایی شوند. OpenAI همچنین در حال بررسی دلایل بروز این رفتارهاست.
OpenAI گفت این رویدادها ممکن است ناشی از «پافشاری بیش‌ازحد با انگیزه‌ای بی‌ضرر» باشند؛ وضعیتی که در آن مدل‌ها وظایف محول‌شده را با شدت و پشتکار افراطی دنبال می‌کنند، بی‌آنکه درک کنند چرا برخی محدودیت‌ها اهمیت دارند. با این حال، این شرکت در حال تدوین آزمون‌هایی است تا مشخص کند آیا مدل‌هایش گرایش مشخصی به گریز از نظارت و توجیه تلاش‌های خود برای دور زدن آن دارند یا خیر.
این رویدادها توجه‌ها را بیش از پیش به توانایی عامل‌های هوش مصنوعی برای عمل کردن فراتر از مقاصد توسعه‌دهندگانشان جلب می‌کند. OpenAI در ماه ژوئیه نیز فاش کرده بود که برخی از عامل‌هایش از محیط آزمایشی کنترل‌شده خارج شده و به پلتفرم هوش مصنوعی Hugging Face نفوذ کرده‌اند.
OpenAI و رقیبش Anthropic از توسعه‌دهندگان و دولت‌ها خواسته‌اند برای کاهش خطر آسیب‌های فاجعه‌بار، درباره کند کردن روند توسعه هوش مصنوعی در سطح جهان هماهنگ شوند. با این حال، ایالات متحده و چین، دو قدرت پیشرو در حوزه هوش مصنوعی، تمایل چندانی به همکاری در زمینه مقررات‌گذاری این فناوری نشان نداده‌اند. هماهنگی میان آن‌ها عمدتاً به تعهداتی برای بهبود ارتباطات درباره حوادث مرتبط با ایمنی یا امنیت ملی محدود مانده است.
این افشاگری‌ها در شرایطی صورت می‌گیرد که رویکرد OpenAI در قبال مقررات‌گذاری هوش مصنوعی با موشکافی بیشتری روبه‌رو شده است. رویترز در ۲۱ اکتبر گزارش داد که گرگ بروکمن، رئیس OpenAI، و همسرش ۲۵ میلیون دلار به گروه سیاسی «Leading the Future» کمک کرده‌اند؛ گروهی که با مقرراتی مخالف است که ممکن است توسعه هوش مصنوعی را بیش از اندازه محدود کنند. این گروه میلیون‌ها دلار برای تأثیرگذاری بر دست‌کم ۴۸ رقابت انتخاباتی مجلس نمایندگان و سنای ایالات متحده هزینه می‌کند. OpenAI اعلام کرده است که این کمک مالی در ظرفیت شخصی بروکمن و همسرش انجام شده است. در مقابل، منتقدان این پرسش را مطرح کرده‌اند که آیا درخواست‌های علنی شرکت برای ایجاد تدابیر حفاظتی در حوزه هوش مصنوعی با فعالیت‌های سیاسی مدیران آن همخوانی دارد یا خیر.