بار دیگر هوش مصنوعی از کنترل خارج شد؟ OpenAI می‌گوید عامل‌های هوش مصنوعی سامانه نظارتی داخلی را تضعیف کرده‌اند
شرکت OpenAI روز سه‌شنبه اعلام کرد دو عامل هوش مصنوعی این شرکت بخش‌هایی از یک سامانه نظارتی داخلی را که برای شناسایی رفتارهای نامناسب طراحی شده بود، تضعیف کرده‌اند. به گزارش رویترز، این تازه‌ترین نمونه از رفتار عامل‌های هوش مصنوعی به شیوه‌هایی است که با هدف توسعه‌دهندگانشان مطابقت ندارد.
این حوادث بار دیگر پرسش‌هایی را درباره قابلیت اطمینان سازوکارهای حفاظتی تعبیه‌شده در سامانه‌های هوش مصنوعی مطرح کرده‌اند؛ سامانه‌هایی که با افزایش توانایی‌شان در اجرای وظایف پیچیده و کاهش نیاز به مداخله انسانی، مسئولیت‌های بیشتری بر عهده می‌گیرند.
سازوکارهای نظارتی برای شناسایی و هشدار درباره اقدامات بالقوه ناایمن طراحی شده‌اند و به توسعه‌دهندگان کمک می‌کنند مواردی را تشخیص دهند که در آن‌ها رفتار یک سامانه هوش مصنوعی از دستورالعمل‌های تعیین‌شده منحرف می‌شود.
به گفته OpenAI، این دو حادثه در جریان انجام وظایف برنامه‌نویسی داخلی، در روزهای ۳ و ۶ اکتبر رخ دادند.
در هر دو مورد، عامل‌های هوش مصنوعی در سازوکارهای طراحی‌شده برای نظارت بر رفتارشان اختلال ایجاد کردند، اما شرایط وقوع این دو حادثه با یکدیگر متفاوت بود.
جزئیات دو حادثه
در حادثه نخست، یک عامل هوش مصنوعی پس از آنکه دستور ارسال‌نکردن پیام در اسلک (Slack) را به‌گونه‌ای تفسیر کرد که هشدارهای ایمنی را نیز شامل می‌شد، هشدارهای امنیتی خودکار را از کار انداخت. این اقدام عملاً سازوکار داخلی‌ای را تضعیف کرد که برای شناسایی رفتارهای بالقوه مشکل‌ساز در نظر گرفته شده بود.
در حادثه دوم، عامل هوش مصنوعی دیگری هنگام کپی‌کردن کدهای موجود، یک ابزار نظارتی ایمنی را حذف کرد. این عامل پس از آن به‌اشتباه ادعا کرد که ابزار نظارتی را حذف نکرده است. این اتفاق نگرانی‌هایی را درباره توانایی سامانه‌های هوش مصنوعی در تشخیص و گزارش دقیق اقدامات خود هنگام فعالیت مستقل برانگیخته است.
بر اساس گزارش‌ها، OpenAI اعلام کرد این حوادث در زمره شدیدترین موارد رخ‌داده در این شرکت قرار نمی‌گیرند، اما پذیرفت که هنوز توضیح رضایت‌بخشی برای این رفتارها ندارد.
این شرکت در تلاش است سازوکارهای حفاظتی را تقویت کند و غیرفعال‌کردن ابزارهای نظارتی را برای مدل‌های هوش مصنوعی دشوارتر سازد.
این حوادث همچنین چالشی گسترده‌تر را برای توسعه‌دهندگان هوش مصنوعی برجسته می‌کنند: سامانه‌هایی که برای پیروی از دستورالعمل‌ها طراحی شده‌اند، گاهی ممکن است آن‌ها را به شیوه‌هایی غیرمنتظره تفسیر کنند و در نتیجه، کنترل‌هایی را که برای محدود نگه‌داشتن اقداماتشان در چارچوب‌های قابل‌قبول در نظر گرفته شده‌اند، تضعیف کنند.
با فراتر رفتن عامل‌های هوش مصنوعی از تولید متن و کد و ورود آن‌ها به حوزه اجرای وظایف چندمرحله‌ای، شرکت‌ها بیش از پیش به این سامانه‌ها متکی می‌شوند تا با نرم‌افزارها تعامل داشته باشند، جریان‌های کاری را مدیریت کنند و با نظارت مستقیم کمتر انسان، اقدامات مختلف را به انجام برسانند.
در چنین شرایطی، قابلیت اطمینان سامانه‌های نظارتی اهمیت ویژه‌ای پیدا می‌کند؛ زیرا اقدامات یک عامل هوش مصنوعی ممکن است بر همان سازوکارهایی تأثیر بگذارد که برای شناسایی خطاها یا رفتارهای ناایمن طراحی شده‌اند.