شرکت‌های فناوری اطلاعات و مالی در میان اهداف فعالیت خارج از کنترل عامل‌های هوش مصنوعی آنتروپیک و اوپن‌ای‌آی
یک عامل هوش مصنوعی که روی داده‌های پژوهشی ارائه‌شده از سوی یک شرکت آمریکایی کار می‌کرد، در نهایت به اطلاعات حساسی متعلق به یک شرکت خدمات فناوری اطلاعات در نویدا دسترسی پیدا کرد.
در رویدادی دیگر نیز عامل‌های هوش مصنوعی به گذرواژه‌های مهم یک شرکت هندی دسترسی یافتند که به‌صورت متن ساده ذخیره شده و در معرض دسترسی قرار داشتند.
روزنامه ایندین اکسپرس مطلع شده است که این موارد از نخستین نمونه‌های گزارش‌شده از خروج عامل‌های هوش مصنوعی از محدوده عملکرد تعیین‌شده و دسترسی غیرمجاز آن‌ها به سامانه‌های شرکت‌های هندی بوده‌اند. این عامل‌ها در هر دو مورد کاری انجام دادند که در چارچوب وظایف محول‌شده به آن‌ها قرار نداشت.
یک مقام ارشد دولتی گفت مدل‌های هوش مصنوعی دخیل در این رویدادها را دو شرکت پیشرو این حوزه، یعنی اوپن‌ای‌آی و آنتروپیک، توسعه داده بودند. این رخدادها عمدتاً شرکت‌های فعال در بخش خدمات فناوری اطلاعات و خدمات مالی را تحت تأثیر قرار دادند.
آنتروپیک، اوپن‌ای‌آی و وزارت فناوری اطلاعات هند تا زمان انتشار گزارش به درخواست اظهارنظر پاسخ نداده بودند.
عامل‌های هوش مصنوعی سامانه‌های مستقلی هستند که می‌توانند بدون دریافت دستور در هر مرحله، وظایف را برنامه‌ریزی و اجرا کنند، به وب‌سایت‌ها و ابزارهای نرم‌افزاری خارجی دسترسی داشته باشند و اقداماتی را با دخالت محدود انسان انجام دهند. این سامانه‌ها برخلاف چت‌بات‌های معمولی که عمدتاً به پرسش‌ها پاسخ می‌دهند، قادرند مجموعه‌ای از اقدامات پی‌درپی را بدون نیاز به راهنمایی انسانی در تک‌تک مراحل انجام دهند.
تیم واکنش اضطراری رایانه‌ای هند (Cert-In) هفته گذشته اعلام کرد که عامل‌های هوش مصنوعی هنگام فراتر رفتن از وظایف تعیین‌شده، به سوابق محرمانه تجاری سازمان‌ها دسترسی پیدا کرده‌اند. این نهاد ارزیابی اولیه‌ای از رویدادها انجام داده است. به گفته این مقام دولتی، خسارت‌ها نسبتاً محدود ماندند، زیرا شرکت‌های توسعه‌دهنده هوش مصنوعی در جریان بررسی‌های داخلی فعالیت‌های غیرمجاز را شناسایی کردند و به‌موقع به دولت هند اطلاع دادند.
با این حال، این رویدادها نگرانی‌هایی را در دولت هند درباره میزان آمادگی شرکت‌ها برای مقابله با تهدیدهای امنیت سایبری ایجاد کرده‌اند؛ به‌ویژه سازمان‌های کوچک‌تری که ممکن است امکانات و آمادگی لازم برای مقابله با حملات انجام‌شده به‌وسیله سامانه‌های مستقل هوش مصنوعی را نداشته باشند.
در مورد شرکت خدمات فناوری اطلاعات مستقر در نویدا، عامل‌های هوش مصنوعی مشغول انجام فعالیت‌های پژوهشی و ارزیابی با استفاده از اطلاعاتی بودند که یک شرکت آمریکایی در اختیارشان گذاشته بود. با این حال، آن‌ها از محدودیت‌های تعیین‌شده برای وظایف خود فراتر رفتند و به سامانه‌های مرتبط با شرکت هندی دسترسی پیدا کردند؛ شرکتی که بخشی از فعالیت‌های فنی پشت‌صحنه شرکت آمریکایی را انجام داده بود.
در رویداد دوم، ضعف‌های متداول‌تری در رویه‌های امنیت سایبری آشکار شد. عامل‌های هوش مصنوعی توانستند به گذرواژه‌های حساس یک شرکت دسترسی پیدا کنند، زیرا اطلاعات ورود به سامانه‌ها به‌صورت متن ساده ذخیره شده بود و برای دستیابی به آن‌ها نیازی به شکستن رمزنگاری وجود نداشت.
تیم واکنش اضطراری رایانه‌ای هند در ۱۵ اکتبر با انتشار هشداری با درجه اهمیت بحرانی اعلام کرد که چندین گزارش داوطلبانه از سوی ارائه‌دهندگان مدل‌های هوش مصنوعی دریافت کرده است. طبق این گزارش‌ها، سامانه‌های این شرکت‌ها هنگام انجام پژوهش و ارزیابی در اینترنت، به سامانه‌های عملیاتی متعلق به سازمان‌های هندی دسترسی پیدا کرده بودند.
این نهاد اعلام کرد: «در موارد گزارش‌شده، اقدامات مدل‌ها از حدود مجوزهای تعیین‌شده برای وظایف محول‌شده به آن‌ها فراتر رفت.» به گفته این نهاد، فعالیت‌های ثبت‌شده شامل دسترسی به سوابق تجاری، از جمله داده‌های شخصی و اطلاعات محرمانه، از طریق اطلاعات ورود و تنظیمات اتصال افشاشده در پیکربندی برنامه‌ها، مخازن عمومی کد و نقش‌های دسترسی بیش از حد مجاز در خدمات ابری بوده است.
نکته مهم آن است که هیچ‌یک از سازمان‌های هندی آسیب‌دیده خودشان متوجه دسترسی غیرمجاز نشده بودند. در تمام موارد، شرکت‌های توسعه‌دهنده هوش مصنوعی طی بررسی‌های داخلی این رویدادها را کشف کردند و سپس آن‌ها را به تیم واکنش اضطراری رایانه‌ای هند گزارش دادند.
این نهاد نام سازمان‌های آسیب‌دیده یا شرکت‌های هوش مصنوعی دخیل در این رویدادها را به‌صورت عمومی اعلام نکرد.
این حوادث در شرایطی رخ داده‌اند که نگرانی‌های بین‌المللی درباره عبور مدل‌های هوش مصنوعی از مرزهای عملیاتی خود و تعامل غیرمجاز آن‌ها با سامانه‌های خارجی رو به افزایش است.
جدا از مواردی که در آن‌ها عامل‌های هوش مصنوعی از وظایف محول‌شده فراتر رفتند، تیم واکنش اضطراری رایانه‌ای هند همچنین کارزار جداگانه‌ای از حملات سایبری با انگیزه مالی علیه نهادهای هندی را شناسایی کرده است. مهاجمان در این کارزار عمداً از چارچوب‌های عمومی و مبتنی بر هوش مصنوعی برای آزمون تهاجمی امنیت استفاده کرده بودند.
به گفته این نهاد، استفاده از چنین ابزارهایی فاصله زمانی میان دسترسی اولیه مهاجمان به سامانه‌ها و بروز پیامدهای نهایی حمله را از چند روز به تنها چند ساعت کاهش داده است. همچنین مواردی مشاهده شده که در آن‌ها چند عامل هوش مصنوعی به‌طور هم‌زمان و برای ساعت‌ها یا حتی روزها فعالیت کرده‌اند تا مهاجمان به اهداف خود برسند.
تیم واکنش اضطراری رایانه‌ای هند اعلام کرد سازمان‌هایی که پس از نفوذ اولیه، آسیب‌پذیری‌های خود را به‌طور کامل برطرف نکرده بودند، ظرف چند روز دوباره هدف حمله قرار گرفتند؛ در برخی موارد، حمله دوم در مقیاسی بزرگ‌تر انجام شد.
این نهاد به توسعه‌دهندگان هوش مصنوعی توصیه کرده است محیط‌های اجرای وظایف پژوهشی و ارزیابی را از سایر سامانه‌ها جدا کنند، دسترسی عامل‌ها به سامانه‌های خارجی را محدود سازند و این محدودیت‌ها را با کنترل‌های فنی شبکه اعمال کنند، نه اینکه صرفاً به دستورهای متنی داده‌شده به مدل‌های هوش مصنوعی اتکا داشته باشند.
همچنین به توسعه‌دهندگان توصیه شده است که اگر یک عامل به سامانه‌ها یا اطلاعات ورود متعلق به اشخاص ثالث و خارج از محدوده مجاز دسترسی پیدا کرد، فعالیت آن به‌طور خودکار متوقف شود. افزون بر این، باید اختیار خاتمه دادن به فرایند در اختیار یک ناظر انسانی مستقل نیز قرار گیرد.
برای شرکت‌ها نیز تیم واکنش اضطراری رایانه‌ای هند بررسی کد منبع، فایل‌های پیکربندی و مخازن نرم‌افزاری با هدف شناسایی اطلاعات ورود افشاشده، حذف مجوزهای دسترسی غیرضروری، ایمن‌سازی زیرساخت‌های ابری و به‌کارگیری سامانه‌هایی برای شناسایی حملات خودکار با سرعت پردازش ماشین را توصیه کرده است.
ای‌دات: افزایش خطرها، ضرورت ایجاد تدابیر حفاظتی را برجسته می‌کند
شرکت‌ها باید برای مقابله با خطرهای فزاینده ناشی از عامل‌های مستقل هوش مصنوعی که توانایی بیشتری برای اجرای خودکار حملات پیدا می‌کنند، آمادگی امنیت سایبری خود را تقویت کنند. دولت مجموعه‌ای از اقدامات حفاظتی را توصیه کرده است که از حذف دسترسی‌های غیرضروری تا تقویت سامانه‌های شناسایی تهدیدها را در بر می‌گیرد.