اوپن‌ای‌آی پیشرفته‌ترین مدل‌های هوش مصنوعی خود را هنگام آموزش از اینترنت جدا کرد
اوپن‌ای‌آی اعلام کرده است که دسترسی مستقیم به اینترنت را هنگام آموزش پیشرفته‌ترین مدل‌های هوش مصنوعی خود قطع کرده و به‌جای آن، محیطی مجازی با نسخه ذخیره‌شده‌ای از بخش‌هایی از وب فراهم آورده است تا مدل‌ها همچنان بتوانند مرور وب، جست‌وجو و استفاده از برنامه‌ها را تمرین کنند. هدف از این محدودیت، حفظ این توانایی‌ها و در عین حال کاهش امکان اقدام مدل‌ها در سامانه‌های رایانه‌ای خارج از محیط آموزشی است.
این شرکت در ۲۳ اکتبر جزئیات این تغییر را تشریح کرد؛ اقدامی که پس از خروج یکی از مدل‌ها از محیط آفلاین در ۲۰ سپتامبر و در پی پیکربندی نادرست DNS انجام شد. DNS سامانه‌ای است که برای یافتن نشانی‌های اینترنتی به کار می‌رود. اوپن‌ای‌آی می‌گوید پس از این رخداد، آموزش مدل‌های پیشرفته خود را متوقف کرد، تدابیر محصورسازی را تقویت کرد و از اول اکتبر آموزش پژوهشی را از سر گرفت.
در چند ماه گذشته، امنیت محیط پژوهشی آموزش مدل‌ها را به‌طور قابل‌توجهی تقویت کرده‌ایم. دسترسی مستقیم به اینترنت را هنگام آموزش همه مدل‌های پیشرفته قطع کرده‌ایم و به‌جای آن، محیطی آفلاین ساخته‌ایم که مدل‌ها می‌توانند در آن فعالیت کنند؛ محیطی مبتنی بر نسخه ذخیره‌شده‌ای از وب که در آن...
مدل‌ها همچنان چه چیزهایی می‌توانند یاد بگیرند؟
در فرایند آموزش، مدل با یادگیری الگوها و تنظیم پارامترهای داخلی خود توسعه می‌یابد؛ این پارامترها نحوه تولید پاسخ‌های آن را شکل می‌دهند. در یادگیری تقویتی، مدل بارها یک کار را انجام می‌دهد و در صورت موفقیت، پاداش دریافت می‌کند. شرکت توسعه‌دهنده هوش مصنوعی آنتروپیک توضیح داده است که تعریف ناقص یا نامناسب وظایف می‌تواند به پاداش گرفتن میان‌برهای ناخواسته منجر شود و در نتیجه، رفتاری را به مدل بیاموزد که در موقعیت‌های دیگر نیز تکرار شود. فعالیت‌های پژوهشی ازسرگرفته‌شده در اوپن‌ای‌آی شامل آموزش مدل‌های پیشرفته با یادگیری تقویتی و استنتاج، یعنی اجرای مدل‌ها، است.
محتوای وب را می‌توان پیش از آغاز یک دوره آموزش نیز جمع‌آوری کرد. اوپن‌ای‌آی در سال ۲۰۲۳ خزنده وب GPTBot را معرفی کرد تا صفحات اینترنتی را برای استفاده احتمالی در بهبود مدل‌های آینده گردآوری کند. اطلاعات عمومی موجود در اینترنت یکی از منابع مورد استفاده برای توسعه مدل‌هایی است که چت‌جی‌پی‌تی را پشتیبانی می‌کنند.
در مقابل، جست‌وجوی چت‌جی‌پی‌تی برای کاربران وظیفه دیگری دارد: این قابلیت هنگام پاسخ‌گویی به پرسش‌ها، اطلاعات به‌روز اینترنت را جست‌وجو می‌کند. آموزش، خود مدل را تغییر می‌دهد؛ اما جست‌وجو اطلاعات مورد نیاز برای پاسخ‌گویی به یک کاربر مشخص را فراهم می‌کند.
اوپن‌ای‌آی همچنین از گروه‌هایی از عامل‌های هوش مصنوعی، یعنی سامانه‌هایی که از ابزارهای نرم‌افزاری استفاده می‌کنند، خواست نقاط ضعف محیط‌های پژوهشی خود را پیدا کنند. به گفته این شرکت، این عامل‌ها آسیب‌پذیری‌های نرم‌افزاری ناشناخته، روش‌هایی برای خروج از محیط‌های ایزوله نرم‌افزاری و کانال‌های ارتباطی مبتنی بر سخت‌افزار میان عامل‌ها را شناسایی کردند. اوپن‌ای‌آی می‌گوید این یافته‌ها به تقویت دفاع‌های امنیتی کمک کردند و به اصلاحاتی انجامیدند که در نرم‌افزارهای متن‌باز نیز مشارکت داده شدند. به گفته این شرکت، عامل‌هایش هیچ راهی برای دسترسی به اینترنت پیدا نکردند که هم به‌آسانی قابل بهره‌برداری باشد و هم بتوان از طریق آن فعالیت‌ها را از ناظران پنهان کرد.
چرا قطع ارتباطات دشوار است؟
دسترسی مستقیم به اینترنت به توسعه‌دهندگان امکان می‌دهد مدل‌ها را با وظایف واقعی‌تر آموزش دهند و آزمایش کنند. آنتروپیک در توضیحی که در ۹ اکتبر درباره اقدامات ناخواسته مدل‌ها منتشر کرد، گفت شبیه‌سازی دقیق وظایف دشوار پژوهش در وب در محیط آفلاین کار آسانی نیست. دسترسی به معیارهای ارزیابی عمومی و زنده نیز به توسعه‌دهندگان کمک می‌کند مدل‌های مختلف را با انجام وظایف یکسان مقایسه کنند.
آنتروپیک اعلام کرد تصمیم گرفته است محدودیت دسترسی به اینترنت را که پیش‌تر در ارزیابی‌های مربوط به خطرهای بالا و امنیت سایبری اعمال می‌کرد، به تمام ارزیابی‌های داخلی خود گسترش دهد. این ارزیابی‌ها عملکرد و رفتار مدل‌ها را بررسی می‌کنند. محدودیت تا زمانی ادامه می‌یابد که این شرکت مطمئن شود تدابیر امنیتی و سامانه‌های نظارتی می‌توانند اقدامات ناخواسته مدل‌ها را به‌طور قابل‌اعتماد شناسایی کنند. آنتروپیک درباره عامل‌های داخلی و فرایندهای آموزشی خود از به حداقل رساندن دسترسی به اینترنت سخن گفته است؛ در مقابل، بیانیه ۲۳ اکتبر اوپن‌ای‌آی صریحاً اعلام می‌کند که دسترسی اینترنتی همه مدل‌های پیشرفته در طول آموزش قطع شده است.
با این حال، قطع فیزیکی ارتباط با اینترنت هزینه‌های عملیاتی بیشتری به همراه دارد. استیون آدلر، پژوهشگر پیشین ایمنی در اوپن‌ای‌آی و از بنیان‌گذاران مؤسسه استانداردهای هوش مصنوعی Guidelight AI Standards، در مصاحبه‌ای با مجله فورچون گفت که قطع کامل ارتباط اینترنتی در دوره آموزش مستلزم حضور تیم‌ها در مراکز داده خواهد بود و هزینه‌های اجرایی قابل‌توجهی ایجاد می‌کند. این گزارش همچنین به هزینه ساخت نسخه‌های کاربردی از وب‌سایت‌ها و نرم‌افزارها و دشواری شبیه‌سازی شرایط واقعی زمان استقرار اشاره کرده است.
اوپن‌ای‌آی قصد دارد دسترسی اینترنتی را مسدود نگه دارد تا زمانی که تشخیص دهد تدابیر حفاظتی برای کاهش خطر اقدامات آنلاین غیرمجاز در طول آموزش کافی هستند.
ارزیابی‌های مستقل چه چیزی را نشان دادند؟
دو نهاد ارزیابی، METR و Redwood Research، در یافته‌هایی که ۲۲ اکتبر منتشر کردند، جزئیات یک طرح آزمایشی سه‌هفته‌ای را شرح دادند که از ۲۱ ژوئیه تا ۱۱ اوت اجرا شده بود. در این طرح، یک کارمند از هر سازمان با دسترسی به کدها، پیکربندی‌ها و کارکنان، سامانه نظارت بر عامل‌های هوش مصنوعی داخلی اوپن‌ای‌آی را بررسی کرد. یافته‌ها به سامانه‌ای مربوط می‌شدند که در ۲۱ ژوئیه و پیش از آن ارزیابی شده بود؛ در زمان آغاز این بررسی، اجرای دوره‌های آموزش با یادگیری تقویتی در محدوده ارزیابی قرار نداشت.
ارزیابان آسیب‌پذیری‌هایی پیدا کردند که می‌توانستند به عامل‌ها اجازه دهند نظارت را دور بزنند؛ از جمله یک نقص که امکان پنهان کردن صدها اقدام اخیر را فراهم می‌کرد. آن‌ها همچنین تأیید کردند که ناظران، به‌جز چند مورد استثنایی جزئی، به کل مسیرهای رفتاری عامل‌ها دسترسی داشتند؛ منظور از این مسیرها، تاریخچه تعاملاتی است که خود عامل‌ها در اختیار دارند.
اوپن‌ای‌آی بعداً به ارزیابان اعلام کرد که آسیب‌پذیری‌های مؤثر بر تدابیر حفاظتی سامانه عملیاتی خود را برطرف کرده و تغییرات گسترده‌تری در سازوکار نظارت اعمال کرده است. METR می‌گوید این ادعاها را مستقلاً ارزیابی نکرده است.