اوپن‌ای‌آی پیش از اخراج سه پژوهشگر ایمنی، پیام‌های سیگنال آن‌ها را بررسی کرد
مارکوس کاسنماشِف | ۲۴ اکتبر ۲۰۲۶، ساعت ۲۰:۴۵ به وقت اروپای مرکزی
شرکت توسعه‌دهنده هوش مصنوعی اوپن‌ای‌آی در جریان تحقیق درباره نشت اطلاعات، تلفن‌های شخصی سه پژوهشگر ایمنی را پیش از اخراج آن‌ها بررسی کرد. این موضوع را روزنامه وال‌استریت ژورنال گزارش داده است. دو نفر از این پژوهشگران می‌گویند گفت‌وگوهای ناپدیدشونده آن‌ها در پیام‌رسان سیگنال با یک پژوهشگر مستقل ایمنی هوش مصنوعی، در تصمیم به اخراجشان مطرح شده است؛ موضوعی که تماس‌هایی را که آن‌ها بخشی از وظایف شغلی خود می‌دانستند، به محور اختلاف بر سر محرمانگی اطلاعات شرکت تبدیل کرده است.
تومک کورباک، میکیتا بالِسنی و جزمین وانگ، سه کارمند اخراج‌شده، هرگونه افشای اطلاعات محرمانه را رد می‌کنند. اوپن‌ای‌آی می‌گوید تحقیقاتش تخلف از سیاست‌های مربوط به اطلاعات حساس را آشکار کرده و اخراج‌ها ارتباطی با طرح نگرانی‌های ایمنی نداشته است. سخنگوی شرکت به وال‌استریت ژورنال گفته است استفاده از سیگنال تأیید نشده بود، اما این موضوع تنها دلیل اخراج‌ها محسوب نمی‌شد.
پیام‌ها و تحقیقات درباره نشت اطلاعات
به گزارش وال‌استریت ژورنال، کارکنان بخش امنیت در ماه سپتامبر از این سه نفر خواستند قفل تلفن‌های خود را باز کنند. برخی از آن‌ها قابلیت حذف خودکار پیام‌ها را در گفت‌وگوهایشان با رایان گرینبلات فعال کرده بودند؛ پژوهشگر مستقلی در حوزه ایمنی هوش مصنوعی که در آن زمان دانشمند ارشد مؤسسه تحقیقاتی ردوود بود. یک هفته بعد، هر سه نفر در جلسه‌هایی جداگانه اما هم‌زمان اخراج شدند.
وال‌استریت ژورنال آغاز تحقیقات درباره نشت اطلاعات را به گزارشی در اول سپتامبر در وب‌سایت «د اینفورمیشن» مرتبط می‌داند که به طراحی داخلی مدل هوش مصنوعی آسترا در اوپن‌ای‌آی پرداخته بود. در آن گزارش ادعا شده بود تکنیکی تازه باعث شده است مدل قدرتمندتر شود و در عین حال، بخش کمتری از فرایند استدلال خود را آشکار کند. به نوشته وال‌استریت ژورنال، یاکوب پاچوکی، دانشمند ارشد اوپن‌ای‌آی، این گزارش را سردرگم‌کننده توصیف کرد. چند هفته پس از انتشار گزارش، یکی از مقام‌های اوپن‌ای‌آی از آغاز تحقیقات داخلی درباره نشت اطلاعات خبر داد.
«می‌خواهم از آغاز رقابتی برای رسیدن به وضعیتی جلوگیری کنم که در آن دیگر نتوان رفتار مدل‌ها را زیر نظر گرفت؛ رقابتی که گزارش‌های سردرگم‌کننده ممکن است به راه بیندازند. عمق گراف محاسباتی مدل‌های پیشرفته فعلی ما، از جمله آسترا، تنها در محدوده ضریبی دوبرابری نسبت به جی‌پی‌تی-۴ قرار دارد.»
اوپن‌ای‌آی از مدت‌ها پیش برای حفظ و استفاده از نظارت بر زنجیره استدلال تلاش کرده است...
— یاکوب پاچوکی، ۲ سپتامبر ۲۰۲۶
بر اساس گزارش وال‌استریت ژورنال، اوپن‌ای‌آی به این سه پژوهشگر مشکوک بود که اطلاعات داخلی مربوط به طراحی مدل‌های شرکت را در اختیار یک پژوهشگر بیرونی ایمنی هوش مصنوعی گذاشته‌اند. بالِسنی می‌گوید بازرسان نام گرینبلات را به‌عنوان فرد مظنون به افشای اطلاعات مطرح کردند و خواستند پیام‌های سیگنال او را بررسی کنند. او و کورباک می‌گویند مدیران شرکت، استفاده از پیام‌های ناپدیدشونده را یکی از دلایل اخراجشان اعلام کردند. به گفته کورباک، به او گفته شده بود تماس‌هایش با افراد خارج از شرکت از کانال‌های تأییدنشده انجام شده است؛ با این حال، او پیام‌های ناپدیدشونده را اقدامی متعارف برای حفظ امنیت ارتباطات می‌دانست.
گرینبلات نیز تکذیب کرده است که منبع اطلاعات محرمانه منتشرشده در د اینفورمیشن بوده باشد. سه کارمند سابق می‌گویند هیچ توضیح کتبی‌ای دریافت نکرده‌اند که مشخص کند دقیقاً کدام اطلاعات حساس را به‌اشتباه مدیریت کرده‌اند. اوپن‌ای‌آی پیش‌تر، در پاسخی که هشتم اکتبر به تک‌کرانچ داد، مدعی شده بود تخلفات مورد بررسی الگویی گسترده‌تر داشته و به اشتراک‌گذاری اطلاعات با یک گروه ارزیابی بیرونی محدود نمی‌شده است.
«هفته گذشته مرا به جلسه‌ای با رئیس بخش ایمنی اوپن‌ای‌آی فراخواندند و گفتند دیگر به من اعتماد ندارند. یکی از نیروهای حراست کارت ورودم را گرفت و مرا از ساختمان بیرون برد. بعد فهمیدم همکارانم، @balesni و @j_asminewang، نیز اخراج شده‌اند. چرا اوپن‌ای‌آی ناگهان اعتمادش را از دست داد...»
— تومک کورباک، ۸ اکتبر ۲۰۲۶
پشت‌صحنه کاری ایمنی که به این گفت‌وگوها مربوط بود
اوپن‌ای‌آی کورباک را در همکاری خود با مؤسسه غیرانتفاعی متر (METR)، که خطرات هوش مصنوعی را ارزیابی می‌کند، به کار گرفته بود تا درباره نفوذ اخیر به پلتفرم هوش مصنوعی هاجینگ فیس تحقیق کند. متر از گرینبلات برای کمک به تحلیل گزارش‌های ثبت‌شده از این رخداد استفاده کرد. کورباک می‌گوید آن‌ها هم از اسلک اوپن‌ای‌آی و هم از سیگنال برای ارتباط با یکدیگر استفاده می‌کردند.
اوپن‌ای‌آی می‌گوید میا گلیز، معاون پژوهش و ایمنی شرکت، قصد داشت از مالکیت فکری آن محافظت کند. در مقابل، کورباک می‌گوید نگران بوده است که متر به اطلاعات کافی دسترسی پیدا نکند. پژوهشگران در نامه خود به هیئت‌مدیره اوپن‌ای‌آی که هشتم اکتبر منتشر شد، نوشته‌اند ارتباط نزدیک با همتایان بیرونی برای ایجاد اعتماد در جریان تحقیقی بی‌سابقه ضروری بوده است؛ تحقیقی که قواعد داخلی آن هنوز در حال شکل‌گیری بود.
بر اساس گزارش مشترک متر و ردوود، ارزیابان این دو مؤسسه شش روز در محل اوپن‌ای‌آی حضور داشتند و شرکت نیز بازدیدهای اضافی و مجموعه‌داده‌های بیشتری در اختیارشان گذاشت. با این حال، آن‌ها به داده‌های زیرساختی دسترسی مستقیم نداشتند و نمی‌توانستند مدل اصلی را مستقیماً مورد پرس‌وجو قرار دهند. به دلیل حجم بالای اطلاعات و محدودیت زمانی، ناچار شدند تا حد زیادی به تحلیل مبتنی بر هوش مصنوعی تکیه کنند؛ تحلیلی که راستی‌آزمایی آن دشوار بود و در مقایسه با تحقیقات ساده‌تر، اطمینان کمتری به نتایج ایجاد می‌کرد. با این همه، آن‌ها می‌گویند کمک هوش مصنوعی انجام تحقیق در زمان موجود را امکان‌پذیر کرد.
گفت‌وگوهای بیرونی بالِسنی به پروژه‌ای متفاوت مربوط می‌شد: تلاش برای متقاعد کردن شرکت‌های هوش مصنوعی به حفظ امکان بررسی استدلال‌های میانی مدل‌ها. مدل‌های استدلالی می‌توانند پیش از پاسخ دادن یا انجام یک اقدام، مراحل استدلال خود را به‌صورت متنی بیان کنند. سامانه‌ای خودکار برای پایش زنجیره استدلال می‌تواند این متن را در کنار اطلاعات دیگر بررسی و رفتارهای مشکوک را شناسایی کند؛ در نتیجه، می‌توان یک اقدام را متوقف کرد، جایگزین ساخت یا با دقت بیشتری مورد بررسی قرار داد.
مقاله موضع‌گیری پژوهشگران در سال ۲۰۲۵ توضیح می‌دهد که چرا طراحی‌هایی که بخش بیشتری از استدلال را به‌صورت داخلی انجام می‌دهند و مراحل میانی آن را ثبت نمی‌کنند، ممکن است اطلاعات مورد استفاده سامانه‌های نظارتی را از بین ببرند. متن استدلال، تصویری کامل از محاسبات داخلی مدل ارائه نمی‌دهد، اما می‌تواند لایه‌ای اضافی برای افزایش ایمنی فراهم کند.
گرینبلات پیش‌نویس پیشنهادی را تهیه کرده بود که از شرکت‌ها می‌خواست از طراحی‌هایی که مراحل کمتری از استدلال مدل را آشکار می‌کنند، پرهیز کنند. تا ماه اوت، بالِسنی و همکارانش نیز پیشنهادی مشابه را در داخل اوپن‌ای‌آی تدوین کرده بودند. بالِسنی می‌گوید این پیشنهاد را با یکی از اعضای هیئت‌مدیره و یک مدیر ارشد در میان گذاشت، برای بحث درباره آن با گرینبلات اجازه گرفت و نسخه‌ای را که اطلاعات محرمانه شرکت از آن حذف شده بود، به او داد.
این پژوهشگران هرگونه نقش داشتن در انتشار گزارش د اینفورمیشن را رد می‌کنند. آن‌ها در نامه خود استدلال کرده‌اند که آن گزارش، تلاششان برای ایجاد محدودیت‌های مشترک میان شرکت‌ها در استفاده از طراحی‌هایی با قابلیت نظارت کمتر را تضعیف کرده است.
در همان مقاله آمده است که نظارت مستقیم بر استدلال مدل ممکن است هم‌سویی آن با رفتار موردنظر را به‌اندازه‌ای بهبود دهد که از دست دادن بخشی از توانایی نظارت بر آن را توجیه کند.
«همکاران سابقم به من می‌گویند نمی‌دانند به چه چیزی اعتماد کنند. آن‌ها همچنین از صحبت کردن می‌ترسند و نگران‌اند که تلفن‌های شخصی‌شان برای یافتن پیام‌هایی که با ما یا اشخاص ثالث ردوبدل کرده‌اند، جست‌وجو شود. نگرانم که ترس فراگیر از صحبت کردن و تعامل با افراد بیرون از شرکت باعث شود...»
— میکیتا بالِسنی، ۸ اکتبر ۲۰۲۶
روایت وانگ از اختلافی جداگانه بر سر دسترسی به ایمیل
وانگ می‌گوید به او اعلام شده بود که به دلیل دسترسی مکرر به ایمیل یکی از مدیران اجرایی اخراج می‌شود. به گفته او، دسترسی‌ای که برای انجام امور استخدامی به وی واگذار شده بود، نزدیک به یک سال پس از درخواستش از واحد فناوری اطلاعات برای لغو آن همچنان فعال مانده بود.
او می‌گوید امکان لغو این دسترسی را شخصاً نداشت و صندوق ورودی تجمیع‌شده روی تلفن همراهش نیز مشخص نمی‌کرد هر پیام برای کدام حساب کاربری ارسال شده است. وانگ می‌گوید پس از آنکه به‌طور تصادفی ایمیلی حساس را باز کرد، ظرف چند دقیقه موضوع را به مدیر مربوطه اطلاع داد و بار دیگر از واحد فناوری اطلاعات خواست دسترسی را حذف کند. سخنگوی اوپن‌ای‌آی به وال‌استریت ژورنال گفته است که خودِ این دسترسی برای شرکت مسئله‌ای نبوده است.
«اوپن‌ای‌آی هفته گذشته مرا همراه با دو همکارم در بخش ایمنی اخراج کرد. تنها دلیلی که به من اعلام شد، دسترسی به ایمیل یکی از مدیران اجرایی بود. می‌خواهم این موضوع را صریح بیان کنم، زیرا در تاریخ اوپن‌ای‌آی، وقتی افراد ناگهان ناپدید می‌شوند، واقعیت‌ها بیش از حد در هاله‌ای از ابهام و روایت‌های گمراه‌کننده پنهان می‌مانند: https://t.co/RC4fm2nV95»
— جزمین وانگ، ۸ اکتبر ۲۰۲۶
دسترسی بیرونی با محدودیت‌های اطلاعاتی همراه است
آدام گلیو، مدیرعامل گروه ایمنی هوش مصنوعی فار اِی‌آی (FAR.AI)، گفته است ارزیابان می‌توانند مدل‌ها را در مراحل مختلف آموزش با یکدیگر مقایسه کنند تا مشخص شود رفتارهای نگران‌کننده از چه زمانی ظاهر شده‌اند. بررسی گزارش‌های ثبت‌شده و مصاحبه با کارکنان نیز می‌تواند به آن‌ها کمک کند بسنجند آیا ادعاهای عمومی یک توسعه‌دهنده درباره ایمنی با رویه‌های داخلی آن مطابقت دارد یا نه. او گفته است فار اِی‌آی قراردادهایی را که کنترل بیش از حد فرایند ارزیابی را به توسعه‌دهندگان می‌دادند، نپذیرفته است.
جدا از تحقیق درباره رخداد هاجینگ فیس، یک پژوهشگر متر و یک پژوهشگر ردوود از ۲۱ ژوئیه تا ۱۱ اوت سامانه نظارت داخلی اوپن‌ای‌آی را آزمایش کردند. در گزارش متر در ۲۲ اکتبر آمده است که این پژوهشگران به کدهای داخلی، تنظیمات سامانه نظارت و اسناد دسترسی داشتند و با حدود دوازده پژوهشگر و مهندس مصاحبه کردند. متر می‌گوید این سطح دسترسی و حمایت اوپن‌ای‌آی، کمک قابل‌توجهی به انجام کار کرد.
با وجود گستردگی دسترسی فنی، شرایط انتشار نتایج این طرح آزمایشی محدودتر بود. شرکت‌کنندگان پذیرفته بودند که تنها گزارشی عمومی، کوتاه و کلی منتشر کنند. اوپن‌ای‌آی می‌توانست اطلاعاتی را که حساس می‌دانست حذف کند و ارزیابان نیز اختیار مستقل و یک‌جانبه‌ای برای توضیح جزئیات این حذف‌ها نداشتند.
شرایط دسترسی آنتروپیک در ۱۵ اکتبر، که ۱۶ اکتبر توضیحات تکمیلی درباره آن منتشر شد، شش کارمند مستقر متر را در بر می‌گیرد که به ابزارها و سامانه‌های داخلی این شرکت دسترسی دارند؛ سطح دسترسی آن‌ها تقریباً با دسترسی تیم‌های ارزیابی ریسک آنتروپیک قابل مقایسه است. کارکنان تشویق می‌شوند اطلاعات را با این تیم در میان بگذارند، اما استثناهایی مشخص وجود دارد که از جمله آن‌ها می‌توان به طراحی داخلی یا معماری مدل‌ها اشاره کرد. برای اشتراک‌گذاری اطلاعات معماری که اهمیت زیادی دارند، معمولاً تأیید صریح داخلی لازم است.
بر اساس این سازوکار، آنتروپیک نمی‌تواند انتشار یک گزارش را به‌طور کامل وتو کند، اما می‌تواند حذف اطلاعاتی را در دسته‌بندی‌های از پیش تعیین‌شده الزامی کند و خودش تصمیم بگیرد چه اطلاعاتی در این دسته‌ها قرار می‌گیرند. متر نیز اجازه دارد سطح دسترسی و نوع اطلاعاتی را که دریافت کرده است، شرح دهد.
پژوهشگران اخراج‌شده از اوپن‌ای‌آی می‌خواهند قواعد روشنی برای ارتباط کارکنان با ارزیابان مستقل بیرونی تدوین شود. کورباک می‌گوید همکارانش به او گفته‌اند که از چنین گفت‌وگوهایی و نیز از مطرح کردن نگرانی‌های ایمنی می‌ترسند.