گزارش‌ها: اوپن‌ای‌آی امسال دست‌کم یک مدل عرضه می‌کند، اما پرچم‌دار جدید هنوز به کار هم‌ترازی نیاز دارد
اوپن‌ای‌آی با سرعت در حال تکمیل مدل پرچم‌دار بعدی خود است؛ مدلی که از همان فناوری ترنسفورمرهای حلقوی مورد استفاده در Astra بهره می‌برد. این رویکرد عملکرد مدل در ریاضیات و برنامه‌نویسی را افزایش می‌دهد، اما نظارت ایمنی بر آن را دشوارتر می‌کند. کارکنان شرکت می‌گویند احتمالاً یک یا دو مدل جدید تا پایان سال عرضه خواهد شد.
بر اساس اطلاعات منتشرشده، اوپن‌ای‌آی احتمالاً پیش از پایان سال «یک یا دو مدل جدید» عرضه خواهد کرد، هرچند مشخص نیست آیا «مدل ارتقایافته اصلی» که شرکت اکنون روی آن کار می‌کند نیز در میان این محصولات خواهد بود یا نه. این اطلاعات را The Information با استناد به افرادی آگاه از این پروژه‌ها منتشر کرده است.
مدل پرچم‌دار جدید ممکن است هنوز فاصله زیادی تا عرضه داشته باشد. این مدل به کار بیشتری در زمینه هم‌ترازی نیاز دارد تا اهداف آن با انتظارات پژوهشگران و مشتریان اوپن‌ای‌آی هماهنگ شود. این شرکت همچنین باید زیرساخت‌های آزمایشی پیرامون مدل را تقویت کند تا بتواند روند توسعه را ادامه دهد.
پس از آنکه مدیران شرکت از ارزیابی‌های ایمنی رضایت پیدا کنند، مانع دیگری نیز وجود دارد. بر اساس فرمان اجرایی رئیس‌جمهور ترامپ درباره ارزیابی سامانه‌های پیشرفته هوش مصنوعی، اوپن‌ای‌آی پذیرفته است مدل‌های جدید خود را تا ۳۰ روز پیش از ارائه به شرکای بیرونی و مدت بیشتری پیش از عرضه عمومی، در اختیار دولت آمریکا برای بررسی قرار دهد.
ترنسفورمرهای حلقوی، نیروی محرک Astra و پرچم‌دار بعدی
به گفته فردی آگاه از این موضوع، مدل پرچم‌دار جدید نیز از ترنسفورمرهای حلقوی استفاده می‌کند. اوپن‌ای‌آی پیش از این این فناوری را در محصولات عملیاتی خود با نام «Recurrent Depth» به کار گرفته است. این فناوری بخش مهمی از نحوه عملکرد Astra، مدل کنونی برتر این شرکت، محسوب می‌شود.
در این روش، توکن به جای آنکه تنها یک‌بار از لایه‌های ترنسفورمر عبور کند، چند بار از همان لایه‌ها عبور داده می‌شود و سپس کلمه بعدی تولید می‌شود. این کار باعث بهبود عملکرد در حوزه‌هایی مانند ریاضیات و کدنویسی می‌شود و هزینه‌ها را نیز کاهش می‌دهد، زیرا یک مدل کوچک‌تر می‌تواند توانایی‌هایی فراتر از اندازه خود ارائه کند.
اما این حلقه‌زدن باعث می‌شود بخشی از «تفکر» مدل از متن قابل مشاهده خارج شده و در نمایش‌های عددی داخلی قرار گیرد؛ نمایش‌هایی که ارزیاب‌های انسانی نمی‌توانند آن‌ها را بررسی کنند. این موضوع نظارت بر زنجیره استدلال را که پژوهشگران ایمنی از آن برای دنبال کردن روند استدلال مدل و شناسایی رفتارهای مشکل‌ساز استفاده می‌کنند، تضعیف می‌کند. به گزارش The Information، اوپن‌ای‌آی عمداً تعداد دفعات حلقه‌زدن Astra را محدود کرده است تا زنجیره استدلال آن همچنان قابل مشاهده باقی بماند.
پس از حادثه Hugging Face، اوپن‌ای‌آی حدود ۱۰ درصد از توان محاسباتی کلی خود را به هم‌ترازی و ایمنی اختصاص داده است؛ به گفته فردی آگاه از این ارقام، این میزان معادل صدها مگاوات ظرفیت مرکز داده است. مشخص نیست پیش از این چه مقدار از توان محاسباتی برای ایمنی اختصاص یافته بود یا تقسیم فعلی منابع چگونه است. با نرخ‌های بازار، اجاره این میزان توان محاسباتی می‌تواند سالانه میلیاردها دلار هزینه داشته باشد. نوآم براون، پژوهشگر هوش مصنوعی نیز در پادکستی در اواسط سپتامبر گفت حدود ۱۰ درصد از اعضای تیم او روی امنیت و ایمنی کار می‌کنند.
افشای تصادفی نحوه کار استنتاج حلقوی اوپن‌ای‌آی توسط مایکروسافت
نحوه استفاده واقعی اوپن‌ای‌آی از این فناوری پس از اشتباهی از سوی مایکروسافت آشکار شد. این سرمایه‌گذار بزرگ که به مالکیت فکری اوپن‌ای‌آی دسترسی دارد، گزارشی فنی درباره GPT-6.1 Sol منتشر کرد؛ مدلی ارزان‌تر نسبت به Astra که اوپن‌ای‌آی در اوایل همان ماه عرضه کرده بود.
در بخشی که اکنون حذف شده است، مایکروسافت توضیح داده بود GPT-6.1 Sol از «استنتاج حلقوی» استفاده می‌کند؛ روشی که در آن مدل پیش از تولید پاسخ، یک مسئله را در چند «مرحله عبور» پردازش می‌کند. طبق نسخه ذخیره‌شده این صفحه که The Information به آن استناد کرده، GPT-6.1 Sol «از همان وزن‌های مدل پایه GPT-6 Sol استفاده می‌کند، اما به جای سه مرحله استنتاج، دو مرحله دارد».
فردی با اطلاع مستقیم از موضوع تأیید کرده است که این توضیحات با اطلاعاتی که اوپن‌ای‌آی به صورت خصوصی در اختیار مایکروسافت گذاشته بود، مطابقت داشت. مایکروسافت پس از متوجه شدن اینکه این بخش قرار نبوده عمومی شود، آن را حذف کرد. به گزارش The Information، ترنسفورمرهای حلقوی همچنان بخش حساسی از توسعه مدل‌های اوپن‌ای‌آی، چه در مرحله آموزش و چه در زمان استنتاج، باقی مانده‌اند.
یاکوب پاچوتسکی، دانشمند ارشد اوپن‌ای‌آی، پیش‌تر پذیرفته بود که نظارت بر زنجیره استدلال به‌تدریج «شکننده» شده و «متأسفانه در مسیری منفی حرکت می‌کند». او همچنین درباره رقابت گسترده صنعت برای ساخت مدل‌هایی بدون استدلال قابل خواندن هشدار داده بود.
منبع: The Information