جک کلارک، هم‌بنیان‌گذار آنتروپیک، پیش‌بینی خود درباره هوش مصنوعی خودبهبوددهنده را به سال ۲۰۲۷ جلو انداخت
آزمونی جدید به نام TasteVal توانایی سامانه‌های هوش مصنوعی را در طراحی مستقل آزمایش‌ها و تفسیر نتایج آن‌ها می‌سنجد. یافته‌های این آزمون از روندی حکایت دارند که سرعت پیشرفت آن به‌طور غیرمعمولی بالاست.
به گفته جک کلارک، هم‌بنیان‌گذار آنتروپیک، این توانایی از دسامبر ۲۰۲۵ تقریباً هر سه ماه دو برابر شده است. مؤسسه پژوهشی P-Zero Research این مهارت را «شمّ پژوهشی» (research taste) می‌نامد؛ یعنی توانایی انتخاب آزمایش‌های مناسب و رسیدن به نتیجه‌گیری‌های درست. بهترین مدل آزمایش‌شده در این ارزیابی، با هزینه‌ای بسیار کمتر از گروه مقایسه متشکل از ۲۴ متخصص انسانی، عملکرد بهتری از خود نشان داد.
کلارک که آنتروپیک را بنیان‌گذاری کرده و خبرنامه Import AI را می‌نویسد، بر اساس این ارقام اکنون معتقد است بهبود بازگشتی و خودکار هوش مصنوعی (RSI)، فرایندی که طی آن سامانه‌های هوش مصنوعی نسل‌های توانمندتر از خود را توسعه می‌دهند، ممکن است از سال ۲۰۲۷ امکان‌پذیر شود. او پیش‌تر سال ۲۰۲۸ را برای این اتفاق محتمل می‌دانست.
این آزمون ثابت نمی‌کند که سامانه‌های هوش مصنوعی هم‌اکنون در حال بهبود مستقل خود هستند، زیرا تنها بخش محدودی از فعالیت‌های علمی را می‌سنجد. با این حال، نتایج آن نشان می‌دهد که محور بحث در حال تغییر است: به‌جای تمرکز صرف بر عملکرد خام مدل‌ها، اکنون این پرسش اهمیت بیشتری پیدا کرده که مدل‌های زبانی تا چه اندازه می‌توانند مستقلاً کارهای پژوهشی را انجام دهند.
آزمون TasteVal تنها بخشی از توانایی‌های پژوهشی را می‌سنجد
P-Zero Research شمّ پژوهشی را مجموعه‌ای از سه توانایی تعریف می‌کند: تشخیص پرسش‌های پژوهشی ارزشمند، طراحی آزمایش برای پاسخ دادن به آن‌ها و تفسیر درست نتایج. TasteVal تنها دو مورد آخر را ارزیابی می‌کند. انتخاب امیدوارکننده‌ترین مسیر پژوهش اغلب هسته اصلی شهود علمی به شمار می‌رود، اما در این آزمون، این تصمیم از پیش گرفته شده و در اختیار مدل قرار نمی‌گیرد.
هر یک از هشت وظیفه آزمون، هدف پژوهشی مشخصی را در حوزه توسعه مدل‌های هوش مصنوعی تعیین می‌کند و برای آن معیاری قابل‌اندازه‌گیری در نظر می‌گیرد. این وظایف حوزه‌هایی مانند انتخاب داده‌های آموزشی، پیش‌آموزش و تنظیم دقیق مدل‌های زبانی، آموزش بر اساس ترجیحات انسانی و دفاع در برابر دستورهای خصمانه را پوشش می‌دهند.
مدل تصمیم می‌گیرد آزمایش بعدی را چگونه اجرا کند و سپس از نتایج آن برای تعیین گام بعدی بهره می‌گیرد. برای جلوگیری از تأثیرگذاری مهارت برنامه‌نویسی بر نتیجه ارزیابی، تمام آزمایش‌ها را یک عامل برنامه‌نویسی ثابت روی یک پردازنده گرافیکی Nvidia H100 اجرا می‌کند. هر اجرا پس از مصرف ۴۰ ساعت محاسباتی پردازنده گرافیکی یا گذشت ۱۲۰ ساعت زمان واقعی متوقف می‌شود.
مبنای مقایسه انسانی، عملکرد ۲۴ متخصصی بود که در گذشته نزدیک در مراکزی مانند OpenAI، Google DeepMind، Nvidia و Microsoft Research فعالیت کرده بودند. این افراد همان وظایف را انجام دادند و برای هر وظیفه دست‌کم دو نفر مشارکت داشتند. بهترین نتیجه انسانی در هر وظیفه، معیار مقایسه با مدل‌ها قرار گرفت.
سنجش شمّ پژوهشی بر اساس بهره‌وری محاسباتی
P-Zero Research برای تبدیل شمّ پژوهشی به معیاری کمّی، آن را بر اساس بهره‌وری محاسباتی تعریف می‌کند. منطق این رویکرد آن است که ظرفیت محاسباتی لازم برای آزمایش‌ها در پژوهش هوش مصنوعی محدود است؛ بنابراین، انتخاب آزمایش‌های مناسب و تفسیر صحیح نتایج آن‌ها باعث می‌شود با اجرای دفعات کمتر، پیشرفت بیشتری با همان بودجه محاسباتی حاصل شود.
این مؤسسه در این ارزیابی به مدل خود با عنوان «مدل آینده‌های هوش مصنوعی» (AI Futures Model) تکیه می‌کند. طبق پیش‌بینی این مدل، پس از خودکار شدن برنامه‌نویسی، ظرفیت محاسباتی آزمایش‌ها به بزرگ‌ترین عامل محدودکننده تبدیل خواهد شد. ازاین‌رو، TasteVal می‌سنجد که یک مدل برای رسیدن به امتیاز متخصصان انسانی به چه میزان محاسبات نیاز دارد. بر اساس تعریف این مؤسسه، اگر مدلی با نصف محاسبات به همان امتیاز برسد، شمّ پژوهشی آن دو برابر است. P-Zero Research این نسبت را «ضریب محاسباتی» (compute multiplier) می‌نامد.
برترین مدل این آزمون، Opus 5.5 شرکت آنتروپیک، به ضریب محاسباتی ۲٫۳ دست یافت؛ یعنی با کمتر از نصف منابع محاسباتی موردنیاز، امتیازی هم‌سطح متخصصان کسب کرد. با این حال، بازه آماری عدم‌قطعیت این نتیجه از ۱٫۱۵ تا ۴٫۳۷ است. در پایین‌ترین حد این بازه، برتری مدل بسیار اندک خواهد بود. هزینه هر بار اجرای آزمون با این مدل نیز تقریباً یک‌سی‌ام هزینه متوسط تلاش یک متخصص انسانی بود.
بررسی چند نسل از مدل‌ها نشان می‌دهد که ضریب محاسباتی از دسامبر ۲۰۲۵ تقریباً هر سه ماه دو برابر شده است. در این برآورد نیز عدم‌قطعیت قابل‌توجهی وجود دارد: زمان تخمینی برای دو برابر شدن این شاخص بین ۱٫۷ تا ۵ ماه متغیر است.
در سال‌های گذشته، شمّ پژوهشی مدل‌ها بسیار آهسته‌تر رشد می‌کرد. شیب این روند تنها در حوالی گذار از سال ۲۰۲۵ به ۲۰۲۶ تندتر شد. بر اساس یک آزمون به‌تنهایی نمی‌توان مشخص کرد که آیا این روند پایدار خواهد بود یا نه. خود پژوهشگران نیز اذعان می‌کنند که نتایج ممکن است سرعت رشد شمّ پژوهشی را بیش از میزان واقعی نشان دهند. وظایف این آزمون را می‌توان به‌سرعت و با هزینه کم بررسی کرد؛ ویژگی‌ای که بهینه‌سازی آن‌ها را برای آزمایشگاه‌های هوش مصنوعی آسان‌تر می‌کند. افزون بر این، گروه مقایسه شامل پژوهشگران تراز اول نبود.
کلارک زمان‌بندی پیش‌بینی خود را جلو می‌اندازد
کلارک مدت‌هاست خلاقیت را عامل کلیدی در تعیین سرعت بهبود مستقل سامانه‌های هوش مصنوعی می‌داند. او اوایل سال جاری میلادی نوشته بود که مدل‌ها هنوز این توانایی را در مقیاسی تحول‌آفرین نشان نداده‌اند. اکنون او پیشرفت‌ها در کشفیات ریاضی و نتایج آزمون‌هایی مانند TasteVal را نشانه‌هایی از تغییر این وضعیت می‌داند.
کلارک در مقاله‌ای مفصل در ماه مه، برآوردهای محتاطانه‌تری ارائه کرده بود. او احتمال توسعه سامانه‌ای را که بتواند به‌طور مستقل نسل بعدیِ توانمندتر از خود را آموزش دهد، تا پایان سال ۲۰۲۸ حدود ۶۰ درصد و تا سال ۲۰۲۷ حدود ۳۰ درصد برآورد کرده بود. البته این پیش‌بینی از سوی یکی از بنیان‌گذاران شرکتی مطرح شده که مدل آن در آزمون مورد بحث بالاترین امتیاز را کسب کرده است؛ موضوعی که احتمال سوگیری در ارزیابی را افزایش می‌دهد.
منتقدان دقیقاً همین توانایی را مانع پیشرفت بزرگ هوش مصنوعی می‌دانستند
اهمیت TasteVal در این است که دقیقاً همان توانایی‌ای را می‌سنجد که شکاکان آن را مانعی بر سر راه یک جهش بزرگ در هوش مصنوعی می‌دانستند. هربی بردلی، پژوهشگر هوش مصنوعی، در واکنش به مقاله ماه مه کلارک استدلال کرده بود که اگرچه ممکن است مدل‌ها بتوانند وظایف پژوهشگران تازه‌کار را بر عهده بگیرند، مهارت‌های دشوارتری مانند شمّ پژوهشی، خلاقیت و برنامه‌ریزی منسجم برای پژوهش‌های بلندمدت هنوز در دسترس آن‌ها نیست.
نتایج TasteVal در زمینه برنامه‌ریزی و ارزیابی آزمایش‌ها با این ارزیابی مخالفت می‌کند، اما درباره توانایی مدل‌ها در انتخاب یک دستورکار پژوهشی بلندمدت چیزی نمی‌گوید.
میزان فاصله موجود میان توانایی مدل‌ها و استقلال عملی در پژوهش، در مطالعه‌ای درباره توسعه هوش مصنوعی با استفاده از عامل‌های هوش مصنوعی نیز دیده می‌شود. گروهی از پژوهشگران دانشگاه فودان این مطالعه را انجام دادند و روند توسعه مدل خود را بررسی کردند. یافته‌های آن‌ها نشان داد که عامل‌های هوش مصنوعی در ارائه پیشنهادهای روش‌شناختی تا ۵۵ درصد مشارکت داشتند، اما بیش از ۸۵ درصد تصمیم‌های نهایی همچنان به دست انسان‌ها گرفته می‌شد.
نویسندگان این مطالعه خاطرنشان کردند که هنوز روشن نیست هوش مصنوعی چگونه می‌تواند مسیرهای پژوهشی متنوعی پیشنهاد دهد و پیش از مشخص شدن نتایج، ارزش آن‌ها را ارزیابی کند. این دقیقاً همان نوع تصمیم‌گیری است که در آزمون TasteVal از مدل‌ها خواسته نمی‌شود انجام دهند، زیرا مسیر پژوهش از پیش تعیین شده است.
محور بحث در حال تغییر است
این آزمون در میانه بحثی منتشر شده که آزمایشگاه‌های بزرگ هوش مصنوعی خود آغازگر آن بوده‌اند. آنتروپیک در ماه ژوئن اعلام کرد که بهبود بازگشتی و خودکار هوش مصنوعی هنوز محقق نشده است، اما «ممکن است زودتر از زمانی رخ دهد که بیشتر نهادها برای آن آمادگی دارند». داریو آمودی، مدیرعامل آنتروپیک، اکنون خواهان کند شدن کنترل‌شده روند توسعه هوش مصنوعی است. در همین حال، OpenAI نیز اذعان کرده که بهبود بازگشتی کاملاً خودمختار هوش مصنوعی هنوز محقق نشده و تأکید کرده است که چنین رویکردی تنها در صورت تضمین نظارت انسانی باید دنبال شود.
TasteVal برداشت از مفهوم پیشرفت را تغییر می‌دهد. برای مدت‌ها، تمرکز اصلی بر این بود که مدل‌ها تا چه اندازه در حل وظایف مشخصی مانند مسائل ریاضی یا چالش‌های برنامه‌نویسی موفق‌اند. اکنون این پرسش بیش از پیش مطرح است که آیا آن‌ها می‌توانند تصمیم‌هایی بگیرند که پژوهش را به جلو می‌برد یا نه.
اگر روند اندازه‌گیری‌شده از سوی P-Zero Research در آزمون‌های دیگر نیز تأیید شود، پیامدهای آن دو سوی متفاوت خواهد داشت. توسعه هوش مصنوعی سریع‌تر و ارزان‌تر می‌شود، اما در عین حال، راستی‌آزمایی بخش فزاینده‌ای از پژوهش‌ها برای انسان‌ها دشوارتر خواهد شد، زیرا مدل‌ها خود آزمایش‌هایشان را طراحی و نتایج آن‌ها را ارزیابی خواهند کرد.