هوش مصنوعی در طراحی آزمایش‌های پژوهشی از متخصصان انسانی پیشی گرفت؛ نتایج بنچمارک TasteVal
نویسنده: جکی منینگ
تاریخ انتشار: ۲۶ اکتبر ۲۰۲۶، ساعت ۱:۵۰ بامداد به وقت شرق آمریکا
یک بنچمارک جدید هوش مصنوعی، نخستین شواهد مستقیم و کمّی را ارائه کرده است که نشان می‌دهد سامانه‌های پیشرفته هوش مصنوعی در بخش‌های اصلی پژوهش علمی، یعنی طراحی آزمایش‌ها و تفسیر نتایج آن‌ها، از متخصصان انسانی پیشی گرفته‌اند. این سامانه‌ها به عملکردی در سطح متخصصان رسیده‌اند، درحالی‌که کمتر از نیمی از منابع محاسباتی موردنیاز انسان و تقریباً یک‌سی‌ام هزینه هر تلاش یک پژوهشگر انسانی را مصرف می‌کنند. این یافته‌ها از بنچمارک TasteVal متعلق به گروه پژوهشی مستقل P-Zero Research به دست آمده‌اند که در ۵ اکتبر منتشر شد. این بنچمارک چیزی را می‌سنجد که در این حوزه «قریحه پژوهشی» نامیده می‌شود؛ ترکیبی از مهارت‌ها که پژوهش علمی ثمربخش را از اجرای توانمندانه وظایف متمایز می‌کند.
بهترین نتیجه این بنچمارک به مدل Claude Opus 5.5 شرکت آنتروپیک تعلق داشت. این مدل در مقایسه با خط مبنای انسانی متشکل از ۲۴ پژوهشگر متخصص که از شرکت‌های OpenAI، گوگل دیپ‌مایند، انویدیا و مایکروسافت ریسرچ انتخاب شده بودند، به ضریب محاسباتی ۲٫۳۰ دست یافت. فاصله اطمینان ۹۵ درصدی این برآورد از ۱٫۱۵ تا ۴٫۳۷ است؛ بازه‌ای که هم اختلافی اندک و هم برتری چشمگیر را در بر می‌گیرد، اما تمام آن بالاتر از آستانه برابری، یعنی ۱٫۰، قرار دارد. در نسل‌های مختلف مدل‌های پیشرفته، توانایی مورد سنجش TasteVal از دسامبر ۲۰۲۵ تقریباً هر سه ماه دو برابر شده است؛ این در حالی است که پیش از آن، زمان دوبرابرشدن حدود ۱۴ ماه بود. نویسندگان بنچمارک این تغییر را یکی از مهم‌ترین یافته‌های خود می‌دانند.
این بنچمارک عمداً و به‌صراحت یکی از ابعاد قضاوت پژوهشی را کنار می‌گذارد: انتخاب مسئله‌ای که پژوهشگر از ابتدا باید روی آن کار کند. نویسندگان TasteVal این خلأ را یکی از مرزهای باقی‌مانده و اندازه‌گیری‌نشده این حوزه می‌دانند. همین محدودیت، مانع اصلی نتیجه‌گیری درباره میزان نزدیکی هوش مصنوعی به خودکارسازی کامل پژوهش علمی است.
بهبود بازگشتی خود چه معنایی دارد؟
بهبود بازگشتی خود (RSI) به مرحله‌ای گفته می‌شود که در آن یک سامانه هوش مصنوعی بتواند بدون دخالت انسان، نسل بعدی و توانمندتر خود را آموزش دهد. موضوع صرفاً خودکارسازی وظایف پژوهشی جداگانه نیست، بلکه شکل‌گیری چرخه‌ای بسته است که در آن یک مدل هوشمندتر به ساخت مدلی حتی هوشمندتر کمک می‌کند؛ فرایندی که بالقوه می‌تواند دهه‌ها پیشرفت تدریجی را در مدت‌زمانی کوتاه‌تر فشرده کند. پیشینه این مفهوم به مقاله سال ۱۹۶۵ آی. جی. گود درباره ماشین‌های فوق‌هوشمند و پیشنهاد قدیمی‌تر آلن تورینگ درباره «ماشین کودک» بازمی‌گردد. الیزر یودکوفسکی نیز اصطلاح «هوش مصنوعی بذر» را برای توصیف شکل خودتکثیرشونده و بازگشتیِ بهبود این پدیده رواج داد.
با ظهور شاخص‌های کمّی برای سنجش پیشرفت، پرسش از زمان دست‌یافتن به بهبود بازگشتی خود فوریت بیشتری پیدا کرده است. آنتروپیک اعلام کرد که تا مه ۲۰۲۶، بیش از ۸۰ درصد کدهای ادغام‌شده در این شرکت را مدل‌های هوش مصنوعی تولید کرده بودند. اوپن‌ای‌آی نیز در سپتامبر ۲۰۲۶ اعلام کرد که عامل‌های پژوهشی این شرکت به‌ازای هر روز کاری هشت‌ساعته انسان، حدود ۳٫۱ روز کاری عامل‌محور فعالیت ثبت می‌کنند؛ هرچند در بیش از نیمی از وظایف موفقی که چهار تا هشت ساعت طول می‌کشند، همچنان به مداخله انسان نیاز است. همچنین، مقاله‌ای که ۲۸ سپتامبر منتشر شد و پژوهشگرانی از جمله جفری هینتون، یوشوا بنجیو، یاکوب پاچوکی و جک کلارک در نگارش آن مشارکت داشتند، نشان داد که سهم هوش مصنوعی از فعالیت‌های تحقیق‌وتوسعه با نظارت محدود، از مارس تا اوت ۲۰۲۶ از یک درصد به ۲۶ درصد افزایش یافته است. گزارش این پژوهش به افزایش سهم هوش مصنوعی در خودکارسازی تحقیق‌وتوسعه می‌پردازد.
TasteVal در همین بستر مطرح شده است و نخستین بنچمارکی است که به‌طور مشخص برای سنجش بُعد قضاوت در فعالیت پژوهشی طراحی شده؛ نه سرعت انجام وظایف یا تولید کد، بلکه توانایی طراحی آزمایش و تفسیر آنچه نتایج نشان می‌دهند.
TasteVal چگونه قضاوت پژوهشی را می‌سنجد؟
ساختار TasteVal بر جداسازی عمدی چند مفهوم از یکدیگر استوار است. به باور نویسندگان بنچمارک، قضاوت علمی سه مؤلفه مرتبط دارد: تشخیص اینکه کدام مسائل ارزش پیگیری دارند، طراحی آزمایش برای پاسخ‌دادن به این مسائل و تفسیر درست معنای نتایج آزمایش‌ها. TasteVal دو مؤلفه دوم و سوم را اندازه‌گیری می‌کند. مؤلفه نخست، یعنی انتخاب مسئله پژوهش، در نسخه فعلی صراحتاً خارج از محدوده ارزیابی است.
TasteVal برای جداکردن توانایی قضاوت از مهارت برنامه‌نویسی، از معماری دو‌بخشی «پژوهشگر/کدنویس» استفاده می‌کند. مدل هوش مصنوعی مورد ارزیابی نقش پژوهشگر را بر عهده می‌گیرد: آزمایش‌هایی را پیشنهاد می‌کند و بر اساس نتایج به دست آمده نتیجه‌گیری می‌کند. در مقابل، یک عامل کدنویس خارجی و ثابت، تمام کارهای پیاده‌سازی را روی یک پردازنده گرافیکی Nvidia H100 انجام می‌دهد. هر نوبت اجرا حداکثر به ۴۰ ساعت محاسباتی پردازنده گرافیکی یا ۱۲۰ ساعت زمان واقعی محدود است؛ هرکدام که زودتر فرا برسد. این ساختار مانع از آن می‌شود که یک مدل ضعف در قضاوت آزمایشی را با کدنویسی سریع‌تر یا کارآمدتر جبران کند، زیرا شرایط کدنویسی برای همه مدل‌ها یکسان نگه داشته می‌شود.
این بنچمارک هشت وظیفه برگرفته از فعالیت‌های پیشرفته توسعه هوش مصنوعی را در بر می‌گیرد؛ از جمله انتخاب داده‌های آموزشی، پیش‌آموزش، تنظیم دقیق مدل‌های زبانی، مدل‌سازی ترجیحات و دفاع در برابر دستورهای خصمانه. خط مبنای انسانی بر اساس عملکرد ۲۴ متخصصی تعیین شده است که به‌تازگی در شرکت‌های OpenAI، گوگل دیپ‌مایند، انویدیا و مایکروسافت ریسرچ سمت پژوهشی داشته‌اند. برای هر وظیفه دست‌کم دو متخصص در نظر گرفته شده است. TasteVal بهترین نتیجه انسانی در هر وظیفه را معیار مقایسه قرار می‌دهد، نه میانگین نتایج را. این روش خط مبنای دشوارتری ایجاد می‌کند، اما در عین حال به این معناست که ارزیابی بر اساس عملکرد حداقلیِ ثبت‌شده در میان متخصصان انجام می‌شود، نه عملکرد میانه پژوهشگران.
عملکرد با شاخصی به نام «ضریب محاسباتی» بیان می‌شود: میزان محاسباتی که یک متخصص انسانی برای انجام وظیفه مصرف کرده است، تقسیم بر میزان محاسبات موردنیاز مدل برای رسیدن به همان امتیاز. ضریب بالاتر از ۱٫۰ نشان می‌دهد که مدل با محاسبات کمتری به سطح عملکرد متخصص انسانی رسیده است. ضریب ۲٫۳۰ مدل Claude Opus 5.5 یعنی این مدل با مصرف حدود ۴۳ درصد منابع محاسباتی موردنیاز متخصص انسانی به نتیجه‌ای در سطح او رسیده و هزینه هر تلاش آن نیز تقریباً یک‌سی‌ام هزینه هر تلاش پژوهشگر انسانی بوده است.
تغییر ناگهانی روند پیشرفت از دسامبر ۲۰۲۵
یکی از مهم‌ترین یافته‌های TasteVal نه سطح مطلق عملکرد، بلکه شکل منحنی پیشرفت است. پیش از حدود دسامبر ۲۰۲۵، ضریب محاسباتی مربوط به قریحه پژوهشی در مدل‌های پیشرفته تقریباً هر ۱۴ ماه دو برابر می‌شد؛ روندی که با بهبود تدریجی توانایی‌ها سازگار بود. اما از آن زمان، زمان دوبرابرشدن به حدود سه ماه کاهش یافته است. فاصله اطمینان ۹۵ درصدی این برآورد از ۱٫۷ تا ۵ ماه است.
مقاله TasteVal علت این تغییر ناگهانی را مشخص نمی‌کند. یک توضیح احتمالی، که در خود مقاله مطرح نشده اما با زمان‌بندی این تغییر و داده‌های گسترده‌تر سازمانی سازگار است، این است که این نقطه عطف با دوره‌ای هم‌زمان شده که سامانه‌های هوش مصنوعی استفاده از سامانه‌های دیگر هوش مصنوعی را به‌عنوان ابزار پژوهش به‌طور چشمگیری افزایش داده‌اند. گزارش آنتروپیک درباره سهم کدهای تولیدشده با هوش مصنوعی نشان می‌دهد که این سهم از چند درصد در اوایل ۲۰۲۵ به بیش از ۸۰ درصد کدهای ادغام‌شده تا مه ۲۰۲۶ رسیده است. یافته‌های مقاله کمبریج نیز حاکی از آن است که سهم هوش مصنوعی در خودکارسازی تحقیق‌وتوسعه از مارس تا اوت ۲۰۲۶، طی پنج ماه، از یک درصد به ۲۶ درصد افزایش یافته است. این دو روند در مجموع با شکل‌گیری چرخه‌ای بازخوردی سازگارند که در آن هوش مصنوعی به پژوهش در زمینه هوش مصنوعی کمک می‌کند و از این طریق، توسعه توانایی‌های پژوهشی خود هوش مصنوعی را سرعت می‌بخشد. اگر چنین سازوکاری عامل افزایش سرعت پیشرفت ثبت‌شده در TasteVal باشد، لزوماً با رسیدن بهره‌وری پژوهشگران انسانی به سقف خود کند نخواهد شد. همین احتمال است که این تغییر روند را به مهم‌ترین بخش یافته‌های بنچمارک تبدیل می‌کند.
با این حال، مقاله TasteVal صراحتاً هشدار می‌دهد که نتایج ممکن است میزان این روند را بیش از واقع نشان دهند. وظایف این بنچمارک سریع و کم‌هزینه ارزیابی می‌شوند و دقیقاً از آن دسته وظایفی هستند که آزمایشگاه‌های هوش مصنوعی می‌توانند به‌سادگی عملکرد مدل‌های خود را برای آن‌ها بهینه کنند. بنابراین، این احتمال وجود دارد که شیب تند منحنی پیشرفت تا اندازه‌ای ناشی از بهینه‌سازی ویژه برای بنچمارک باشد، نه صرفاً رشد واقعی توانایی‌های بنیادی.
محدوده‌ای که بنچمارک عمداً بررسی نمی‌کند
توانایی مورد سنجش TasteVal تمام آن چیزی نیست که قریحه پژوهشی را تشکیل می‌دهد. انتخاب مسئله علمی برای پیگیری، از میان مجموعه‌ای گسترده و پایان‌ناپذیر از مسیرهای پژوهشی ممکن، عموماً عمیق‌ترین جلوه قضاوت علمی محسوب می‌شود و صراحتاً خارج از محدوده TasteVal قرار دارد.
پژوهش‌های جداگانه نیز این خلأ را تأیید می‌کنند. مطالعه‌ای در سال ۲۰۲۶ درباره رفتار مدل‌های هوش مصنوعی پس از آموزش نشان داد که عامل‌های هوش مصنوعی در محیط‌های پژوهشی در مراحل اولیه یک وظیفه به راهبرد اولیه خود پایبند می‌شوند؛ تنها در ۲٫۱ درصد از اجراهای آموزشی، رویکرد انتخاب‌شده را تغییر دادند. تجربه بیشتر، اجرای راهبرد را بهبود می‌بخشید، اما توانایی بازنگری در آن را افزایش نمی‌داد. نویسندگان این پژوهش، توانایی ازدست‌رفته را تصمیم‌گیری برای بازگشت به راهبردی که پیش‌تر انتخاب شده و بررسی یک گزینه جایگزین دانستند. این دقیقاً همان نوع قضاوت در سطح انتخاب مسئله است که ساختار TasteVal با تعیین قبلی هدف پژوهش، آن را از مسئولیت مدل حذف می‌کند.
معیار جداگانه TASTE که تیم هم‌سوسازی آنتروپیک در ۲۸ اوت منتشر کرد، داده مکملی در این زمینه ارائه می‌دهد. این معیار، که نباید با TasteVal اشتباه گرفته شود، توانایی مدل‌های هوش مصنوعی را در انتخاب گزینه امیدوارکننده‌تر از میان دو پیشنهاد پژوهشی در حوزه ایمنی هوش مصنوعی می‌سنجد. در نتیجه، مستقیماً انتخاب مسئله را ارزیابی می‌کند؛ همان بُعدی که TasteVal کنار گذاشته است. در این آزمون، بهترین مدل هوش مصنوعی ارزیابی‌شده، Claude Fable 5، حدود ۶۰ درصد امتیاز گرفت، درحالی‌که امتیاز برآوردشده برای پژوهشگران انسانی ۷۷ درصد بود. این فاصله همچنان قابل‌توجه است. در مجموع، نتایج TasteVal و TASTE آنتروپیک مرز فعلی توانایی‌ها را مشخص می‌کنند: هوش مصنوعی احتمالاً در طراحی آزمایش و تفسیر نتایج به سطح متخصصان رسیده یا به آن نزدیک شده است، اما هنوز در انتخاب مسیر و دستورکار پژوهشی به چنین سطحی نرسیده است.
خط مبنای انسانی TasteVal نیز محدودیت ساختاری دیگری دارد. استفاده از بهترین نتیجه انسانی در هر وظیفه، به‌جای نتایج نماینده، به این معناست که بنچمارک عملکرد مدل‌ها را با حد پایین عملکرد ثبت‌شده متخصصان مقایسه می‌کند، نه با سقف توانایی بهترین پژوهشگران جهان در شرایطی که زمان و اطلاعات نامحدود در اختیار داشته باشند.
کلارک چگونه این یافته‌ها را در پیش‌بینی خود به کار گرفت؟
جک کلارک، هم‌بنیان‌گذار آنتروپیک و نویسنده خبرنامه پرخواننده Import AI، در شماره ۴۷۶ این خبرنامه که ۱۲ اکتبر منتشر شد، پیش‌بینی خود درباره زمان تحقق بهبود بازگشتی خود را تغییر داد. کلارک نوشت که اکنون تحقق RSI را در سال ۲۰۲۷ محتمل‌تر از سال ۲۰۲۸ می‌داند. او RSI را سامانه‌ای با چرخه بسته تعریف می‌کند که بتواند بدون دخالت انسان، نسل بعدی و توانمندتر خود را آموزش دهد. این تغییر، زمان‌بندی پیش‌بینی او را نسبت به برآوردی که در ماه مه ارائه کرده بود، جلو انداخته است. گزارش مربوط به پیش‌بینی کلارک جزئیات این تغییر را شرح می‌دهد.
کلارک در ماه مه، در شماره ۴۵۵ خبرنامه Import AI، احتمال تحقق RSI تا پایان سال ۲۰۲۸ را حدود ۶۰ درصد و احتمال تحقق آن تا پایان سال ۲۰۲۷ را ۳۰ درصد برآورد کرده بود. در به‌روزرسانی اکتبر، او جهت‌گیری پیش‌بینی خود را تغییر داد، اما ارقام احتمالات را به‌روز نکرد و فقط گفت سالی که آن را محتمل‌تر می‌داند تغییر کرده است. این تمایز اهمیت دارد: کلارک درباره امکان وقوع پیش‌بینی می‌کند، نه اجتناب‌ناپذیر بودن آن. اینکه هر آزمایشگاهی در صورت فراهم‌شدن امکان فنی، واقعاً به دنبال RSI برود یا نه، به عواملی مانند دسترسی به منابع محاسباتی، چارچوب‌های ایمنی، رقابت میان شرکت‌ها و شرایط مقرراتی بستگی دارد.
کلارک برای این تغییر در پیش‌بینی خود به دو دسته شواهد استناد کرد: یافته‌های TasteVal درباره توانایی هوش مصنوعی در پژوهش و موجی از گزارش‌ها درباره سامانه‌های هوش مصنوعی که به گفته او به دستاوردهای ریاضی «ظاهراً خلاقانه» رسیده‌اند.
در این زمینه باید به یک نکته درباره وابستگی سازمانی کلارک توجه کرد. او یکی از بنیان‌گذاران آنتروپیک است؛ شرکتی که مدل آن در صدر جدول نتایج TasteVal قرار گرفته است. این بنچمارک را گروه مستقل P-Zero Research تهیه کرده، اما یکی از شناخته‌شده‌ترین افرادی که بر اساس آن نتیجه‌گیری‌های آینده‌نگرانه مطرح می‌کند، با آزمایشگاه دارای بهترین عملکرد ارتباط سازمانی دارد. خبرنامه کلارک نشریه شخصی اوست و موضع رسمی آنتروپیک محسوب نمی‌شود. کلارک همچنین در نگارش مقاله کمبریج درباره انفجار هوش که ۲۸ سپتامبر منتشر شد، در مقام شخصی مشارکت داشت، نه به‌عنوان نماینده آنتروپیک. هینتون، بنجیو و دیگر نویسندگان این مقاله خواستار آن شده‌اند که دولت‌ها گزارش‌دهی اجباری درباره میزان خودکارسازی تحقیق‌وتوسعه با هوش مصنوعی را برقرار کنند، حسابرسان مستقلی در شرکت‌های هوش مصنوعی مستقر شوند و سازوکارهایی برای توقف اضطراری پیشرفت قابلیت‌ها در نظر گرفته شود.
عضویت کلارک در شورای ملی مشورتی هوش مصنوعی آمریکا (NAIAC)، ارائه گزارش او به شورای امنیت سازمان ملل درباره تهدیدهای هوش مصنوعی در سال ۲۰۲۳ و یک دهه فعالیتش در حوزه سیاست‌گذاری هوش مصنوعی باعث شده است پیش‌بینی تازه او در بحث‌های مربوط به حکمرانی این فناوری وزن قابل‌توجهی داشته باشد. با این حال، اعتبار و اهمیت این پیش‌بینی باید هم در پرتو داده‌های بنچمارکی که به آن‌ها استناد می‌کند و هم با توجه به جایگاه سازمانی مطرح‌کننده آن ارزیابی شود.
پیش‌بینی‌های خود مقاله TasteVal چه می‌گویند؟
مقاله TasteVal از خبرنامه کلارک فراتر می‌رود و با استفاده از مدلی به نام «مدل آینده‌های هوش مصنوعی» که پروژه AI Futures Project توسعه داده است، پیامدهای احتمالی یافته‌ها را بررسی می‌کند. نویسندگان در سراسر مقاله تأکید دارند که این محاسبات «برون‌یابی ساده‌انگارانه‌اند، نه پیش‌بینی». آن‌ها صریحاً می‌گویند که این ارقام نباید پیش‌بینی قطعی تلقی شوند.
اگر سرعت بهبود مشاهده‌شده در TasteVal بدون وقفه ادامه پیدا کند، محاسبات این مدل نشان می‌دهد احتمال وقوع چیزی که مقاله «تکینگی مبتنی بر قریحه پژوهشی» می‌نامد، از ۵۱ درصد به ۸۸ درصد افزایش می‌یابد. منظور از این سناریو، وضعیتی است که در آن بهبود قریحه پژوهشی به‌تنهایی شتاب‌گیری بازگشتی را به راه می‌اندازد. در همین مدل، زمان میانه برآوردشده برای ظهور ابرهوش مصنوعی (ASI) از سال ۲۰۳۰٫۵ به ۲۰۲۸٫۹ منتقل می‌شود. احتمال ظهور ASI پیش از سال ۲۰۳۰ نیز از ۴۶ درصد به ۶۹ درصد افزایش می‌یابد.
محدودیت‌هایی که نویسندگان برای این برآوردها ذکر کرده‌اند، اساسی‌اند: نرخ دوبرابرشدن نامطمئن است و فاصله اطمینان آن از ۱٫۷ تا ۵ ماه امتداد دارد؛ وظایف بنچمارک ممکن است به‌گونه‌ای بهینه‌سازی شوند که نتیجه را منحرف کنند؛ و برون‌یابی تنها در صورتی معتبر خواهد بود که روند مشاهده‌شده ادامه یابد. افزون بر این، محاسبات فقط مؤلفه قریحه پژوهشی را پوشش می‌دهند، نه همه ابعاد لازم برای RSI. انتخاب مسئله، برنامه‌ریزی پژوهشی چند‌هفته‌ای و اجرای آزمایش‌ها در دنیای واقعی در این ارقام لحاظ نشده‌اند.
استدلال‌های مخالف
یافته‌های این بنچمارک‌ها محل اختلاف‌اند و مهم‌ترین انتقادها دقیقاً به محدودیت‌هایی اشاره دارند که از ابتدا در طراحی خود بنچمارک نیز مشخص شده‌اند.
هربی بردلی، پژوهشگر ایمنی هوش مصنوعی، استدلال کرده بود که سامانه‌های هوش مصنوعی هنوز «قریحه پژوهشی، خلاقیت واقعی و برنامه‌ریزی منسجم پژوهشی در بلندمدت» را در سطح لازم برای RSI نشان نداده‌اند. این استدلال پس از مقاله ماه مه کلارک به یکی از محورهای اصلی بحث درباره RSI تبدیل شد. TasteVal مستقیماً ادعای مربوط به طراحی آزمایش را به چالش می‌کشد، اما درباره سومین مؤلفه مورد اشاره بردلی، یعنی برنامه‌ریزی منسجم پژوهشی در بلندمدت و انتخاب مسئله، چیزی را اثبات نمی‌کند.
معماری دو‌بخشی پژوهشگر/کدنویس TasteVal، با وجود آنکه امکان جداسازی قضاوت از مهارت برنامه‌نویسی را فراهم می‌کند، ساختار وظایفی ایجاد می‌کند که با پژوهش واقعی تفاوت دارد. در پژوهش واقعی، باید تصمیم گرفت چه چیزی ساخته شود و سپس با توجه به نتایج غیرمنتظره، آن تصمیم را بازنگری کرد؛ این دقیقاً همان توانایی‌ای است که مطالعه مربوط به رفتار مدل‌ها پس از آموزش، آن را در عامل‌های هوش مصنوعی ناکافی یافت. بنابراین، ممکن است مدلی که برای عملکرد خوب در چارچوب یک هدف پژوهشی ازپیش‌تعیین‌شده بهینه شده است، نتواند توانایی خود را به تعیین مسیرهای پژوهشی باز و نامحدود تعمیم دهد.
آجیا کوتره از مؤسسه METR سه آستانه را برای توانایی هوش مصنوعی در پژوهش از یکدیگر متمایز می‌کند: کفایت، یعنی توانایی انجام برخی وظایف پژوهشی بدون انسان؛ برابری، یعنی رسیدن عملکرد هوش مصنوعی به عملکرد همکاری انسان و هوش مصنوعی؛ و برتری، یعنی عملکرد بهتر سامانه مستقل از همکاری انسان و هوش مصنوعی. نتایج TasteVal از کفایت هوش مصنوعی در سطح طراحی آزمایش و احتمالاً برابری در برخی انواع مشخص وظایف پشتیبانی می‌کنند، اما برابری کلی در پژوهش را ثابت نمی‌کنند. هلن تونر از مرکز مطالعات امنیت و فناوری‌های نوظهور (CSET) نیز استدلال کرده است که استفاده از ابزارهای هوش مصنوعی در پژوهش هوش مصنوعی، بر اساس تعریف کلاسیک RSI، مصداق بهبود بازگشتی خود نیست؛ زیرا این تعریف مستلزم آن است که هیچ انسانی در فرایند دخالت نداشته باشد. هیچ‌یک از سامانه‌های کنونی به این آستانه نزدیک نشده‌اند.
بستر گسترده‌تر نهادی
تغییر زمان‌بندی پیش‌بینی کلارک در دوره‌ای رخ می‌دهد که مواضع نهادهای فعال در حوزه هوش مصنوعی به‌سرعت در حال تغییر است. آنتروپیک در ژوئن ۲۰۲۶ علناً پذیرفت که RSI هنوز محقق نشده است، اما هشدار داد که این اتفاق «ممکن است زودتر از آمادگی بیشتر نهادها رخ دهد». اوپن‌ای‌آی نیز هنگام انتشار داده‌های خود درباره خودکارسازی پژوهش در سپتامبر تأکید کرد که دستیابی به خودکارسازی قابل‌اندازه‌گیری در وظایف پژوهشی به این معنا نیست که باید بدون ایجاد سازوکارهای نظارت انسانی به دنبال RSI رفت.
مقاله کمبریج درباره انفجار هوش که کلارک، هینتون، بنجیو، پاچوکی، اریک هوروویتز، داون سونگ و بیش از ۲۰ پژوهشگر دیگر در نگارش آن مشارکت داشتند، پیشنهادهای مشخصی در حوزه سیاست‌گذاری ارائه کرد که مستقیماً به داده‌های مطرح‌شده در مقاله مربوط بودند. درخواست این مقاله برای گزارش‌دهی اجباری دولتی درباره خودکارسازی تحقیق‌وتوسعه با هوش مصنوعی، استقرار حسابرسان مستقل در آزمایشگاه‌های هوش مصنوعی و ایجاد سازوکارهای توقف اضطراری، بر این یافته تجربی استوار بود که سهم هوش مصنوعی از فعالیت‌های تحقیق‌وتوسعه با نظارت محدود طی پنج ماه از یک درصد به ۲۶ درصد افزایش یافته است. نتایج TasteVal که سه هفته پس از آن مقاله منتشر شدند، سنجشی مشخص از یک توانایی را به شواهد تجربی‌ای اضافه می‌کنند که نویسندگان مقاله کمبریج بر اساس آن‌ها استدلال کرده بودند.
آنچه تغییر کرده، مبنای شواهد در این بحث است. بحث درباره زمان تحقق RSI در گذشته عمدتاً بر برون‌یابی از بنچمارک‌های عمومی استوار بود؛ از جمله امتیازهای استدلال، توانایی برنامه‌نویسی و مدت‌زمان انجام وظایف. TasteVal تلاشی است برای ساخت ابزاری اختصاصی جهت سنجش مهم‌ترین توانایی موردنظر: اینکه آیا سامانه‌های هوش مصنوعی می‌توانند مانند دانشمندان پژوهشی ثمربخش عمل کنند یا صرفاً در برنامه‌نویسی و پردازش اسناد توانمندند. یافته‌های این بنچمارک قطعی نیستند، روش‌شناسی آن مورد اختلاف است و برون‌یابی‌هایش نیز صراحتاً گمانه‌زنانه معرفی شده‌اند. بااین‌حال، به‌عنوان نشانه‌ای از حرکت بحث RSI از پیش‌بینی‌های انتزاعی به سوی اندازه‌گیری توانایی‌های مشخص، این تحول شایسته پیگیری دقیق است.
پرسش‌های متداول
TasteVal دقیقاً چه چیزی را اندازه‌گیری می‌کند و چه تفاوتی با دیگر بنچمارک‌های هوش مصنوعی دارد؟
TasteVal دو مورد از سه مؤلفه قضاوت پژوهشی علمی را می‌سنجد: طراحی آزمایش، یعنی پیشنهاد آزمایش‌هایی که برای پاسخ‌دادن به یک پرسش پژوهشی مشخص باید انجام شوند، و تفسیر نتایج، یعنی استخراج نتیجه‌گیری‌های درست از پیامدهای آزمایش‌ها. این بنچمارک از ساختار دو‌بخشی پژوهشگر/کدنویس استفاده می‌کند؛ در آن، مدل هوش مصنوعی آزمایش‌ها را پیشنهاد می‌دهد و یک عامل ثابت و جداگانه کدنویسی را انجام می‌دهد. هدف از این جداسازی، سنجش قضاوت مستقل از مهارت پیاده‌سازی است. TasteVal انتخاب مسئله، یعنی تصمیم‌گیری درباره اینکه کدام پرسش پژوهشی باید دنبال شود، را اندازه نمی‌گیرد؛ موضوعی که در بیشتر بنچمارک‌های توانایی پژوهشی هوش مصنوعی نیز به‌طور مشخص بررسی نشده است. شاخص تازه این بنچمارک، ضریب محاسباتی، نسبت میزان محاسبات موردنیاز متخصص انسانی به میزان محاسبات موردنیاز مدل برای رسیدن به همان امتیاز است. ضریب بالاتر از ۱٫۰ به این معناست که مدل از نظر مصرف منابع محاسباتی کارآمدتر از متخصص انسانی عمل کرده است.
آیا هوش مصنوعی واقعاً در وظایف پژوهش هوش مصنوعی از متخصصان انسانی پیشی گرفته است؟
در وظایف مشخصی که TasteVal بررسی می‌کند، یعنی طراحی آزمایش و تفسیر نتایج در چارچوب اهداف پژوهشی ازپیش‌تعیین‌شده، این بنچمارک نشان می‌دهد که بهترین مدل کنونی مورد ارزیابی، Claude Opus 5.5، با ضریب محاسباتی ۲٫۳۰ از خط مبنای انسانی تعیین‌شده در مطالعه فراتر رفته است. این خط مبنا بهترین نتیجه به‌دست‌آمده از میان ۲۴ متخصص جذب‌شده از آزمایشگاه‌های بزرگ هوش مصنوعی است، نه میانگین عملکرد آن‌ها. این یافته فقط به همین دو بُعد از قضاوت پژوهشی مربوط می‌شود. در مقابل، بنچمارک ایمنی TASTE آنتروپیک نشان داد که مدل‌های هوش مصنوعی در انتخاب پیشنهاد پژوهشی حدود ۶۰ درصد امتیاز می‌گیرند، درحالی‌که امتیاز انسان‌ها حدود ۷۷ درصد است. این بُعد در TasteVal بررسی نمی‌شود و نتایج نشان می‌دهند که انتخاب مسئله هنوز پایین‌تر از سطح متخصصان انسانی قرار دارد. جزئیات ارزیابی TASTE آنتروپیک
بهبود بازگشتی خود در هوش مصنوعی چیست و تحقق آن به چه چیزی نیاز دارد؟
بهبود بازگشتی خود به وضعیتی گفته می‌شود که در آن یک سامانه هوش مصنوعی بتواند بدون هیچ دخالت انسانی، مدلی توانمندتر از خود را آموزش دهد. این مفهوم فراتر از پژوهش سریع‌تر یا کم‌هزینه‌تر با کمک هوش مصنوعی است و به چرخه‌ای واقعاً بسته اشاره دارد. بر اساس تعریفی که جک کلارک و دیگران به کار می‌برند، تحقق RSI مستلزم آن است که سامانه‌های هوش مصنوعی بتوانند مسائل پژوهشی مناسب را انتخاب کنند، آزمایش‌هایی برای حل آن‌ها طراحی و اجرا کنند، نتایج را به‌درستی تفسیر کنند و از این نتایج برای ساخت سامانه هوش مصنوعی بهتری بهره بگیرند؛ آن هم بدون دخالت انسان در هیچ مرحله‌ای. TasteVal دو مورد از این مراحل را بررسی می‌کند. انتخاب مسئله، برنامه‌ریزی پژوهشی چند‌هفته‌ای و توانایی بازنگری در راهبردهای پژوهشی تثبیت‌شده، از جمله قابلیت‌هایی هستند که هنوز در سطح موردنیاز برای RSI اثبات نشده‌اند.
پیش از آنکه نرخ دوبرابرشدن گزارش‌شده در TasteVal را پیش‌بینی تلقی کنیم، چه نکاتی را باید در نظر بگیریم؟
بر اساس مقاله TasteVal، زمان دوبرابرشدن سه‌ماهه برای توانایی قریحه پژوهشی فقط به دوره پس از حدود دسامبر ۲۰۲۵ مربوط می‌شود. پیش از آن، این زمان تقریباً ۱۴ ماه بود. نویسندگان نرخ اخیر را یک تغییر ناگهانی در روند پیشرفت می‌دانند، نه مبنایی تثبیت‌شده برای پیش‌بینی آینده. فاصله اطمینان ۹۵ درصدی از ۱٫۷ تا ۵ ماه است؛ بنابراین، زمان واقعی دوبرابرشدن ممکن است به‌طور قابل‌توجهی طولانی‌تر از برآورد مرکزی باشد. نویسندگان صراحتاً برون‌یابی‌های خود را «برون‌یابی ساده‌انگارانه، نه پیش‌بینی» می‌نامند و هشدار می‌دهند که ساختار وظایف این بنچمارک آن را به‌ویژه در برابر بهینه‌سازی هدفمند آزمایشگاه‌های هوش مصنوعی آسیب‌پذیر می‌کند؛ عاملی که ممکن است نرخ بهبود مشاهده‌شده را بیش از واقع نشان دهد.