جمینی ۴ آرگون در آزمون ARC-AGI-3 امتیاز ۹۷٫۵ درصدی کسب کرد؛ یک معیار دیگر هوش مصنوعی هم پشت سر گذاشته شد

واحد دیپ‌مایند گوگل در آزمون ARC-AGI-3 که از آن با عنوان «محک نهایی اثبات هوش عمومی مصنوعی» یاد می‌شود، با مدل جمینی ۴ آرگون به امتیاز تأییدشده ۹۷٫۵ درصد رسید. مؤسسه ARC Prize این نتیجه را در ۱۶ اکتبر رسماً اعلام کرد؛ آن هم تنها حدود هفت ماه پس از راه‌اندازی این معیار ارزیابی. هنگام آغاز آزمون، امتیاز تمام مدل‌های پیشرفته هوش مصنوعی کمتر از یک درصد بود.

با این نتیجه، گوگل به دومین آزمایشگاه هوش مصنوعی تبدیل شد که توانسته است در ARC-AGI-3 از مرز ۹۵ درصد عبور کند؛ پیش از آن، اوپن‌ای‌آی به این موفقیت رسیده بود. امتیاز ۹۷٫۵ درصدی جمینی ۴ آرگون، آن را در جایگاه دوم جدول رتبه‌بندی قرار می‌دهد؛ پس از GPT-6 Astra متعلق به اوپن‌ای‌آی با امتیاز ۹۹٫۹ درصد و بالاتر از GPT-6.1 Sol این شرکت که اواخر سپتامبر امتیاز ۹۶٫۳۷ درصد را کسب کرده بود.

ARC-AGI-3 آزمونی متعارف با پرسش‌های چندگزینه‌ای یا جای خالی نیست. این آزمون محیطی تعاملی شبیه بازی است که در آن مدل‌ها با بازی‌های کوچک و ناآشنایی روی یک شبکه رنگی ۶۴ در ۶۴ روبه‌رو می‌شوند. هفت دکمه عملیاتی در اختیار آن‌ها قرار می‌گیرد، اما هیچ‌کدام توضیحی درباره عملکرد خود ندارند. نه راهنمایی وجود دارد، نه فرمان‌های از پیش تعیین‌شده‌ای ارائه می‌شود و نه کسی هدف بازی را به مدل می‌گوید. مدل باید با آزمون‌وخطا یاد بگیرد، قوانین را استنباط کند، هدف را کشف کند و برای رسیدن به آن مسیر مناسبی طراحی کند. محور اصلی آزمون، توانایی یادگیری و به‌کارگیری آموخته‌ها در لحظه و در محیطی کاملاً ناآشناست.

روند زمانی پیشرفت مدل‌ها نشان می‌دهد که این رقابت با چه سرعتی پیش می‌رود. ARC-AGI-3 در اواخر مارس راه‌اندازی شد و در آن زمان امتیاز مجموع مدل‌های پیشرفته کمتر از یک درصد بود. در ۲ سپتامبر، GPT-6 Astra متعلق به اوپن‌ای‌آی در چارچوب Provider Adapter امتیازی بیش از ۹۹٫۹ درصد کسب کرد و نخستین مدل از آزمایشگاهی بود که از مرز ۹۵ درصد عبور کرد. سپس GPT-6.1 Sol در ۲۹ سپتامبر به امتیاز ۹۶٫۳۷ درصد رسید، گوگل در ۳۰ سپتامبر جمینی ۴ آرگون را عرضه کرد و سرانجام نتیجه رسمی و تأییدشده این مدل در ۱۶ اکتبر اعلام شد.

داده‌های مربوط به کارایی نیز قابل‌توجه‌اند. آرگون در ۲۵ بازی عمومی برای تکمیل مراحل به ۶۲ درصد اقدام کمتر از خط مبنای انسانی نیاز داشت. این مدل در سه بازی با رکورد زمانی سرعت‌گذاران حرفه‌ای برابری کرد یا از آن پیشی گرفت و در شش بازی دیگر، زمان ثبت‌شده‌اش حداکثر ۱۰ درصد با رکوردها اختلاف داشت.

مایک نوپ، از بنیان‌گذاران ARC Prize، گفت آرگون دومین خانواده مدل هوش مصنوعی است که با استفاده از Provider Adapter عملاً به حداکثر عملکرد در ARC-AGI-3 رسیده است. او همچنین به پدیده‌ای اشاره کرد که آن را «خمیدگی معکوس» در کارایی اقدامات توصیف کرد؛ به این معنا که کارایی مدل سریع‌تر از حد انتظار در حال بهبود است.

بااین‌حال، مجموعه دیگری از ارقام در گزارش نتایج به همان اندازه اهمیت دارد. امتیاز همین مدل در چارچوب استاندارد آزمون، موسوم به Standard harness، تنها ۴۹٫۸ درصد بود و هزینه اجرای آن به ۵۸۰۰ دلار رسید. در مقابل، امتیاز آرگون با استفاده از Provider Adapter به ۹۷٫۵ درصد رسید و هزینه آن ۴۸۰۰ دلار بود. این اختلاف نزدیک به ۴۸ واحد درصدی، به‌طور کامل به تفاوت در «هارنس» یا چارچوب اتصال مدل به محیط مربوط می‌شود؛ لایه‌ای که ورودی بازخوردها، خروجی اقدامات و حافظه مسیرهای قبلی را مدیریت می‌کند. Provider Adapter یکپارچه‌سازی سفارشی‌ای است که عرضه‌کننده برای مدل خود طراحی می‌کند، درحالی‌که Standard harness نسخه استاندارد و یکسانی است که برای تمام مدل‌های شرکت‌کننده در نظر گرفته شده است.

نکته غیرمنتظره این است که اجرای مدل در چارچوب استاندارد، با وجود هزینه بیشتر، تنها اندکی بیش از نیمی از امتیاز نسخه سفارشی را به همراه داشت. جزئیات نتایج نشان می‌دهد آرگون در تنظیم استدلال کم، با تکمیل ۴۲ بازی از مجموع ۵۵ بازی، امتیاز ۴۹٫۸ درصد کسب کرد. در تنظیم استدلال متوسط، ۴۶ بازی را تکمیل کرد، اما امتیازش به ۴۶٫۳ درصد کاهش یافت. تنظیم استدلال بالا نیز به‌دلیل مشکلات رابط برنامه‌نویسی کاربردی (API) تنها روی ۱۹ بازی اجرا شد و امتیازی برای آن منتشر نشد. بنابراین، تنظیم استدلال متوسط با وجود تکمیل چهار بازی بیشتر، امتیازی ۳٫۵ واحد درصد پایین‌تر به دست آورد؛ نتیجه‌ای که نشان می‌دهد زمان بیشتر برای استدلال لزوماً به امتیاز بالاتر منجر نمی‌شود.

این پدیده مختص آرگون نیست. GPT-6 Astra، مدل صدرنشین جدول، نیز امتیاز ۹۹٫۹ درصدی خود را با Provider Adapter به دست آورده است، اما امتیاز آن در چارچوب استاندارد فقط ۶۲٫۷ درصد است. مدل‌های خانواده کلود متعلق به آنتروپیک در آزمون‌های ARC-AGI-1 و ARC-AGI-2 امتیازهای نسبتاً بالایی دارند، اما در ARC-AGI-3 یا امتیاز پایینی کسب می‌کنند یا هنوز ارزیابی نشده‌اند. دست‌کم در این معیار، رقابت فعلی عمدتاً به دو بازیگر، یعنی اوپن‌ای‌آی و گوگل، محدود شده است.

توضیح: Provider Adapter یکپارچه‌سازی سفارشی عرضه‌کننده است، درحالی‌که Standard harness نسخه استاندارد و یکسان آزمون به شمار می‌رود. هزینه اجرای آرگون با Provider Adapter برابر با ۴۸۰۰ دلار و با چارچوب استاندارد برابر با ۵۸۰۰ دلار بود.

در همین حال، رقابت در جبهه دیگری از بازار هوش مصنوعی نیز شدت گرفته است. بر اساس داده‌های OpenRouter، پلتفرم واسطه جهانی استفاده از مدل‌های هوش مصنوعی، از ۵ تا ۱۱ اکتبر مدل‌های عرضه‌شده از سوی شرکت‌های چینی حدود ۴۸ درصد درخواست‌های توسعه‌دهندگان را به خود اختصاص دادند؛ سهمی بیشتر از مجموع ۴۰٫۳ درصدی اوپن‌ای‌آی، گوگل و آنتروپیک. دیپ‌سیک با سهم ۲۴٫۵ درصدی در صدر قرار گرفت و پس از آن اوپن‌ای‌آی با ۱۸٫۶ درصد، گوگل با ۱۷٫۸ درصد، زایپو ای‌آی با ۱۳٫۴ درصد و کوئن متعلق به علی‌بابا با ۵٫۴ درصد قرار داشتند. حجم درخواست‌های زایپو ای‌آی نسبت به هفته قبل ۱۰۷ درصد افزایش یافت. همچنین، بر اساس حجم داده‌های پردازش‌شده، هر پنج شرکت برتر چینی بودند.

قیمت یکی از عوامل مهم در انتخاب مدل از سوی توسعه‌دهندگان است. هزینه ورودی سرویس سازمانی دیپ‌سیک به ۰٫۱۵ دلار به‌ازای هر یک میلیون توکن می‌رسد؛ رقمی که در مقایسه با ۲ دلار برای GPT-6.1 Sol اوپن‌ای‌آی و ۴ دلار برای Claude Opus 5.5 آنتروپیک بسیار پایین‌تر است. دیپ‌سیک در ۱۷ اکتبر نسخه بهبودیافته V4.1 Flash را عرضه کرد و مدعی شد این مدل، بدون افزایش قیمت، در قابلیت‌های توسعه نرم‌افزار و خودکارسازی امور اداری از مدل‌های اصلی اوپن‌ای‌آی و آنتروپیک پیشی می‌گیرد.

شرکت‌های آمریکایی نیز از راهبرد قیمت‌گذاری پایین پیروی می‌کنند. اوپن‌ای‌آی ماه گذشته GPT-6 Luna را با قیمت ۰٫۱ دلار به‌ازای هر یک میلیون توکن عرضه کرد و آنتروپیک نیز در ماه جاری Claude Haiku 5.5 را با همین نرخ معرفی کرد. گوگل اخیراً برای مدتی محدود، مدل برتر خود را با قیمتی کمتر از نصف قیمت گران‌ترین مدل قبلی‌اش ارائه کرد. متا نیز یک مدل نسبتاً ارزان با عملکرد بالا به بازار عرضه کرده است.

گسترش بازار عامل‌های هوش مصنوعی این روند را تشدید می‌کند. عامل‌ها برای انجام یک وظیفه واحد باید چندین بار مدل‌ها را فراخوانی کنند و هرچه میزان استفاده بیشتر شود، اختلاف قیمت‌ها تأثیر بیشتری بر هزینه‌های عملیاتی شرکت‌ها می‌گذارد. چوی بیونگ‌هو، استاد پژوهشی مؤسسه هوش مصنوعی الهام‌گرفته از انسان در دانشگاه کره، گفت: «تا زمانی که مدل‌های هوش مصنوعی به سطح مشخصی از عملکرد برسند، شرکت‌ها چاره‌ای جز انتخاب مدل‌های ارزان‌تر ندارند. به‌ویژه با فراگیرشدن عامل‌های هوش مصنوعی و افزایش فشار ناشی از هزینه‌های عملیاتی، رقابت‌پذیری قیمتی اهمیت بیشتری پیدا خواهد کرد.»

برای سرمایه‌گذاران، رقابت بر سر امتیازهای ARC-AGI-3 دو پیام دارد. نخست اینکه معیارهای ارزیابی هوش مصنوعی هر بار سریع‌تر پشت سر گذاشته می‌شوند و اعتبار خود معیار سنجش هوش نیز با شتاب بیشتری زیر سؤال می‌رود. دوم اینکه اختلاف میان امتیازهای ۴۹٫۸ و ۹۷٫۵ درصدی نشان می‌دهد جدول‌های رتبه‌بندی دیگر صرفاً هوش خام مدل‌ها را با یکدیگر مقایسه نمی‌کنند، بلکه عملکرد کل سامانه، شامل مدل و هارنس، را می‌سنجند. روش‌های یکپارچه‌سازی و توانایی‌های مهندسی می‌توانند نزدیک به نیمی از اختلاف امتیاز را رقم بزنند. با تشدید هم‌زمان جنگ قیمت و تقاضا برای عامل‌های هوش مصنوعی، سودآوری عرضه‌کنندگان مدل به هر دو عامل قیمت‌گذاری به‌ازای توکن و توانایی یکپارچه‌سازی در سطح سامانه وابسته خواهد بود.