GPT-6 Astra در وظایف علمی با مصرف توکن بسیار کمتر از Claude Sonnet 5.5 بهتر عمل می‌کند
GPT-6 Astra در رتبه‌بندی‌های جامع هوش مصنوعی شرکت‌های OpenAI و Anthropic امتیاز پایین‌تری از Claude Sonnet 5.5 می‌گیرد، اما همچنان در بنچمارکی که عملکرد در کارهای پژوهشی را می‌سنجد، برتری دارد؛ آن هم درحالی‌که برای رسیدن به نتیجه، تنها بخش کوچکی از توکن‌های موردنیاز Sonnet را مصرف می‌کند.
بر اساس داده‌های مؤسسه Artificial Analysis، مدل GPT-6 Astra شرکت OpenAI در آزمون Terminal-Bench-Science که برای شبیه‌سازی گردش کار واقعی پژوهش‌های علمی طراحی شده است، امتیاز ۶۳ درصد را کسب می‌کند؛ درحالی‌که امتیاز Claude Sonnet 5.5 به ۵۳ درصد می‌رسد. این اختلاف در آزمونی که برای شرکت‌های فعال در حوزه‌هایی با نیاز گسترده به تحقیق و توسعه اهمیت دارد، قابل‌توجه است. بااین‌حال، آنچه باید بیش از خود امتیازها Anthropic را نگران کند، میزان توکن مصرفی هر مدل برای رسیدن به نتیجه است.
Sonnet 5.5 در بالاترین سطح استدلال خود، برای انجام یک وظیفه معمول در این بنچمارک حدود ۱۹۳ هزار توکن خروجی تولید می‌کند. Astra برای همان کار به حدود ۲۷ هزار توکن نیاز دارد. این اختلاف تقریباً هفت‌برابری است؛ نه ۲۲ برابری که در برخی بحث‌ها درباره این مدل‌ها مطرح شده، اما همچنان آن‌قدر بزرگ است که معادلات هزینه را به‌طور اساسی تغییر دهد. Astra به‌دلیل مصرف بسیار کمتر توکن، هر وظیفه را با هزینه ۳٫۲۶ دلار انجام می‌دهد، درحالی‌که هزینه Sonnet به ۷٫۶۰ دلار می‌رسد؛ این در حالی است که Anthropic برای توکن‌های Sonnet قیمتی بسیار پایین‌تر از تعرفه OpenAI برای Astra تعیین کرده است. ارزان‌تر بودن هر توکن نتوانسته هزینه نهایی Sonnet را کاهش دهد، زیرا این مدل برای انجام کار به هفت برابر توکن بیشتر نیاز دارد.
طی یک سال گذشته، رقابت مدل‌های هوش مصنوعی عمدتاً بر سر جایگاه در جدول‌های رتبه‌بندی بوده است. هر مدلی که در صدر شاخص هوش مصنوعی Artificial Analysis قرار می‌گرفت، تیتر خبرها را به خود اختصاص می‌داد و Sonnet 5.5 همچنان در این شاخص پیشتاز است: ۵۶ امتیاز در برابر ۵۳ امتیاز Astra. اما بنیان‌گذاری که روزانه هزاران درخواست پژوهشی اجرا می‌کند، چندان به برنده شدن در یک شاخص انتزاعی اهمیت نمی‌دهد؛ آنچه برای او مهم است، مبلغ صورت‌حساب در پایان ماه است. از این منظر، پرگویی مدل‌ها در خروجی‌هایشان به متغیری تعیین‌کننده تبدیل می‌شود و دیگر صرفاً توانایی خام مدل اهمیت ندارد.
به نظر می‌رسد OpenAI نیز در سیاست قیمت‌گذاری خود دقیقاً روی همین تغییر حساب کرده است. هزینه هر توکن Astra پایین نیست: OpenAI برای هر یک میلیون توکن ورودی ۱۰ دلار و برای هر یک میلیون توکن خروجی ۵۰ دلار دریافت می‌کند؛ یعنی پنج برابر تعرفه اعلام‌شده Sonnet 5.5. بااین‌حال، مدلی که برای انجام کار به‌جای ۱۹۳ هزار توکن تنها ۲۷ هزار توکن مصرف می‌کند، برای ارزان‌تر تمام شدن صورت‌حساب نیازی به قیمت‌گذاری پایین ندارد؛ بلکه باید در مصرف توکن صرفه‌جو باشد. این نوع مزیت با رقابتی که Anthropic در گذشته بر پایه آن پیش رفته، تفاوت دارد و صرفاً با کاهش قیمت، جبران آن دشوارتر است.
OpenAI با عرضه GPT-6.1 Sol در ۲۹ سپتامبر، این مزیت را بیش از پیش تقویت کرد. قیمت این مدل برای هر یک میلیون توکن ورودی ۲ دلار و برای هر یک میلیون توکن خروجی ۱۰ دلار است؛ یعنی یک‌پنجم تعرفه Astra. بر اساس داده‌های بنچمارک که در گزارش‌های DataCamp و ITBrief درباره عرضه این مدل گردآوری شده‌اند، هزینه انجام هر وظیفه در Terminal-Bench-Science با Sol حدود ۵٫۴۷ دلار است؛ درحالی‌که این رقم برای Astra به ۲۳٫۸۰ دلار و برای Claude Opus 5.5، مدل بزرگ‌تر Anthropic، به ۲۳٫۲۱ دلار می‌رسد. Sol از نظر امتیاز خام از Astra پیشی نمی‌گیرد، اما با هزینه‌ای معادل یک‌پنجم آن، به عملکردش نزدیک می‌شود. این دقیقاً همان نوع بده‌بستانی است که برای استارتاپی با هزاران درخواست پژوهشی خودکار در روز اهمیت دارد.
هیچ‌یک از این ارقام به معنای ضعیف بودن Sonnet 5.5 نیست. این مدل همچنان در شاخص جامع Artificial Analysis امتیاز بالاتری دارد و Anthropic از دوران Claude 3 تاکنون، عمق استدلال را یکی از مزیت‌های اصلی محصولاتش معرفی کرده است. اما وقتی عمق استدلال نه فقط بر اساس زمان سپری‌شده، بلکه بر پایه تعداد توکن‌های تولیدشده سنجیده شود، هزینه آن نیز اهمیت پیدا می‌کند. طبق گزارش بنچمارک خود Artificial Analysis، تولید ۱۹۳ هزار توکن برای هر وظیفه بیشترین حجم خروجی است که این مؤسسه تاکنون در میان مدل‌های پیشرفته هوش مصنوعی اندازه‌گیری کرده است. این اختلاف خطای جزئی در محاسبات نیست؛ بلکه نشان می‌دهد این مدل در هر وظیفه، بیش از تقریباً هر مدل دیگری در بازار، فرایند استدلال خود را با خروجی طولانی‌تری بیان می‌کند.
این مقایسه برای توسعه‌دهندگان و کسب‌وکارهای مبتنی بر این مدل‌ها چه معنایی دارد؟
اگر یک شرکت زیرساخت هوش مصنوعی را اداره می‌کنید یا می‌خواهید مدل پیش‌فرض یک خط لوله پژوهش و توسعه را انتخاب کنید، پرسش اصلی در گذشته این بود که «کدام مدل بالاترین امتیاز را می‌گیرد؟» اما اکنون پرسش به این سمت می‌رود که «کدام مدل با کمترین هزینه، پاسخ درست ارائه می‌دهد؟» و این دو پرسش لزوماً پاسخ یکسانی ندارند. آزمایشگاهی که روزانه به هزاران خروجی در قالب وظایف پژوهشی نیاز دارد، از جمله برای غربالگری داروها، شبیه‌سازی مواد و اجرای عامل‌های علمی مبتنی بر کدنویسی، بسیار زودتر تأثیر اختلاف هفت‌برابری مصرف توکن را در صورت‌حساب ابری خود احساس می‌کند تا تفاوت ۱۰ امتیازی در یک بنچمارک انتزاعی.
OpenAI همچنین با طرح موضوع امنیت سایبری، این بحث را از مسئله هزینه فراتر برده است. Astra نخستین مدلی است که OpenAI بر اساس چارچوب آمادگی خود، آن را از نظر توانایی‌های مرتبط با امنیت سایبری در رده «بحرانی» قرار داده است. این تصمیم پس از آن اتخاذ شد که شرکت دریافت Astra می‌تواند به‌صورت خودکار آسیب‌پذیری‌های ناشناخته را کشف کند و با حداقل هدایت انسانی، اکسپلویت‌های عملیاتی بسازد. همان کارایی‌ای که این مدل در وظایف امنیتی تهاجمی از خود نشان می‌دهد، در گردش کارهای علمی نیز دیده می‌شود؛ با این تفاوت که هدف استفاده از آن تغییر می‌کند.
Anthropic نیز دست روی دست نگذاشته است. برتری Sonnet 5.5 در امتیازدهی واقعی است و اگر این شرکت بتواند تعداد توکن‌های موردنیاز برای انجام هر وظیفه را کاهش دهد، همچنان از مزیت هوش و استدلال بیشتر در کنار هزینه مناسب‌تر برخوردار خواهد بود. اما در شرایط فعلی، برای کسانی که واقعاً هزینه استفاده از API را می‌پردازند، مصرف کمتر Astra از مزیت آن در رتبه‌بندی بنچمارک مهم‌تر است. در نسل بعدی پژوهش‌هایی که با هوش مصنوعی انجام می‌شوند، این هزینه هر وظیفه است، نه جایگاه در جدول رتبه‌بندی، که تعیین می‌کند کدام مدل به انتخاب پیش‌فرض تبدیل شود.