کلود اپوس ۵.۵ با اختلاف ۰.۹ امتیاز از GPT-6 Astra پیشی گرفت و صدر جدول Epoch AI را تصاحب کرد

tech-insider.org

انتشار در منبع: انتشار در سایت ما:

مقاله اصلی · English

مقایسه Claude Opus 5.5 و GPT-6 Astra در شاخص Epoch AI

کلود اپوس ۵.۵ با اختلافی اندک از GPT-6 Astra پیشی گرفت

مدل Claude Opus 5.5 در شاخص قابلیت‌های Epoch، یک رتبه‌بندی ترکیبی هوش مصنوعی که توسط گروه پژوهشی مستقل Epoch AI اجرا می‌شود، جایگاه نخست را به دست آورده و با اختلافی کمتر از یک امتیاز، GPT-6 Astra شرکت OpenAI را پشت سر گذاشته است. این شاخص که بیش از ۵۰ ارزیابی جداگانه را در یک امتیاز واحد ترکیب می‌کند، در تصویری از جدول رتبه‌بندی منتشرشده توسط ردیاب بنچمارک Orca Router نشان می‌دهد مدل پرچمدار Anthropic تا ۱۱ اکتبر ۲۰۲۶ حدود ۱۶۷ امتیاز کسب کرده، در حالی که GPT-6 Astra با امتیازی حدود ۱۶۶.۴ تا ۱۶۶.۵ در رتبه بعدی قرار دارد.

این اختلاف در نگاه اول ناچیز به نظر می‌رسد و از نظر آماری نیز بسیار کوچک است. با این حال، جابه‌جایی رتبه‌ها در یکی از شلوغ‌ترین دوره‌های عرضه مدل‌های هوش مصنوعی در سال ۲۰۲۶ رخ داده است؛ دوره‌ای که در آن Mistral دسترسی عمومی آزمایشی به Mistral Large 4 را در ۶ اکتبر آغاز کرد، گوگل به‌روزرسانی‌هایی برای Gemini منتشر کرد و مجموعه‌ای از مدل‌های متن‌باز چینی در جدول رتبه‌بندی جداگانه Artificial Analysis صعود کردند. مجموع این داده‌ها دو روند هم‌زمان را نشان می‌دهد: فاصله میان بهترین آزمایشگاه‌های مدل‌های بسته تقریباً از بین رفته و فاصله میان مدل‌های بسته و متن‌باز نیز با سرعت در حال کاهش است.

شاخص قابلیت‌های Epoch دقیقاً چه چیزی را اندازه می‌گیرد؟

Epoch AI شاخص قابلیت‌های Epoch یا ECI را برای جلوگیری از مشکلی طراحی کرده است که بسیاری از جدول‌های رتبه‌بندی مبتنی بر یک آزمون واحد با آن روبه‌رو هستند: یک مدل ممکن است در یک آزمون ریاضی یا مجموعه آزمایش‌های برنامه‌نویسی بهترین عملکرد را داشته باشد، اما در سایر حوزه‌ها عملکرد متوسطی ارائه دهد. ECI به‌جای تکیه بر یک معیار، نتایج بیش از ۵۰ ارزیابی در زمینه‌هایی مانند استدلال، برنامه‌نویسی، علوم و دانش عمومی را با هم ترکیب می‌کند و امتیاز نهایی را طوری تنظیم می‌کند که Claude 3.5 Sonnet، مدل قدیمی‌تر Anthropic، دارای امتیاز پایه ۱۳۰ باشد. به این ترتیب Epoch AI می‌تواند رشد توانایی مدل‌ها را در طول سال‌ها و میان آزمایشگاه‌های مختلف دنبال کند، نه فقط تغییرات کوتاه‌مدت میان چند انتشار.

همین روش مقیاس‌بندی توضیح می‌دهد چرا اختلاف کمتر از یک امتیاز در واقع نشان‌دهنده فشرده شدن شدید رقابت است. زمانی که Claude 3.5 Sonnet امتیاز ۱۳۰ داشت، فاصله میان بهترین و ضعیف‌ترین مدل‌های پیشرفته معمولاً ۱۵ تا ۲۰ امتیاز بود. اما تا اکتبر ۲۰۲۶، دو آزمایشگاه برتر کمتر از یک امتیاز با یکدیگر فاصله دارند و مدل‌های رده بعدی نیز فاصله زیادی نگرفته‌اند.

اعداد پشت برتری ۰.۹ امتیازی

اعلامیه اول اکتبر Epoch AI امتیاز Claude Opus 5.5 را به‌صورت گرد شده ۱۶۷ اعلام کرد و گفت این مدل با اختلافی اندک از GPT-6 Astra جلوتر است. با این حال، بسته به زمان ثبت داده‌ها، اعداد دقیق کمی تفاوت دارند. تصویری از جدول در ۲ اکتبر Claude Opus 5.5 را با امتیاز ۱۶۷.۳۵ در برابر ۱۶۶.۵۱ برای GPT-6 Astra نشان می‌داد که اختلاف ۰.۸۴ امتیازی را ثبت می‌کرد. در تصویر ۱۱ اکتبر Orca Router نیز این اعداد ۱۶۷.۳ و ۱۶۶.۴ اعلام شده بود که اختلاف را نزدیک به ۰.۹ امتیاز قرار می‌دهد. در هر دو حالت، فاصله کمتر از یک امتیاز است؛ در مقیاسی که پیش‌تر اختلاف پنج امتیازی یا بیشتر می‌توانست بهترین مدل را از نزدیک‌ترین رقیبش جدا کند.

تحلیل Orca Router همچنین به نکته‌ای مهم‌تر از عدد اصلی اشاره می‌کند: بازه‌های اطمینان ۹۵ درصدی که Epoch AI برای این دو مدل منتشر کرده، هم‌پوشانی زیادی دارند. بازه Claude Opus 5.5 حدود ۱۶۴.۰ تا ۱۷۲.۰ و بازه GPT-6 Astra حدود ۱۶۳.۱ تا ۱۷۱.۱ است. از نظر آماری، این هم‌پوشانی یعنی برتری در امتیاز نقطه‌ای وجود دارد، اما در محدوده عدم‌قطعیت منتشرشده توسط خود Epoch AI، پیروزی قطعی نیست. بر اساس دقیق‌ترین معیار عمومی موجود، Anthropic و OpenAI عملاً در یک رقابت نزدیک قرار دارند.

همان به‌روزرسانی Epoch AI همچنین اشاره کرد که Claude Sonnet 5.5، مدل میان‌رده Anthropic، تقریباً با Claude Fable 5.1 برابر بوده و هر دو امتیاز ۱۶۵ گرفته‌اند؛ یعنی دو مدل Anthropic تنها دو امتیاز با صدر جدول فاصله دارند.

مدلتوسعه‌دهندهامتیاز شاخص قابلیت‌های Epochرتبهتاریخ نتیجه
Claude Opus 5.5Anthropic167.3۱۲۲ سپتامبر ۲۰۲۶
GPT-6 AstraOpenAI166.4۲تصویر اکتبر ۲۰۲۶
Claude Fable 5.1Anthropic165.0۳ مشترکبه‌روزرسانی ۱ اکتبر ۲۰۲۶
Claude Sonnet 5.5Anthropic165.0۳ مشترکبه‌روزرسانی ۱ اکتبر ۲۰۲۶
Gemini 3.7 FlashGoogle157.3۱۶۱۳ اوت ۲۰۲۶

جایگاه خانواده Gemini گوگل

گوگل در تصویر اکتبر ۲۰۲۶ شاخص Epoch AI، دست‌کم در این رتبه‌بندی خاص، عملکرد قدرتمندی ندارد. داده‌های منتشرشده توسط Epoch AI نشان می‌دهد Gemini 3.7 Flash با امتیاز ۱۵۷.۳ در رتبه شانزدهم قرار دارد و حدود ۱۰ امتیاز از Claude Opus 5.5 عقب‌تر است. البته این مدل نسخه سبک Flash است و مقایسه مستقیم آن با Opus 5.5 یا GPT-6 Astra که مدل‌های پرچمدار محسوب می‌شوند، کاملاً هم‌سطح نیست. با این حال، نبود یک مدل Gemini با امتیاز بالاتر در جدول عمومی فعلی قابل توجه است؛ به‌ویژه برای شرکتی که در سال ۲۰۲۶ توسعه ظرفیت زمینه‌ای و کاهش قیمت را به‌عنوان مزیت رقابتی اصلی خود دنبال کرده است.

Mistral Large 4 وارد رقابت شلوغ مدل‌های متن‌باز می‌شود

در حالی که Anthropic و OpenAI در صدر جدول مدل‌های بسته تنها با کسری از امتیاز با هم رقابت می‌کنند، بازار مدل‌های دارای وزن باز با ورود Mistral Large 4 در ۶ اکتبر شاهد رقیب تازه‌ای شد. Mistral این مدل را قدرتمندترین مدل خود تاکنون معرفی کرده و آزمایش‌های اولیه مستقل نیز بخشی از این ادعا را تأیید می‌کنند. در شاخص هوش Artificial Analysis، که سامانه‌ای جدا از Epoch AI است، نسخه آزمایشی Mistral Large 4 امتیاز ۳۸.۴ کسب کرد و تقریباً در رتبه هشتم قرار گرفت؛ همچنین بالاترین امتیاز را میان مدل‌های توسعه‌یافته خارج از آمریکا و چین به دست آورد.

Mistral Large 4 همچنین در پنج رتبه نخست شاخص AA Cyber قرار گرفت؛ معیاری که توانایی مدل در یافتن و اصلاح آسیب‌پذیری‌های نرم‌افزاری را ارزیابی می‌کند. این شرکت همچنین اعلام کرده که مدل آن در آزمون Dense200، که توانایی یافتن اشیای موردنظر در تصاویر را می‌سنجد، حدود یک درصد بهتر از GPT-6 Astra عمل کرده است.

مدل‌های متن‌باز چین همچنان در حال صعود هستند

رتبه هشتم Mistral Large 4 در شاخص Artificial Analysis نشان می‌دهد رقابت در بالای جدول مدل‌های متن‌باز تا چه اندازه فشرده شده است. بیشتر رتبه‌های بالاتر از آن در اختیار آزمایشگاه‌های چینی هستند. MiMo-V2.6-Pro با امتیاز ۴۶ در صدر این مقایسه قرار دارد، پس از آن GLM-5.3 با ۴۵، Kimi K3 با ۴۴ و GLM-5.3-Flash با ۴۲ امتیاز قرار گرفته‌اند. Qwen3.8 2.4T و Qwen3.8-Flash-Next از Alibaba هر دو امتیاز ۴۰ دارند، DeepSeek V4.1 Flash با ۳۹ امتیاز و Mistral Large 4 Preview با ۳۸ امتیاز پس از آن‌ها قرار گرفته‌اند. نسخه قدیمی‌تر DeepSeek V4 Pro نیز امتیاز ۳۶ دارد.

مدلمبدأامتیاز شاخص هوش Artificial Analysis
MiMo-V2.6-Proچین۴۶
GLM-5.3چین۴۵
Kimi K3چین۴۴
GLM-5.3-Flashچین۴۲
Qwen3.8 2.4Tچین۴۰
Qwen3.8-Flash-Nextچین۴۰
DeepSeek V4.1 Flashچین۳۹
Mistral Large 4 Previewفرانسه۳۸
DeepSeek V4 Proچین۳۶

این داده‌ها نشان می‌دهد رقابت مدل‌های متن‌باز دیگر فقط میان DeepSeek و Mistral نیست. اکنون این بازار به میدان رقابتی با چندین آزمایشگاه تبدیل شده که بیشتر آن‌ها چینی هستند و در فاصله‌ای نزدیک از یکدیگر قرار دارند.

محدودیت مقایسه میان شاخص‌های مختلف

مدل Beam شرکت Reflection AI در داده‌های موجود شاخص هوش Artificial Analysis امتیاز کلی ندارد و به همین دلیل نمی‌توان آن را مستقیماً در جدول بالا قرار داد. داده‌های منتشرشده فقط شامل امتیازهای محدودتر این مدل است: ۴۴.۴ در آزمون برنامه‌نویسی DeepSWE v1.1 و ۳۷.۰ در AutomationBench که توانایی خودکارسازی وظایف را می‌سنجد. این اعداد مربوط به آزمون‌های خاص هستند و با امتیازهای ترکیبی Epoch یا Artificial Analysis قابل مقایسه مستقیم نیستند. این موضوع یادآور آن است که دنیای ارزیابی هوش مصنوعی هنوز حداقل بر دو سیستم امتیازدهی ناسازگار تکیه دارد.

زمینه تاریخی: جدولی که هر چند هفته تغییر می‌کند

سرعت تغییر این رتبه‌بندی‌ها اهمیت زیادی دارد. یک سال پیش، نسخه قبلی Claude Haiku حدود ۱۷ امتیاز پایین‌تر از Claude Haiku 5.5 فعلی در شاخص Artificial Analysis قرار داشت؛ مدلی که اکنون امتیاز ۴۳ دارد. این جهش ۲۶ امتیازی تنها در یک نسل رخ داده است. هم‌زمان، Anthropic قیمت Haiku را هنگام عرضه نسخه 5.5 تا ۷۵ درصد کاهش داد و قیمت API مدل‌های Opus و Sonnet را نیز پایین‌تر از سطح آغازین نسل قبلی قرار داد.

الگوی افزایش توانایی همراه با کاهش قیمت به ازای هر توکن در سال ۲۰۲۶ میان آزمایشگاه‌های اصلی تکرار شده است. کاهش قیمت API GPT-6، گسترش قابلیت‌های رابط OpenAI، کاهش سطح رایگان Gemini پس از افزایش ظرفیت زمینه‌ای و عرضه عمومی Mistral Large 4 با قیمت رقابتی، همگی باعث شده‌اند بهترین مدل بازار مرتب تغییر کند.

چرا اختلاف کمتر از یک امتیاز برای خریداران سازمانی اهمیت دارد؟

اختلاف ۰.۹ امتیازی در مقیاس ۱۶۷ امتیازی ممکن است مانند نویز به نظر برسد، اما تیم‌های خرید سازمانی معمولاً فقط بر اساس امتیاز قابلیت تصمیم نمی‌گیرند. آن‌ها ترکیبی از توانایی، قیمت، ظرفیت زمینه‌ای و هزینه یکپارچه‌سازی را بررسی می‌کنند. ادعای داشتن بهترین مدل جهان همچنان بر تصمیم‌های تجاری اثر می‌گذارد، حتی زمانی که تفاوت واقعی تنها کسری از یک امتیاز باشد.

همین نوسان باعث شده بسیاری از تیم‌ها به جای انتخاب یک ارائه‌دهنده واحد، سیستم‌هایی طراحی کنند که برای کارهای مختلف از مدل‌های متفاوت استفاده کنند. مدل مناسب برای هر وظیفه ممکن است با مدل برتر جدول کلی یکسان نباشد.

فاصله میان مدل‌های باز و بسته سریع‌تر از انتظار کاهش می‌یابد

شاید مهم‌ترین روند پشت این جابه‌جایی رتبه‌ها، کاهش فاصله میان مدل‌های متن‌باز و بسته باشد. بر اساس گزارشی از Mozilla در سپتامبر ۲۰۲۶، قوی‌ترین مدل‌های دارای وزن باز اکنون حدود سه امتیاز با مدل‌های پیشرو بسته فاصله دارند، در حالی که هزینه اجرای آن‌ها حدود ۶۰ درصد کمتر است. اگر این روند ادامه یابد، توجیه پرداخت هزینه بیشتر برای مدل‌های بسته پیشرفته، به‌ویژه در کاربردهایی که به بالاترین امتیاز مطلق نیاز ندارند، دشوارتر خواهد شد.

این نتایج برای Anthropic، OpenAI، گوگل، Mistral و DeepSeek چه معنایی دارد؟

برای Anthropic، نتیجه Epoch AI یک موفقیت تبلیغاتی مهم است و نخستین بار از دوران Claude 3.5 محسوب می‌شود که این شرکت در یک شاخص ترکیبی مستقل بزرگ در رتبه اول قرار گرفته است.

برای OpenAI، فاصله بسیار کم GPT-6 Astra با رتبه نخست و عملکرد قدرتمند آن در آزمون‌های چندوجهی نشان می‌دهد سرمایه‌گذاری این شرکت در قابلیت‌های چندرسانه‌ای نتیجه داده است.

برای گوگل، نبود یک امتیاز پرچمدار Gemini در نزدیکی صدر جدول عمومی فعلی، موضوعی است که باید زیر نظر گرفته شود.

برای Mistral و آزمایشگاه‌های متن‌باز چینی، حضور در میان رتبه‌های بالای شاخص‌های هوش با هزینه‌ای کمتر نشان می‌دهد راهبرد «توانایی کافی با قیمت پایین‌تر» به رقیبی جدی برای مدل‌های بسته تبدیل شده است.

پیش‌بینی‌ها: جدول رتبه‌بندی به کدام سمت می‌رود؟

  • احتمال دارد GPT-6 Astra یا نسخه‌ای جانشین آن در هفته‌های آینده دوباره صدر شاخص قابلیت‌های Epoch را پس بگیرد، زیرا اختلاف فعلی در محدوده بازه‌های اطمینان منتشرشده قرار دارد.
  • گوگل احتمالاً یک مدل پرچمدار Gemini برای رقابت مستقیم در شاخص‌های ترکیبی عرضه خواهد کرد.
  • حداقل یک آزمایشگاه متن‌باز چینی دیگر احتمالاً تا پایان ۲۰۲۶ وارد پنج رتبه نخست شاخص Artificial Analysis خواهد شد.
  • فشار کاهش قیمت API در کنار افزایش توانایی مدل‌ها ادامه خواهد یافت.
  • ابهام میان سیستم‌های امتیازدهی Epoch و Artificial Analysis تا زمانی که روش تبدیل میان آن‌ها ارائه نشود، ادامه خواهد داشت.

تفاوت شاخص‌ها: راهنمای سریع

شاخص قابلیت‌های Epoch همه مدل‌ها را نسبت به Claude 3.5 Sonnet با امتیاز پایه ۱۳۰ مقیاس‌بندی می‌کند و بیش از ۵۰ ارزیابی را ترکیب می‌کند. در مقابل، شاخص هوش Artificial Analysis از مقیاس و مجموعه آزمون‌های متفاوتی استفاده می‌کند؛ بنابراین امتیاز ۱۶۷ برای Claude Opus 5.5 در Epoch با امتیاز ۳۸ برای Mistral Large 4 در Artificial Analysis قابل مقایسه نیست.

چرا رتبه‌ها هر هفته تغییر می‌کنند؟

Epoch AI و Artificial Analysis ارزیابی‌ها را با در دسترس قرار گرفتن نسخه‌های جدید مدل‌ها، از جمله نسخه‌های آزمایشی و به‌روزرسانی‌های کوچک، دوباره اجرا می‌کنند. به همین دلیل حتی یک انتشار جزئی نیز می‌تواند در چند روز چندین جایگاه جدول را تغییر دهد.

خریداران با این داده‌ها چه باید بکنند؟

تیم‌های فنی که در حال انتخاب مدل هستند باید به بازه‌های اطمینان، قیمت هر توکن، ظرفیت زمینه‌ای و آزمون‌های تخصصی توجه کنند و تنها به رتبه کلی تکیه نکنند. مدلی که رتبه پایین‌تری دارد اما هزینه بسیار کمتری دارد، ممکن است برای بسیاری از کاربردها انتخاب اقتصادی‌تری باشد.

پرسش‌های متداول

شاخص قابلیت‌های Epoch چیست؟
شاخصی ترکیبی از Epoch AI است که بیش از ۵۰ ارزیابی را در یک امتیاز واحد جمع می‌کند و با پایه ۱۳۰ برای Claude 3.5 Sonnet، رشد توانایی مدل‌ها را دنبال می‌کند.

Claude Opus 5.5 چقدر بهتر از GPT-6 Astra است؟
بسته به زمان ثبت داده‌ها، Claude Opus 5.5 امتیازی بین ۱۶۷.۳ تا ۱۶۷.۳۵ و GPT-6 Astra امتیازی بین ۱۶۶.۴ تا ۱۶۶.۵۱ دارد. اختلاف حدود ۰.۸۴ تا ۰.۹ امتیاز است.

آیا این رتبه‌بندی از نظر آماری قطعی است؟
خیر. بازه‌های اطمینان ۹۵ درصدی دو مدل هم‌پوشانی زیادی دارند و رتبه ممکن است در ارزیابی بعدی تغییر کند.

Gemini گوگل چه رتبه‌ای دارد؟
Gemini 3.7 Flash در آخرین تصویر عمومی Epoch با امتیاز ۱۵۷.۳ در رتبه شانزدهم قرار دارد.

Mistral Large 4 چگونه با مدل‌های برتر مقایسه می‌شود؟
این مدل در شاخص Artificial Analysis امتیاز ۳۸.۴ گرفته و حدود رتبه هشتم را دارد، اما امتیاز آن مستقیماً با شاخص Epoch قابل مقایسه نیست.

آیا مدل‌های متن‌باز در حال نزدیک شدن به مدل‌های بسته هستند؟
بله، گزارش Mozilla نشان می‌دهد فاصله قابلیت میان قوی‌ترین مدل‌های باز و بسته کاهش یافته و هزینه مدل‌های باز پایین‌تر است.

وضعیت DeepSeek و دیگر مدل‌های چینی چگونه است؟
چند مدل چینی مانند MiMo-V2.6-Pro، GLM-5.3، Kimi K3 و GLM-5.3-Flash در شاخص Artificial Analysis امتیازهای بالایی کسب کرده‌اند.

آیا این رتبه‌بندی ثابت می‌ماند؟
احتمالاً نه. با توجه به اختلاف بسیار کم میان Claude Opus 5.5 و GPT-6 Astra و سرعت انتشار نسخه‌های جدید، جدول احتمالاً دوباره تغییر خواهد کرد.