پیشرفت هوش مصنوعی Gemini 4: ارزیابی DeepMind چه چیزی نشان داد؟
در ۱۵ اکتبر ۲۰۲۶، DiarioBitcoin گزارش داد که یک ارزیابی داخلی Google DeepMind نشان داده است پس از آوریل ۲۰۲۶، شتاب ساختاری معناداری در پیشرفت اندازه‌گیری‌شده هوش مصنوعی ایجاد نشده است. بر اساس این گزارش، ارزیابی مذکور که در گزارش ایمنی و امنیت Gemini 4 Argon منتشرشده در روز قبل گنجانده شده بود، ۱۲۳ مدل و ۹۲ بنچمارک را بررسی کرده است. گزارش DiarioBitcoin همچنین از افزایش روند ماهانه پس از آوریل خبر داد، اما گفت این ارزیابی افزایش مذکور را یک تغییر ساختاری معنادار تلقی نکرده است.
آنچه ارزیابی بنا بر گزارش‌ها نشان داد
این یافته به این پرسش مربوط می‌شود که آیا هوش مصنوعی در حال شتاب دادن به پیشرفت خودِ هوش مصنوعی است یا نه؛ نه صرفاً اینکه پژوهشگران از ابزارهای هوش مصنوعی استفاده می‌کنند. این دو مسئله با یکدیگر تفاوت دارند: کمک گرفتن از هوش مصنوعی در کدنویسی می‌تواند بخش‌هایی از فرایند کاری را سریع‌تر کند، اما به‌تنهایی نشان نمی‌دهد که سامانه‌های هوش مصنوعی به‌صورت خودکار در حال پیشبرد پژوهش هوش مصنوعی هستند.
DiarioBitcoin این تحلیل را شامل ۱۲۳ مدل و ۹۲ بنچمارک و مبتنی بر «شاخص قابلیت عمومی» (GCI) توصیف کرد. این گزارش، تحلیل یادشده را به هایدن بلفیلد، پژوهشگر Google DeepMind، نسبت داد.
روند GCI افزایش یافت، اما نتیجه گزارش‌شده تغییری نکرد
روند ماهانه مدل‌های عمومی، طبق گزارش منتشرشده، پیش از آوریل ۲۰۲۶ برابر با ۰٫۰۹۱ امتیاز GCI و پس از آن ۰٫۱۱۸ امتیاز بود. رقم دوم بالاتر است، نه پایین‌تر؛ با این حال، DiarioBitcoin گفت ارزیابی انجام‌شده این تفاوت را یک شتاب ساختاری معنادار تلقی نکرده است.
| دوره | روند ماهانه مدل‌های عمومی |
| پیش از آوریل ۲۰۲۶ | ۰٫۰۹۱ امتیاز GCI در ماه |
| پس از آوریل ۲۰۲۶ | ۰٫۱۱۸ امتیاز GCI در ماه |
تفاوت میان این دو نرخ گزارش‌شده، ۰٫۰۲۷ امتیاز GCI در ماه است. این رقم حدود ۲۹٫۷ درصد بیشتر از نرخ قبلی است که بر اساس اعداد ارائه‌شده در گزارش DiarioBitcoin محاسبه شده است. این محاسبه فقط میزان تغییر در نرخ‌های گزارش‌شده را نشان می‌دهد و نتیجه یک مطالعه مستقل یا معیاری برای معناداری آماری نیست.
کمک در کدنویسی با پژوهش خودکار تفاوت دارد
DiarioBitcoin گزارش داد که ابزارهای هوش مصنوعی در بیش از ۷۵ درصد از کد تولیدی Google DeepMind نقش داشته‌اند، در حالی که ۸۸ درصد از تغییرات کد همچنان به بازبینی انسانی نیاز داشته‌اند. این ارقام میزان مشارکت هوش مصنوعی در کدنویسی و فرایند بازبینی را نشان می‌دهند؛ اما به‌خودی‌خود ثابت نمی‌کنند که سامانه‌های هوش مصنوعی به‌طور مستقل پیشرفت پژوهشی را هدایت کرده‌اند.
بر اساس همین گزارش، سهم تغییرات کاملاً واگذارشده نیز از ۷٫۵ درصد به ۱۱٫۹ درصد افزایش یافته است. این گزارش همچنین به پاسخ‌های نظرسنجی ۱۲ پژوهشگر ارشد Google DeepMind اشاره کرد: خودکارسازی در وظایفی که به‌خوبی تعریف‌شده و قابل راستی‌آزمایی بودند، مؤثرتر از ایده‌پردازی باز و برنامه‌ریزی پیچیده عمل کرده است.
NeoTeo پیش‌تر پرسش‌های مطرح‌شده درباره عملکرد عملی Gemini 4 Argon در کدنویسی و پاسخ Google به آنها را بررسی کرده بود. اما ارزیابی مورد بحث در اینجا به مسئله‌ای متفاوت می‌پردازد: اینکه آیا پس از آوریل ۲۰۲۶، پیشرفت اندازه‌گیری‌شده هوش مصنوعی از نظر ساختاری شتاب گرفته است یا خیر.
بنچمارک مهندسی چه چیزی را اندازه‌گیری می‌کند؟
ارزیابی گزارش‌شده RE-Bench شامل ۷۴ وظیفه مهندسی یادگیری ماشین بود. DiarioBitcoin گفت Gemini 4 Argon حدود نیمی از این وظایف را حل کرد، در حالی که Gemini 3.7 Flash امتیاز ۲۷ درصدی به دست آورد. این نتایج عملکرد مدل‌ها در همین بنچمارک را توصیف می‌کنند و معیار جامعی برای توانایی پژوهشی به شمار نمی‌روند.
در یک بررسی جداگانه از ۱٬۳۸۹ اجرای Gemini 4 Argon نیز بنا بر گزارش‌ها، میزان موفقیت در وظایف پیچیده بدون مداخله انسانی پایین‌تر بوده است. در مجموع، یافته‌های این بنچمارک و بررسی اجراها به عملکرد در انجام وظایف و نقش مشارکت انسانی مربوط می‌شوند و نتیجه‌گیری ارزیابی درباره شتاب ساختاری را فراتر از معیارها و دوره زمانی مورد بررسی گسترش نمی‌دهند.