مدل GPT-6.1 Sol در آزمون مهاجرت کد COBOL شرکت OpenAI به امتیاز ۹۷.۹ درصد رسید

شرکت OpenAI اعلام کرد مدل‌های جدیدش در نوشتن و انتقال کد میان زبان‌های برنامه‌نویسی، از جمله COBOL، پیشرفت چشمگیری داشته‌اند. مدل GPT-6.1 Sol در آزمون مهاجرت کد COBOL این شرکت به امتیاز ۸۶.۶ درصد دست یافت.

این امتیاز با سطح پایین تلاش استدلالی به دست آمد؛ درحالی‌که مدل GPT-5.6 Sol در همین آزمون تنها ۵.۴ درصد امتیاز کسب کرده بود. هزینه استفاده از رابط برنامه‌نویسی کاربردی (API) مدل جدید نیز ۶۱ درصد هزینه مدل قبلی بود. با افزایش سطح تلاش استدلالی، امتیاز GPT-6.1 Sol به ۹۷.۹ درصد رسید؛ رقمی که به گفته OpenAI، آزمون را به مرحله اشباع عملکرد نزدیک می‌کند.

OpenAI هر دو ارزیابی اعلام‌شده را طراحی و اجرا کرده است. نتایج این آزمون‌ها در ۱۹ اکتبر ۲۰۲۶ منتشر شدند و تاکنون هیچ نهاد مستقلی آن‌ها را تأیید نکرده است.

این شرکت تأکید کرد که استفاده از چنین قابلیت‌هایی در نرم‌افزارهای عملیاتی همچنان «به بازبینی کارشناسان و آزمایش در برابر قواعد کسب‌وکار و وابستگی‌های سیستم نیاز دارد».

در آزمون مهاجرت COBOL، از مدل‌ها خواسته می‌شود برنامه‌های نوشته‌شده به این زبان را به ++C، جاوا، کاتلین، پایتون یا راست تبدیل کنند، بی‌آنکه رفتار برنامه تغییر کند. آزمون‌های پنهان بررسی می‌کنند که خروجی نسخه تبدیل‌شده، بایت‌به‌بایت با خروجی برنامه اصلی مطابقت داشته باشد. مهاجرت کد تنها زمانی موفق محسوب می‌شود که برنامه از تمام آزمون‌ها سربلند بیرون بیاید.

OpenAI برای توضیح دشواری این کار به محاسبات با ممیز ثابت در COBOL اشاره کرد. این زبان در چنین محاسباتی، در صورت درخواست‌نشدن گرد کردن، رقم‌های اعشاری اضافی را حذف می‌کند. اگر برنامه بازنویسی‌شده به‌جای آن اعداد را گرد کند، ممکن است بدون بروز هیچ خطایی اجرا شود، اما نتایج مالی متفاوتی تولید کند.

آزمون دیگر، با نام MultiLangBench، از مدل‌ها می‌خواهد یک موتور پایگاه داده سازگار با SQLite را از ابتدا و به هر یک از ۲۰ زبان برنامه‌نویسی بسازند. نتایج با پیاده‌سازی مرجع SQLite مقایسه می‌شوند و برای ارزیابی، از آزمون‌هایی استفاده می‌شود که بر اساس مجموعه آزمون‌های خود SQLite تطبیق داده شده‌اند.

در بالاترین سطح تلاش استدلالی، مدل GPT-6 Astra به‌طور میانگین توانست ۸۷.۴ درصد آزمون‌های MultiLangBench را با موفقیت پشت سر بگذارد؛ این میزان برای GPT-5.6 Sol برابر با ۲۶.۸ درصد بود. Astra در ۱۹ زبان از مجموع ۲۰ زبان، امتیازی بالاتر از ۸۳ درصد کسب کرد. COBOL دشوارترین زبان این ارزیابی بود، اما امتیاز مدل در آن نیز از ۱۰.۹ درصد به ۷۲.۱ درصد افزایش یافت.

مدل ارزان‌تر GPT-6 Luna به‌طور میانگین امتیاز ۴۰.۳ درصد را ثبت کرد. هزینه تخمینی استفاده از API این مدل برای هر نمونه ۰.۷۷ دلار بود؛ درحالی‌که این هزینه برای GPT-5.6 Sol به ۳.۴۸ دلار می‌رسید. به این ترتیب، هزینه مدل Luna حدود ۷۸ درصد کمتر بود.

OpenAI زبان‌های COBOL، فورترن و ویژوال بیسیک را در دسته زبان‌های برنامه‌نویسی «کم‌منبع» قرار می‌دهد؛ زیرا در مقایسه با زبان‌هایی مانند پایتون و جاوااسکریپت، کد و مستندات کمتری برای آموزش مدل‌ها به آن‌ها اختصاص دارد. به گفته این شرکت، توسعه‌دهندگان و مشتریان سازمانی گزارش داده‌اند که مدل‌های کدنویسی اغلب در کار با این زبان‌ها با مشکل مواجه می‌شوند.

این شرکت با استناد به آمارهای منتشرشده اعلام کرد که COBOL زیربنای بیش از ۴۰ درصد سامانه‌های بانکداری آنلاین و ۹۵ درصد تراکنش‌های دستگاه‌های خودپرداز است. همچنین، به گفته OpenAI، از زبان فورترن در پیش‌بینی وضع هوا و تحلیل ایمنی راکتورهای هسته‌ای استفاده می‌شود.

زبان COBOL که در سال ۱۹۵۹ ایجاد شد، طبق گزارش وب‌سایت ITHardware، جایگاه خود را در شاخص محبوبیت زبان‌های برنامه‌نویسی TIOBE از رتبه ۲۳ در اکتبر ۲۰۲۵ به رتبه ۱۶ ارتقا داده است. شرکت‌ها همچنان به سامانه‌های مبتنی بر COBOL وابسته‌اند، درحالی‌که شمار مهندسانی که توانایی نگهداری و پشتیبانی از این سامانه‌ها را دارند رو به کاهش است.

OpenAI مجموعه تنظیمات MultiLangBench، مجموعه آزمون‌ها و نتایج مربوط به هر زبان را در گیت‌هاب منتشر می‌کند.

منبع تصویر شاخص: OpenAI