مدل GPT-6.1 Sol اوپن‌ای‌آی در آزمون مهاجرت کدهای COBOL به امتیاز ۸۶٫۶ درصد رسید

اوپن‌ای‌آی در ۱۹ اکتبر نتایج آزمون‌هایی را منتشر کرد که از پیشرفت چشمگیر مدل‌های جدیدتر این شرکت در برنامه‌نویسی، به‌ویژه در مهاجرت کدهای COBOL و کار با زبان‌های برنامه‌نویسی قدیمی، حکایت دارند. این قابلیت‌ها برای شرکت‌هایی اهمیت دارند که همچنان نرم‌افزارهای مورد استفاده برای نگهداری سوابق مالی را اداره می‌کنند.

در آزمون MultiLangBench، از مدل‌ها خواسته شد در هر یک از ۲۰ زبان برنامه‌نویسی، یک موتور پایگاه داده سازگار با SQLite بسازند. مدل GPT-6 Astra در بالاترین سطح تلاش استدلالی، به‌طور میانگین ۸۷٫۴ درصد از آزمون‌ها را با موفقیت پشت سر گذاشت؛ در حالی که این رقم برای GPT-5.6 Sol تنها ۲۶٫۸ درصد بود.

این فاصله عملکردی در سه زبان برنامه‌نویسی بررسی‌شده نیز دیده شد. نرخ موفقیت GPT-6 Astra و GPT-5.6 Sol در زبان COBOL به‌ترتیب ۷۲٫۱ و ۱۰٫۹ درصد بود. در زبان Fortran، امتیاز این دو مدل به‌ترتیب ۸۳٫۵ و ۲۱٫۴ درصد ثبت شد و در Visual Basic نیز به ۸۹٫۴ و ۲۷٫۵ درصد رسید.

در ارزیابی جداگانه‌ای بررسی شد که آیا مدل‌ها می‌توانند برنامه‌های COBOL را به زبان‌های دیگر تبدیل کنند، بی‌آنکه رفتار اصلی آن‌ها تغییر کند. مدل GPT-6.1 Sol در حالت استدلال کم، ۸۶٫۶ درصد از این وظایف را با موفقیت انجام داد؛ در حالی که نرخ موفقیت GPT-5.6 Sol فقط ۵٫۴ درصد بود. هزینه تخمینی استفاده از API مدل جدیدتر در این آزمون نیز ۳۹ درصد کمتر برآورد شد. با افزایش سطح تلاش استدلالی، نرخ موفقیت GPT-6.1 Sol به ۹۷٫۹ درصد رسید.

برای قبولی در هر وظیفه مهاجرت، برنامه جایگزین باید در تمام آزمون‌های پنهان، دقیقاً همان خروجی برنامه اصلی را تولید می‌کرد. این معیار سخت‌گیرانه‌تر از صرفاً اجرا شدن کد ترجمه‌شده است؛ زیرا ممکن است برنامه‌ای بدون بروز خطا اجرا شود، اما نتیجه‌ای متفاوت برگرداند.

چنین تفاوت‌هایی در نرم‌افزارهای پردازش سوابق مالی اهمیت زیادی دارند. تغییر در نحوه گرد کردن اعداد یا برخورد با سوابق مفقودشده می‌تواند نتیجه را تغییر دهد، حتی اگر به نظر برسد برنامه جایگزین به‌درستی کار می‌کند. افزون بر این، برنامه اصلی ممکن است به قواعد کسب‌وکار و سامانه‌های دیگری وابسته باشد که یک آزمون برنامه‌نویسی قادر به ارزیابی آن‌ها نیست.

مقایسه هزینه ۳۹ درصدی صرفاً به برآورد هزینه استفاده از API در ارزیابی COBOL مربوط می‌شود و هزینه کلی انتقال یک سامانه عملیاتی را اندازه‌گیری نمی‌کند. راه‌اندازی یک سامانه واقعی مستلزم آن است که متخصصان، قواعد کسب‌وکار، وابستگی‌های نرم‌افزاری و نحوه عملکرد آن را بررسی و تأیید کنند.

شرکت IBM ابزاری ارائه کرده است که کدهای COBOL را به Java تبدیل می‌کند و آزمون‌هایی برای مقایسه دو برنامه می‌سازد. شرکت Anthropic نیز روشی برای تحلیل و مهاجرت سامانه‌های COBOL با استفاده از Claude Code معرفی کرده است. اوپن‌ای‌آی هم مجموعه MultiLangBench و آزمون‌های مربوط به وظایف برنامه‌نویسی تعریف‌شده در آن را منتشر کرده است.