OpenAI می‌گوید GPT-6.1 Sol اکنون در ۸۶.۶ درصد موارد، کدهای COBOL را به‌درستی مهاجرت می‌دهد؛ در برابر ۵.۴ درصد مدل قبلی

OpenAI می‌گوید مدل GPT-6.1 Sol اکنون می‌تواند برنامه‌های قدیمی نوشته‌شده با زبان COBOL را با خطاهای بسیار کمتری به زبان‌های برنامه‌نویسی مدرن منتقل کند. این مدل در دو آزمون جدید که خود OpenAI طراحی و اجرا کرده است، با تنظیم سطح استدلال روی حالت پایین، در ۸۶.۶ درصد موارد مهاجرت کدهای COBOL را با موفقیت انجام داد. در مقایسه، مدل GPT-5.6 Sol تنها به نرخ موفقیت ۵.۴ درصد رسید و هزینه اجرای مدل جدید نیز ۳۹ درصد کمتر بود. OpenAI جزئیات این دو آزمون را منتشر کرده است.

با افزایش سطح تلاش استدلالی مدل، نرخ موفقیت به ۹۷.۹ درصد می‌رسد. OpenAI می‌گوید این نتیجه به سقف دقتی نزدیک است که آزمون مورد استفاده می‌تواند اندازه‌گیری کند.

COBOL همچنان در سامانه‌های بانکی کاربرد دارد و بازنویسی آن می‌تواند بی‌سروصدا نتایج محاسبات را تغییر دهد

زبان‌هایی مانند COBOL، فورترن و ویژوال بیسیک در مقایسه با پایتون یا جاوااسکریپت، کدهای عمومی بسیار کمتری دارند که مدل‌های هوش مصنوعی بتوانند از آن‌ها برای یادگیری استفاده کنند. با این حال، COBOL همچنان بخش بزرگی از عملیات بانکی جهان را پردازش می‌کند و از فورترن نیز برای اجرای پیش‌بینی‌های هواشناسی استفاده می‌شود.

در آزمون OpenAI، از مدل خواسته می‌شود برنامه‌های COBOL را به یکی از زبان‌های C++، جاوا، کاتلین، پایتون یا راست بازنویسی کند. سپس مجموعه‌ای از آزمون‌های پنهان بررسی می‌کنند که آیا خروجی برنامه جدید، بایت‌به‌بایت با خروجی برنامه اصلی یکسان است یا نه. مهاجرت تنها زمانی موفق محسوب می‌شود که برنامه از تمام این آزمون‌ها سربلند بیرون بیاید.

OpenAI برای توضیح دشواری این کار، نمونه‌ای از رفتار اعداد اعشاری در COBOL ارائه می‌کند. این زبان، در صورت مشخص نکردن دستور گرد کردن، ارقام اعشاری اضافی را حذف می‌کند. بنابراین، اگر برنامه بازنویسی‌شده به‌جای حذف این ارقام، آن‌ها را گرد کند، ممکن است بدون بروز هیچ خطایی اجرا شود، اما نتایج مالی متفاوتی تولید کند.

مدل GPT-6 Astra در آزمون ساخت پایگاه داده به ۸۷.۴ درصد موفقیت در ۲۰ زبان برنامه‌نویسی رسید

آزمون دوم که MultiLangBench نام دارد، از مدل می‌خواهد یک موتور پایگاه داده را از ابتدا و به ۲۰ زبان برنامه‌نویسی مختلف بسازد؛ موتوری که رفتاری مشابه SQLite داشته باشد. OpenAI سپس عملکرد هر پیاده‌سازی را با نسخه واقعی SQLite مقایسه می‌کند و برای این کار از آزمون‌هایی استفاده می‌کند که بر اساس مجموعه آزمون‌های خود SQLite تنظیم شده‌اند.

مدل GPT-6 Astra در مجموع ۲۰ زبان، به‌طور میانگین امتیاز ۸۷.۴ درصد را کسب کرد؛ در حالی که میانگین مدل GPT-5.6 Sol برابر با ۲۶.۸ درصد بود. مدل جدید در ۱۹ زبان از ۲۰ زبان، امتیازی بالاتر از ۸۳ درصد به دست آورد. COBOL همچنان دشوارترین زبان در این آزمون بود و امتیاز آن به ۷۲.۱ درصد رسید؛ رقمی که از ۱۰.۹ درصد در مدل قبلی بالاتر است. مدل ارزان‌تر GPT-6 Luna نیز به امتیاز ۴۰.۳ درصد رسید و برآورد می‌شود هزینه استفاده از API آن در مقایسه با GPT-5.6 Sol حدود ۷۸ درصد کمتر باشد. OpenAI مجموعه آزمون را در گیت‌هاب منتشر کرده است تا توسعه‌دهندگان بتوانند بررسی کنند این آزمون‌ها چه مواردی را ارزیابی می‌کنند.

هر دو آزمون را OpenAI طراحی کرده و نتایج فقط مدل‌های این شرکت را با یکدیگر مقایسه می‌کنند

هر دو معیار ارزیابی به‌تازگی طراحی شده‌اند و سازنده آن‌ها OpenAI است؛ همچنین در نتایج منتشرشده، هیچ مدل رقیبی حضور ندارد. OpenAI تأکید می‌کند که هرگونه مهاجرت واقعی کد همچنان باید به دست متخصصان بررسی شود و با آزمون‌هایی ارزیابی شود که اطمینان دهند قواعد کسب‌وکار موردنظر بدون تغییر باقی می‌مانند.

این نتایج پس از ارزیابی پیشین OpenAI با نام Ironclad درباره GPT-6 Astra منتشر شده‌اند؛ ارزیابی‌ای که آن هم صرفاً بر ارقام ارائه‌شده از سوی خود OpenAI تکیه داشت. برای سازمان‌هایی که دهه‌هاست از COBOL استفاده می‌کنند، رسیدن به دقت ۹۷.۹ درصدی دلیلی برای اجرای آزمون‌های مستقل روی کدهای خودشان است، نه بهانه‌ای برای کنار گذاشتن آزمون‌ها.