اوپن‌ای‌آی از ثبت نرخ موفقیت ۸۷ درصدی در آزمون کدنویسی به ۲۰ زبان برنامه‌نویسی خبر داد
اوپن‌ای‌آی از پیشرفت قابل‌توجه مدل‌های هوش مصنوعی خود در تولید و نوسازی نرم‌افزار با زبان‌های برنامه‌نویسی کمتر رایج خبر داده است. بر اساس نتایج اعلام‌شده، مدل GPT-6 Astra به میانگین نرخ قبولی ۸۷٫۴ درصدی در آزمون‌های ۲۰ زبان برنامه‌نویسی دست یافته است؛ درحالی‌که این نرخ برای GPT-5.6 Sol برابر با ۲۶٫۸ درصد بوده است.
این نتایج از ارزیابی جدیدی به نام MultiLangBench به دست آمده‌اند که اوپن‌ای‌آی برای سنجش توانایی مدل‌های خود در ساخت نرم‌افزارهای کاربردی با زبان‌های برنامه‌نویسی مختلف طراحی کرده است. در ارزیابی جداگانه‌ای نیز توانایی مدل‌ها برای انتقال برنامه‌های موجود به زبان‌های جدید، بدون تغییر رفتار آن‌ها، بررسی شده است. این ارزیابی دوم به‌طور مشخص بر برنامه‌های نوشته‌شده با COBOL تمرکز دارد.
بخشی از این پژوهش به زبان‌هایی مانند COBOL، فورترن و ویژوال بیسیک می‌پردازد؛ زبان‌هایی که در مقایسه با گزینه‌های پرکاربردی مانند پایتون و جاوااسکریپت، کدها و مستندات عمومی کمتری برای آموزش مدل‌های هوش مصنوعی در اختیار دارند.
با وجود قدمت این زبان‌ها، آن‌ها همچنان در زیرساخت‌های حیاتی به کار می‌روند. بر اساس آماری که اوپن‌ای‌آی به آن استناد کرده است، COBOL در بیش از ۴۰ درصد سامانه‌های بانکداری آنلاین، ۸۰ درصد تراکنش‌های حضوری کارت اعتباری و ۹۵ درصد تراکنش‌های دستگاه‌های خودپرداز نقش دارد. فورترن نیز همچنان در کاربردهایی از جمله پیش‌بینی آب‌وهوا و تحلیل ایمنی راکتورهای هسته‌ای استفاده می‌شود.
نوسازی این سامانه‌ها چالش‌های خاص خود را دارد؛ به‌ویژه زمانی که مستندات ناقص‌اند، توسعه‌دهندگان اولیه دیگر در دسترس نیستند و قواعد کسب‌وکار فقط در خود کدها ثبت شده‌اند.
پیشرفت GPT-6 Astra در هر ۲۰ زبان آزمایش‌شده
در MultiLangBench، به‌جای آنکه از مدل‌های هوش مصنوعی خواسته شود تمرین‌های کدنویسی مجزا را حل کنند، از آن‌ها خواسته می‌شود یک موتور پایگاه داده سازگار با SQLite را از ابتدا و با یک زبان برنامه‌نویسی مشخص بسازند.
مدل‌ها باید ساختار کد را سازمان‌دهی کنند، اطلاعات را مدیریت کنند، خطاها را تشخیص دهند و قابلیت‌های جدیدی اضافه کنند؛ آن هم بدون آنکه عملکرد بخش‌های موجود مختل شود. سپس اوپن‌ای‌آی فایل‌های پایگاه داده تولیدشده را با پیاده‌سازی مرجع SQLite مقایسه می‌کند.
GPT-6 Astra در بالاترین سطح تلاش استدلالی، به میانگین نرخ قبولی ۸۷٫۴ درصد رسید و عملکرد آن در تمام زبان‌های آزمایش‌شده بهبود یافت.
بخشی از بزرگ‌ترین پیشرفت‌ها در زبان‌هایی مشاهده شد که مدل قبلی در آن‌ها عملکرد ضعیف‌تری داشت:
نرخ قبولی در COBOL از ۱۰٫۹ درصد به ۷۲٫۱ درصد افزایش یافت.
این نرخ در فورترن از ۲۱٫۴ درصد به ۸۳٫۵ درصد رسید.
عملکرد در ویژوال بیسیک از ۲۷٫۵ درصد به ۸۹٫۴ درصد افزایش یافت.
نرخ قبولی در OCaml از ۲۵٫۶ درصد به ۸۵٫۸ درصد رسید.
Astra در ۱۹ مورد از ۲۰ زبان آزمایش‌شده، نرخ قبولی بیش از ۸۳ درصد ثبت کرد؛ با این حال، COBOL همچنان دشوارترین زبان برای این مدل بود.
اوپن‌ای‌آی همچنین GPT-6 Luna را به‌عنوان گزینه‌ای کم‌هزینه‌تر آزمایش کرد. این مدل به میانگین نرخ قبولی ۴۰٫۳ درصد رسید؛ رقمی که از نرخ ۲۶٫۸ درصدی GPT-5.6 Sol بیشتر است. برآورد میانگین هزینه استفاده از رابط برنامه‌نویسی کاربردی (API) نیز برای هر نمونه در Luna حدود ۰٫۷۷ دلار بود، درحالی‌که این هزینه برای مدل مقایسه‌ای ۳٫۴۸ دلار برآورد شد.
این مقایسه نشان‌دهنده کاهش تقریبی ۷۸ درصدی هزینه در استفاده از مدل کم‌هزینه‌تر است؛ هرچند عملکرد کلی Luna در آزمون‌ها همچنان به‌مراتب پایین‌تر از Astra باقی می‌ماند.
دقت ۹۷٫۹ درصدی در ارزیابی جداگانه انتقال برنامه‌های COBOL
ارزیابی دوم اوپن‌ای‌آی مسئله متفاوتی را بررسی کرد: آیا هوش مصنوعی می‌تواند برنامه‌های موجود به زبان COBOL را به ++C، جاوا، کاتلین، پایتون یا راست منتقل کند، بی‌آنکه رفتار اصلی آن‌ها تغییر کند؟
این کار صرفاً به تولید کدی که بدون خطا اجرا شود محدود نیست. برای مثال، در سامانه‌های مالی، تفاوت در قواعد گرد کردن اعداد یا نحوه رسیدگی به رکوردهای مفقود می‌تواند نتیجه یک تراکنش را تغییر دهد، حتی اگر نرم‌افزار بازنویسی‌شده بدون خطا اجرا شود.
اوپن‌ای‌آی برای سنجش این قابلیت از آزمون‌های پنهانی استفاده کرد که در آن‌ها برنامه‌های منتقل‌شده باید خروجی‌های قابل مشاهده‌ای کاملاً یکسان، در سطح تک‌تک بایت‌ها، تولید می‌کردند. انتقال یک برنامه تنها زمانی موفق محسوب می‌شد که تمام آزمون‌ها را پشت سر می‌گذاشت.
GPT-6.1 Sol در سطح پایین تلاش استدلالی به دقت ۸۶٫۶ درصد دست یافت؛ درحالی‌که دقت GPT-5.6 Sol در همان سطح تنها ۵٫۴ درصد بود. طبق برآورد اوپن‌ای‌آی، هزینه استفاده از API نیز در این مقایسه ۳۹ درصد کاهش یافت.
GPT-6.1 Sol در سطح بالاتر تلاش استدلالی، دقت ۹۷٫۹ درصدی را ثبت کرد.
این ارقام عملکرد مدل‌ها در ارزیابی‌های خود اوپن‌ای‌آی را نشان می‌دهند و به معنای اثبات موفقیت آن‌ها در سامانه‌های بانکی عملیاتی یا دیگر زیرساخت‌های حیاتی نیستند. این شرکت اذعان دارد که به‌کارگیری نرم‌افزارهای منتقل‌شده همچنان به بررسی متخصصان و آزمایش سازگاری آن‌ها با قواعد کسب‌وکار و وابستگی‌های موجود نیاز دارد.
اوپن‌ای‌آی مجموعه ابزارهای ارزیابی MultiLangBench، مجموعه آزمون‌ها و نتایج تفکیک‌شده بر اساس زبان را در گیت‌هاب منتشر می‌کند تا توسعه‌دهندگان بتوانند آزمون‌ها را بررسی کنند و عملکرد مدل‌ها را در زبان‌های مرتبط با فعالیت خود بسنجند.
مدل‌های جدید این شرکت از طریق API برای انجام وظایف برنامه‌نویسی در دسترس هستند. اوپن‌ای‌آی همچنین همچنان به دنبال دریافت بازخورد توسعه‌دهندگان و مشتریان سازمانی درباره زبان‌ها و جریان‌های کاری‌ای است که به بهبود بیشتر نیاز دارند.