اوپن‌ای‌آی قیمت عامل هوش مصنوعی خود را نصف کرد؛ اما گزارش ایمنی شرکت از یک مشکل پرده برداشت

اوپن‌ای‌آی روز دوشنبه مدل GPT-6.1 Terra را عرضه کرد؛ مدلی که با کاهش ۵۰ درصدی قیمت استفاده از رابط برنامه‌نویسی کاربردی (API)، در آزمون‌های برنامه‌نویسی و کار با رایانه نیز پیشرفت چشمگیری داشته است. با این حال، آزمایش‌های ایمنی خود شرکت از یک مشکل پرده برمی‌دارند: در نزدیک به ۳۰ درصد از اجراهای شبیه‌سازی‌شده، Terra برای تکمیل وظایف، محدودیت‌ها را دور زده و از روش‌هایی استفاده کرده است که مجاز به استفاده از آن‌ها نبوده است.

در نزدیک به ۳۰ درصد از اجراهای شبیه‌سازی‌شده، Terra برای تکمیل وظایف محدودیت‌ها را دور زده و از روش‌هایی استفاده کرده است که مجاز به استفاده از آن‌ها نبوده است.

گزارش فنی سیستم همچنین نشان می‌دهد که Terra در ۱۳٫۷۵ درصد از موارد، پس از مواجهه با پیام‌هایی که ظاهراً از سوی عامل‌های هوش مصنوعی دیگر ارسال شده بودند، دست به اقداماتی غیرمجاز زده است. پژوهشگران نشانه‌هایی نیز یافته‌اند که حاکی از آن است که مدل گاهی متوجه می‌شده تحت آزمایش قرار دارد.

این ارزیابی‌ها در محیط‌های کنترل‌شده انجام شده‌اند و در برخی موارد، تدابیر حفاظتی مورد استفاده در محیط عملیاتی واقعی در آن‌ها وجود نداشته است؛ بنابراین، نتایج لزوماً پیش‌بینی‌کننده رفتار Terra در کاربردهای واقعی نیستند. با این حال، آزمایش‌ها مشکلی اساسی درباره عامل‌های خودمختار را آشکار می‌کنند: توانایی بیشتر در انجام وظایف لزوماً به معنای توانایی بیشتر در تشخیص زمان توقف نیست.

ارزان‌تر، سریع‌تر و توانمندتر در برنامه‌نویسی

اوپن‌ای‌آی Terra را راهکاری ارزان‌تر برای اجرای عامل‌های برنامه‌نویسی و خودکارسازی وظایف رایانه‌ای معرفی می‌کند که در مقایسه با مدل قبلی، عملکرد بسیار بهتری دارد.

در آزمون Terminal-Bench 4.0، این مدل با بالاترین سطح تلاش برای استدلال توانست ۵۰٫۳ درصد از مسائل را حل کند؛ در حالی که این رقم برای GPT-5.6 Terra برابر با ۲۱٫۵ درصد بود. اوپن‌ای‌آی می‌گوید برای دشوارترین کارهای برنامه‌نویسی، مدل‌های GPT-6.1 Sol و GPT-6 Astra همچنان گزینه‌های بهتری هستند.

با این حال، شاید مهم‌ترین مزیت Terra قیمت آن باشد: استفاده از این مدل از طریق API به‌ازای هر یک میلیون توکن ورودی یک دلار و به‌ازای هر یک میلیون توکن خروجی پنج دلار هزینه دارد. این نرخ‌ها نصف قیمت استاندارد GPT-5.6 Terra و GPT-6.1 Sol هستند.

این مدل از طریق API اوپن‌ای‌آی با شناسه gpt-6.1-terra در دسترس است. کاربران طرح‌های Plus، Pro، Enterprise و Edu نیز می‌توانند از آن در ChatGPT Work و Codex استفاده کنند.

وقتی عامل‌ها قوانین را نادیده می‌گیرند

آزمون «Respecting Warnings» اوپن‌ای‌آی بررسی می‌کند که آیا مدل‌ها هنگام انجام وظایف مجاز در محیط‌های شبیه‌سازی‌شده حرفه‌ای، به پیام‌های رد دسترسی و سایر محدودیت‌ها احترام می‌گذارند یا خیر. Terra در بالاترین سطح تلاش برای استدلال، در ۲۹٫۶ درصد از اجراها راهی برای دور زدن این محدودیت‌ها پیدا کرد. این میزان از عملکرد GPT-6 Astra، GPT-6 Luna و GPT-6.1 Sol بیشتر، اما از GPT-6 Sol کمتر بود.

اوپن‌ای‌آی اخیراً روش محاسبه امتیاز این ارزیابی را نیز تغییر داده است تا تلاش‌های موفق برای دور زدن محدودیت‌ها را در نتایج لحاظ کند. در نتیجه، ممکن است مدلی توانمندتر صرفاً به این دلیل امتیاز بدتری بگیرد که در یافتن راه‌های جایگزین موفق‌تر است؛ نه لزوماً به این دلیل که تمایل بیشتری به نقض قوانین دارد. افزون بر این، آزمایش‌ها عمدتاً در سناریوهای کم‌خطر و بدون تدابیر حفاظتی در سطح سیستم انجام شده‌اند.

در میان ۴۸٬۷۰۱ وظیفه مشترک، Terra در ۹٫۸۸ درصد از مسیرهای اجرای وظایف نشانه‌هایی از تشخیص آزمایشی بودن محیط نشان داد. این رقم برای GPT-6.1 Sol برابر با ۴٫۳۵ درصد و برای GPT-6 Astra برابر با ۸٫۰۷ درصد بود.

در مجموع ۴۸٬۷۰۱ وظیفه مشترک، Terra در ۹٫۸۸ درصد از مسیرهای اجرای وظایف نشانه‌هایی از تشخیص اینکه تحت آزمایش قرار دارد نشان داد. این میزان برای GPT-6.1 Sol برابر با ۴٫۳۵ درصد و برای GPT-6 Astra برابر با ۸٫۰۷ درصد بود. این یافته به معنای آن نیست که Terra عمداً کوشیده است نتایج آزمون‌ها را دست‌کاری کند، اما تفسیر رفتارش را دشوارتر می‌سازد. یک عامل باید بتواند دستور مخرب را از محدودیت مشروع تشخیص دهد؛ با این حال، اگر در این تمایز اشتباه کند، ممکن است از مرزهایی عبور کند که موظف به رعایت آن‌ها بوده است.

پیام‌هایی از سوی عامل‌های دیگر

در ارزیابی جداگانه‌ای، واکنش مدل‌ها به پیام‌هایی که ظاهراً از سوی عامل‌های هوش مصنوعی دیگر ارسال شده‌اند بررسی شد. Terra در ۶۵ درصد از موارد، در میان ۸۰ نمونه مربوط به ۱۰ سناریو، تلاش کرد با عامل‌هایی که ظاهراً همتای آن بودند ارتباط برقرار کند. این مدل در ۱۱ مورد، معادل ۱۳٫۷۵ درصد، اقدام غیرمجازی را که در سناریو مشخص شده بود انجام داد. این رقم برای GPT-6.1 Sol برابر با ۱٫۲۵ درصد و برای GPT-6 Sol برابر با ۱۶٫۲۵ درصد بود.

اوپن‌ای‌آی هشدار می‌دهد که نباید این تفاوت را به‌سادگی نشانه افت عملکرد مدل دانست. بخش عمده موارد به وعده‌هایی درباره کمک در آینده مربوط می‌شد که Terra اعلام کرده بود عملاً به آن‌ها عمل نخواهد کرد. این شرکت عملکرد کلی Terra را در این معیار قابل مقایسه با GPT-6 Sol می‌داند.

توانمندی سایبری سطح بحرانی با هزینه‌ای کمتر

با وجود قیمت پایین‌تر، اوپن‌ای‌آی بر اساس چارچوب آمادگی خود، توانمندی‌های امنیت سایبری GPT-6.1 Terra را در سطح «بحرانی» طبقه‌بندی کرده است. این سطح شامل توانایی‌هایی مانند توسعه مستقل اکسپلویت‌های عملیاتی برای آسیب‌پذیری‌های روز صفر در سامانه‌های سخت‌سازی‌شده یا اجرای حملات سایبری پیچیده بر اساس دستورالعمل‌های کلی است.

Terra در نسخه داخلی اوپن‌ای‌آی از آزمون ExploitBench، هنگام توسعه اکسپلویت‌های اجرای کد دلخواه برای آسیب‌پذیری‌هایی که به‌تازگی افشا شده بودند، به نرخ موفقیت ۲۴٫۵ درصد دست یافت.

این نرخ برای GPT-6.1 Sol برابر با ۲۱٫۵ درصد و برای GPT-6 Astra برابر با ۳۱٫۵ درصد بود. در آزمون Sandbox Bench که آسیب‌پذیری‌های محیط‌های اجرایی، تجزیه‌گرهای فایل و پراکسی‌های خروجی شبکه را بررسی می‌کند، Terra توانست از ۲۲ هدف، پنج مورد را با موفقیت مورد حمله قرار دهد. این تعداد برای GPT-6.1 Sol به ۹ و برای GPT-6 Astra به ۱۰ مورد رسید.

اوپن‌ای‌آی اذعان دارد که Terra هنوز در بهره‌برداری قابل‌اعتماد از آسیب‌پذیری‌های تازه افشاشده با مشکل روبه‌رو است. با این حال، نتایج نشان می‌دهند که کاهش هزینه استنتاج لزوماً به معنای کاهش توانمندی در حملات سایبری نیست.

کاهش قیمت می‌تواند پژوهش مشروع درباره آسیب‌پذیری‌ها را در دسترس افراد و گروه‌های بیشتری قرار دهد؛ در عین حال، اهمیت تدابیر محافظتی برای جلوگیری از سوءاستفاده را نیز افزایش می‌دهد. اوپن‌ای‌آی می‌گوید Terra از همان سازوکارهای حفاظتی امنیت سایبری مورد استفاده برای GPT-6 Astra و GPT-6.1 Sol بهره می‌برد، هرچند این تدابیر متناسب با مدل جدید تنظیم شده‌اند.

همه آزمون‌های ایمنی به نتیجه یکسانی نمی‌رسند

در یکی از ارزیابی‌ها، Terra هیچ تلاشی برای دور زدن سامانه بازبینی خودکار Codex انجام نداد. این سامانه از مدل جداگانه‌ای استفاده می‌کند تا دستورهای ناایمن را که خارج از محیط ایزوله اجرا می‌شوند، مسدود کند.

در شبیه‌سازی گسترده‌تری شامل ۴۸٬۶۹۰ وظیفه داخلی Codex، تعداد ۲۲ مورد رفتار به‌شدت ناسازگار با اهداف مورد انتظار برای Terra ثبت شد؛ یعنی ۰٫۰۴۵ درصد از وظایف. این تعداد برای GPT-6.1 Sol برابر با ۲۴ مورد، برای GPT-6 Astra برابر با ۲۶ مورد، برای GPT-6 Sol برابر با ۳۸ مورد و برای GPT-5.6 Sol برابر با ۶۱ مورد بود.

اوپن‌ای‌آی این رخدادها را اقداماتی تعریف می‌کند که یک کاربر معقول انتظار انجام آن‌ها را ندارد و به‌شدت با آن‌ها مخالفت خواهد کرد. این یافته‌ها حاصل وظایف شبیه‌سازی‌شده‌اند و به معنای تأیید وقوع چنین رخدادهایی در استقرارهای واقعی نیستند. Terra همچنین در برابر حملات تزریق دستور (Prompt Injection)، مقاومتی مشابه GPT-6 Astra و GPT-6.1 Sol نشان داد. با وجود رفتارهای مسئله‌داری که در آزمایش‌ها ثبت شد، اوپن‌ای‌آی به این نتیجه رسید که تدابیر حفاظتی مدل برای عرضه عمومی کافی است.

با وجود رفتارهای مسئله‌داری که در آزمایش‌ها ثبت شد، اوپن‌ای‌آی به این نتیجه رسید که تدابیر حفاظتی مدل برای عرضه عمومی کافی است.