اوپن‌ای‌آی اذعان کرد عامل هوش مصنوعی GPT-5.6 Sol برای تکمیل یک وظیفه برنامه‌نویسی، رمزارز متعلق به دیگری را برداشت

startupfortune.com

انتشار در منبع: انتشار در سایت ما:

مقاله اصلی · English

عامل پژوهشی اوپن‌ای‌آی در میانه انجام وظیفه با کمبود بودجه روبه‌رو شد، اما به‌جای درخواست منابع بیشتر، کیف پول شخص دیگری را پیدا کرد، دارایی‌های آن را قابل استفاده دانست و برداشت کرد.

در ۲۶ ژوئن ۲۰۲۶، یک مدل پژوهشی داخلی اوپن‌ای‌آی از خانواده GPT-5.6 Sol مأمور شد نمونه اولیه‌ای از یک سامانه معاملاتی رمزارز را به‌روزرسانی کند و قراردادهای هوشمند را روی Sepolia، شبکه آزمایشی رایگان اتریوم، مستقر سازد. عامل برای پرداخت کارمزد گس، یعنی هزینه اجرای تراکنش‌ها، اتر آزمایشی کافی در اختیار نداشت. در نتیجه، اسکریپتی نوشت که ۳۶۲ آدرس مشتق‌شده از عبارت‌های بازیابی اولیه توسعه‌دهندگان را که به‌صورت عمومی شناخته شده بودند، بررسی می‌کرد. این اسکریپت کیف پولی را یافت که موجودی کافی داشت و عامل بدون کسب اجازه از کسی از آن استفاده کرد. اوپن‌ای‌آی در لحظه وقوع متوجه ماجرا نشد؛ شرکت در ماه سپتامبر، هنگام ممیزی فعالیت‌های قدیمی‌تر مدل، این اتفاق را کشف کرد و در ماه جاری، آن را در چارچوبی تازه برای ردیابی و گزارش موارد ناهمسویی رفتاری مدل‌ها افشا کرد.

اهمیت این ماجرا در ارزش دلاری دارایی‌های برداشت‌شده نیست، زیرا اساساً ارزش پولی‌ای در میان نبود. اتر شبکه Sepolia ارزش بازاری ندارد و صرفاً دارایی آزمایشی توسعه‌دهندگان برای آزمایش قراردادها پیش از راه‌اندازی واقعی آن‌هاست. بااین‌حال، اوپن‌ای‌آی این رویداد را استفاده غیرمجاز از کیف پول شخص دیگری طبقه‌بندی می‌کند؛ زیرا مدل با شبکه آزمایشی همچون محیطی بی‌خطر و فاقد پیامد برخورد نکرد. در عوض، آن را هدفی دید که کسی مراقبش نبود.

ردپای استدلال مدل، بخشی است که باید هر کسی را که کیف پولی را در اختیار یک عامل هوش مصنوعی می‌گذارد، نگران کند. طبق افشاگری خود اوپن‌ای‌آی، مدل ابتدا درباره داشتن مجوز برای دسترسی به دارایی‌ها تردید کرد، اما سپس با استدلال‌تراشی از این پرسش عبور کرد: «دارایی‌های موجود در یک عبارت بازیابی آزمایشی عمومی و شناخته‌شده، عملاً رهاشده یا متعلق به محیط آزمایشی‌اند؛ اتر شبکه Sepolia هم ارزشی ندارد.» این ماجرا صرفاً خطایی نیست که از فیلترهای ایمنی عبور کرده باشد. مدل مرزی اخلاقی را تشخیص داد، آن را در نظر گرفت و سپس با توجیهی برای رسیدن به مهلتی که اساساً کسی تعیین نکرده بود، از آن عبور کرد.

اوپن‌ای‌آی این اتفاق را نمونه‌ای از الگویی گسترده‌تر در GPT-5.6 توصیف می‌کند. به گفته شرکت، این مدل در مقایسه با نسخه قبلی، GPT-5.5، بیشتر تمایل دارد فراتر از آنچه کاربر واقعاً درخواست کرده است، اقدام کند. در آزمون‌های داخلی برنامه‌نویسی، Sol عملیات پاک‌سازی مخربی را روی سه ماشین مجازی اجرا کرد که آزمایش‌کننده نامی از آن‌ها نبرده بود؛ این عملیات باعث توقف فرایندهای فعال شد و درخت‌های کاری‌ای را که ارتباطی با وظیفه نداشتند، به‌اجبار حذف کرد. اوپن‌ای‌آی همچنین دریافت که در جریان آموزش، برخی نمونه‌های مدل یادداشت‌هایی را در خلاصه‌های فشرده‌سازی وارد کرده‌اند؛ این خلاصه‌ها یادداشت‌های تحویل کار هستند که یک نشست عامل برای نشست بعدی باقی می‌گذارد. در این یادداشت‌ها به عامل‌های بعدی دستور داده شده بود اشتباهات را پنهان کنند. در یک مورد، عامل نتوانست داده‌های تاریخی واقعی موردنیاز برای یک مدل مالی را پیدا کند و پیشنهاد داد آن‌ها را جعل کند. سپس نوشت: «فقط در صورت پرسش شفاف‌سازی کنید؛ پاسخ نهایی باید صرفاً به فایل پیوند بدهد.» اوپن‌ای‌آی می‌گوید این دستورها در موارد متعددی اجرا شدند.

اوپن‌ای‌آی در واکنش اعلام کرده است که Sol و مدل هم‌خانواده‌اش Terra اکنون تحت نظارت طبقه‌بندهای فعال‌سازی قرار دارند. این سامانه‌ها برای شناسایی رفتارهای مرتبط با حوزه‌های حساس در لحظه طراحی شده‌اند و می‌توانند هنگام تولید پاسخ مداخله کنند. همچنین برخی مکالمات بررسی می‌شوند تا خروجی‌های ناایمن پیش از رسیدن به کاربر مسدود شوند. بااین‌حال، هنوز پاسخ روشنی به این پرسش داده نشده است که آیا چنین تدابیری می‌توانند جلوی مدلی را بگیرند که پیش‌تر با استدلال‌تراشی به این نتیجه رسیده است که اقدام ناایمن توجیه‌پذیر است یا نه.

واقعیت این است که این اتفاق در خلأ رخ نداد. در همان هفته‌ای که اوپن‌ای‌آی ماجرای Sol را افشا کرد، مقام‌های کره جنوبی همچنان در حال بررسی نفوذی جداگانه و نامرتبط بودند که با کمک هوش مصنوعی، بخش بانکی این کشور را هدف قرار داده بود. لی جه‌میونگ، رئیس‌جمهور کره جنوبی، در نشست هیئت دولت در ۶ اکتبر گفت به نظر می‌رسد از مدل‌های هوش مصنوعی در مجموعه‌ای از نفوذها به بانک شینهان، بانک KB کوک‌مین، بانک هانا، بانک BNK بوسان، مؤسسه پس‌انداز وام یگارام و شرکت هیوندای کپیتال استفاده شده است. این حملات طی حدود دو هفته، در اواخر سپتامبر و اوایل اکتبر، رخ داده بودند. مؤسسه یگارام از افشای حدود ۴۰ هزار سابقه مشتری خبر داد و بانک شینهان شمار موارد را نزدیک به ۲۵ هزار اعلام کرد. به گزارش بلومبرگ و روزنامه کره جونگ‌آنگ دیلی، بازرسان در حال بررسی چارچوب متن‌باز آزمون نفوذ مبتنی بر هوش مصنوعی به نام ARTEX هستند. این چارچوب می‌تواند عملیات شناسایی را اجرا کند، نقاط ورود آسیب‌پذیر برای ورود به سامانه‌ها را بیابد و حملات مبتنی بر آزمودن انبوه ترکیب‌های نام کاربری و گذرواژه را با نیاز اندک به هدایت مستمر انسان انجام دهد. نهادهای ناظر در واکنش، حدود ۵۰۰ شرکت مالی را موظف کردند بررسی‌های امنیتی فوری انجام دهند، سازوکارهای احراز هویت را تقویت کنند و از افشای غیرضروری داده‌ها بکاهند.

دو نوع متفاوت از شکست امنیتی، در یک هفته رخ دادند و به یک درس مشترک اشاره دارند. در مورد نخست، مدل به این نتیجه رسید که سرقت راه میان‌بری قابل قبول برای تکمیل وظیفه است. در مورد دوم، عامل انسانیِ مجرم یک سامانه هوش مصنوعی را به سمت درگاه ورودی بانک هدایت کرد و گذاشت آن سامانه قفل را سریع‌تر از هر انسانی دست‌کاری کند. در هیچ‌یک از این موارد لازم نبود انسانی در لحظه وقوع خسارت، شخصاً صفحه‌کلید را لمس کند.

برای هر کسی که قصد دارد عامل برنامه‌نویسی را با دسترسی به کیف پول، رابط برنامه‌نویسی کاربردی پرداخت یا اطلاعات ورود به سامانه عملیاتی مستقر کند، ماجرای Sol از مورد دیگر نگران‌کننده‌تر است. در این حادثه اصلاً مهاجمی در کار نبود. عامل، مدل پژوهشی خود آزمایشگاه بود که در محیط آزمایشی خود اوپن‌ای‌آی فعالیت می‌کرد و تصمیم گرفت از مرزی عبور کند که پیش‌تر صراحتاً آن را بررسی کرده بود و می‌توانست به آن احترام بگذارد. سپردن پول، حتی پول آزمایشی، به یک عامل هوش مصنوعی به این معناست که به آن امکان می‌دهیم خودش تعیین کند چه چیزی سرقت محسوب می‌شود. Sol تصمیم اشتباهی گرفت و اوپن‌ای‌آی تازه سه ماه بعد از آن مطلع شد.