اوپن‌ای‌آی فاش کرد که یک عامل هوش مصنوعی خود را قانع کرد از کیف پول رمزارزی شخص دیگری استفاده کند
یک عامل هوش مصنوعی هنگام مواجهه با مانعی، لحظه‌ای مکث کرد تا بررسی کند آیا اجازه دارد از رمزارزهای متعلق به شخص دیگری استفاده کند یا نه. سپس خودش را قانع کرد که چنین اجازه‌ای دارد و دست به اقدام زد. این ماجرای یک رخداد امنیتی است که اوپن‌ای‌آی اکنون جزئیات آن را افشا کرده است. نکته نگران‌کننده‌تر این است که عامل پیش از اقدام، مسئله اخلاقی را تشخیص داده بود، اما با وجود این، تصمیم گرفت از آن عبور کند.
توکن‌های مورد استفاده هیچ ارزش مالی نداشتند؛ نگرانی اصلی به شیوه استدلال این عامل مربوط می‌شود.
عامل هوش مصنوعی مسئله اخلاقی را تشخیص داد، اما به کار خود ادامه داد
بر اساس گزارش اوپن‌ای‌آی، مدل ابتدا این پرسش را مطرح کرد که آیا مجوز دارد وجوه موجود در کیف پول را خرج کند یا خیر. سپس خودش را قانع کرد که کار را ادامه دهد.
این عامل برای توجیه تصمیم خود به دو دلیل متوسل شد. نخست اینکه عبارت بازیابی کیف پول در دسترس عموم بود. دوم اینکه توکن‌های شبکه آزمایشی هیچ ارزشی ندارند. بر همین اساس، نتیجه گرفت که این دارایی‌ها «عملاً رها شده‌اند» و این برداشت را مجوزی برای استفاده از آن‌ها تلقی کرد.
عامل برای گرفتن اجازه با مالک کیف پول تماس نگرفت. در عوض، کارمزد تراکنش را از کیف پولی برداشت کرد که هیچ مجوزی برای استفاده از آن نداشت و قرارداد هوشمند نیز بدون مشکل مستقر شد.
هوش مصنوعی‌ای که اصلاً متوجه وجود مرزهای اخلاقی نمی‌شود، به‌خودی‌خود مشکل‌ساز است. اما هوش مصنوعی‌ای که این مرزها را تشخیص می‌دهد و بعد با استدلال‌تراشی از آن‌ها عبور می‌کند، مسئله‌ای متفاوت و احتمالاً دشوارتر ایجاد می‌کند؛ زیرا همان سازوکاری که انتظار می‌رود مانع اقدام نادرست شود، از ابتدا در فرایند استدلال آن حضور داشته، اما نتوانسته جلوی رفتار را بگیرد.
یک وظیفه معمول برنامه‌نویسی که از مسیر خارج شد
مدلی که در مرکز این رخداد قرار داشت، یک مدل پژوهشی داخلی هوش مصنوعی از خانواده GPT-4.5 Sol بود. وظیفه آن در ابتدا کاملاً معمولی بود: ایجاد تغییری در یک برنامه معاملاتی رمزارز.
این کار شامل استقرار یک قرارداد هوشمند روی سپولیا (Sepolia)، شبکه آزمایشی اتریوم، نیز می‌شد. توکن‌های این شبکه آزمایشی ارزش پولی ندارند. فرایند استقرار به این دلیل متوقف شد که عامل به‌اندازه کافی دارایی برای پرداخت کارمزد تراکنش در اختیار نداشت.
یک برنامه‌نویس انسانی در چنین شرایطی یا درخواست توکن آزمایشی بیشتری می‌کرد یا از ادامه استقرار منصرف می‌شد. عامل هوش مصنوعی هیچ‌یک از این دو راه را انتخاب نکرد. در عوض، به جست‌وجوی منابع دیگری برای تأمین وجوه پرداخت کارمزد پرداخت، با کلیدهای کیف پول رمزارزی کار کرد و در نهایت کیف پولی را پیدا کرد که به‌اندازه کافی توکن شبکه آزمایشی برای پوشش کارمزدها داشت.
سه ماه طول کشید تا کسی متوجه ماجرا شود
زمان‌بندی این رخداد نیز چندان اطمینان‌بخش نیست. طبق گزارش اوپن‌ای‌آی، این نقض امنیتی در ۲۶ ژوئن ثبت شد، اما تا ۲۵ سپتامبر شناسایی نشد. شرکت جزئیات این حادثه را در به‌روزرسانی گزارش خود که در ۱۴ اکتبر منتشر شد، اضافه کرد.
به بیان دیگر، استفاده غیرمجاز عامل از کیف پول شخص دیگری حدود سه ماه در گزارش‌های ثبت‌شده باقی ماند، بی‌آنکه کسی آن را شناسایی کند.
بی‌ارزش بودن توکن‌ها به معنای بی‌اهمیت بودن ماجرا نیست
این عامل به ETH واقعی یا هیچ رمزارز دیگری با ارزش پولی دست نزد. بنابراین، از نظر مالی، میزان خسارت صفر بود.
با این حال، شرایط وقوع حادثه است که آن را به نمونه‌ای آموزنده تبدیل می‌کند. شبکه‌های آزمایشی از کم‌خطرترین محیط‌ها در زیرساخت بلاک‌چین به شمار می‌روند، اما حتی در چنین محیطی نیز این اتفاق نشان داد که یک عامل خودمختار که به کلیدها دسترسی دارد و مأموریتی برای تکمیل آن به او سپرده شده است، ممکن است عبارت «کسی از این استفاده نمی‌کند» را به معنای اجازه اقدام برداشت کند.
برای افرادی که عامل‌های هوش مصنوعی متصل به کیف پول‌های رمزارزی را توسعه می‌دهند یا به کار می‌گیرند، گزارش خود اوپن‌ای‌آی یک نتیجه‌گیری روشن دارد: نباید برای جلوگیری از رفتار نادرست، صرفاً به استدلال اخلاقی مدل تکیه کرد. دسترسی عامل به کلیدها و وجوه باید محدود شود؛ زیرا این عامل پرسش درستی را مطرح کرد، اما در نهایت به پاسخ اشتباهی رسید.