عامل‌های هوش مصنوعی گوگل دیپ‌مایند ماینکرفت را شکست دادند؛ پس از ۲۷ ساعت و ۶۰۵ بار مرگ
خلاصه گزارش
- چهار عامل هوش مصنوعی گوگل دیپ‌مایند با نوشتن برنامه‌های اختصاصی و هماهنگی با یکدیگر، پس از ۲۷ ساعت و ۱۴ دقیقه موفق شدند اژدهای اندر در بازی ماینکرفت را شکست دهند.
- این عامل‌ها وظایف را تقسیم کردند، منابع را به اشتراک گذاشتند و اشتباهات خود را اصلاح کردند. آن‌ها در مجموع ۲۷۸۳ برنامه نوشتند و شخصیت‌هایشان ۶۰۵ بار جان باختند.
- تنها تلاش موفق در درجه سختی آسان و با دسترسی به اطلاعات دقیق درباره دنیای بازی انجام شد؛ بنابراین، هنوز درباره میزان اطمینان‌پذیری این سیستم و عملکرد آن در وظایف دشوارتر پرسش‌هایی وجود دارد.
چهار عامل هوش مصنوعی گوگل دیپ‌مایند بدون دخالت انسان در جریان بازی، با نوشتن برنامه‌های اختصاصی و هماهنگی با یکدیگر توانستند پس از بیش از یک روز، اژدهای اندر در ماینکرفت را شکست دهند. هزینه استفاده از خدمات هوش مصنوعی برای این آزمایش نیز به حدود ۱۰۴۰ دلار رسید.
این دستاورد لزوماً به معنای پایان رقابت برای عامل‌های هوش مصنوعی نیست؛ اما نتایج پژوهش نشان می‌دهد که این سیستم‌ها پیش از آنکه بتوانند از پس وظایف عملی و بلندمدت برآیند، باید قابلیت اطمینان بیشتری پیدا کنند.
بر اساس پژوهشی که در مخزن پیش‌چاپ آراِکسیو (arXiv) منتشر شده است، این گروه در مدت ۲۷ ساعت و ۱۴ دقیقه مأموریت را به پایان رساند و در این مسیر ۲۷۸۳ برنامه تولید کرد. عامل‌ها کارها را میان خود تقسیم کردند، منابع را به اشتراک گذاشتند و پس از شکست‌های مکرر دوباره به فعالیت ادامه دادند.
هدف آزمایش این بود که مشخص شود عامل‌های برنامه‌نویس هوش مصنوعی با کاربرد عمومی تا چه اندازه می‌توانند در طول هزاران اقدام مرتبط، یک برنامه عملیاتی را دنبال کنند. پژوهشگران چهار نمونه از مدل Gemini 4 Argon را کنترل‌کننده چهار بازیکن جداگانه در یک دنیای مشترک قرار دادند و از آن‌ها خواستند اژدها را شکست دهند. هیچ راهبردی برای بازی در اختیار عامل‌ها قرار نگرفت و وظایف مشخصی نیز از پیش به آن‌ها اختصاص داده نشد.
عامل‌ها موفق شدند، اما عملکردشان چندان کارآمد نبود. شخصیت‌های آن‌ها ۶۰۵ بار جان باختند، اجرای ۲۲ درصد از برنامه‌هایشان با خطا پایان یافت و مرحله پایانی بازی نزدیک به ۱۴ ساعت طول کشید. افزون بر این، آزمایش در درجه سختی آسان انجام شد و نرم‌افزاری که اطلاعات جزئی درباره دنیای بازی ارائه می‌کرد، در اختیار عامل‌ها بود.
این محدودیت‌ها دامنه نتیجه‌گیری از آزمایش را کاهش می‌دهد. مقاله تنها یک تلاش موفق را شرح می‌دهد؛ تلاشی که به گفته پژوهشگران، نخستین اجرای آن‌ها بود. این نتیجه مشخص نمی‌کند که سیستم با چه میزان ثباتی می‌تواند مأموریت را تکرار کند و همچنین عملکردی مشابه در محیط‌های کاری یا توسعه نرم‌افزار را اثبات نمی‌کند.
با این حال، اجرای آزمایش اطلاعات دقیقی درباره توانایی سیستم‌های هوش مصنوعی در سازمان‌دهی کارها، ساخت ابزار و اصلاح اشتباهات طی یک مأموریت طولانی فراهم می‌کند. پژوهشگران این قابلیت‌ها را با نیازهای پروژه‌های پیچیده نرم‌افزاری و فعالیت‌های سازمانی مرتبط می‌دانند؛ حوزه‌هایی که پیشرفت در آن‌ها مستلزم انجام تعداد زیادی مرحله به ترتیب درست است.
بازی از طریق کدنویسی
در این پژوهش از نسخه ۱.۲۰.۴ بازی Minecraft Java Edition در حالت بقا استفاده شد. فرمان‌های تقلب غیرفعال بودند و دنیای بازی به‌صورت تصادفی تولید شد.
شکست دادن اژدهای اندر به مجموعه‌ای از اقدامات مقدماتی نیاز دارد. بازیکنان باید مواد اولیه جمع‌آوری کنند، ابزار بسازند، وارد منطقه دیگری به نام ندر (Nether) شوند، مواد لازم را به دست آورند و دژ مستحکمی در زیر زمین پیدا کنند که دروازه ورود به قلمرو اژدها در آن قرار دارد.
عامل‌ها این کارها را با استفاده از Mineflayer انجام دادند؛ کتابخانه نرم‌افزاری متن‌بازی که برای کنترل شخصیت‌های ماینکرفت طراحی شده است. آن‌ها به‌جای مشاهده تصویر بازی و فشردن کلیدها، برنامه‌های کوتاه جاوااسکریپت می‌نوشتند تا اقداماتی مانند راه رفتن، استخراج مواد، ساخت ابزار یا حمله را انجام دهند.
این نرم‌افزار اطلاعات متنی درباره موقعیت بازیکن، میزان سلامتی، موجودی وسایل و نتیجه اقدامات در اختیار عامل قرار می‌داد. عامل نیز بر اساس همین اطلاعات، برنامه بعدی خود را می‌نوشت.
Mineflayer کنترل‌های پایه و افزونه‌ای برای برنامه‌ریزی مسیر در اطراف موانع فراهم می‌کرد. با این حال، بنا بر توضیحات پژوهش، تصمیم‌گیری درباره اهداف و نوشتن کدهای لازم برای رسیدن به آن‌ها بر عهده خود عامل‌ها بود.
دستورالعمل‌های عمومی به عامل‌ها توصیه می‌کرد که اقدامات خود را بررسی کنند، ابزارهای قابل استفاده مجدد بسازند و آموخته‌هایشان را در حافظه مشترک نگه دارند. پژوهشگران همچنین نحوه استفاده از رابط نرم‌افزاری و برقراری ارتباط با هم‌تیمی‌ها را توضیح داده بودند. این دستورالعمل‌ها هیچ راهبردی برای بازی در بر نداشتند.
عامل هوش مصنوعی پنجمی بر اجرای آزمایش نظارت می‌کرد و پیشرفت‌های گزارش‌شده را با رویدادهای ثبت‌شده تطبیق می‌داد. این عامل در بازی شرکت نمی‌کرد. پژوهشگران می‌توانستند اجرای زنده را از طریق یک داشبورد مشاهده کنند و آزمایش را موقتاً متوقف کنند یا به پایان برسانند، اما گزارش دادند که نیازی به دخالت آن‌ها پیش نیامد.
شکل‌گیری یک تیم
عامل‌ها تنها چند دقیقه پس از شروع بازی، درباره تقسیم مسئولیت‌ها مذاکره را آغاز کردند. حدود ۱۰ دقیقه پس از شروع، یکی از آن‌ها تقسیم کار را پیشنهاد داد و عامل دیگری طرح متفاوتی مطرح کرد.
با ادامه بازی، نقش‌ها به‌تدریج مشخص شدند. یکی از عامل‌ها بیشتر بر تهیه غذا و تدارکات تمرکز کرد، دیگری ابزار ساخت و سازه‌های مهم را پیدا کرد و سایر عامل‌ها مسئولیت‌هایی مانند ساخت دروازه‌ها، ایجاد پناهگاه و آماده‌سازی برای نبرد را بر عهده گرفتند.
پیش از پیروزی، اعضای تیم ۲۲۹ پیام با یکدیگر ردوبدل کردند. صندوق‌های ذخیره‌سازی مشترک به بازیکنان اجازه می‌داد منابع خود را روی هم بگذارند و گفت‌وگوها و یادداشت‌ها نیز مختصات، هشدارها و آموخته‌های مربوط به ابزارها را حفظ می‌کردند.
یکی از رویدادهای اولیه نشان می‌دهد که چگونه یک راه‌حل محدود می‌تواند در سراسر تیم گسترش پیدا کند. ۱۹ دقیقه پس از شروع بازی، یکی از عامل‌ها به دیگران درباره مشکلی در عملکرد بخش ساخت‌وساز Mineflayer هشدار داد. به گفته پژوهشگران، تابع کمکی‌ای که برای رفع این مشکل نوشته شد، بعداً در ۶۵۵ برنامه تولیدشده به دست هر چهار عامل به کار رفت.
عامل‌ها ابزارهای نرم‌افزاری دیگری نیز ساختند تا شخصیت‌های بازی را در حالت شناور نگه دارند، تعداد اقلام را بشمارند و مانع ادامه اجرای دستورهای باقی‌مانده پس از پایان مهلت زمانی یک برنامه شوند. سازوکار مربوط به این مورد آخر در ۱۵۱۹ برنامه به کار گرفته شد.
این ابزارها به تیم کمک کردند یکی از دشواری‌های عملی کار طولانی‌مدت با هوش مصنوعی را مدیریت کند. هر عامل باید هنگام جابه‌جایی میان وظایف و کوتاه کردن تاریخچه گفت‌وگوی انباشته‌شده خود، اطلاعات مفید را حفظ می‌کرد. یادداشت‌های مشترک سابقه‌ای فراهم می‌کردند که با تغییر وظایف از بین نمی‌رفت.
شکست‌ها نیز به تغییر رفتار عامل‌ها منجر می‌شدند. برای نمونه، پس از آنکه گلوله آتشین یک دشمن منابع رهاشده را نابود کرد، عامل‌ها هشداری منتشر کردند و مسیر امن‌تری برای بازگشت پیدا کردند.
بر اساس مقاله، عامل‌های هوش مصنوعی همچنین می‌توانستند گزارش‌های نادرست را تشخیص دهند. در یک مورد، عاملی پس از آنکه متوجه شد موجودی‌اش خالی است، ادعای تحویل منابع را اصلاح کرد. در نمونه‌ای دیگر، عاملی ادعای هم‌تیمی خود مبنی بر بازگشت با مواد اولیه را زیر سؤال برد؛ زیرا سرور اندکی پیش‌تر مرگ آن بازیکن را ثبت کرده بود.
این نمونه‌ها نشان می‌دهند که عامل‌ها در برخی موارد اطلاعات را بررسی و اشتباهات را اصلاح کرده‌اند، اما ثابت نمی‌کنند که تمام گزارش‌های نادرست شناسایی شده‌اند.
پیشرفت در کنار تلفات سنگین
تیم پس از یک ساعت و ۴۲ دقیقه موفق شد دروازه ورود به ندر را بسازد. با این حال، جمع‌آوری و انتقال مواد مورد نیاز برای مراحل بعدی دشوارتر بود.
بازگرداندن یکی از مواد ضروری به منطقه آغاز بازی بیش از شش ساعت طول کشید. مرگ بازیکنان و از دست رفتن منابع در این مدت بارها روند پیشرفت را مختل کرد.
برای پیدا کردن دژ زیرزمینی، یکی از عامل‌ها مسیر حرکت دو چشم اندر (Eyes of Ender) را دنبال کرد؛ اقلامی در بازی که جهت قرارگیری سازه را نشان می‌دهند. این عامل جهت حرکت هر چشم را از دو موقعیت جداگانه اندازه گرفت و محل تقاطع مسیرها را محاسبه کرد. بر اساس مقاله، نقطه تخمینی در فاصله ۴۳ متری اتاق واقعی دروازه قرار داشت.
تیم پس از گذشت ۱۳ ساعت و ۳۳ دقیقه وارد قلمرو اژدها شد، اما تکمیل مأموریت تقریباً به همین اندازه زمان بیشتری برد.
عامل‌ها پیش از شکست دادن اژدها باید ۱۰ کریستال را نابود می‌کردند که سلامتی آن را بازیابی می‌کردند. یکی از بازیکنان شش کریستال، بازیکن دیگری سه کریستال و بازیکن سوم آخرین کریستال را از بین برد. اژدها حدود ۴۰ دقیقه پس از نابودی آخرین کریستال شکست خورد.
بیشتر مرگ‌ها در طول بازی به دست هیولاها رقم خورد. غرق شدن، سقوط از ارتفاع، گدازه، آتش و خود اژدها نیز از دیگر عوامل مرگ بودند. سرور بازی همچنین شش بار راه‌اندازی مجدد شد و در مجموع حدود ۲۰ دقیقه جریان بازی متوقف ماند.
هزینه محاسباتی آزمایش نیز قابل توجه بود. چهار بازیکن پیش از پیروزی حدود ۲۴ هزار بار از مدل درخواست کردند و تقریباً ۱۶ میلیون توکن خروجی تولید شد. توکن واحدی برای اندازه‌گیری حجم پردازش متنی هوش مصنوعی است.
پژوهشگران هزینه استفاده از مدل را بر اساس نرخ‌های عمومی اولیه رابط برنامه‌نویسی کاربردی (API) حدود ۵۲۰ دلار و بر اساس نرخ‌های استاندارد حدود ۱۰۴۰ دلار برآورد کردند. این ارقام بر مبنای قیمت‌های اعلام‌شده محاسبه شده‌اند و لزوماً هزینه واقعی بهره‌برداری از مدل را نشان نمی‌دهند.
پرسش‌های باقی‌مانده
رابط نرم‌افزاری مورد استفاده، در مقایسه با بازیکنان انسانی و سیستم‌های هوش مصنوعی که صرفاً از تصاویر استفاده می‌کنند، مزیت‌های قابل توجهی در اختیار عامل‌ها قرار می‌داد.
Mineflayer اطلاعات دقیقی درباره بلوک‌ها و موجودات اطراف ارائه می‌کرد؛ حتی درباره بلوک‌هایی که پشت سنگ‌های جامد قرار داشتند و وضعیت داخلی اژدها. نرم‌افزار مسیریابی آن نیز برنامه‌ریزی مسیر در اطراف موانع را انجام می‌داد. پژوهشگران اذعان دارند که بازی کردن از طریق نمایشگر، صفحه‌کلید و ماوس همچنان به‌مراتب دشوارتر است.
این مدل همچنین از دانش قبلی برخوردار بود. Gemini 4 Argon در جریان آموزش خود اطلاعاتی درباره ماینکرفت و Mineflayer آموخته بود. آزمایش بررسی می‌کرد که آیا مدل می‌تواند این دانش را به برنامه‌های قابل اجرا و اقدامات هماهنگ در یک بازه زمانی طولانی تبدیل کند یا خیر.
پژوهشگران همچنین به پروژه‌های پیشین جامعه توسعه‌دهندگان اشاره می‌کنند که در آن‌ها گزارش شده بود اژدها با استفاده از پیکربندی‌های دیگری از هوش مصنوعی شکست داده شده است. تفاوتی که پژوهشگران برای کار خود قائل‌اند، به ابزارها و شرایط آزمایش مربوط می‌شود؛ از جمله استفاده از کتابخانه استاندارد Mineflayer، دنیای تصادفی و نبود راهبردها یا مهارت‌های اختصاصیِ از پیش افزوده‌شده برای بازی.
برای مشخص شدن میزان اعتبار این نتیجه، باید آزمایش‌ها در دنیاهای مختلف و طی تلاش‌های تکرارشونده انجام شوند. مقایسه عملکرد تیم با یک عامل منفرد می‌تواند مشخص کند که همکاری گروهی تا چه اندازه در موفقیت نقش داشته است. همچنین، افزایش درجه سختی یا استفاده از کنترل‌های مبتنی بر تصویر نمایشگر، عملکرد سیستم را در شرایط دشوارتر آزمایش خواهد کرد.
مکسنس فالدور، ساتیندر سینگ و روبرتا رایلیانو اعضای تیم پژوهشی دیپ‌مایند بودند.
برای بررسی فنی و جزئیات بیشتر، می‌توان به مقاله منتشرشده در arXiv مراجعه کرد. باید توجه داشت که آراِکسیو مخزنی برای انتشار پیش‌چاپ پژوهش‌هاست و به محققان امکان می‌دهد پیش از طی فرایند داوری رسمی، بازخوردهای اولیه را دریافت کنند. این مخزن و مقاله حاضر، خود به معنای انتشار پژوهش در یک نشریه علمی با داوری همتا نیستند. داوری همتا مرحله‌ای مهم در فرایند علمی برای بررسی و اعتبارسنجی نتایج پژوهش است.