جمینی ۴ آرگون به ربات‌ها کمک می‌کند پرتاب کیسه لوبیا و دور انداختن زباله را از ویدئوهای معمولی یاد بگیرند
گوگل دیپ‌مایند این هفته نشان داد که جمینی ۴ آرگون می‌تواند تنها با تماشای یک ویدئوی کوتاه از فردی که کیسه‌های لوبیا را به سمت صفحه کورن‌هول پرتاب می‌کند، حرکت دست، مسیر پرتاب و نقطه رهاسازی را تحلیل کرده و آن‌ها را به مفاصل یک ربات انسان‌نما منتقل کند. این مدل سپس یک شبیه‌سازی کامل فیزیکی از ربات و صفحه بازی ایجاد می‌کند، حرکت را تا زمانی که دست ربات به‌درستی از کنار لگن عبور کند تمرین می‌کند و در نهایت نتیجه را به ربات انسان‌نمای Apollo شرکت Apptronik منتقل می‌کند. این ربات در آزمایش روی سخت‌افزار واقعی توانست هفت پرتاب پیاپی موفق داشته باشد. پژوهشگران این فرایند را تبدیل ویدئوهای معمولی به یک محیط آموزشی مقیاس‌پذیر توصیف کرده‌اند که می‌تواند هفته‌ها مدل‌سازی دستی شبیه‌سازی را به چند ساعت کاهش دهد.
آرگون در آزمون Embodied Reasoning که شامل مسائل فضایی و فیزیکی در محیط‌های سه‌بعدی بود، امتیاز قابل توجه ۸۷ درصد را کسب کرد. یافته‌های گوگل نشان می‌دهد که آرگون بدون هیچ تنظیم اختصاصی برای یک ربات خاص، در مجموعه پرسش‌های یکسان از تمام مدل‌های پیشرفته هوش مصنوعی دیگری که آزمایش شدند عملکرد بهتری داشت.
این مدل همچنین مسئول کنترل ربات چهارپای Spot شرکت Boston Dynamics با یک بازوی شش درجه آزادی است. ربات Spot روی پدال سطل زباله فشار می‌دهد، یک قوطی نوشابه را در دست می‌گیرد، با دوربین مچی خود بررسی می‌کند که قوطی در مرکز قرار گرفته باشد و سپس آن را داخل سطل می‌اندازد. پیش از انجام این حرکت فیزیکی، آرگون یک نسخه دیجیتالی از سطل را در محیط شبیه‌سازی MuJoCo می‌سازد و تعادل آن را در حالی که ربات روی سه پا قرار دارد آزمایش می‌کند. تنها پس از این مرحله است که ربات واقعی پدال را حرکت می‌دهد.
تنها یک تصویر از یک میز برای آرگون کافی است تا یک نسخه دیجیتالی از آن را در MuJoCo ایجاد کند، وظایف جدیدی طراحی کند و راهبردی برای انجام بیش از ۴۵۰۰ حالت مختلف از یک کار توسط ربات پیشنهاد دهد؛ آن هم پیش از آنکه یک مدل جدید بینایی-زبان-عمل آموزش داده شود. با استفاده از این مدل، نرخ موفقیت ربات واقعی از ۵۶ درصد به ۷۵ درصد افزایش یافت و این کار ۱۱ ثانیه سریع‌تر انجام شد.
آرگون می‌تواند شبیه‌سازی و رفتارهای مورد نیاز را با استفاده از تصاویر دوربین ربات یا حتی یک طرح ساده از یک ربات انسان‌نما که جعبه‌ای را واژگون می‌کند، استخراج کند. در این روش، ربات واقعی پیش از آنکه فرصتی برای ایجاد مشکل داشته باشد، می‌تواند در مرحله طراحی و آزمایش از نتایج استفاده کند.
آرگون همچنین می‌تواند ویدئوهای ضبط‌شده از حرکت ربات را با دقت بالایی برچسب‌گذاری دوباره کند؛ حتی تا سطح نحوه تماس انگشتان ربات با اشیا. این مدل می‌تواند عملکرد خود را در یک بازوی شش درجه آزادی تغییر داده و بهبود دهد و عملیات برداشتن و قرار دادن اشیا را در هر مرحله سریع‌تر و دقیق‌تر کند.
کاربران می‌توانند تنها با ارائه یک دستور، از آرگون بخواهند مقالات منتشرشده درباره کنترل رباتیک را در محیط MuJoCo مبتنی بر مرورگر بازسازی کند. دسترسی به این قابلیت اکنون از طریق API پولی جمینی و برای مشترکان Google AI Ultra فراهم شده است.