گوگل دیپ‌مایند از جینی ۴ با قابلیت تولید بومی صدا رونمایی کرد
جینی 4 (Genie 4) در مرحله پیش‌نمایش پژوهشی برای آزمایش‌کنندگان مورد اعتماد قرار دارد. دسترسی کاربران اشتراک گوگل AI Ultra از طریق پروژه جینی و همچنین دسترسی اولیه توسعه‌دهندگان نیز به‌زودی فراهم خواهد شد.
گوگل دیپ‌مایند از جینی ۴ رونمایی کرده است؛ یک مدل بلادرنگ برای شبیه‌سازی جهان که محیط‌هایی واقع‌گرایانه با حرکت‌های روان ایجاد می‌کند و هم‌زمان صداهای محیطی، صوت‌های شبیه موسیقی و گفت‌وگوی کلامی تولید می‌کند. مدل جمنای اومنی (Gemini Omni) به واقعیت جهان متکی است و ظاهر و رفتار محیط را با دنیای واقعی هماهنگ می‌کند؛ مدل‌های دیگر جمنای نیز به حفظ انسجام صحنه‌ها کمک می‌کنند. دیپ‌مایند این فناوری را زیرساختی برای آموزش ربات‌ها و عامل‌های هوش مصنوعی و ایجاد تجربه‌های تعاملی جدید می‌داند.
This is Genie 4, our most realistic and interactive world model yet. 🌐
Explore dynamic environments in real time to see how the scene responds, sounds, and how the people in it move, react, and speak. pic.twitter.com/6mmSUm9BBO
کاربران می‌توانند با استفاده از صفحه‌کلید در محیط حرکت کنند و با فرمان‌های متنی، صحنه‌ای را که در حال اجراست تغییر دهند. برای مثال، می‌توانند وضعیت آب‌وهوا را عوض کنند، زاویه دوربین را تغییر دهند یا فرد یا شیئی را به محیط بیفزایند؛ آن هم بدون اینکه لازم باشد صحنه از ابتدا اجرا شود. جمنای هر درخواست را با توجه به بافت محیط تفسیر می‌کند و سپس در فاصله میان ورودی‌های کاربر، وضعیت جهان شبیه‌سازی‌شده را زیر نظر می‌گیرد و آن را هدایت می‌کند.
به گفته دیپ‌مایند، جینی ۴ می‌تواند آیرودینامیک، برخورد اجسام، حرکت طبیعی انسان و واکنش به محیط اطراف را مدل‌سازی کند و امکان هدایت شخصیت‌ها را نیز در اختیار کاربر بگذارد. این نخستین مدل بلادرنگ شبیه‌سازی جهان در این شرکت است که صدا را به‌صورت بومی تولید می‌کند؛ از صداهایی مانند وزش باد و امواج گرفته تا گفت‌وگوهایی که در واکنش به دستورها یا رویدادها شکل می‌گیرند.
Excited to share Genie 4 today our most realistic and interactive world model:
- steer dynamic environments in real time, shaping events, camera angles, and actions
- generate native audio matched to the world, from realistic background sounds to characters who can converse in… pic.twitter.com/BFgQQH9KUb
در سناریوهایی که به چند مرحله نیاز دارند، جمنای ۳.۸ فلش (Gemini 3.8 Flash) نقش عامل راهنما را ایفا می‌کند. این مدل فریم‌ها را بررسی می‌کند، هدف را به چند مرحله تقسیم می‌کند، پیشرفت کار را می‌سنجد، نتایج را ارزیابی می‌کند و در صورت تغییر محیط یا مداخله کاربر، برنامه خود را از نو تنظیم می‌کند. دیپ‌مایند همچنین در حال آزمایش جمنای ۴ آرگون (Gemini 4 Argon) در کنار جینی ۴ برای کاربردهای رباتیک است. در یکی از نمایش‌ها، برنامه عملیاتی آرگون به زیرنویس‌های زنده تبدیل می‌شود تا جینی آن‌ها را در محیط اجرا کند. نمایش دیگری، ربات انسان‌نمای آپولو (Apollo) شرکت اپترونیک (Apptronik) را در حال بازی چکرز نشان می‌دهد.
نسخه پیش‌نمایش پژوهشی به‌تدریج در اختیار آزمایش‌کنندگان مورد اعتماد در حوزه‌های صنایع خلاق، روزنامه‌نگاری، آموزش، بازی‌سازی و مهندسی قرار می‌گیرد. آزمایش‌ها کاربردهایی مانند پیش‌نمایش تصویری فیلم، ساخت شبیه‌سازی از روی عکس‌های دوبعدی آرشیوی، طراحی ایده‌های بازی و سناریوهای سازمانی را در بر می‌گیرند. این موارد در حال حاضر صرفاً آزمایش و بررسی قابلیت‌ها هستند و هنوز به محصولات عمومی تبدیل نشده‌اند. دسترسی عمومی کاربران و توسعه‌دهندگان نیز آغاز نشده است. دیپ‌مایند اعلام کرده که جینی ۴ به‌زودی از طریق پروژه جینی در اختیار مشترکان گوگل AI Ultra قرار می‌گیرد و دسترسی اولیه به آن از طریق رابط برنامه‌نویسی کاربردی جمنای (Gemini API) و گوگل AI Studio نیز برای شرکای منتخب فراهم خواهد شد. همچنین، فهرست انتظار پروژه جینی در دسترس قرار دارد.
دیپ‌مایند می‌گوید ویدئوها و صداهای تولیدشده با این سامانه دارای واترمارک‌های SynthID هستند و این فناوری با ارزیابی‌های ایمنی و سازوکارهای حفاظتی همراه شده است. با این حال، جینی ۴ همچنان سامانه‌ای آزمایشی و در مراحل اولیه توسعه است. در جلسات طولانی، هنگام انجام ویرایش‌های پیچیده و مکرر یا جابه‌جایی در محیط، ممکن است جزئیات بصری تغییر کنند و تداوم حضور اشیا در صحنه به‌درستی حفظ نشود. تعامل فیزیکی، کیفیت صدا، تولید متن خوانا، دقت فضایی و حفظ انسجام در بلندمدت نیز همچنان از چالش‌های حل‌نشده این فناوری هستند. چشم‌انداز بلندمدت دیپ‌مایند، ترکیب توانایی جمنای در برنامه‌ریزی ساختار و توالی زمانی با قابلیت جینی برای تولید فوری تصویر، صدا و واکنش‌های محیط است.
منابع و اطلاعات تکمیلی
- جینی ۳: افق تازه‌ای برای مدل‌های شبیه‌سازی جهان: معرفی پیشین دیپ‌مایند، مدل تعاملی بلادرنگی را شرح می‌دهد که پیش از جینی ۴ توسعه یافته بود.
- پروژه جینی: آزمایش جهان‌های تعاملی بی‌پایان: توضیحات گوگل درباره عرضه اولیه پروژه جینی در ماه ژانویه و دسترسی مشترکان گوگل AI Ultra به نمونه اولیه این فناوری.