اینتل از نرم‌افزار بهینه‌سازی استنتاج هوش مصنوعی برای پردازنده‌های زئون رونمایی کرد
اینتل در ۱۶ اکتبر از نرم‌افزار Intel Inference Microservice رونمایی کرد؛ ابزاری که با هدف به حداکثر رساندن عملکرد استنتاج هوش مصنوعی روی واحدهای پردازش مرکزی (CPU) سروری زئون این شرکت طراحی شده است.
این نرم‌افزار که در قالب کانتینر ارائه می‌شود، امکان بهینه‌سازی سریع مدل‌های زبانی بزرگ (LLM) برای اجرا روی پردازنده‌های مرکزی را فراهم می‌کند. این مجموعه شامل کتابخانه‌هایی است که کدها، موتورهای پردازشی و تنظیمات لازم برای اجرای مدل‌های زبانی بزرگ متن‌باز را در اختیار کاربران قرار می‌دهند.
این نرم‌افزار هنگام راه‌اندازی، پردازنده اینتل را به‌طور خودکار شناسایی می‌کند و تنظیمات استنتاج هوش مصنوعی را که از پیش اعتبارسنجی و بهینه‌سازی شده‌اند، اعمال می‌کند. به این ترتیب، وابستگی به متخصصان حوزه بهینه‌سازی استنتاج هوش مصنوعی کاهش می‌یابد. چارچوب‌های مهم هوش مصنوعی، از جمله OpenAI SDK، LangChain، LlamaIndex، LiteLLM و Haystack، از مشخصات رابط برنامه‌نویسی کاربردی (API) شرکت OpenAI پشتیبانی می‌کنند. موتور پیش‌فرض استنتاج در این نرم‌افزار نیز vLLM است که به‌صورت متن‌باز عرضه می‌شود.
پیش از این، بهینه‌سازی مدل‌های زبانی بزرگ موجود برای سخت‌افزار موردنظر حدود یک هفته زمان می‌برد. تنظیماتی مانند دقت محاسباتی، توزیع بار پردازشی میان هسته‌های پردازنده، تخصیص حافظه در میان گره‌های دسترسی ناهمسان به حافظه (NUMA) و انتخاب مجموعه دستورالعمل‌های سخت‌افزاری، بسته به ترکیب مدل هوش مصنوعی و پردازنده متفاوت هستند.
اینتل قصد دارد پشتیبانی از Inference Microservice را به تمام محصولات پردازنده گرافیکی (GPU) خود گسترش دهد؛ این مجموعه شامل پردازنده‌های گرافیکی سری D نیز خواهد بود که برای استنتاج هوش مصنوعی طراحی شده‌اند.