دیتاداک آزمایش در محیط عملیاتی را به حوزه پایش‌پذیری عامل‌های هوش مصنوعی می‌آورد

www.infoq.com

انتشار در منبع: انتشار در سایت ما:

مقاله اصلی · English

دیتاداک (Datadog) با افزودن قابلیت آزمایش‌های آنلاین (Online Experiments) به پلتفرم پایش‌پذیری عامل‌های هوش مصنوعی (Agent Observability) خود، امکان مقایسه نسخه‌های مختلف عامل‌های هوش مصنوعی را در مواجهه با ترافیک واقعی محیط عملیاتی فراهم کرده است. به این ترتیب، تیم‌های مهندسی دیگر مجبور نیستند صرفاً به مجموعه‌داده‌های ارزیابی ازپیش‌تعریف‌شده متکی باشند. این قابلیت امتیازهای ارزیابی عامل‌ها را با معیارهای عملیاتی مانند تأخیر، میزان مصرف توکن، هزینه اجرا و خطاها ترکیب می‌کند تا تیم‌ها بتوانند تشخیص دهند تغییر مدل، پرامپت، راهبرد بازیابی اطلاعات یا ابزارهای مورد استفاده واقعاً عملکرد عامل را بهبود داده است یا خیر.

این قابلیت به یکی از چالش‌های رو به رشد در توسعه عامل‌های هوش مصنوعی می‌پردازد: تغییری که در یک آزمون کنترل‌شده عملکرد بهتری دارد، ممکن است هنگام مواجهه با درخواست‌های پیش‌بینی‌ناپذیر کاربران در محیط واقعی نتیجه کاملاً متفاوتی ایجاد کند. رویکرد دیتاداک با کنار هم قرار دادن آزمایش‌های کنترل‌شده، داده‌های تله‌متری محیط عملیاتی و ردگیری‌های اجرای عامل، شواهدی درباره نتیجه عملکرد و همچنین رفتار منتهی به آن در اختیار تیم‌ها قرار می‌دهد.

ارزیابی‌های آفلاین همچنان بخش مهمی از فرایند توسعه عامل‌ها هستند. تیم‌ها می‌توانند نسخه‌های مختلف را با استفاده از مجموعه‌داده‌های ازپیش‌تعریف‌شده آزمایش کنند، پاسخ‌ها را بسنجند و پیش از انتشار، مشکلات شناخته‌شده و پسرفت‌های عملکردی را شناسایی کنند.

بااین‌حال، میزان اعتبار این ارزیابی‌ها به نماینده بودن مجموعه‌داده‌ها و معیارهای امتیازدهی آن‌ها بستگی دارد. گردش‌کارهای جدید کاربران، درخواست‌های غیرمنتظره و تغییر در پاسخ ابزارها ممکن است ضعف‌هایی را آشکار کنند که در هیچ‌یک از موارد آزمایشی موجود پیش‌بینی نشده‌اند.

آزمایش‌های آنلاین این محدودیت را با ارزیابی رفتار عامل‌ها در تعاملات واقعی کاربران برطرف می‌کنند. تیم‌ها می‌توانند با تقسیم تصادفی ترافیک محیط عملیاتی میان یک نسخه مبنا و نسخه تغییریافته، عملکرد آن‌ها را مقایسه کنند. این روش تأثیر تفاوت میان درخواست‌های کاربران را کاهش می‌دهد.

چنین رویکردی تصویر واقع‌بینانه‌تری از عملکرد عامل در شرایط و بار کاری واقعی ارائه می‌کند و هم‌زمان به تیم‌ها کمک می‌کند سناریوهای جدیدی را شناسایی کنند که در نهایت باید به مجموعه‌داده‌های آزمون رگرسیون آفلاین افزوده شوند.

دیتاداک ارزیاب‌های قابلیت Agent Observability را با قابلیت Experiments خود یکپارچه کرده است تا بتوان امتیازهای ارزیابی را در کنار معیارهای متداول عملیاتی بررسی و مقایسه کرد.

تیم‌ها می‌توانند کیفیت، دقت و کامل بودن پاسخ‌ها را بسنجند و هم‌زمان مدت‌زمان اجرا، میزان مصرف توکن، هزینه تخمینی و خطاهای گردش‌کار را زیر نظر بگیرند. قابلیت پرچم‌های ویژگی (Feature Flags) نیز تخصیص ترافیک را مدیریت می‌کند و به مهندسان اجازه می‌دهد ابتدا تغییرات را در معرض دید درصد کوچکی از کاربران قرار دهند و سپس به‌تدریج دامنه انتشار آن‌ها را گسترش دهند.

این موضوع اهمیت زیادی دارد، زیرا بهبود عملکرد معمولاً بدون ایجاد بده‌بستان میان شاخص‌های مختلف حاصل نمی‌شود. برای مثال، ممکن است یک مدل ارزان‌تر به تلاش‌های مجدد بیشتری نیاز داشته باشد یا یک راهبرد بازیابی اطلاعات جدید، کیفیت شواهد را افزایش دهد اما زمان اجرا را طولانی‌تر کند.

دیتاداک همچنین نتایج آزمایش‌ها را به ردگیری‌های اجرای تک‌تک عامل‌ها متصل می‌کند. مهندسان می‌توانند فراخوانی ابزارها، آرگومان‌های ارسال‌شده و نتایج بازگشتی را بررسی کنند تا دلیل تفاوت رفتار نسخه‌های مختلف را دریابند.

در نمونه‌ای که در مقاله به آن اشاره شده، دیتاداک مدل GPT-5.6 Luna را با GPT-6 Luna مقایسه کرد و ترافیک را به‌طور مساوی میان این دو تقسیم کرد. در این آزمایش، یک ارزیاب مبتنی بر مدل زبانی بزرگ (LLM) کیفیت فرایند بررسی را در مقیاسی از یک تا پنج امتیازدهی کرد. معیارهای ارزیابی شامل دقت، کامل بودن و میزان اتکای نتیجه‌گیری‌ها به شواهد موجود بود.

به گفته مقاله، نتایج نشان داد مدل جدیدتر هزینه تخمینی را ۴۴٫۳ درصد کاهش داده است؛ درحالی‌که امتیازهای کیفیت دو مدل همچنان نزدیک به هم باقی ماندند و به‌ترتیب ۳٫۸۴ و ۳٫۸۶ بودند.

بااین‌حال، بررسی شاخص‌های عملیاتی نگرانی‌هایی را نیز آشکار کرد. برآوردها نشان می‌داد مدل جدیدتر ممکن است زمان اجرا و تعداد خطاهای گردش‌کار را افزایش داده باشد، هرچند فاصله‌های اطمینان آن‌قدر گسترده بودند که نمی‌شد این موارد را پسرفت‌های قطعی عملکرد دانست.

بررسی ردگیری‌های اجرا نشان داد مدل جدیدتر پارامترهای نامعتبر را نیز با دفعات بیشتری به ابزارها ارسال می‌کند؛ هرچند معمولاً پس از چند بار تلاش مجدد، مشکل برطرف می‌شد. این رفتار در امتیاز کلی کیفیت به‌اندازه کافی قابل مشاهده نبود.

دیتاداک با استفاده از این یافته، پیش از ادامه فرایند جایگزینی مدل، نحوه مدیریت ابزارها را بهبود داد. فراخوانی‌های ناموفق نیز به‌عنوان مواردی مناسب برای افزودن به آزمون‌های رگرسیون آفلاین شناسایی شدند.

دیتاداک تنها شرکتی نیست که برای حل این چالش تلاش می‌کند. ابزارهایی مانند LangSmith و Langfuse قابلیت‌های ردگیری و ارزیابی عامل‌ها را ارائه می‌دهند و پلتفرم‌های آزمایش و انتشار کنترل‌شده، مانند LaunchDarkly، از انتشار تدریجی و مدیریت‌شده قابلیت‌ها پشتیبانی می‌کنند. رویکرد دیتاداک این حوزه‌ها را در چارچوب اکوسیستم موجود پایش‌پذیری خود به یکدیگر پیوند می‌دهد و نتایج ارزیابی را مستقیماً به آزمایش‌های محیط عملیاتی و شواهد حاصل از اجرای عامل‌ها متصل می‌کند.

ایده اصلی دیتاداک این است که آزمایش‌های آنلاین می‌توانند چرخه بازخوردی میان رفتار سیستم در محیط عملیاتی و آزمون‌های مرحله توسعه ایجاد کنند. شکست‌ها و خطاهای پیش‌بینی‌نشده به موارد جدید آزمون رگرسیون تبدیل می‌شوند و آزمایش‌های بعدی مشخص می‌کنند که آیا تغییرات اعمال‌شده واقعاً توانسته‌اند آن مشکلات را برطرف کنند یا خیر.

تغییر اساسی در این رویکرد، عبور از این پرسش است که آیا یک عامل ارزیابی‌های ازپیش‌تعریف‌شده را با موفقیت پشت سر می‌گذارد یا نه؛ پرسش مهم‌تر این است که آیا در شرایط واقعی عملکرد بهتری دارد. برای مهندسی عامل‌های هوش مصنوعی، آزمایش در محیط عملیاتی ممکن است به‌اندازه روش‌های سنتی آزمون نرم‌افزار اهمیت پیدا کند.