پرتکست با جذب ۵ میلیون دلار سرمایه، لایه نظارت بلادرنگ بر عملکرد عامل‌های هوش مصنوعی را راه‌اندازی کرد

siliconangle.com

انتشار در منبع: انتشار در سایت ما:

مقاله اصلی · English

شرکت Pretxt AI که در حوزه نظارت بر هوش مصنوعی فعالیت می‌کند، امروز با جذب ۵ میلیون دلار سرمایه اولیه رسماً کار خود را آغاز کرد. هدف این شرکت مهار خطرات واقعی ناشی از به‌کارگیری عامل‌های خودمختار هوش مصنوعی در محیط‌های عملیاتی سازمان‌هاست.

پرتکست نوع تازه‌ای از ابزارهای «نظارت بر هوش مصنوعی» توسعه داده است که در زمان اجرای وظایف، بر عملکرد عامل‌ها نظارت می‌کند تا اطمینان حاصل شود آن‌ها همواره از قوانین و دستورالعمل‌های سازمان پیروی می‌کنند. دور سرمایه‌گذاری امروز به رهبری شرکت Deciens Capital انجام شد و Howdy Partners، Service Provider Capital و NSV Wolf Capital نیز در آن مشارکت داشتند.

این استارتاپ راهکاری را ارائه می‌کند که به‌عنوان یک لایه نظارتی پیوسته در زمان اجرا عمل می‌کند. این لایه هم‌زمان با انجام وظایف توسط عامل‌های هوش مصنوعی، رفتار آن‌ها را با قوانین و سیاست‌های سازمان مادر تطبیق می‌دهد. اگر مشخص شود عاملی در حال منحرف شدن از مسیر تعیین‌شده است، سامانه بلافاصله مداخله می‌کند و آن را به مسیر درست بازمی‌گرداند؛ پیش از آنکه اشتباهی جدی به کسب‌وکار آسیب بزند.

با افزایش اعتماد سازمان‌ها به عامل‌های هوش مصنوعی و سپردن وظایف حساس‌تر به آن‌ها، احتمالاً ابزارهای حفاظتی بلادرنگی مانند راهکار پرتکست به یکی از اولویت‌های اصلی شرکت‌ها تبدیل خواهند شد. عامل‌ها دیگر قرار نیست فقط ایمیل بنویسند یا تصویر تولید کنند؛ بلکه ممکن است مسئول رسیدگی به درخواست‌های بازپرداخت مشتریان، دسترسی به پایگاه‌های داده حیاتی و تغییر اطلاعات ثبت‌شده در آن‌ها شوند. در چنین شرایطی، شرکت‌ها به اطمینان حداکثری نیاز دارند که این وظایف بدون خطا انجام می‌شوند.

بااین‌حال، ابزارهای لازم برای ایجاد چنین اطمینانی هنوز بسیار محدودند. هوش مصنوعی به تولید پاسخ‌های توهم‌آمیز یا نادرست، به‌ویژه زمانی که پاسخ پرسشی را نمی‌داند، شهرت دارد و عامل‌های خودمختار نیز بارها رفتارهای غیرقابل‌پیش‌بینی از خود نشان داده‌اند. برای اینکه این عامل‌ها مراحل ضروری یک فرایند کاری را نادیده بگیرند یا برای ساده‌تر کردن وظیفه‌ای که بر عهده دارند، استثناهایی مغایر با سیاست‌های سازمان بسازند، لزوماً نیازی به یک حمله مخرب از طریق تزریق دستور (Prompt Injection) نیست. چنین رفتارهایی هم در محیط‌های آزمایشگاهی و هم در دنیای واقعی مشاهده شده‌اند.

در واکنش به این خطرات، بیشتر ابزارهای امنیتی رویکردی سخت‌گیرانه در پیش می‌گیرند و عامل‌ها را به‌طور کامل مسدود می‌کنند؛ رویکردی که باعث کند شدن روند انجام کارها می‌شود. راهکار دیگر، شناسایی و گزارش خطاها پس از وقوع آن‌هاست، اما در این حالت ممکن است عامل پیش از شناسایی مشکل، خسارت گسترده‌ای به بار آورده باشد.

برایان سوبی (نفر سمت چپ در تصویر) و آرون کاستلو (نفر سمت راست)، بنیان‌گذاران پرتکست، به این نتیجه رسیدند که شرکت‌ها به رویکردی متعادل‌تر برای امنیت و نظارت بر عامل‌های هوش مصنوعی نیاز دارند. سوبی که مدیرعامل این استارتاپ است، پیش‌تر سمت‌های ارشد امنیتی در Salesforce Inc. و Mitre Inc. داشته و پس از آن شرکت نرم‌افزاری امنیتی مبتنی بر مدل SaaS به نام AppOmni Inc. را تأسیس کرده است.

او در AppOmni با کاستلو آشنا شد؛ فردی که اکنون مدیر ارشد فناوری پرتکست است. این دو در دوران فعالیت خود در AppOmni چندین آسیب‌پذیری مهم را در عامل‌های هوش مصنوعی توسعه‌یافته توسط Salesforce و ServiceNow Inc. شناسایی کردند و در همین مسیر به درک عمیق‌تری از الزامات ایمن نگه داشتن این عامل‌ها دست یافتند.

نظارت در زمان اجرا

بسیاری از ابزارهای سنتی پایش عامل‌های هوش مصنوعی، از یک مدل زبانی بزرگ دوم با نقش «داور» استفاده می‌کنند تا رفتار مدل اصلیِ مسئول انجام کار را ارزیابی کند. اما بنیان‌گذاران پرتکست این روش را کنار گذاشتند؛ زیرا به تأخیر در عملکرد سامانه منجر می‌شود، هزینه محاسباتی را افزایش می‌دهد و بیش از اندازه به حدس و گمان متکی است.

در عوض، پلتفرم نظارت بر هوش مصنوعی پرتکست از یک موتور تقریباً قطعی بهره می‌برد که اقدامات عامل‌ها را ظرف چند میلی‌ثانیه ارزیابی می‌کند تا موارد نقض قوانین را شناسایی کرده و پیش از تکمیل، آن‌ها را متوقف کند. این شرکت معتقد است فناوری‌اش می‌تواند تا ۶۰ برابر سریع‌تر از ابزارهای امنیتی مبتنی بر روش «مدل زبانی بزرگ در نقش داور» عمل کند.

نتایج آزمایش‌ها نیز از اثربخشی این رویکرد حکایت دارد. پرتکست در آزمایش‌های انجام‌شده با استفاده از AutomationBench شرکت Zapier توانست میزان نقض سیاست‌های سازمانی توسط عامل‌ها را از حدود یک مورد در هر پنج مورد به صفر کاهش دهد. این ابزار به‌گونه‌ای طراحی شده است که پیاده‌سازی آن ساده باشد و تیم‌ها برای نظارت بر مدل‌ها یا عامل‌های موردنظرشان نیازی به شناخت عمیق ساختار و عملکرد آن‌ها نداشته باشند.

کاربران کافی است سیاست‌ها، استانداردها و محدودیت‌هایی را که باید بر عملکرد هر عامل اعمال شوند، انتخاب کنند و سپس وضعیت رعایت آن‌ها را به‌صورت بلادرنگ زیر نظر بگیرند. این پلتفرم همچنین امکان پیگیری تأییدیه‌ها، بازگرداندن نسخه‌های قبلی برنامه‌ها و ارجاع موارد پیچیده و غیرمعمول به تصمیم‌گیرندگان انسانی را فراهم می‌کند.

نمایی از پلتفرم نظارت بر هوش مصنوعی پرتکست

قابلیت ارجاع موارد پیچیده به انسان اهمیت ویژه‌ای دارد؛ زیرا برنامه‌های امنیتی بسیاری از سازمان‌ها در مواجهه با موقعیت‌هایی که از قبل پیش‌بینی نشده‌اند، با خلأهایی روبه‌رو هستند. در چنین شرایطی، پرتکست فعالیت عامل را متوقف می‌کند و از یک نیروی انسانی می‌خواهد درباره قوانین قابل‌اعمال بر آن موقعیت تصمیم بگیرد.

کاستلو در این‌باره گفت: «نظارت بر یک عامل هوش مصنوعی نباید به این معنا باشد که افراد مجبور شوند درباره تمام حوزه‌هایی که عامل با آن‌ها سروکار دارد یا نحوه ساخته شدن آن متخصص شوند. تیم‌ها به زبان ساده توضیح می‌دهند که عامل باید چگونه رفتار کند و چه محدودیت‌هایی دارد؛ ما نیز بر عملکرد آن نظارت می‌کنیم و آن را در همین چارچوب هدایت می‌کنیم. بنابراین نیازی به بررسی پیچیده مجوزهای دسترسی یا کنکاش در ساختار داخلی عامل نیست.»

ابزار نظارت بر هوش مصنوعی پرتکست اکنون از طریق برنامه دسترسی زودهنگام در دسترس است. بازار هدف اصلی این محصول، صنایع قانون‌گذاری‌شده و حساس است؛ حوزه‌هایی که در آن‌ها نمی‌توان خطا و پاسخ‌های توهم‌آمیز هوش مصنوعی را پذیرفت.

این فناوری در مؤسسات مالی و شرکت‌های بیمه می‌تواند اجرای مقررات مربوط به احراز هویت و اعتبارسنجی وام‌گیرندگان را تضمین کند و پرونده‌های پیچیده خسارت را برای بررسی به کارشناسان انسانی ارجاع دهد. در حوزه سلامت و علوم زیستی نیز مانع خروج عامل‌ها از محدودیت‌های سخت‌گیرانه می‌شود. در سامانه‌های پشتیبانی مشتریان هم می‌تواند از ارائه تخفیف‌ها یا بازپرداخت‌های تأییدنشده به مشتریان جلوگیری کند.

نظارت بر هوش مصنوعی می‌تواند مزایای متعددی برای گروه‌های مختلف در سازمان‌ها داشته باشد. مدیران ارشد اطلاعات و دیگر مدیران اجرایی می‌توانند پروژه‌های ارزشمندتر هوش مصنوعی را با ایمنی بیشتری گسترش دهند. در همین حال، تیم‌های امنیت، مسئولان انطباق با مقررات و مهندسان پلتفرم قادر خواهند بود خلأهای مدیریت ریسک را برطرف کنند و سیاست‌های سازمانی را با تأخیر اندک اجرا کنند، بدون آنکه به استفاده از مدل‌های اضافی نیاز داشته باشند.

کریس استفن، تحلیلگر شرکت Enterprise Management Associates، معتقد است آنچه پرتکست را از رقبا متمایز می‌کند، تمرکز این شرکت بر اصول اولیه است. این ابزار نه‌تنها بررسی می‌کند که عامل‌ها رفتار مناسبی دارند یا خیر، بلکه اطمینان می‌دهد وظیفه محول‌شده را نیز به‌درستی انجام می‌دهند و برای رسیدن به نتیجه، قوانین را زیر پا نمی‌گذارند یا از مراحل ضروری کار صرف‌نظر نمی‌کنند. به گفته او، این رویکرد عملاً دسته تازه‌ای از ابزارهای نظارت بر هوش مصنوعی را شکل می‌دهد.

استفن گفت: «بیشتر ابزارها می‌پرسند آیا یک عامل امن، منطبق با مقررات یا قابل مشاهده و پایش است؛ اما ابزارهای بسیار کمتری می‌توانند نشان دهند که عامل وظیفه‌ای را که به آن سپرده شده، به‌درستی انجام می‌دهد یا خیر. بیشتر ابزارها فقط پس از وقوع مشکل گزارش می‌دهند؛ زمانی که دیگر برای جلوگیری از خسارت دیر شده است. پرتکست زمانی مداخله می‌کند که هنوز امکان تغییر نتیجه وجود دارد و عامل را به مسیر درست بازمی‌گرداند.»

عکس: Pretxt