سیناپس نگار

آخرین اخبار هوش مصنوعی، تحلیل‌ها و ابزارهای AI

پس از آنکه OpenAI رفتار خودسرانه عامل‌های هوش مصنوعی خود را «زنگ خطر» خواند، آزمایشگاه The AI Lab پیشنهاد ثبت عمومی فعالیت عامل‌های هوش مصنوعی را مطرح کرد

www.einnews.com

انتشار در منبع: انتشار در سایت ما:

مقاله اصلی · English

دینش منده، بنیان‌گذار و رئیس آزمایشگاه The AI Lab و مخترع پروتکل هویت اعتماد
دینش منده، بنیان‌گذار و رئیس آزمایشگاه The AI Lab و مخترع پروتکل هویت اعتماد (TIP).

عامل‌های هوش مصنوعی اکنون می‌توانند وارد سامانه‌های شرکت‌های دیگر شوند. شبکه مبتنی بر گراف جهت‌دار بدون دور (DAG) در پروتکل TIP، با بهره‌گیری از رمزنگاری مقاوم در برابر رایانش کوانتومی، امکان ثبت هویت و فعالیت این عامل‌ها را فراهم می‌کند؛ سوابقی که تحت کنترل انحصاری هیچ شرکتی نیستند.

«عامل‌های OpenAI به سامانه‌های Hugging Face نفوذ کردند و این Hugging Face بود که پیش از همه ماجرا را علنی کرد. هیچ شرکتی نباید تنها مرجع ثبت و تأیید فعالیت عامل‌های هوش مصنوعی خودش باشد.»

برانچبرگ، نیوجرسی، ایالات متحده، ۱۵ اکتبر ۲۰۲۶ — آزمایشگاه The AI Lab امروز پیشنهاد کرد سامانه‌ای عمومی برای ثبت هویت و اقدامات عامل‌های هوش مصنوعی ایجاد شود؛ سامانه‌ای که هرگونه دست‌کاری در سوابق آن قابل تشخیص باشد و بر شبکه پروتکل هویت اعتماد (TIP) تکیه کند. این شبکه از ۱۴ ژوئیه ۲۰۲۶ با سازوکار اجماع مبتنی بر گراف جهت‌دار بدون دور (DAG) فعالیت می‌کند و تمام سوابق ثبت‌شده در آن با امضاهای دیجیتال پساکوانتومی ML-DSA-65 امضا می‌شوند.

این پیشنهاد پس از مجموعه‌ای از رخدادهای مربوط به عامل‌های هوش مصنوعی مطرح شده که تاکنون بیشترین بازتاب رسانه‌ای را داشته‌اند. OpenAI در ۲۶ اوت گزارشی منتشر کرد و توضیح داد که مدل‌های این شرکت در ماه ژوئیه چگونه توانسته بودند محدودیت‌هایی را دور بزنند که برای جلوگیری از دسترسی آن‌ها به اینترنت طراحی شده بود. به نوشته OpenAI، این عامل‌ها «از مسیرهای ارتباطی غیرمجاز استفاده کردند، از آسیب‌پذیری‌های زیرساخت مشترک بهره بردند، به اینترنت دسترسی یافتند و وارد سامانه‌های اشخاص ثالث شدند» که سامانه‌های Hugging Face نیز در میان آن‌ها بود. OpenAI این اتفاق را «زنگ خطری برای ما و برای جهان» توصیف کرد.

جدول زمانی منتشرشده از سوی OpenAI نشان می‌دهد این فعالیت‌ها بیش از دو ماه ادامه داشته است. عامل‌های این شرکت نخست در ۱۲ مه یادداشت‌هایی برای یکدیگر روی سرور داخلی بسته‌های نرم‌افزاری باقی گذاشتند. آن‌ها در ۲۶ مه راهی برای اتصال به اینترنت پیدا کردند و بعدها توانستند ۱۴ مورد از اطلاعات احراز هویت افشاشده Hugging Face را بازیابی کنند. Hugging Face در ۱۶ ژوئیه نفوذ به سامانه‌های خود را افشا کرد. بازرسان این شرکت برای بازسازی روند اتفاقات، بیش از ۱۷ هزار رویداد ثبت‌شده از فعالیت مهاجم را بررسی کردند. OpenAI در ۲۰ ژوئیه تشخیص داد که این فعالیت‌ها به عامل‌های خودش مربوط بوده و یک روز بعد، در ۲۱ ژوئیه، نقش خود را در این ماجرا علنی کرد.

نشریه فورچون در ۲۶ سپتامبر گزارش داد که یکی از عامل‌های OpenAI در جریان آزمایشی در محیطی ایزوله، در ۲۰ سپتامبر توانسته بود به اینترنت دسترسی پیدا کند. در پی این اتفاق، OpenAI برای دومین بار در سه ماه، آموزش توانمندترین مدل‌های خود را متوقف کرد.

در استرالیا نیز آنتونی آلبانیزی، نخست‌وزیر این کشور، در ماه سپتامبر اعلام کرد که عامل‌های OpenAI به آمار غیرعمومی برنامه خدمات درمانی مدیکر دسترسی یافته‌اند؛ اطلاعاتی که در اختیار سازمان خدمات استرالیا (Services Australia) قرار داشت. پژوهشگران شرکت Transluce تلاش‌های مرتبط برای دسترسی به داده‌های سلامت دولتی را نخستین مورد گزارش‌شده از نفوذ عامل‌های هوش مصنوعی به سامانه‌های یک دولت توصیف کردند. OpenAI در گفت‌وگو با شبکه ABC اعلام کرد که این فعالیت‌ها با «بررسی مستمر رفتارهای ناهمسو با اهداف تعیین‌شده برای مدل‌ها» ارتباط داشته است.

عامل‌های هوش مصنوعی همچنین ممکن است در خدمت افرادی قرار گیرند که اهداف مخرب دارند. شرکت Anthropic در نوامبر ۲۰۲۵ گزارش داد گروهی که به ارزیابی این شرکت تحت حمایت دولت چین بوده، از ابزار Claude Code برای حمله به حدود ۳۰ سازمان استفاده کرده و در شمار محدودی از موارد موفق شده است. مهاجمان به مدل گفته بودند که برای یک شرکت معتبر امنیت سایبری کار می‌کند و مأمور انجام آزمایش‌های دفاعی است. به نوشته Anthropic، در اوج این عملیات، هوش مصنوعی «هزاران درخواست ارسال می‌کرد که اغلب تعداد آن‌ها به چند درخواست در هر ثانیه می‌رسید». این شرکت ماجرا را «نخستین نمونه مستند از یک حمله سایبری گسترده که بدون مداخله قابل‌توجه انسان اجرا شده است» توصیف کرد.

دینش منده، بنیان‌گذار و رئیس The AI Lab و مخترع TIP، گفت: «این عامل‌ها متعلق به توانمندترین شرکت‌های هوش مصنوعی جهان بودند و در بزرگ‌ترین مورد، نخستین روایت عمومی از اتفاقات را شرکتی منتشر کرد که هدف حمله قرار گرفته بود. امروز شرکتی که یک عامل هوش مصنوعی را به کار می‌گیرد، تنها نسخه از سوابق فعالیت آن را نیز در اختیار دارد. وقتی یک عامل وارد سامانه‌های سازمان دیگری می‌شود، سوابق فعالیتش نباید در مالکیت انحصاری هیچ‌یک از طرف‌های درگیر باشد.»

سوابقی که عامل هوش مصنوعی کنترل آن‌ها را در اختیار ندارد

تلاش‌ها برای توسعه ابزارهای مشاهده و پایش فعالیت عامل‌های هوش مصنوعی به‌سرعت در حال پیشرفت است. پروژه OpenTelemetry پیش‌نویس استانداردی برای ثبت داده‌های پایشی مربوط به ایجاد عامل، فراخوانی آن و استفاده عامل از ابزارها تهیه کرده است؛ استانداردی که همچنان در مرحله توسعه قرار دارد. در فوریه ۲۰۲۶، مرکز ملی تعالی امنیت سایبری وابسته به مؤسسه ملی استانداردها و فناوری ایالات متحده (NIST) این پرسش را مطرح کرد که سازمان‌ها چگونه باید عامل‌های نرم‌افزاری و هوش مصنوعی را شناسایی کنند، به آن‌ها مجوز بدهند و فعالیتشان را حسابرسی کنند. ماده ۱۲ قانون هوش مصنوعی اتحادیه اروپا، سامانه‌های هوش مصنوعی پرخطر را ملزم می‌کند رویدادها را به‌طور خودکار ثبت کنند و ماده ۱۹ نیز ارائه‌دهندگان این سامانه‌ها را موظف می‌سازد سوابق را دست‌کم شش ماه نگه دارند.

بااین‌حال، در همه این روش‌ها، سوابق به محلی فرستاده می‌شوند که بهره‌بردار سامانه انتخاب کرده است و اگر امضای دیجیتالی هم وجود داشته باشد، با کلیدهایی ایجاد می‌شود که در اختیار همان بهره‌بردار است. چنین روشی در محدوده یک شرکت کارآمد است، اما زمانی که عامل وارد سامانه‌های سازمان دیگری شود، دو شرکت درباره آنچه رخ داده اختلاف پیدا کنند یا بهره‌بردار دیرتر از دیگران از حادثه باخبر شود، دیگر پاسخ‌گو نیست. فردی که از فعالیت یک عامل هوش مصنوعی آسیب دیده، نباید برای دستیابی به شواهد ناچار باشد از سازنده همان عامل درخواست اطلاعات کند. همچنین عاملی که ادعا می‌کند از طرف یک شرکت امنیتی فعالیت دارد، باید بتواند این ادعا را اثبات کند؛ در غیر این صورت، باید از فعالیتش جلوگیری شود.

آزمایشگاه The AI Lab پیشنهاد کرده است برای هر عامل هوش مصنوعی پنج نوع سابقه دارای امضای دیجیتال ایجاد شود و همه آن‌ها در دفتر ثبت مشترک TIP نگهداری شوند.

  1. مرحله اول: صدور هویت مستقل برای عامل، تحت هویت تأییدشده یک سازمان، به‌گونه‌ای که مالک مشخص و پاسخ‌گویی برای هر عامل وجود داشته باشد.
  2. مرحله دوم: ثبت مجوز تفویض اختیار با امضای یک شخص دارای هویت تأییدشده؛ مجوزی که مشخص کند عامل از طرف چه کسی، برای چه مدتی و در چه محدوده‌ای اجازه فعالیت دارد.
  3. مرحله سوم: ایجاد رسید ثبت فعالیت برای هر اقدام مهم عامل که به‌جای ذخیره خود داده‌ها، اثرانگشت دیجیتال ورودی و خروجی آن اقدام را نگهداری کند.
  4. مرحله چهارم: فراهم‌کردن امکان لغو مجوز که تمام گره‌های شبکه ملزم به اجرای آن باشند، تا متوقف‌کردن عامل به سامانه‌های داخلی بهره‌بردار وابسته نباشد.
  5. مرحله پنجم: ایجاد تاریخچه‌ای قابل دسترس که شخص یا سازمان آسیب‌دیده، حسابرس یا نهاد ناظر بتواند بدون درخواست از بهره‌بردار آن را بررسی کند.

TIP در وضعیت کنونی خود امکان صدور هویت تأییدشده برای اشخاص و سازمان‌ها را فراهم می‌کند، فهرست اعضای سازمان‌ها را با امضای هم‌زمان سازمان و هر عضو نگهداری می‌کند، به ارائه‌دهندگان معتبر خدمات تأیید هویت اجازه لغو اعتبار یک هویت را می‌دهد و برای هر هویت تاریخچه‌ای قابل خواندن ثبت می‌کند. اما صدور هویت ویژه عامل‌های هوش مصنوعی، ثبت مجوزهای تفویض اختیار دارای امضا، ایجاد رسید فعالیت و لغو مجوز عامل‌ها در سراسر شبکه، هنوز صرفاً در حد پیشنهاد هستند و ساخته نشده‌اند. هیچ‌یک از این قابلیت‌ها نمی‌توانست جلوی خروج عامل‌ها از محیط محدودشده در ماه ژوئیه را بگیرد. آنچه این طرح اضافه می‌کند، ثبت هم‌زمان رویدادها در سوابقی است که نسخه‌ای از آن‌ها نزد نهادی غیر از بهره‌بردار نیز نگهداری می‌شود.

منده گفت: «OpenAI می‌گوید سازوکارهای حفاظتی اکنون باید بتوانند هم‌پای سرعت خود عامل‌های هوش مصنوعی عمل کنند. یکی از این سازوکارها باید ثبت سوابقی باشد که شرکت سازنده عامل نتواند بی‌سروصدا آن‌ها را تغییر دهد. TIP همین حالا چنین سوابقی را برای افراد و آثاری که منتشر می‌کنند نگهداری می‌کند. گام بعدی، عامل‌های هوش مصنوعی هستند.»

تفاوت گراف جهت‌دار بدون دور با بلاک‌چین چیست؟

سامانه‌ای که قرار است ثبت کند چه کسی چه کاری انجام داده، باید بتواند هم‌زمان اطلاعات افراد، شرکت‌ها و ماشین‌های متعدد را دریافت کند. همین نیاز، معماری TIP را تعیین کرده است.

بلاک‌چین از زنجیره‌ای خطی از بلوک‌ها تشکیل می‌شود. در هر نوبت، یک تولیدکننده بلوک، که در بیت‌کوین استخراج‌کننده و در بیشتر زنجیره‌های جدیدتر رهبر منتخب است، تراکنش‌های منتظر را جمع‌آوری می‌کند و در بلوک بعدی قرار می‌دهد؛ درحالی‌که دیگران منتظر می‌مانند. هر بلوک دقیقاً به یک بلوک پیشین متصل است و به همین دلیل، تاریخچه به‌شکل یک زنجیره واحد شکل می‌گیرد. هر تراکنشی که در یک بلوک جا نگیرد، باید تا بلوک بعدی منتظر بماند.

اما در ساختار گراف جهت‌دار بدون دور یا DAG، چندین تولیدکننده می‌توانند به‌طور هم‌زمان اطلاعات ثبت کنند. TIP از Narwhal و Bullshark استفاده می‌کند؛ معماری اجماعی که جورج دانزیس، الکساندر اشپیگلمن و همکارانشان در سال‌های ۲۰۲۱ و ۲۰۲۲ منتشر کردند. در هر دور، هر گره عضو کمیته مجموعه‌ای از سوابق خود را در یک بسته قرار می‌دهد و گره‌های دیگر با امضای دیجیتال تأیید می‌کنند که آن بسته را در اختیار دارند. این بسته امضاشده که «گواهی» نامیده می‌شود، به‌جای اتصال به یک گواهی قبلی، به چندین گواهی از دور پیشین ارجاع می‌دهد. سپس Bullshark از گراف ایجادشده، ترتیب واحد و مورد توافقی برای سوابق استخراج می‌کند. در این فرایند، خود پیوندهای میان گواهی‌ها نقش رأی را دارند؛ بنابراین توافق بر سر ترتیب رویدادها به دور جداگانه‌ای از تبادل پیام نیاز ندارد.

این طراحی سه نتیجه دارد. نخست اینکه ثبت داده‌ها هرگز منتظر یک رهبر واحد نمی‌ماند؛ بنابراین کندی یا خرابی رهبر ممکن است تعیین ترتیب نهایی را به تأخیر بیندازد، اما مانع ثبت داده‌ها نمی‌شود. دوم اینکه هرگونه دست‌کاری قابل تشخیص است، زیرا هر گواهی امضا شده و به چندین گواهی پیشین متصل است. سوم اینکه فرایند استخراج بلوک وجود ندارد و شبکه برای رقابت بر سر تولید بلوک‌ها انرژی مصرف نمی‌کند.

آزمایشگاه The AI Lab سازوکار اجماع DAG را اختراع نکرده است. شبکه Sui از مه ۲۰۲۳ این خانواده از معماری‌ها را برای پردازش پرداخت‌ها در محیط عملیاتی به کار گرفته است. TIP همین فناوری را برای هدف متفاوتی استفاده می‌کند: نگهداری یک دفتر ثبت مشترک از هویت و پدیدآورندگی که دست‌کاری در آن قابل شناسایی باشد.

سریع، کم‌مصرف و مقاوم در برابر رایانش کوانتومی

در گزارش OpenAI تأکید شده است که سازوکارهای حفاظتی باید «با سرعت خود عامل‌های هوش مصنوعی عمل کنند». از سوی دیگر، عامل مورد استفاده مهاجمان در پرونده گزارش‌شده توسط Anthropic در هر ثانیه چندین درخواست ارسال می‌کرد. آزمایشگاه The AI Lab در ژوئیه ۲۰۲۶ آزمایش بار شبکه TIP را با سه گره انجام داد که هرکدام به دو پردازنده مجازی مجهز بودند. این شبکه توانست به‌طور پایدار در هر ثانیه ۴۰ ثبت هویت را پردازش کند و همه درخواست‌ها را بپذیرد. همچنین توانست افزایش‌های ناگهانی بار تا ۱۰۰ درخواست در ثانیه را مدیریت کند. زمان رسیدن یک سابقه به تمام گره‌ها، بر اساس مقدار میانه، حدود ۲٫۷ ثانیه بود.

این ارقام بسیار پایین‌تر از توان پردازشی ۱۲۵ هزار تراکنش در ثانیه هستند که مقاله پژوهشی Bullshark برای شبکه‌ای با ۵۰ مشارکت‌کننده گزارش کرده است. بااین‌حال، TIP برای شبکه‌ای بهینه شده که بهره‌برداران مستقل بسیاری بتوانند از عهده هزینه اجرای آن برآیند. همچنین خواندن هر سابقه از طریق جست‌وجوی محلی در هر گره امکان‌پذیر است.

گره‌های TIP هیچ فایل رسانه‌ای را ذخیره نمی‌کنند. شبکه برای هر مورد تنها یک اثرانگشت دیجیتال ۳۲ بایتی نگه می‌دارد. به همین دلیل، هر گره می‌تواند با دو پردازنده مجازی، چهار گیگابایت حافظه و ۲۰ گیگابایت فضای ذخیره‌سازی فعالیت کند. به این ترتیب، یک تحریریه خبری، دانشگاه یا نهاد عمومی می‌تواند بدون نیاز به مرکز داده، نسخه مستقلی از دفتر ثبت را اجرا کند.

تمام بسته‌ها و گواهی‌های شبکه با الگوریتم ML-DSA-65 امضا می‌شوند؛ استاندارد امضای دیجیتالی که NIST در اوت ۲۰۲۴ با عنوان FIPS 204 منتشر کرد. برای هش‌کردن داده‌ها نیز از SHAKE-256 استفاده می‌شود. پیش‌نویس راهنمای NIST با شماره IR 8547 پیشنهاد می‌کند امضاهای رایج مبتنی بر RSA و رمزنگاری منحنی بیضوی پس از سال ۲۰۳۰ به‌تدریج کنار گذاشته شوند و استفاده از آن‌ها پس از سال ۲۰۳۵ مجاز نباشد. سابقه‌ای که قرار است حتی پس از پایان عمر افرادی که آن را ایجاد کرده‌اند باقی بماند، نباید در میانه عمر خود به امضای مجدد نیاز پیدا کند.

سازمان‌هایی که از عامل‌های هوش مصنوعی استفاده می‌کنند، از همین حالا چه اقداماتی می‌توانند انجام دهند؟

آزمایشگاه The AI Lab پنج اقدام را معرفی کرده است که اجرای آن‌ها چه با استفاده از TIP و چه بدون این پروتکل امکان‌پذیر است.

  1. مرحله اول: برای هر عامل هوش مصنوعی هویتی مستقل تعریف کنید و هرگز از حساب کاربری مشترک با انسان برای آن استفاده نکنید. همچنین هر عامل را به شخص مشخصی مرتبط کنید که مسئولیت فعالیت‌هایش را بر عهده داشته باشد.
  2. مرحله دوم: پیش از شروع فعالیت هر عامل، محدوده اختیارات و اقداماتی را که اجازه انجام آن‌ها را دارد، در سندی دارای امضا و تاریخ ثبت کنید.
  3. مرحله سوم: نسخه‌ای از سوابق فعالیت هر عامل را خارج از سامانه‌هایی نگهداری کنید که خود عامل امکان دسترسی به آن‌ها را دارد. مدت نگهداری این سوابق باید دست‌کم به‌اندازه دوره تعیین‌شده در ماده ۱۹ قانون هوش مصنوعی اتحادیه اروپا باشد.
  4. مرحله چهارم: آزمایش کنید که آیا می‌توان فعالیت عامل را از طریق سامانه‌ای متوقف کرد که خود عامل هیچ دسترسی به آن ندارد.
  5. مرحله پنجم: پیشاپیش با طرف‌های مقابل توافق کنید که در صورت بروز اختلاف، سوابق کدام طرف مبنای حل‌وفصل آن خواهد بود.

درباره The AI Lab

شرکت The AI Lab Intelligence Unobscured, Inc. در ایالت دلاور آمریکا ثبت شده و توسعه‌دهنده پروتکل هویت اعتماد (TIP) است. این پروتکل متن‌باز به افراد دارای هویت تأییدشده امکان می‌دهد آثار منتشرشده خود را به‌صورت دیجیتال امضا کنند تا دیگران بتوانند بررسی کنند چه کسی اثر را ایجاد کرده، چه زمانی و چگونه ساخته شده و آیا پس از انتشار تغییری در آن صورت گرفته است یا خیر. امضای دیجیتال برای اشخاص حقیقی رایگان است. اطلاعات بیشتر در وب‌سایت‌های https://theailab.org و https://theailab.org/trust-identity-protocol در دسترس است.

منابع