الکساندر مدری قصد دارد به OpenAI بازگردد تا بر ایمنی هوش مصنوعی تمرکز کند

الکساندر مدری قصد دارد به OpenAI بازگردد و در زمینه ایمنی هوش مصنوعی با یاکوب پاچوتسکی، دانشمند ارشد شرکت، همکاری کند. بازگشت این مدیر پیشین ارزیابی ریسک در شرایطی صورت می‌گیرد که OpenAI با چالش‌های امنیت سایبری ناشی از قابلیت‌های مدل‌های پیشرفته روبه‌رو است.

مدری در ۱۹ اکتبر از تصمیم خود برای بازگشت خبر داد؛ چند ماه پس از آنکه OpenAI را ترک کرده بود. او گفت با ورود پیشرفت هوش مصنوعی به آنچه خودش «مرحله‌ای متفاوت» توصیف کرد، خطرات ایمنی و امنیتی به یکی از اولویت‌های اصلی تبدیل شده‌اند. پاچوتسکی از او خواسته است سرعت این پیشرفت، پیامدهای آن و تأثیر این عوامل بر راهبرد OpenAI را بررسی کند.

مدری پیش‌تر سرپرستی تیم آمادگی (Preparedness) را بر عهده داشت؛ تیمی که OpenAI در سال ۲۰۲۳ برای ارزیابی خطرات مدل‌های پیشرفته تشکیل داد. حوزه فعالیت این تیم شامل امنیت سایبری، تهدیدهای زیستی و احتمال افزایش خودمختاری سامانه‌های هوش مصنوعی است.

OpenAI در ماه سپتامبر، قابلیت‌های امنیت سایبری مدل آسترا (Astra) را بر اساس چارچوب آمادگی خود در سطح «بحرانی» ارزیابی کرد. نتایج این ارزیابی نشان داد که آسترا، در صورت برخورداری از ابزارها و دسترسی‌های مناسب، می‌تواند آسیب‌پذیری‌های ناشناخته را شناسایی کند و برای بهره‌برداری از آن‌ها ابزارهای سوءاستفاده بسازد؛ آن هم در طیف گسترده‌ای از سامانه‌هایی که از تدابیر حفاظتی قدرتمندی برخوردارند، بدون اینکه لازم باشد انسان در تک‌تک مراحل آن را هدایت کند. OpenAI در همین راستا، بخش‌هایی از روند توسعه و عرضه آسترا را به تأخیر انداخت تا تدابیر محافظتی در برابر سوءاستفاده و اقدامات غیرمجاز را تقویت و آزمایش کند.

ارزیابی امنیت سایبری، محور مشخصی برای فعالیت مدری پس از بازگشت فراهم می‌کند. مسئله اصلی، توانایی یک مدل در شناسایی و بهره‌برداری از نقاط ضعف طیف گسترده‌ای از سامانه‌ها با هدایت محدود انسانی است؛ خطری که مستقیماً در حوزه مسئولیت‌های تیم آمادگی قرار می‌گیرد.

از دیگر نگرانی‌های ایمنی، نحوه رفتار سامانه‌های هوش مصنوعی هنگام دسترسی به ابزارها و محیط‌های بیرونی است. OpenAI و شرکت آنتروپیک پیش‌تر از رخدادهایی در آزمایش عامل‌های هوش مصنوعی خبر داده بودند که در آن‌ها این عامل‌ها تدابیر حفاظتی را دور زده یا به سامانه‌های خارجی فعال دسترسی پیدا کرده بودند. پاچوتسکی بر ضرورت نظارت دقیق‌تر تأکید کرده و گفته است سرعت توسعه مدل‌ها باید متناسب با میزان اطمینان به تدابیر ایمنی باشد.