هوش مصنوعی پیشرفته و ارزیابی‌های مستقل: پرسش‌هایی که پاسخ به آن‌ها آسان نیست
نگرانی عمومی درباره چگونگی مقابله با خطرات جدی ایمنی ناشی از هوش مصنوعی پیشرفته در هفته‌های اخیر به سطح بی‌سابقه‌ای رسیده است. در غیاب مقررات دولتی، ارزیابی‌های مستقل به‌عنوان راهکاری برای پیشبرد این موضوع پیشنهاد شده‌اند. داریو آمودی، مدیرعامل آنتروپیک، در ۱۲ سپتامبر، از جمله خواستار حضور «ارزیابان مستقلِ مستقر در شرکت‌ها» شد تا بر رعایت رویه‌ها و تعهدات ایمنی نظارت کنند، حوادث را گزارش دهند و به ارزیابی هم‌سویی نه‌فقط مدل‌های تکمیل‌شده هوش مصنوعی، بلکه خطوط لوله و فرایندهای آموزش آن‌ها نیز کمک کنند. سم آلتمن، مدیرعامل اوپن‌ای‌آی، با این پیشنهاد موافقت کرد و گفت که «ایده حضور ارزیابان مستقل با سطح دسترسی مشابه کارکنان عالی است و ما نیز همین کار را خواهیم کرد». ایلان ماسک، مدیرعامل اسپیس‌ایکس، نیز به‌طور کلی با این رویکرد موافقت کرد.
در ۲۹ سپتامبر، مدیران شش شرکت گوگل، آنتروپیک، اوپن‌ای‌آی، متا، ایکس‌ای‌آی و انویدیا توافق‌نامه کاخ سفید درباره ابرهوش را امضا کردند. این توافق‌نامه مجموعه‌ای از تعهدات غیرالزام‌آور از نظر قانونی است و بندی دارد که شرکت‌ها را متعهد می‌کند با یک حسابرس یا ارزیاب مستقل بیرونی همکاری کنند تا به‌طور مستقل بررسی شود که آیا سازوکارهای کنترل، پایش و شناسایی خطر مطابق هدف عمل می‌کنند یا خیر.
آنتروپیک در ۱۵ اکتبر، در اطلاعیه‌ای درباره تعهد خود به ارزیابی مستقل توضیح داد که اجرای این برنامه را آغاز کرده است. این شرکت اعلام کرد که دسترسی «مشابه دسترسی کارکنان» را در اختیار METR قرار داده است. آنتروپیک همچنین گفت با SecureBio و اکسنچر به‌عنوان ارزیاب همکاری می‌کند و با نهادهای دیگری، از جمله هاجینگ فیس، نیز در حال مذاکره است. مدیرعامل اسپیس‌ایکس در واکنش به این اطلاعیه گفت که شرکت او «احتمالاً همین کار را انجام خواهد داد».
آنتروپیک در اطلاعیه ۱۵ اکتبر خود، تخصص، استقلال، دسترسی کافی به اطلاعات و آزادی انتشار نتایج را از عناصر اصلی فرایند ارزیابی بیرونی برشمرد. از آنجا که این شرکت از نخستین پیشگامان این حوزه است، اقداماتش ممکن است به الگویی برای دیگران تبدیل شود. بنابراین، ارزش دارد بررسی کنیم که آیا مسیر انتخابی آنتروپیک به ارزیابی شخص ثالث در حوزه هوش مصنوعی پیشرفته اعتبار و قدرت اجرایی می‌بخشد یا برعکس، هدف نظارت مؤثر و ارزیابی خطرات را تضعیف می‌کند.
شایسته تقدیر است که آنتروپیک دیدگاه خود را درباره چگونگی اجرای ارزیابی شخص ثالث به‌صورت عمومی منتشر کرده و به‌سرعت نیز دست به اقدام زده است. بااین‌حال، این رویکرد به نظارت مستقل پرسش‌های متعددی ایجاد می‌کند. داریو آمودی بر این تعهد تأکید کرده است که شرکت از جایگاه پیشرو خود در حوزه هوش مصنوعی برای ایجاد «رقابت به‌سوی بالاترین استانداردها» استفاده کند. خود شرکت نیز اعلام کرده است که «به‌طور فعال در حال یادگیری درباره انواع همکاری‌های مؤثر است». پرسش‌های مطرح‌شده در ادامه با هدف بهبود این رویکرد به ارزیابی بیرونی پیش از تثبیت آن در شرکت، تبدیل‌شدنش به هنجار صنعت یا گنجاندنش در مقررات احتمالی مطرح می‌شوند.
استانداردهای واقعی ایمنی کدام‌اند و چه کسی آن‌ها را تعیین می‌کند؟
اطلاعیه ۱۵ اکتبر آنتروپیک هیچ توضیحی درباره استانداردهای ماهوی ایمنی که قرار است مبنای حسابرسی‌ها باشند، ارائه نمی‌کند. آیا معیارهای ایمنی صرفاً همان مواردی خواهند بود که هر شرکت با حسابرس شخص ثالث خود بر سر آن‌ها توافق می‌کند؟ آیا کارشناسان بیرونی از دولت، جامعه پژوهشی دانشگاهی و جامعه مدنی نباید در تدوین این معیارها مشارکت داشته باشند؟ دست‌کم آیا عموم مردم نباید پیش از انجام حسابرسی‌ها به این استانداردها دسترسی داشته باشند؟
این خلأ آشکار، به‌ویژه در پرتو گزارش پولیتیکو درباره تلاش‌های لابی‌گری آنتروپیک در زمینه مقررات فدرال هوش مصنوعی، بسیار نگران‌کننده است. این رسانه گزارش داد که پیشنهاد آنتروپیک به شرکت‌ها اجازه می‌دهد چارچوب‌های ایمنی خود را تدوین کنند و به دولت امکان می‌دهد تنها زمانی مانع انتشار یا استفاده از یک مدل شود که آن مدل خطر قابل پیش‌بینی و قریب‌الوقوعِ واردکردن بیش از یک میلیارد دلار خسارت یا کشتن یا مجروح‌کردن شدید بیش از ۵۰ نفر را ایجاد کند. این خطر نیز باید ناشی از تولید یا انتشار یک سلاح زیستی، فرار مدل از کنترل‌های توسعه‌دهنده یا یک حمله سایبری باشد. دست‌کم می‌توان گفت چنین آستانه‌هایی برای ایمنی، در شرایط کنونی به‌شدت ناکافی‌اند و حتی ممکن است برای بسیاری از مردم کاملاً حیرت‌آور باشند.
آیا قرار است ارزیابان مستقل نیز از همین آستانه‌های ایمنی برای ارزیابی خطر استفاده کنند؟ آیا خود ارزیابان در تعیین اینکه سازوکارهای کنترل، پایش و شناسایی خطر باید چگونه طراحی شوند تا از خطرات معین جلوگیری کنند، نقشی خواهند داشت؟ یا همان‌طور که در توافق‌نامه ابرهوش آمده است، وظیفه آن‌ها صرفاً بررسی این خواهد بود که آیا این سازوکارها مطابق قصد شرکت عمل می‌کنند یا خیر؟ بررسی صرفِ اینکه شرکت آنچه را از پیش در نظر داشته اجرا کرده است، ممکن است معیارهای بسیار سهل‌گیرانه‌ای ایجاد کند یا حتی شرکت‌ها را به کاهش استانداردهای خود ترغیب کند تا در حسابرسی‌ها عملکرد بهتری داشته باشند.
افزون بر این، آیا ارزیابان فقط خطرات ایمنی در داخل ایالات متحده را بررسی خواهند کرد یا خطرات ناشی از این محصولات در کشورهای دیگر را نیز در نظر می‌گیرند؟ با توجه به ماهیت جهانی این محصولات، اگر ارزیابی شامل پیامدهای خارج از آمریکا باشد، آیا ارزیابان تخصص لازم برای بررسی این آثار را دارند؟
احتمالاً توافق گسترده‌ای وجود دارد که استانداردهای پایه ایمنی باید از نظر محتوایی متناسب و در معرض بررسی عمومی باشند. در نبود مقررات دولتی کافی یا حتی توافقی در سطح صنعت بر سر این استانداردهای ماهوی، ناچاریم حدس بزنیم که قراردادهای دوجانبه میان شرکت‌های سازنده هوش مصنوعی پیشرفته و ارزیابان چه مفادی خواهند داشت. نبود مقررات به این معناست که استانداردهای ماهوی گوناگون و نامشخصی، بدون مشارکت عمومی، به کار گرفته خواهند شد. هنگامی که چنین جنبه‌های بنیادینی از حسابرسی‌ها از همان آغاز در هاله‌ای از ابهام قرار دارند، پذیرش اعتبار این ارزیابی‌ها از سوی عموم مردم دشوار خواهد بود.
مسئله استقلال
آرتور لویت، رئیس پیشین کمیسیون بورس و اوراق بهادار آمریکا، زمانی گفت: «حرفه حسابداری باید مانند همسر سزار باشد؛ صرفِ مورد سوءظن قرارگرفتن، تقریباً به‌اندازه محکوم‌شدن بد است.» این سخن به ماجرای طلاق سزار از یکی از همسرانش، پومپیا، اشاره داشت؛ سزار صرفاً به دلیل سوءظن به رفتار نامناسب او از وی جدا شد، زیرا با توجه به جایگاه سزار، حتی ظاهرِ وجود تخلف نیز پذیرفتنی نبود. با توجه به پیامدهای سنگین ارزیابی هوش مصنوعی پیشرفته، بی‌تردید در بررسی استقلال ارزیابان نیز باید استانداردهای سخت‌گیرانه‌ای اعمال شود؛ استقلال، پایه اعتبار حسابرسان شخص ثالث است.
آنتروپیک به مسائل پیچیده‌ای اشاره کرده است که تأمین مالی این حسابرسی‌ها از نظر استقلال ایجاد می‌کند. این شرکت پیش‌تر پیشنهاد داده بود که منابع مالی به‌صورت تجمیعی تأمین شوند یا دولت یارانه پرداخت کند. بااین‌حال، شرکت توضیح داده است که چون در حال حاضر هیچ‌یک از این دو گزینه وجود ندارد، با برخی ارزیابانی همکاری خواهد کرد که منابع مالی مستقل خود را دارند و هزینه خدمات برخی دیگر را مستقیماً پرداخت خواهد کرد.
آنتروپیک در به‌روزرسانی ۱۵ اکتبر خود، اصل استقلال را به‌اختصار چنین توضیح داده است: ارزیابان «نباید در شرکتی که ارزیابی می‌کنند سهام داشته باشند یا از نظر مالی یا عملیاتی به آن وابسته باشند». روشن است که اعضای تیم ارزیاب مستقر در شرکت، کارکنانی که در دفتر خود نهاد ارزیاب روی حسابرسی کار می‌کنند و تمام سلسله‌مراتب مدیریتی تا بالاترین مقام نهاد ارزیابی، نباید در شرکت مورد بررسی سهام داشته باشند. اما وضعیت اعضای خانواده و افراد هم‌خانه این کارکنان چه می‌شود؟ آیا تعارض‌های منافع دیگری نیز باید در نظر گرفته شوند؟ اگر ارزیابان شخص ثالث به‌تازگی از شرکت مورد ارزیابی جدا شده باشند، چه؟ اگر میان مدیران ارشد نهاد ارزیاب و شرکت مورد بررسی روابط مهم دیگری وجود داشته باشد، چه باید کرد؟ آیا شفاف‌سازی در چنین مواردی برای رفع نگرانی‌ها کافی است یا به تدابیر حفاظتی بیشتری نیاز داریم؟ هرچند قابل توجه است که ارزیابان از نهادهای حقوقی مستقل از آنتروپیک انتخاب می‌شوند و این شرکت هیئت‌مدیره، مدیران اجرایی یا کارکنان آن نهادها را تعیین نمی‌کند، همچنان مجموعه‌ای از مسائل مربوط به تعارض منافع وجود دارد که باید به آن‌ها رسیدگی شود.
در واقع، هر نهادی که چنین حسابرسی‌هایی را انجام می‌دهد، ممکن است در معرض خطر وابستگی مالی یا عملیاتی به شرکت مورد بررسی قرار گیرد؛ به‌ویژه اگر درآمد قابل‌توجهی از این فرایند کسب کند یا تأمین مالی اهدایی آن به عملکردش در حسابرسی‌ها وابسته باشد. در چنین شرایطی، ممکن است انگیزه‌های نامناسبی برای ارائه گزارش‌های رضایت‌بخش به وجود آید تا جریان تأمین مالی ادامه پیدا کند. همچنین اگر شرکت مورد بررسی روابط تجاری دیگری با نهاد ارزیاب داشته باشد، این نگرانی مطرح می‌شود که برای حفظ آن روابط، انگیزه‌هایی ناموجه بر نتیجه حسابرسی اثر بگذارند. حتی ظاهر وجود چنین انگیزه‌هایی نیز می‌تواند ارزیابان را در موقعیتی مشابه همسر سزار قرار دهد؛ یعنی دست‌کم این تصور را ایجاد کند که رفتارشان شائبه تخلف دارد و در نهایت، اعتماد عمومی به اعتبار کل این فرایند را تضعیف کند.
برخی استدلال کرده‌اند که «انتخاب تصادفی حسابرسان واجد صلاحیت، همراه با تعیین دوره‌های زمانی محدود برای مشاهده و بررسی، می‌تواند تا حد زیادی به رفع این نگرانی‌ها کمک کند». آیا چنین اقداماتی در این زمینه مفید و کافی خواهند بود؟ با توجه به سطح تخصص مورد نیاز، تعداد محدود شرکت‌های ارزیابی واجد صلاحیت و سرعت تحول فناوری و ظهور مسائل جدید در این حوزه، آیا چرخش دوره‌ای ارزیابان عملی است؟ لازم است بیشتر بررسی شود که یک نظام خودتنظیم‌گر برای حسابرسی هوش مصنوعی پیشرفته چگونه و تا چه اندازه می‌تواند استقلال واقعی ارزیابان را تضمین کند.
دسترسی به اطلاعات
آنتروپیک در اطلاعیه ۱۵ اکتبر اعلام کرده است که ارزیابان باید «دسترسی کافی برای ارزیابی معنادار خطرات» داشته باشند. افزون بر دسترسی به جدیدترین مدل‌ها، ارزیابان باید بتوانند نحوه آموزش مدل‌ها، عملکرد سازوکارهای حفاظتی و موارد دیگر را نیز بررسی کنند. در ادامه آمده است: «به‌جز تعداد محدودی از دسته‌های اطلاعاتی که به‌روشنی تعریف شده‌اند، مانند داده‌های مشتریان، اطلاعات مشمول محرمانگی رابطه وکیل و موکل یا اطلاعات مربوط به معماری مدل‌های ما، کارکنان آنتروپیک تشویق می‌شوند همان‌طور با ارزیابان اطلاعات به اشتراک بگذارند که با یکی از همکاران خود در حوزه خطرات هم‌سویی به اشتراک می‌گذارند.» در پانوشت این توضیحات نیز آمده است که «اطلاعات مربوط به معماری مدل‌ها خطر بالایی از افشای ناخواسته ایجاد می‌کند و معمولاً ارتباط چندانی با ارزیابی خطر ندارد. هرگاه این اطلاعات اهمیت زیادی داشته باشد، عموماً تلاش خواهیم کرد آن را به اشتراک بگذاریم، هرچند این کار مستلزم دریافت تأییدهای داخلی صریح خواهد بود.»
برای آنکه مردم بتوانند ارزیابی‌های انجام‌شده را به‌طور کامل درک کنند، باید درباره ترتیبات قراردادی میان شرکت مورد ارزیابی و نهاد ارزیاب نیز شفافیت معناداری وجود داشته باشد. این شفافیت، از جمله، امکان می‌دهد میزان واقعی دسترسی ارزیابان به اطلاعات مشخص شود، نه اینکه صرفاً فهرستی نمونه از اطلاعات مستثنا ارائه شود. برای مثال، اصطلاح «معماری مدل» می‌تواند به شیوه‌های گوناگون تفسیر شود. آیا این اصطلاح در قرارداد میان شرکت و ارزیابان با دقت بیشتری تعریف شده است؟ آیا نهادهای ارزیابی که یک شرکت واحد را حسابرسی می‌کنند، ممکن است در هر حسابرسی به سطوح متفاوتی از اطلاعات دسترسی داشته باشند؟ آیا یک نهاد ارزیاب در شرکت‌های مختلف فعال در حوزه هوش مصنوعی پیشرفته، دسترسی‌های متفاوتی خواهد داشت یا نهادهای ارزیاب برای مشارکت در این فرایند، حداقل سطح دسترسی مشخصی را مطالبه خواهند کرد؟ بدون شفافیت بیشتر درباره جنبه‌های اساسی دسترسی به اطلاعات در مجموعه‌ای از قراردادهای دوجانبه احتمالی، پذیرش اعتبار چنین حسابرسی‌هایی از سوی مردم دشوار خواهد بود.
شفافیت درباره نتایج
در اطلاعیه ۱۵ اکتبر آنتروپیک آمده است که ارزیابان باید «آزادی انتشار مشاهدات و ارزیابی‌های خود درباره یک مدل یا فرایند» را داشته باشند. بی‌تردید، انتشار عمومی یافته‌ها و ارائه دلایل و توضیحات در گزارش‌ها برای اعتبار و کارآمدی هر نوع نظارت بر این شرکت‌ها ضروری است. آنتروپیک درباره قرارداد مشخص خود با METR توضیح داده است که این آزادی به معنای موارد زیر است:
«METR تحلیل خود را درباره سطح خطر، حوادث یا رویه‌های ما منتشر خواهد کرد. آنتروپیک نمی‌تواند مانع انتشار شود، اما می‌تواند درخواست کند اطلاعاتی حذف یا پوشانده شوند، مشروط بر اینکه در دسته‌های از پیش تعریف‌شده‌ای مانند موارد بالا قرار بگیرند؛ برای مثال، داده‌های مشتریان، اطلاعات مشمول محرمانگی رابطه وکیل و موکل یا اطلاعات مربوط به معماری مدل‌های ما. در نهایت، این آنتروپیک است که تصمیم می‌گیرد کدام اطلاعات در این دسته‌ها قرار می‌گیرند و کدام اطلاعات خارج از آن‌ها هستند؛ هرچند METR این حق را برای خود محفوظ می‌دارد که اظهارنظرهای مشخصی درباره میزان دسترسی و اطلاعاتی که دریافت کرده است، منتشر کند.»
از آنجا که اسناد قراردادی حاکم بر این رابطه در دسترس نیستند و توضیحات منتشرشده نیز کوتاه‌اند، تنها فهرستی نمونه از موضوعاتی را در اختیار داریم که می‌توانند مبنای حذف اطلاعات از سوی آنتروپیک قرار گیرند. بنابراین، نمی‌توان دامنه اختیار این شرکت برای حذف اطلاعات را ارزیابی کرد. همچنین روشن نیست که آیا METR می‌تواند به‌طور عمومی درباره موجه‌بودن این حذف‌ها اظهارنظر کلی کند یا خیر. در گزارش‌های منتشرشده ظاهراً به نسخه‌ای پیشین از اطلاعیه ۱۵ اکتبر آنتروپیک اشاره شده است که در آن آمده بود METR «این حق را حفظ می‌کند که هرگونه حذف اطلاعات را به‌صورت عمومی توصیف کند و اعلام کند آیا آن را موجه می‌داند یا خیر». با توجه به پانوشت دوم اطلاعیه ۱۵ اکتبر، به نظر می‌رسد عبارت مورد بحث بعداً به «حق انتشار اظهارنظرهای مشخص درباره میزان دسترسی و اطلاعات دریافتی» تغییر کرده است؛ عبارتی که موضوعی متفاوت از حذف اطلاعات را پوشش می‌دهد. بااین‌حال، بخش دیگری از اطلاعیه تلویحاً نشان می‌دهد که METR از حقوق انتشار «مشابهی» با سایر ارزیابانی برخوردار است که اجازه دارند درباره حذف اطلاعات اظهارنظر کنند، هرچند این حقوق کاملاً یکسان نیستند. در مجموع، اطلاعیه روشن نمی‌کند که آیا METR چنین حقی دارد یا خیر؛ بااین‌حال، باید این حق در اختیار همه ارزیابان قرار گیرد.
گذشته از اختیار آنتروپیک برای حذف اطلاعات به دلایلی که دامنه آن‌ها مشخص نیست، آیا تدابیر حفاظتی مشخصی وجود دارد تا بررسی گزارش حسابرسی از سوی شرکت پیش از انتشار، با هدف اعمال این اختیار، به دخالت ناموجه در محتوای گزارش منجر نشود؟ گزارش‌های خبری حاکی از آن‌اند که مذاکرات میان شرکت‌ها و ارزیابان درباره اینکه چه اطلاعاتی در اختیار عموم قرار گیرد، بسیار پرتنش بوده است و احتمالاً این اختلاف‌ها ادامه خواهند یافت.
مجموعه مهم دیگری از پرسش‌های بی‌پاسخ به فرایندی مربوط می‌شود که پس از پایان ارزیابی اجرا خواهد شد. اگر ارزیابان به شرکت‌ها نمره مردودی بدهند، چه اتفاقی می‌افتد؟ آیا شرکت‌ها طبق قرارداد ملزم خواهند بود مسیر خود را تغییر دهند یا صرفاً در معرض قضاوت افکار عمومی قرار خواهند گرفت؟ در نبود مقررات، آیا دولت بر اساس گزارش‌های ارزیابان تحقیقاتی را آغاز خواهد کرد؟
اگر ارزیابان برای بهبود ایمنی در آینده توصیه‌هایی ارائه کنند، چه خواهد شد؟ آیا شرکت‌های فعال در حوزه هوش مصنوعی پیشرفته دست‌کم موظف خواهند بود علناً به این توصیه‌ها پاسخ دهند یا توصیه‌ها در میان انبوه خبرهای روزانه این حوزه به فراموشی سپرده خواهند شد؟ آیا ارزیابان نظرات و نگرانی‌های ذی‌نفعان بیرونی، مانند پژوهشگران و سازمان‌های غیردولتی، را نیز دریافت خواهند کرد یا دامنه ارزیابی به تخصص داخلی خود آن‌ها محدود خواهد ماند؟
این پرسش‌ها همچنان ادامه دارند. در غیاب چارچوبی مقرراتی یا حتی نظارت دقیق و شفاف پژوهشگران دانشگاهی و جامعه مدنی بر فرایند ارزیابی ایمنی هوش مصنوعی پیشرفته، مسائل مربوط به استقلال ارزیابان، استانداردهای ماهوی و دیگر موضوعات کلیدی، در این مقطع حساس همچنان مبهم، پیچیده و مسئله‌ساز باقی مانده‌اند. این نکته نباید تلاش‌های بی‌تردید قابل‌توجه آنتروپیک برای رساندن ارزیابی مستقل به مرحله کنونی را نادیده بگیرد، اما نیاز به بهبودهای اساسی آشکار است و فرصت نیز محدود.
هدف از این حسابرسی‌ها نباید اعطای جایزه مشارکت به برخی از ثروتمندترین و قدرتمندترین شرکت‌های جهان باشد. این ارزیابی‌ها باید پاسخی متناسب با شرایط حساس کنونی ارائه دهند. برای ایجاد نظامی معنادار، عملی، مؤثر و شفاف جهت ارزیابی هوش مصنوعی پیشرفته، اقدامات بیشتری لازم است. در غیر این صورت، این حسابرسی‌ها در بهترین حالت به وضعیتی مشابه همسر سزار دچار خواهند شد؛ کنار گذاشته می‌شوند و همواره زیر سایه سوءظن باقی می‌مانند. در بدترین حالت نیز از همان ابتدا محکوم به شکست در مأموریت حیاتی خود خواهند بود: جلوگیری از خطرات بزرگی که مدیران عامل شرکت‌های پیشرو هوش مصنوعی خود درباره آن‌ها به بشریت هشدار داده‌اند.