اوپن‌ای‌آی و آنتروپیک با پرسش‌هایی درباره استقلال بررسی‌های مستقل هوش مصنوعی روبه‌رو شدند
اوپن‌ای‌آی و آنتروپیک با پرسش‌هایی درباره میزان استقلال واقعی بررسی‌های ایمنی خارجی خود روبه‌رو شده‌اند؛ زیرا گفت‌وگوها با ارزیابان مستقل نشان داده است که بر سر آنچه این ارزیابان اجازه انتشار آن را دارند، اختلاف‌هایی وجود دارد.
هر دو شرکت به‌طور عمومی از تقویت نظارت و بررسی‌های شخص ثالث روی سامانه‌های پیشرفته هوش مصنوعی حمایت کرده‌اند. با این حال، مذاکرات با ارزیابان خارجی شامل پیشنهادهایی برای محدود کردن انتشار برخی اطلاعات با هدف حفاظت از اسرار تجاری و دیگر داده‌های محرمانه بوده است.
این اختلاف به یکی از بحث‌های اصلی در حوزه حکمرانی هوش مصنوعی مربوط می‌شود: آیا یک بررسی می‌تواند واقعاً مستقل باشد، اگر شرکتی که مورد ارزیابی قرار می‌گیرد بتواند بر آنچه در نهایت به اطلاع عموم می‌رسد، تأثیر بگذارد؟
شرکت‌های هوش مصنوعی خواهان نظارت بیرونی هستند، اما از افشای اسرار تجاری نگران‌اند
داریو آمودی، مدیرعامل آنتروپیک، ماه گذشته گفت ارزیابان خارجی باید بتوانند یافته‌های مهم خود را بدون کنترل محتوایی شرکت منتشر کنند.
اوپن‌ای‌آی نیز بعدتر از اصل استقلال تحریریه برای ارزیابان بیرونی حمایت کرد.
با این حال، قوانین و سازوکارهای عملی پشت این اظهارنظرها همچنان در حال مذاکره است.
یکی از نگرانی‌ها مربوط به «ارزیابی تعبیه‌شده» است؛ روشی که در آن بررسی‌کنندگان مستقل در داخل یک شرکت هوش مصنوعی فعالیت می‌کنند و دسترسی‌هایی مشابه کارکنان شرکت دریافت می‌کنند. این دسترسی گسترده‌تر می‌تواند به آن‌ها کمک کند رفتار مدل‌های پیشرفته را بهتر درک کنند، اما ممکن است فناوری‌های اختصاصی شرکت را نیز در معرض دید قرار دهد.
شرکت‌های هوش مصنوعی نگران‌اند که ارزیابان به‌طور ناخواسته اطلاعات حساس تجاری را فاش کنند یا دانشی را که از یک آزمایشگاه به دست آورده‌اند، به رقیب منتقل کنند.
از جمله اقداماتی که مطرح شده، امکان حضور کارکنان شرکت در زمان فعالیت ارزیابان تعبیه‌شده و جلوگیری از همکاری هم‌زمان ارزیابان با آزمایشگاه‌های رقیب هوش مصنوعی بوده است.
مشکل اصلی اینجاست که اطلاعاتی که شرکت‌ها آن را راز تجاری می‌دانند، ممکن است دقیقاً همان اطلاعاتی باشد که یک ارزیاب برای توضیح علت خطرناک بودن یک مدل به آن نیاز دارد.
این مسئله تعارض مستقیمی میان محرمانگی تجاری و گزارش‌دهی ایمنی در راستای منافع عمومی ایجاد می‌کند.
ارزیابی تعبیه‌شده هوش مصنوعی دقیقاً شامل چه چیزی است؟
در آزمایش‌های سنتی بیرونی، معمولاً پژوهشگران دسترسی محدودی به یک مدل نهایی دریافت می‌کنند.
اما ارزیابی تعبیه‌شده بسیار فراتر می‌رود.
بررسی‌کنندگان ممکن است داخل شرکت فعالیت کنند و مدل‌ها را در طول فرایند توسعه بررسی کنند. آن‌ها می‌توانند سازوکارهای حفاظتی داخلی، روش‌های آزمایش و نحوه عملکرد سامانه در شرایطی را مطالعه کنند که کاربران عادی هرگز آن‌ها را مشاهده نمی‌کنند.
هدف این روش شبیه آن است که به یک بازرس مستقل ایمنی اجازه ورود به یک کارخانه داده شود، به جای اینکه از او خواسته شود فقط بر اساس محصول نهایی درباره ایمنی کارخانه قضاوت کند.
آنتروپیک اخیراً اعلام کرده است که شرکت Faculty، واحد تخصصی هوش مصنوعی شرکت Accenture، نخستین ارزیاب تعبیه‌شده این شرکت خواهد بود.
این شرکت گفته است چنین ارزیابانی می‌توانند به آزمایش مدل‌های پیشرفته، ارزیابی سازوکارهای حفاظتی و به چالش کشیدن فرضیات تیم‌های داخلی کمک کنند.
اوپن‌ای‌آی نیز به‌طور جداگانه اعلام کرده است که ارزیابان شخص ثالث باید به فرایندهای آموزش، ارزیابی و استقرار مدل‌ها دسترسی عمیق داشته باشند و بتوانند به نتیجه‌گیری‌های مستقل خود برسند.
پرسش حل‌نشده این است که چه میزان از این نتیجه‌گیری‌ها می‌تواند بدون تأیید یا حذف بخش‌هایی از سوی شرکت، به‌صورت عمومی منتشر شود.
قراردادها و حذف اطلاعات، نگرانی درباره استقلال را افزایش داده‌اند
برخی قراردادهایی که شرکت‌های هوش مصنوعی استفاده می‌کنند، هم‌اکنون ارزیابان را از انتشار اطلاعات محرمانه بدون رضایت شرکت محدود می‌کنند.
اوپن‌ای‌آی می‌گوید به دنبال این نیست که حق تأیید متن کامل گزارش‌های مستقل را در اختیار داشته باشد.
این شرکت اعلام کرده رویکرد معمول آن حذف اطلاعات حساس است، در حالی که به ارزیابان اجازه می‌دهد اعلام کنند آیا بخش‌های مهمی از گزارش حذف شده است یا نه.
آنتروپیک نیز گفته است بررسی‌کنندگان خارجی باید روش‌ها، معیارها و نتیجه‌گیری‌های خود را کنترل کنند.
با این حال، این شرکت همچنین گفته است هنگام همکاری با شرکت‌های ارزیاب جدید، ممکن است در ابتدا حق اظهارنظر درباره گزارش‌ها یا تأیید آن‌ها را برای خود محفوظ بداند تا این سازمان‌ها با نحوه عملکرد سامانه‌هایش آشنا شوند.
این تفاوت میان کارشناسان نگرانی‌هایی ایجاد کرده است.
ممکن است یک ارزیاب از نظر فنی مستقل باشد، اما همچنان آزمایشگاه هوش مصنوعی کنترل دسترسی لازم برای انجام بررسی را در اختیار داشته باشد.
منتقدان می‌گویند اگر انتشار یافته‌های ناخوشایند باعث از دست رفتن دسترسی‌های آینده شود، استقلال ارزیابی در عمل می‌تواند ضعیف‌تر از چیزی باشد که روی کاغذ به نظر می‌رسد.
توافق هوش مصنوعی کاخ سفید پرسش‌های مهمی را بی‌پاسخ گذاشته است
این بحث پس از آن اهمیت بیشتری پیدا کرده است که شش شرکت بزرگ فناوری در ماه سپتامبر توافق‌نامه کاخ سفید درباره ابرهوش مصنوعی را امضا کردند.
این توافق توسط اوپن‌ای‌آی، آنتروپیک، گوگل، متا، xAI و انویدیا امضا شد.
این توافق خواستار کنترل‌های ایمنی داخلی، ارزیابی‌های مستقل خارجی و نظارت هیئت‌مدیره بر سامانه‌های پیشرفته هوش مصنوعی است.
اما این توافق داوطلبانه است.
در آن، قوانین جزئی درباره نحوه فعالیت ارزیابان خارجی، اطلاعاتی که باید دریافت کنند یا یافته‌هایی که باید به‌صورت عمومی منتشر شود، تعیین نشده است.
بیش از ۲۰۰ پژوهشگر نیز جداگانه خواستار تعیین استانداردهای حداقلی شده‌اند که به ارزیابان مستقل دسترسی گسترده، کنترل بر یافته‌های خود و محافظت در برابر اقدامات تلافی‌جویانه بدهد.
این فشارها در شرایطی افزایش یافته است که دولت‌ها بررسی می‌کنند آیا توافق‌های داوطلبانه باید در نهایت به قانون تبدیل شوند یا نه.
بحث دیگر فقط این نیست که آیا شرکت‌های هوش مصنوعی باید اجازه بررسی‌های بیرونی را بدهند یا خیر.
مسئله دشوارتر این است که چه کسی ارزیاب را کنترل می‌کند، چه کسی درباره محرمانه بودن اطلاعات تصمیم می‌گیرد و آیا مردم می‌توانند یافته‌هایی را ببینند که مشکلات جدی ایمنی را آشکار می‌کنند.
بدون وجود استانداردهای مشترک، هر شرکت هوش مصنوعی همچنان می‌تواند این شرایط را به‌صورت جداگانه مذاکره کند.
این وضعیت ممکن است مهم‌ترین تصمیم‌ها درباره شفافیت را در اختیار همان شرکت‌هایی قرار دهد که سامانه‌هایشان مورد بررسی قرار می‌گیرد.
این موضوع برای شما چه معنایی دارد:
بررسی‌های مستقل هوش مصنوعی تنها زمانی اهمیت دارند که کارشناسان بیرونی بتوانند خطرهای جدی را بدون آنکه توافق‌های تجاری آن‌ها را ساکت کند، گزارش دهند. قوانینی که اکنون در حال مذاکره هستند، می‌توانند تعیین کنند هنگام شکست آزمایش‌های ایمنی سامانه‌های قدرتمند هوش مصنوعی، مردم چه میزان از واقعیت مطلع خواهند شد.