Anthropic برای محافظت از Claude درآمد خود را قربانی می‌کند؛ در برخی ممیزی‌های هوش مصنوعی حق تأیید گزارش‌ها را حفظ می‌کند
Anthropic برای محافظت از قابلیت‌های اختصاصی هوش مصنوعی Claude، پذیرفته است بخشی از درآمد خود را از دست بدهد؛ در عین حال، این شرکت همچنان در برخی گزارش‌های تهیه‌شده توسط ارزیابان مستقل تازه‌همکار، کنترل‌هایی بر روند تأیید محتوا حفظ کرده است. این رویکرد، حفاظت از مالکیت فکری شرکت را در کنار تعهد آن به بررسی مستقل قرار می‌دهد.
این شرکت اعلام کرد که تدابیر حفاظتی جدید باعث شده میزان داده‌های استدلالی Claude که توسط عملیات مشکوک به کپی‌برداری از مدل استخراج می‌شوند، حدود ۹۰ تا ۹۹ درصد کاهش یابد. Anthropic همچنین اذعان کرد که برای اجرای این محدودیت‌ها، ترافیک پولی به ارزش نامشخصی را رد کرده و در نتیجه بخشی از درآمد خود را از دست داده است.
یک روز بعد، رویترز گزارش داد که Anthropic و OpenAI درباره محدودیت‌هایی برای آنچه ارزیابان خارجی می‌توانند درباره سامانه‌هایشان منتشر کنند، مذاکره کرده‌اند. Anthropic تأیید کرد که برای برخی شرکت‌های ارزیابی تازه‌همکار، حق بررسی و تأیید گزارش‌ها را برای خود محفوظ می‌داند؛ هرچند می‌گوید ارزیابان باسابقه همچنان کنترل یافته‌های خود را در اختیار دارند.
حفاظت از Claude با هزینه کاهش درآمد همراه شده است
Anthropic اعلام کرد تدابیر حفاظتی جدید این شرکت، تعداد تقریبی توکن‌های استدلالی استخراج‌شده توسط افرادی که احتمال می‌رود در فرایند تقطیر مدل فعالیت دارند را به حدود یک‌دهم تا یک‌صدم سطح پیشین کاهش داده است.
تقطیر مدل به توسعه‌دهندگان اجازه می‌دهد یک مدل هوش مصنوعی را با استفاده از خروجی‌های مدل دیگری آموزش دهند. دفاع‌های Anthropic تلاش‌های غیرمجاز برای دستیابی به استدلال‌های محافظت‌شده Claude را هدف قرار می‌دهد؛ از جمله عملیات هماهنگی که از حساب‌های جعلی و شبکه‌های پراکسی استفاده می‌کنند.
این شرکت یک سامانه تشخیص دومرحله‌ای معرفی کرده که به گفته آن، نرخ مثبت کاذب آن کمتر از ۰٫۱ درصد است. این تدابیر همچنین نحوه انتقال اطلاعات استدلالی میان مکالمات، حساب‌ها و مدل‌ها را محدود می‌کند.
Anthropic گفت ده‌ها هزار حساب مرتبط با فعالیت‌های مشکوک به تقطیر مدل را مسدود کرده است؛ در برخی موارد این اقدام تنها دو ساعت پس از آغاز یک کارزار انجام شده است.
این محدودیت‌ها هزینه‌های عملیاتی نیز دارند. شرکت اعلام کرد برخی توسعه‌دهندگان قانونی مجبور شده‌اند تغییراتی در یکپارچه‌سازی‌های خود ایجاد کنند و سامانه‌های تشخیص گاهی درخواست‌هایی را که بخشی از عملیات تقطیر نیستند نیز مسدود می‌کنند.
از ۲۴ سپتامبر، Anthropic دریافت هزینه برای برخی درخواست‌های مسدودشده را از سر گرفته است؛ از جمله درخواست‌هایی که سامانه‌های دقیق‌تر تشخیص این شرکت به اشتباه آنها را علامت‌گذاری کرده بودند.
این شرکت ارزش مالی ترافیک ردشده، میزان درآمدی که سیاست جدید دریافت هزینه بازمی‌گرداند، یا هزینه توسعه و نگهداری سامانه‌های دفاعی خود را اعلام نکرده است.
محدودیت‌های اطلاعاتی جداگانه برای حسابرسان مستقل
Anthropic همچنین در حال ایجاد توافق‌هایی با شرکت‌های خارجی است که دسترسی عمیق‌تری به مدل‌ها، فرایندهای آموزش و رویه‌های داخلی ایمنی این شرکت خواهند داشت.
بر اساس تحقیقات رویترز، دو فرد آگاه از مذاکرات خصوصی گفته‌اند Anthropic و OpenAI خواهان کنترل قابل توجهی بر اطلاعاتی بوده‌اند که ارزیابان خارجی می‌توانند منتشر کنند.
این منابع گفته‌اند مذاکرات تا ۵ اکتبر ادامه داشته است. به گفته یکی از افراد مورد استناد رویترز، برخی گفت‌وگوهای مربوط به Anthropic تا ۸ اکتبر تغییر کرده بود.
Anthropic این برداشت را رد کرد که درخواست کنترل گسترده بر انتشار گزارش‌ها، توصیف دقیقی از تمام روابط این شرکت با ارزیابان باشد.
این شرکت گفت ارزیابانی که روابط تثبیت‌شده‌ای با آن دارند، کنترل روش‌های آزمایش، نتیجه‌گیری‌ها و تصمیم‌های انتشار را حفظ می‌کنند. با این حال، برای برخی شرکت‌های جدید، Anthropic در دوره شکل‌گیری این همکاری‌ها حق اظهار نظر درباره گزارش‌ها و تأیید آنها را برای خود محفوظ می‌داند.
OpenAI نیز به‌طور جداگانه به رویترز گفت که خواهان حق تأیید کامل گزارش‌ها نیست. این شرکت اعلام کرد محدودیت‌های آن برای جلوگیری از افشای اطلاعات محرمانه طراحی شده‌اند و ارزیابان می‌توانند اعلام کنند که بخش‌های قابل توجهی از گزارش‌ها حذف شده‌اند.
رویترز همچنین گزارش داد برخی قراردادهای ارزیابی، انتشار اطلاعات محرمانه بدون رضایت شرکت را محدود می‌کنند. این گزارش مشخص نکرد که قرارداد بررسی‌شده متعلق به Anthropic بوده است.
سرمایه‌گذاری برنامه‌ریزی‌شده ۲ میلیارد دلاری برای ارزیابی‌ها
توافق‌های Anthropic با ارزیابان خارجی تاکنون شامل تعهدات مالی قابل توجهی بوده است. در ۱۸ سپتامبر، Anthropic همکاری خود با بخش تخصصی هوش مصنوعی Accenture، یعنی Faculty، را برای انجام ارزیابی‌های درون‌ساختی مدل‌های پیشرفته خود اعلام کرد.
دو شرکت اعلام کردند هر کدام انتظار دارند طی پنج سال دست‌کم یک میلیارد دلار برای ایجاد ظرفیت در این حوزه سرمایه‌گذاری کنند؛ رقمی که مجموع سرمایه‌گذاری برنامه‌ریزی‌شده را به حداقل ۲ میلیارد دلار می‌رساند.
این همکاری به ارزیابان مستقل اجازه می‌دهد در داخل Anthropic فعالیت کنند و به سطحی از دسترسی نزدیک به کارکنان شرکت دست یابند؛ از جمله مشاهده روند توسعه مدل، تصمیم‌گیری‌های داخلی و آزمایش‌های ایمنی.
Anthropic اعلام کرد مستقیماً هزینه فعالیت‌های ارزیابی Accenture را تأمین خواهد کرد. این شرکت همچنین پذیرفت که هنوز استانداردهای مشترکی برای دسترسی ارزیابان و انتشار یافته‌ها ایجاد نشده است.
تعهدات سرمایه‌گذاری تقریباً یک ماه پیش از افشای تازه‌ترین مذاکرات رویترز درباره حقوق انتشار گزارش‌ها اعلام شد. هیچ‌یک از دو شرکت به‌طور عمومی مشخص نکرده‌اند چه میزان از این هزینه‌ها به‌طور خاص برای ممیزی‌های مستقل و چه میزان برای ظرفیت گسترده‌تر ارزیابی اختصاص خواهد یافت.
ساختار ایجادشده، دسترسی فنی گسترده را با ترتیبات انتشار گزارش ترکیب می‌کند؛ ترتیباتی که ممکن است بسته به رابطه هر ارزیاب با Anthropic متفاوت باشد.
تعهدات ممیزی هوش مصنوعی همچنان فاقد استانداردهای انتشار هستند
این افشاگری پس از آن انجام شد که Anthropic و دیگر شرکت‌های بزرگ فناوری در ۲۹ سپتامبر توافق‌نامه کاخ سفید درباره ابرهوش مصنوعی را امضا کردند. این توافق خواستار ارزیابی‌های مستقل خارجی از کنترل‌های ایمنی هوش مصنوعی، نظارت داخلی و نظارت در سطح هیئت‌مدیره است.
با این حال، این توافق قوانین جزئی درباره نحوه انتشار یافته‌های ارزیابان تعیین نمی‌کند.
بر اساس گزارش رویترز، بیش از ۲۰۰ پژوهشگر نیز نامه‌ای جداگانه را برای تقویت حمایت از استقلال ارزیابان امضا کرده‌اند.
افشاگری‌های اخیر Anthropic دو مسئله حل‌نشده درباره حفاظت از سامانه‌های پیشرفته هوش مصنوعی را نشان می‌دهد. اقدامات این شرکت برای مقابله با تقطیر مدل، دارای بازه اثربخشی اعلام‌شده، نرخ مثبت کاذب مشخص و هزینه درآمدی پذیرفته‌شده اما نامشخص است.
در مقابل، ترتیبات ارزیابی مستقل این شرکت شامل دست‌کم ۲ میلیارد دلار سرمایه‌گذاری برنامه‌ریزی‌شده مشترک است، اما هنوز استاندارد عمومی یکسانی برای تأیید گزارش‌های ارزیابان تازه‌همکار وجود ندارد.
Anthropic نشان داده است که برای محدود کردن دسترسی غیرمجاز به قابلیت‌های اختصاصی Claude تا چه اندازه جدی است. اما شرایطی که بر اساس آن پژوهشگران خارجی مجاز می‌توانند یافته‌های مستقل خود درباره این قابلیت‌ها را منتشر کنند، همچنان شفافیت کمتری دارد.