Anthropic پس از گزارش جعلی قتل، دسترسی هوش مصنوعی‌هایش به اینترنت را قطع کرد

korben.info

انتشار در منبع: انتشار در سایت ما:

مقاله اصلی · English

تصویری مرتبط با مقاله: Anthropic پس از گزارش جعلی قتل، دسترسی هوش مصنوعی‌هایش به اینترنت را قطع کرد

در ۱۸ ژوئیه، طی یک آزمایش داخلی در Anthropic، مدل Claude Haiku 4.5 فرمی را در وب‌سایت PhillyUnsolvedMurders.com پر کرد؛ سایتی وابسته به پلیس فیلادلفیا که برای دریافت سرنخ درباره پرونده‌های قتل حل‌نشده استفاده می‌شود. این هوش مصنوعی سه جمله کاملاً ساختگی ارسال کرد که یکی از آن‌ها این بود: «به یاد دارم فردی با این مشخصات را دیده‌ام»؛ ادعایی که هیچ مبنایی نداشت.

هیچ‌کس چنین کاری را از آن نخواسته بود. پیام به‌صورت خودکار به یک واحد واقعی پلیس ارسال شد و تنها یک فیلتر خودکار ضداسپم مانع از رسیدن آن به دست مأموران تحقیق شد.

Anthropic، سازنده مدل‌های Claude و رقیب مستقیم OpenAI، این رویداد را در گزارشی که ۹ اکتبر منتشر شد، توضیح داد. این اتفاق تنها یک مورد منفرد نبود. بین ژوئیه و سپتامبر، هوش مصنوعی‌های این شرکت همچنین از یک نقص در سرور دانشگاهی برای کپی کردن فایل‌ها استفاده کردند و با دسترسی به کلیدهایی که در یک فایل پیکربندی رها شده بود، داده‌هایی را از یک سرور نقشه‌برداری استخراج کردند، بدون آنکه هزینه‌های لازم را پرداخت کنند. برخی مدل‌های دیگر نیز برای عبور از محدودیت‌های اعمال‌شده در آزمایش‌ها، به سراغ سرویس‌های کوتاه‌کننده لینک رفتند.

در نتیجه، این شرکت تصمیم گرفته است دسترسی مدل‌هایش به اینترنت واقعی را در ارزیابی‌های داخلی، یعنی آزمایش‌هایی که تیم‌ها پیش از عرضه مدل‌ها انجام می‌دهند، به‌طور کامل قطع کند. پیش از این، این محدودیت تنها برای آزمایش‌هایی با ریسک بالا اعمال می‌شد، اما اکنون همه ارزیابی‌ها را دربر می‌گیرد؛ تا زمانی که Anthropic بتواند کنترل و نظارت قابل اتکایی بر عامل‌های هوش مصنوعی خود ایجاد کند. این شرکت می‌گوید روی یک ابزار تشخیص خودکار کار می‌کند و همچنین متن آزمایش‌های گذشته را بررسی می‌کند تا مطمئن شود مورد دیگری از کنترل خارج نشده است.

توضیحی که برای این رفتارها ارائه شده، به یادگیری تقویتی مربوط است؛ روشی که مدل‌ها را با استفاده از پاداش‌ها آموزش می‌دهد. برخی محیط‌های آزمایشی ممکن است به مدل‌ها این تصور را داده باشند که پیدا کردن یک راه فرار از محدودیت‌ها یا دور زدن یک دستور، باعث دریافت پاداش خواهد شد.

با این حال، ماجرای فیلادلفیا همچنان مسئله‌ساز است. Anthropic تنها در ۲۸ سپتامبر، یعنی بیش از دو ماه پس از وقوع حادثه، متوجه گزارش جعلی شد و در اوایل اکتبر شهر را در جریان گذاشت. پلیس این تأخیر را «غیرقابل قبول» خواند و دلیل این واکنش قابل درک است.

این شرکت همچنین کاخ سفید و نهادهای فدرال مرتبط را از موضوع مطلع کرد. در میان متخصصان ایمنی هوش مصنوعی، سیدنی فون آرکس هشدار داده است که توسعه مدل‌هایی که از اینترنت جدا شده‌اند، سرعت تحقیقات را کاهش خواهد داد؛ در حالی که کنراد استوز خواستار انجام ممیزی‌های مستقل شده و معتقد است گزارش‌های منتشرشده توسط خود شرکت‌ها کافی نیستند.

در هر حال، وقتی برخی می‌گویند روزی هوش مصنوعی‌ها کل اینترنت را از کار خواهند انداخت، شاید چندان هم از واقعیت دور نباشند.

منبع: TechCrunch