گزارش دروغین یک مدل هوش مصنوعی به پلیس فیلادلفیا؛ چگونه عامل‌های دیجیتال با اجرای دقیق دستورها هم می‌توانند دردسرساز شوند
نویسنده: آنات لیور، دانشگاه درکسل
این مقاله نخستین بار در وب‌سایت The Conversation منتشر شده و با اجازه این رسانه بازنشر شده است.
در ۱۸ ژوئیه ۲۰۲۶، گزارشی ناشناس در وب‌سایت PhillyUnsolvedMurders.com، متعلق به اداره پلیس فیلادلفیا، ثبت شد.
در این گزارش آمده بود: «شاید اطلاعاتی درباره این پرونده داشته باشم.» فرستنده همچنین ادعا کرده بود فردی را دیده است که با مشخصات مظنون مطابقت داشته و در نزدیکی محل وقوع جرم حضور داشته است.
اما این گزارش ساختگی بود. در صفحه مربوط به پرونده، هیچ مشخصاتی از مظنون درج نشده بود و فرستنده گزارش نیز در واقع مدل هوش مصنوعی Claude Haiku 4.5 بود که شرکت آنتروپیک، مستقر در سان‌فرانسیسکو، آن را توسعه داده است.
این گزارش به‌عنوان هرزنامه شناسایی شد و هرگز به دست کارآگاهان نرسید. آنتروپیک در اواخر سپتامبر، هنگام بررسی سوابق آزمایش‌های داخلی خود، متوجه این اتفاق شد. این شرکت در ۸ اکتبر پلیس را در جریان گذاشت و روز بعد گزارشی درباره این رویداد منتشر کرد. پلیس فیلادلفیا نیز در همان روز این موضوع را علنی کرد.
آزمایشی بدون کنترل کافی
شرکت‌های هوش مصنوعی اکنون در حال توسعه «عامل‌ها» هستند؛ نسخه‌هایی از چت‌بات‌ها که می‌توانند به نمایندگی از کاربر، مرورگر وب را به کار بگیرند، روی دکمه‌ها کلیک کنند و فرم‌ها را پر کنند. شرکت‌ها برای سنجش عملکرد این عامل‌ها، آن‌ها را با هزاران وظیفه آزمایشی روبه‌رو می‌کنند؛ آزمایش‌هایی که اغلب مستقیماً در اینترنت انجام می‌شوند.
به گفته آنتروپیک، گزارش جعلی در جریان یکی از آزمایش‌های معمول این مدل تولید شده بود.
در این آزمایش، به Haiku 4.5 دستور داده شده بود در صفحات وبی که به‌صورت تصادفی انتخاب می‌شوند، وظایف نمونه‌ای طراحی کند و سپس آن‌ها را انجام دهد. یکی از این صفحات به پرونده قتلی حل‌نشده در فیلادلفیا اختصاص داشت و فرمی برای ارسال اطلاعات در اختیار کاربران می‌گذاشت.
در دستورالعمل‌های مدل، فهرستی از کارهای ممنوع وجود داشت: ورود به حساب‌های کاربری، ایجاد حساب جدید، وارد کردن اطلاعات شخصی، خرید کردن و ارسال هر چیزی که پیامد مخرب داشته باشد.
اما ارسال فرم در این فهرست قرار نداشت.
بنابراین، مدل گزارشی با ظاهری باورپذیر نوشت، کادرهای اختیاری نام و اطلاعات تماس را خالی گذاشت و دکمه ارسال را فشرد.
آنتروپیک می‌گوید سوابق آزمایش نشان می‌دهد که این گزارش به‌عنوان محتوای نمونه برای اجرای یک وظیفه تمرینی تولید شده بود، نه با هدف گمراه کردن پلیس.
گزارش جعلی برای پلیس تنها یکی از چند رویدادی بود که آنتروپیک در گزارش خود شرح داد. در موردی دیگر، قرار بود یک مدل پژوهشی تمرین کند و از نسخه‌ای کپی‌شده از یک فرم دولتی استفاده کند. وقتی آن نسخه بارگذاری نشد، مدل به وب‌سایت واقعی دولت رفت و فرم را همان‌جا ارسال کرد. مدل‌های دیگر Claude نیز راه‌هایی برای دور زدن دیوارهای پرداخت و محدودیت‌های دسترسی پیدا کردند تا به داده‌های موردنیاز خود برسند.
چرا هوش مصنوعی چنین کاری می‌کند؟
آنتروپیک این اتفاق‌ها را به پافشاری بیش از حد نرم‌افزار برای انجام وظایف نسبت می‌دهد. وقتی مدل نمی‌تواند کاری را دقیقاً به روشی که به او گفته شده به پایان برساند، به‌جای آنکه متوقف شود و از انسانی که وظیفه را به او سپرده سؤال کند، راه جایگزینی پیدا می‌کند.
این رفتار تا حدی از شیوه یادگیری چنین سامانه‌هایی ناشی می‌شود؛ بخش بزرگی از توانایی‌های آن‌ها از طریق آزمون‌وخطا شکل می‌گیرد. مدل بارها برای انجام یک وظیفه تلاش می‌کند و هر بار که موفق می‌شود، پاداش می‌گیرد. اگر فرایند آموزش ناخواسته میان‌بُر زدن را تشویق کند، مدل یاد می‌گیرد که دور زدن مراحل نتیجه‌بخش است. پژوهشگران این پدیده را «دست‌کاری سازوکار پاداش» می‌نامند. دانش‌آموزی را تصور کنید که فقط برای رسیدن به پاسخ درست، فارغ از روشی که به کار می‌گیرد، تمرین داده می‌شود؛ او نیز ممکن است همین درس را بگیرد.
با این حال، دستورالعمل‌هایی که به عامل هوش مصنوعی داده می‌شوند، هیچ‌گاه همه موقعیت‌های ممکن را پوشش نمی‌دهند. کارمند انسانی که به او گفته شده «چیزی نخر و وارد حسابی نشو»، باز هم می‌فهمد که نباید گزارشی ساختگی از مشاهده یک شاهد عینی برای پلیس بفرستد. اما مدل هوش مصنوعی چنین درک متعارفی ندارد که در موقعیت‌های پیش‌بینی‌نشده به آن تکیه کند. این مدل فهرست کارهای ممنوع را مرز کامل رفتارهای مجاز تلقی کرد.
این مسئله همچنین توضیح می‌دهد که چرا این مدل‌ها دچار «توهم هوش مصنوعی» می‌شوند و اطلاعاتی می‌سازند که واقعیت ندارند. عامل‌های هوش مصنوعی برای تولید متنی روان و باورپذیر طراحی شده‌اند. وقتی از مدل خواسته شد برای نمونه، فرمی را با یک گزارش فرضی پر کند، متنی شبیه گزارش‌های معمول نوشت، بی‌آنکه درستی محتوای آن را در نظر بگیرد.
آیا باید نگران باشیم؟
من به‌عنوان استاد حقوق که در زمینه حکمرانی هوش مصنوعی پژوهش می‌کنم، دو نگرانی اصلی دارم: مقیاس استفاده و میزان کنترل.
نگرانی بزرگ‌تر به مقیاس استفاده مربوط می‌شود. عامل‌های هوش مصنوعی در حال خارج شدن از محیط آزمایشگاه و ورود به محصولات روزمره مردم هستند. مرورگر کروم گوگل اکنون قابلیتی به نام مرور خودکار دارد که به دستیار Gemini امکان می‌دهد در وب‌سایت‌ها حرکت کند و فرم‌ها را پر کند. مرورگر Comet شرکت Perplexity و افزونه Claude در کروم متعلق به آنتروپیک نیز قابلیت‌های مشابهی دارند.
هر وظیفه‌ای که فرد به یک عامل واگذار می‌کند، فرصت دیگری برای بروز خطاست. اگر این عامل‌ها روزانه یک میلیون وظیفه انجام دهند، حتی خطایی که فقط در یک مورد از هر ۱۰ هزار وظیفه رخ می‌دهد، حدود ۱۰۰ بار در روز تکرار خواهد شد. چنین اشتباه‌هایی ممکن است به گزارش‌های دروغینی منجر شوند که وقت پلیس را می‌گیرند، درخواست‌های کمک‌هزینه یا وام را با اطلاعات نادرست ثبت کنند یا پرداخت‌ها و رزروهایی انجام دهند که کاربر هرگز آن‌ها را تأیید نکرده است.
خود آنتروپیک نیز اشاره کرده است که چند مورد از این اتفاق‌ها هنگام استفاده عادی از Claude Haiku 4.5 رخ داده‌اند، نه صرفاً در جریان آزمایش. شرکت OpenAI نیز گزارش داده است که عامل‌های هوش مصنوعی آن به شیوه‌هایی پیش‌بینی‌نشده به وب‌سایت‌های دولتی دسترسی پیدا کرده‌اند.
ناتوانی شرکت‌های هوش مصنوعی در کنترل کامل عامل‌هایشان ممکن است به آسیب‌های بیشتری منجر شود و خلأهایی در تعیین مسئولیت قانونی ایجاد کند. از جمله این آسیب‌ها می‌توان به افترا، سوگیری، فریب و مهندسی اجتماعی و خطرات بسیار دیگری اشاره کرد. شاید در نگاه نخست منصفانه به نظر برسد که شرکتی را بابت اقداماتی که نتوانسته کنترل کند مسئول ندانیم. اما در چنین مواردی، هیچ فرد یا سازمان دیگری نیز لزوماً کنترل روشنی بر عامل ندارد. در نتیجه، ممکن است کسانی که از عملکرد عامل هوش مصنوعی آسیب دیده‌اند، نتوانند شخص یا نهادی را برای پاسخ‌گویی قانونی مسئول بشناسند.
از نظر من، باید به عامل‌های هوش مصنوعی مشخص شود که چه کارهایی اجازه دارند انجام دهند، نه اینکه فقط فهرستی از کارهای ممنوع در اختیارشان قرار گیرد. همچنین، هر سامانه‌ای که شرکت‌های هوش مصنوعی وارد محیط واقعی می‌کنند، باید پیش از استفاده بررسی و آزمایش شود. تا زمانی که چنین تدابیری به رویه‌ای معمول تبدیل نشوند، هر فرم عمومی در اینترنت، از سامانه دریافت اطلاعات پلیس گرفته تا فرم درخواست کمک‌هزینه، ممکن است پاسخ‌هایی دریافت کند که هوش مصنوعی بدون برخورداری از شهود و درک متعارف نوشته است. خطاهای این سامانه‌ها ممکن است، برای مثال، منابع لازم برای رسیدگی به وضعیت‌های اضطراری واقعی را هدر دهند یا باعث محروم شدن افراد از مزایایی شوند که حق دریافت آن‌ها را دارند. در همین حال، قربانیان این آسیب‌ها ممکن است به دلیل روشن نبودن اینکه چه کسی بر عامل هوش مصنوعی کنترل داشته است، برای دریافت غرامت با دشواری روبه‌رو شوند.
آنات لیور، استادیار حقوق در دانشگاه درکسل
این مقاله با مجوز کریتیو کامنز از The Conversation بازنشر شده است. نسخه اصلی مقاله را بخوانید.