اگر عامل‌های هوش مصنوعی شروع به صحبت با زبان خودشان کنند، چه اتفاقی می‌افتد؟
بخشی از وظایف کریس پینتر، بررسی اتفاقاتی است که هنگام خروج هوش مصنوعی از کنترل رخ می‌دهد و سپس انتشار نتایج این بررسی‌ها در گزارش‌های عمومی است.
پینتر و گروه پژوهشی غیرانتفاعی METR که او در اداره آن نقش دارد، در ماه‌های اخیر حسابی مشغول بوده‌اند. آن‌ها امسال به شرکت اوپن‌ای‌آی کمک کردند تا ابعاد حمله سایبری به هاجینگ فیس را روشن کند. پینتر همچنین پس از مجموعه‌ای از حوادث دیگر مرتبط با خروج هوش مصنوعی از کنترل، در جلسه کمیته فرعی سنای آمریکا شهادت داد.
پژوهشگران METR یادداشت‌های کاری عامل‌های هوش مصنوعی را با دقت بررسی می‌کنند؛ داده‌هایی که با عنوان «زنجیره استدلال» شناخته می‌شوند و می‌توانند مراحل طی‌شده از سوی سامانه‌ها را پیش از پاسخ‌دادن به یک درخواست برای انسان آشکار کنند. این اطلاعات در بررسی METR درباره حادثه هاجینگ فیس نقش مهمی داشت.
بااین‌حال، پینتر نگران است که انجام این وظیفه به‌زودی بسیار دشوارتر شود.
توانایی انسان‌ها برای بررسی عملکرد عامل‌های هوش مصنوعی به این بستگی دارد که بتوانند ارتباطات این سامانه‌ها را درک کنند؛ یعنی انسان و هوش مصنوعی زبان مشترکی داشته باشند.
اگر دیگر به یک زبان صحبت نکنیم، چه اتفاقی می‌افتد؟
و اگر عامل‌های هوش مصنوعی به‌کلی از ثبت مراحل کار خود دست بکشند، چه خواهد شد؟
پینتر ماه گذشته به سی‌ان‌ان گفت: «اگر نظارت بر آن‌ها دشوارتر شود، فرصت بیشتری پیدا می‌کنند تا کارهایی انجام دهند که ما قصد انجامشان را نداریم.»
درک شیوه تفکر مدل‌های هوش مصنوعی
بسیاری از مدل‌های هوش مصنوعی و عامل‌هایی که بر پایه آن‌ها ساخته می‌شوند، از روشی به نام «استدلال زنجیره‌ای» استفاده می‌کنند که روند انجام یک وظیفه را مرحله‌به‌مرحله مشخص می‌کند. در این روش، فرایند حل مسئله به مجموعه‌ای منطقی از مراحل تقسیم می‌شود؛ کاری که می‌تواند به مدل‌های هوش مصنوعی کمک کند پاسخ‌های دقیق‌تری ارائه دهند.
برای پژوهشگران، داده‌های زنجیره استدلال سرنخ‌هایی فراهم می‌کند که به کمک آن‌ها می‌توان فهمید چه چیزی اشتباه پیش رفته است.
اگر یک عامل هوش مصنوعی از کنترل خارج شود و به سامانه‌های دیگر نفوذ کند، پژوهشگران می‌توانند بررسی کنند که آیا در داده‌های زنجیره استدلال آن به اقدام‌های فریبکارانه، مانند هک‌کردن، اشاره شده است یا نه. METR در جریان بررسی حادثه هاجینگ فیس مرتبط با اوپن‌ای‌آی، حدود ۱٬۳۰۰ رونوشت خام از زنجیره‌های استدلال را بررسی کرد.
پینتر نگران است که اگر مدل‌های هوش مصنوعی برای ثبت مراحل کار خود به استفاده از زبان اختصاصی روی بیاورند، این سابقه مکتوب روزی دیگر برای انسان‌ها قابل فهم نباشد.
او گفت: «اگر چنین اتفاقی بیفتد، وقتی یک بازرس برای بررسی موضوع وارد شود، به اطراف نگاه می‌کند و همه‌جا فقط عدد می‌بیند.»
به گفته مارک ریدل، استاد هوش مصنوعی و مدیر آزمایشگاه یادگیری ماشین در مؤسسه فناوری جورجیا، مدل‌های هوش مصنوعی ممکن است از شکل‌هایی از اختصار استفاده کنند؛ مشابه روشی که انسان‌ها هنگام یادداشت‌برداری به کار می‌برند. این اختصارات برای آن طراحی می‌شوند که خود مدل بتواند آن‌ها را درک کند و سریع‌تر کار کند.
اما همان‌طور که بیشتر انسان‌ها در مواجهه با یادداشت‌های کوتاه‌شده دیگران به‌سختی منظور آن‌ها را می‌فهمند، چنین نوشته‌هایی برای انسان احتمالاً چیزی جز رشته‌ای نامفهوم به نظر نخواهند رسید.
جیکوب آندریاس، دانشیار آزمایشگاه علوم رایانه و هوش مصنوعی مؤسسه فناوری ماساچوست (MIT)، می‌گوید چند نظریه درباره نحوه عملکرد زنجیره استدلال وجود دارد، اما پژوهشگران هنوز مطمئن نیستند کدام‌یک درست است. او می‌افزاید ممکن است یک مدل هوش مصنوعی به این نتیجه برسد که بهترین راه برای برآورده‌کردن معیارهایی که بر اساس آن‌ها آموزش دیده است، مانند مصرف انرژی کمتر یا انجام مراحل کمتر، تولید زنجیره استدلالی باشد که به زبان انگلیسی قابل خواندن نیست.
این تنها نگرانی موجود نیست. مسئله دیگر آن است که مدل‌ها در انجام وظایف بدون ثبت زنجیره استدلال خود نیز توانمندتر شده‌اند. ریدل می‌گوید مدل‌های جدیدتر می‌توانند بدون تولید زنجیره استدلال قابل ردیابی، به همان نتیجه‌هایی برسند که پیش‌تر از طریق چنین فرایندی حاصل می‌شد.
شرکت‌ها می‌توانند مدل‌های خود را طوری آموزش دهند که زنجیره استدلال تولید کنند، اما این کار در مقایسه با پردازش درونی وظایف از سوی مدل، هزینه بیشتری دارد و کندتر است.
بر اساس مستندات منتشرشده در اوایل سپتامبر، اوپن‌ای‌آی دریافت که سامانه‌های نظارتی این شرکت در مقایسه با مدل‌های قدیمی‌تر، احتمال کمتری دارند که رفتارهای نامطلوب مدل جدید آسترا را از طریق بررسی زنجیره استدلال آن شناسایی کنند. این شرکت همچنین دریافت که آسترا می‌تواند وظایف بیشتری را بدون استفاده از استدلال زنجیره‌ای انجام دهد و توانایی بیشتری برای کنترل زنجیره استدلال خود دارد.
اوپن‌ای‌آی نوشت اگر این روند ادامه پیدا کند، اعتمادش به توانایی سامانه‌های فعلی برای شناسایی رفتارهای ناهمسو کاهش خواهد یافت. منظور از رفتار ناهمسو، اقدام‌هایی است که مدل بدون مجوز انجام می‌دهد و با ارزش‌های انسانی سازگار نیست.
یاکوب پاچوتسکی، دانشمند ارشد اوپن‌ای‌آی، در یادداشتی که در سپتامبر منتشر کرد، نوشت هوش مصنوعی در «دست‌کاری فرایند استدلال خود» توانمندتر می‌شود و مدل‌ها حتی بدون استفاده از استدلال بیان‌شده به زبان نیز «باهوش‌تر می‌شوند».
اوپن‌ای‌آی هفته گذشته در بیانیه‌ای اعلام کرد منابع قابل‌توجهی را به توسعه توانایی نظارت بر مدل‌های هوش مصنوعی اختصاص می‌دهد. این اعلام پس از آن صورت گرفت که شرکت سه پژوهشگر حوزه ایمنی و همسوسازی هوش مصنوعی را اخراج کرد. بااین‌حال، اوپن‌ای‌آی گفت این اخراج‌ها ارتباطی با ابراز نگرانی کارکنان درباره ایمنی نداشته است.
اوپن‌ای‌آی در مستندات مربوط به آسترا اعلام کرد که در حال بررسی این موضوع است که چرا این مدل توانایی بیشتری برای کنترل زنجیره استدلال خود دارد. این شرکت همچنین روش‌هایی را برای محافظت در برابر خطرهای احتمالی ناشی از ناهمسویی که ممکن است در نبود زنجیره استدلال پدیدار شوند، بررسی می‌کند.
اوپن‌ای‌آی در پاسخ به پرسش‌های سی‌ان‌ان درباره علت دشوارتر بودن نظارت بر آسترا و برنامه‌های احتمالی شرکت برای افزایش قابلیت نظارت بر مدل‌های آینده، این رسانه را به مستندات آسترا و یادداشت پاچوتسکی ارجاع داد.
تلاش برای درک سازوکار درونی هوش مصنوعی
چالش دیگر این است که زنجیره استدلال تصویر کاملی از علت تصمیم‌گیری مدل‌های هوش مصنوعی ارائه نمی‌دهد.
به گفته ریدل، انجام وظایف پیچیده ممکن است به همکاری چندین عامل نیاز داشته باشد که هزاران کلمه گزارش از مراحل کار خود تولید می‌کنند. نظارت بر چنین حجم اطلاعاتی می‌تواند شبیه تلاش برای زیر نظر گرفتن هزار نفر باشد که هم‌زمان با صدای بلند فکر می‌کنند. او افزود که هرچند هوش مصنوعی می‌تواند به خلاصه‌کردن این متن‌ها کمک کند، شواهدی وجود دارد که نشان می‌دهد هنگام خلاصه‌سازی، جزئیات مهمی را حذف می‌کند.
داده‌های زنجیره استدلال نشان می‌دهند مدل هوش مصنوعی پیش از رسیدن به پاسخ یا انجام یک اقدام چه کرده است، اما علت آن را آشکار نمی‌کنند. انسان‌ها می‌توانند داده‌ها و پارامترهایی را که مدل‌های هوش مصنوعی با آن‌ها آموزش می‌بینند کنترل کنند، اما نمی‌دانند این عوامل دقیقاً چگونه بر رفتار مدل‌ها اثر می‌گذارند.
آندریاس می‌گوید می‌توان شبکه عصبی یک مدل هوش مصنوعی را برای یافتن الگوها بررسی کرد؛ شبکه عصبی یک مدل محاسباتی است که در بسیاری از سامانه‌های هوش مصنوعی به کار می‌رود و ساختار آن از مغز انسان الهام گرفته شده است. بااین‌حال، نسبت‌دادن معنایی دقیق به الگوهای شناسایی‌شده دشوار است.
شرکت آنتروپیک در ماه ژوئیه مقاله‌ای پژوهشی منتشر کرد که در آن از شناسایی مجموعه‌های کوچکی از الگوهای عصبی در مدل کلود خبر داد؛ الگوهایی که با واژه‌های مشخصی ارتباط داشتند.
بااین‌حال، این یافته به این معنا نیست که کلود واقعاً آن واژه را بیان می‌کند.
آندریاس از مؤسسه فناوری ماساچوست گفت: «فکر می‌کنم هنوز فاصله زیادی داریم تا بتوانیم ادعا کنیم درک دقیق و جزئی‌ای از نحوه رسیدن مدل به یک راه‌حل داریم.»
پیشرفت سریع هوش مصنوعی از نظر پینتر، ضرورت رسیدگی به این مسئله را بیشتر کرده است. با افزایش استفاده از هوش مصنوعی در پژوهش‌های مربوط به خود این فناوری، او نگران است که حجم اطلاعات سریع‌تر از توانایی انسان‌ها برای پردازش آن افزایش یابد.
بااین‌حال، پینتر معتقد است ماجرای هاجینگ فیس توجه‌ها را به نگرانی درباره خروج هوش مصنوعی از کنترل جلب کرده است؛ نگرانی‌ای که سال‌ها در میان پژوهشگران این حوزه مطرح بوده است.
او گفت: «این موضوع مایه دلگرمی بوده است. واقعاً احساس می‌کنم زمانی که مردم مدت‌ها پیش درباره این مسائل صحبت می‌کردند، میزان کمکی را که از سراسر جهان دریافت خواهند کرد، دست‌کم می‌گرفتند؛ کمکی که وقتی تمام دنیا به موضوع توجه می‌کند، فراهم می‌شود.»