ارزش‌های هوش مصنوعی پیش از خودمختاری
سازمان‌ها در حال آماده‌سازی هوش مصنوعی عامل‌محور هستند تا از جانب آنها عمل کند، پیش از آنکه حتی مشخص کرده باشند این فناوری باید نماینده چه ارزش‌هایی باشد. مهم‌ترین پرسشی که اکنون باید به آن پاسخ داد این است که وقتی هیچ‌کس نظاره‌گر نیست، چه کسی تعیین می‌کند هوش مصنوعی چه کاری می‌تواند انجام دهد؟
در سپتامبر ۲۰۲۶، داریو آمودی، مدیرعامل Anthropic، مقاله‌ای با عنوان «We Must Pace the Frontier» منتشر کرد و از صنعت هوش مصنوعی خواست سرعت پیشروی خود را کاهش دهد. دلیل او این نبود که فناوری دیگر کار نمی‌کند؛ مسئله این بود که فناوری با سرعتی بیش از توان حکمرانی بر آن در حال پیشرفت است. راهکار پیشنهادی او شامل ارزیاب‌های شخص ثالث، مقررات‌گذاری دولتی، توافق‌های بین‌المللی برای تنظیم سرعت پیشرفت و افزایش شفافیت و نظارت اجتماعی است.
شرکتی که یکی از عمیق‌ترین ظرفیت‌های پژوهشی در زمینه هم‌راستاسازی هوش مصنوعی را در صنعت دارد، اکنون می‌گوید پژوهش درباره هم‌راستاسازی به‌تنهایی کافی نیست.
هوش مصنوعی احساس ندارد، اما به ارزش‌ها نیاز دارد
میان هوش مصنوعی‌ای که به پرسش‌ها پاسخ می‌دهد و هوش مصنوعی‌ای که اقدام می‌کند تفاوت وجود دارد. گفت‌وگوهایی که محورشان محتوای تولیدشده توسط هوش مصنوعی است، می‌توانند با سیاست‌ها مدیریت شوند؛ اما اقدام خودمختار به ارزش‌ها نیاز دارد.
زمانی که Claude عمدتاً برای گفت‌وگو استفاده می‌شد، قانون اساسی‌ای که اصول و مقاصد بنیادین حاکم بر رفتار این ابزار را مشخص می‌کرد، سندی برای شفافیت بود. اکنون Claude سبدهای سرمایه‌گذاری را مدیریت می‌کند، فرایندهای چندمرحله‌ای را اجرا می‌کند و از طرف شما تصمیم می‌گیرد، بدون اینکه هر بار برای تأیید سراغتان بیاید. بنابراین پرسش دیگر کاوشی باز درباره اینکه چه چیزهایی ممکن است نیست؛ پرسش این است: «وقتی شما در اتاق حضور ندارید، چه چیزی بر تصمیم‌های هوش مصنوعی حاکم است؟»
آماندا اسکل، فیلسوف مقیم Anthropic که نامش در فهرست AI 20 مجله Fast Company آمده است، «قانون اساسی Claude» را تدوین کرده است. با مطالعه این سند روشن می‌شود که این شرکت با مسئله‌ای فراتر از اخلاق دست‌وپنجه نرم می‌کند: سامانه‌های خودمختار نمی‌توانند تنها بر اساس مجموعه‌ای از قواعد عمل کنند. آنها باید درکی از چیستی خود، کسانی که به آنها خدمت می‌کنند و نحوه تصمیم‌گیری‌شان در زمان برخورد اولویت‌های متعارض داشته باشند. Anthropic، به‌عنوان شرکتی در حوزه مدل‌های هوش مصنوعی که به رویکرد ایمنی‌محور شهرت دارد، در حال تدوین لایه حکمرانی هوش مصنوعی عامل‌محور به‌صورت هم‌زمان با پیشرفت این فناوری است.
اسکل در پروفایل Fast Company خود می‌گوید: «هرچه مدل‌ها خودمختارتر شوند و در افق‌های زمانی طولانی‌تری دست به اقدام بزنند، نقاط تصمیم‌گیری بسیار بیشتری ایجاد می‌شود که باید از مدت‌ها قبل آنها را ترسیم کرد و اطمینان یافت که به‌درستی عمل می‌کنند.»
چه کسی بیشترین آمادگی را برای حکمرانی بر هوش مصنوعی دارد؟
اینجاست که باید به سمت هوش مصنوعی تحت هدایت انسان حرکت کنیم و همان‌طور که ارزش‌ها و هویت را برای هر بخش دیگری از سازمان که از جانب ما عمل می‌کند تعریف می‌کنیم، این کار را برای هوش مصنوعی نیز انجام دهیم. ببینیم این رویکرد در عمل چه شکلی دارد.
برای مثال، یک شرکت حوزه سلامت، عاملی برای زمان‌بندی نوبت‌ها به کار می‌گیرد تا تعداد بیمارانی را که در موعد مقرر مراجعه نمی‌کنند کاهش دهد. هوش مصنوعی عملکرد خوبی دارد؛ تعداد بیماران تحت پوشش افزایش می‌یابد و شکاف‌های موجود در دریافت مراقبت کاهش پیدا می‌کند. اما عامل به این نتیجه می‌رسد که بیمارانی که قبلاً نوبت خود را لغو کرده‌اند، گزینه‌های نامناسب‌تری هستند و بنابراین آنها را به زمان‌های کم‌مطلوب‌تر منتقل می‌کند. هیچ انسانی چنین تصمیمی نگرفته است. عامل این الگو را از هدفی که برایش تعیین شده استخراج کرده است. اما پژوهش‌ها نشان می‌دهند که غیبت در نوبت‌های پزشکی اغلب به تعهدات شغلی و مراقبت از دیگران و همچنین موانع حمل‌ونقل مربوط می‌شود.
عامل می‌تواند یک الگو را تشخیص دهد، بدون آنکه شرایط پشت آن را درک کند. وقتی بر اساس همان الگو عمل می‌کند، می‌تواند پیش‌بینی درباره رفتار بیمار را به تصمیمی تبدیل کند که دسترسی او به مراقبت را محدود می‌کند. مهندسی که سیستم را بررسی می‌کند، مدلی را می‌بیند که در برابر معیار تعیین‌شده عملکرد خوبی دارد. این صرفاً نمونه کلاسیکِ اهمیت دادن به چیزی که اندازه‌گیری می‌کنید به‌جای اندازه‌گیری چیزی که برایتان اهمیت دارد نیست.
چالش فقط این نیست که چه چیزی را اندازه‌گیری می‌کنیم؛ مسئله این است که هوش مصنوعی چگونه بر اساس چیزی که از آن می‌خواهیم بهینه کند، عمل می‌کند. سازمان‌ها همیشه برای حل چنین چالش‌هایی به متخصصان ارتباطات، راهبردهای برند، رهبران فرهنگ سازمانی و دانشمندان علوم رفتاری متکی بوده‌اند. با این حال، تاکنون به‌ندرت این حوزه‌ها را در کار با هوش مصنوعی به کار گرفته‌ایم.
هر سازمانی که یک عامل هوش مصنوعی به کار می‌گیرد، در واقع می‌پرسد این سیستم چه می‌داند، این دانش را از کجا آموخته و به کدام پاسخ باید اعتماد کند. به کار واقعی موردنیاز برای پاسخ دادن به این پرسش‌ها نگاه کنید: طبقه‌بندی، تعیین منشأ اطلاعات، کنترل اعتبار و اختیار منابع، بازیابی اطلاعات و تصمیم‌گیری درباره اینکه وقتی دو منبع با یکدیگر اختلاف دارند، کدام‌یک برنده باشد. همین موضوع درباره حوزه‌هایی نیز صدق می‌کند که تاکنون در حاشیه کار هوش مصنوعی نگه داشته‌ایم: داستان‌پردازان، راهبردپردازان برند و پژوهشگران تجربه کاربر. مهارت‌هایی که آنها ارائه می‌کنند همچنان ضروری‌اند، اما اکنون باید روی بستری جدید به کار گرفته شوند. بیش از همه، افرادی اهمیت دارند که می‌توانند میان این حوزه‌ها حرکت کنند.
من در پاییز سال ۲۰۰۰، آخرین کلاس هربرت سایمون را در دانشگاه کارنگی ملون گذراندم؛ دوره‌ای که هم‌زمان با سال ۲۰۰۰ و از این نظر زمان چندان خوش‌یمنی نبود. سایمون برنده جایزه نوبل اقتصاد و جایزه تورینگ در علوم رایانه شد. او همچنین با نپذیرفتن این ایده که روان‌شناسی، اقتصاد و علوم رایانه حوزه‌هایی جدا از یکدیگرند، به شکل‌گیری رشته تعامل انسان و رایانه کمک کرد. سایمون می‌توانست حوزه‌ای را ببیند که هنوز وجود نداشت، زیرا در چارچوب هیچ‌یک از این رشته‌ها محصور نبود؛ مزیتی که از چندرشته‌ای بودن و گستره دانش حاصل می‌شود.
افرادی که بیشترین آمادگی را برای حکمرانی بر هوش مصنوعی دارند، لزوماً همان کسانی نیستند که آن را می‌سازند. مهندسان بیش از هر کس دیگری قابلیت‌ها و حالت‌های شکست سیستم را درک می‌کنند و هیچ تصمیمی درباره حکمرانی نباید بدون حضور آنها گرفته شود. با این حال، از آنجا که هوش مصنوعی در ابتدا به‌عنوان یک خرید فناوری وارد سازمان‌ها شد، به‌طور پیش‌فرض تصمیم‌گیری درباره ارزش‌ها و اخلاق را به متخصصان فناوری سپرده‌ایم.
چارچوب هویت و ارزش‌های هوش مصنوعی عامل‌محور
هر سازمانی که هوش مصنوعی عامل‌محور به کار می‌گیرد، باید بداند این هوش مصنوعی وقتی هیچ‌کس نظاره‌گر نیست، نماینده چه ارزش‌هایی است. این چارچوب هویت و ارزش‌های عامل‌محور به سازمان‌ها کمک می‌کند به چهار پرسش اساسی پاسخ دهند.
۱. هوش مصنوعی شما به چه کسی خدمت می‌کند؟ این پرسش بازتاب‌دهنده مفهوم «سلسله‌مراتب صاحب اختیار» در Anthropic است که در قانون اساسی Claude توضیح داده شده و مشخص می‌کند منافع چه کسی در اولویت قرار می‌گیرد. در خدمات مالی، آیا عامل باید منافع مشتری، مشاور یا شرکت را بهینه کند؟ وقتی این منافع با یکدیگر تعارض دارند، کدام‌یک باید در اولویت باشد؟
۲. چه ارزش‌های عملیاتی راهنمای تصمیم‌های عامل شما هستند؟ آیا عامل باید سرعت را در اولویت قرار دهد یا دقت را؟ شخصی‌سازی را یا حریم خصوصی را؟ این تصمیم‌ها به ارزش‌های سازمانی مربوط می‌شوند، اما باید راهنمای انتخاب‌های واقعی در موقعیت‌های متعارض نیز باشند.
۳. کدام تصمیم‌ها به انسان نیاز دارند؟ مسئله فقط این نیست که انسان‌ها را در کدام نقطه از یک فرایند کاری قرار دهیم. باید مشخص شود در چه مواردی نمی‌توان قضاوت انسانی را واگذار کرد: تشخیص و تأیید درمان، تصمیم‌های مربوط به اخراج، تأییدهای مالی و استثناهای حقوقی.
۴. هوش مصنوعی شما هرگز نباید چه کاری انجام دهد؟ قانون‌های اساسی، سیاست‌ها و سازوکارهای حفاظتی در این بخش قرار می‌گیرند. مرزهای قطعی، مسیرهای ارجاع و رفتارهای غیرقابل‌قبول باید پس از تعیین هویت و ارزش‌ها مشخص شوند.
سخت‌ترین پرسش‌های باقی‌مانده
سخت‌ترین پرسش‌های باقی‌مانده دیگر فنی نیستند؛ آنها عمیقاً انسانی‌اند. وقتی به هوش مصنوعی می‌آموزیم چه کاری انجام دهد، در واقع به آن می‌آموزیم سازمان ما از چه ارزش‌هایی دفاع می‌کند. اگر رهبر یک سازمان هستید، باید بدانید هوش مصنوعی عامل‌محور فقط وظایف را اجرا نمی‌کند؛ بلکه نماینده برند شماست.
جهان ما سریع‌تر از انسان‌هایی که در آن زندگی می‌کنند در حال تغییر است. هر توصیه، تصمیم، ارجاع و اقدامی به بیانگر ارزش‌های شما تبدیل می‌شود. انتخاب‌های شما در ساختن هوش مصنوعی‌ای که مردم بتوانند به آن اعتماد کنند، نقش دارد.
استفانی ترونزو مدیرعامل MERGE است.