از نیت انسان تا رفتار عامل هوش مصنوعی؛ رویکرد یانیس یانگ به هوش مصنوعی مولد

این طراح محصول هوش مصنوعی و پژوهشگر تعامل انسان و رایانه (HCI)، با پیوند دادن پژوهش درباره تولید رابط‌های کاربری مبتنی بر مدل‌های انتشار، طراحی رفتار عامل‌ها و آزمایش کنترل‌شده مدل‌ها، در پیشبرد طراحی انسان‌محور هوش مصنوعی فعالیت می‌کند.

اگر از یک ابزار هوش مصنوعی بخواهید تیتر را تغییر دهد، ممکن است در نسخه بعدی چیدمان صفحه هم عوض شود. اگر درخواست کنید تصویری ساده‌تر شود، شاید مدل شیء تازه‌ای به آن اضافه کند. این مشکلات در تعامل با سیستم، ریشه‌ای فنی دارند: درخواست انسان باید به دستورهایی تبدیل شود که سیستم مولد بتواند آن‌ها را تفسیر کند، بی‌آنکه بخش‌هایی از کار را که کاربر می‌خواهد حفظ کند، تغییر دهد.

یانیس یانگ روی همین فرایند تبدیل تمرکز دارد. رویکرد او به طراحی هوش مصنوعی مولد، اطلاعاتی را که در اختیار مدل‌ها قرار می‌گیرد، رفتار عامل‌های هوش مصنوعی و ابزارهایی را به هم پیوند می‌دهد که کاربران از طریق آن‌ها خروجی‌ها را بررسی و اصلاح می‌کنند. او طراحی می‌کند که منظور کاربر چگونه در سیستم جریان پیدا کند و سپس بررسی می‌کند که مدل پس از دریافت آن چه رفتاری نشان می‌دهد.

یانگ که سرپرستی طراحی محصول هوش مصنوعی را بر عهده دارد، تحصیلات تکمیلی خود در حوزه تعامل انسان و رایانه را در دانشگاه میشیگان گذرانده و پیشینه‌ای در هنرهای زیبا از مؤسسه پرات دارد. او پژوهش، قضاوت بصری و نمونه‌سازی را در یک فرایند واحد ترکیب می‌کند. فعالیت‌هایش شامل پژوهش‌های مشترک منتشرشده در کنفرانس‌های IEEE درباره تولید رابط کاربری مبتنی بر مدل‌های انتشار و بینایی ماشین است؛ پروژه‌های طراحی هوش مصنوعی مشارکتی او نیز مورد تقدیر جوایز MUSE و Vega قرار گرفته‌اند.

هدف عملی این رویکرد، کاهش بار شناختی کاربران است؛ یعنی کم کردن تلاشی که برای تفسیر، هدایت و اصلاح خروجی هوش مصنوعی صرف می‌کنند. کاربران باید بتوانند بدون نیاز به تسلط بر قواعد نوشتن پرامپت، منظور خود را منتقل کنند، بفهمند هوش مصنوعی چه برداشتی از درخواستشان داشته است و نتیجه را بدون بازسازی کامل درخواست اولیه اصلاح کنند. یانگ برای کاهش این دشواری‌ها، بر نحوه مدیریت زمینه، محدودیت‌ها، بازخورد و ارزیابی تمرکز دارد.

تبدیل منظور بصری کاربر به دستورهای مدل

ممکن است فرد بداند کدام عکس‌ها حال‌وهوای موردنظرش را منتقل می‌کنند، اما نتواند آن حس را به‌خوبی با کلمات توضیح دهد. ارائه تمام تصاویر مرجع موجود به مدل نیز می‌تواند مشکل دیگری ایجاد کند: این تصاویر ممکن است جهت‌گیری‌های متناقضی داشته باشند. یانگ در کار خود درباره راهنمایی بصری، هم نقطه شروع کاربر و هم اطلاعاتی را بررسی می‌کند که مدل دریافت می‌کند.

او تابلویی متمرکز با حداکثر ۹ تصویر مرجع طراحی کرده که در کنار پنلی برای بررسی پالت رنگ، نشانه‌های بصری و نمونه‌های لحن قرار می‌گیرد. این تابلو انتخاب‌های مشخصی در اختیار کاربر می‌گذارد: تصویر را نگه دارد، حذف کند یا با تصویری جایگزین کند که منظور او را بهتر نشان می‌دهد. پنل بررسی نیز امکان مشاهده و ارزیابی تفسیری را فراهم می‌کند که سیستم از این انتخاب‌ها به دست آورده است.

یانگ در پشت این تعامل، مشخص می‌کند که چگونه محتوای بررسی‌شده به طرح بصری ساختاریافته و راهنمای پالت رنگ برای تولید تبدیل شود. برچسب‌های کوتاه، جهت‌گیری موردنظر را برای کاربر خلاصه می‌کنند، در حالی که سیستم تولید، طرح دقیق‌تری دریافت می‌کند. این تفاوت اهمیت دارد، زیرا برچسبی که برای انسان قابل‌فهم است و دستور مفیدی که مدل بتواند بر اساس آن عمل کند، دو کار متفاوت انجام می‌دهند.

نمونه نمایشی مبتنی بر کد او نشان می‌دهد که ویرایش یک تصویر مرجع چگونه تغییراتی در پالت مرتبط، طرح‌ریزی و زمینه نسخه‌بندی‌شده ایجاد می‌کند. این نمونه به همکاران امکان می‌دهد رابطه میان رابط کاربری و دستورهای زیربنایی آن را بررسی کنند. نمونه اولیه، رفتار پیشنهادی سیستم را پیش از اتکا به آن، به شکلی ملموس و قابل‌ارزیابی درمی‌آورد.

یانگ از این طریق، کاهش تلاش کاربر را به یک تصمیم فنی در طراحی پیوند می‌دهد. افراد می‌توانند ترجیح خود را با انتخاب نمونه‌ها بیان کنند و در عین حال، سیستم شرح دقیق‌تری از نحوه استفاده از آن نمونه‌ها برای هدایت فرایند تولید دریافت می‌کند.

پژوهش درباره تأثیر بازخورد بر فرایند تولید

همین دغدغه در پژوهش مشترک یانگ نیز دیده می‌شود؛ پژوهشی که با نام لیوچینگ‌چینگ یانگ (Liuqingqing Yang)، نامی که او در فعالیت‌های دانشگاهی خود استفاده می‌کند، منتشر شده است. مقاله «تولید خودکار رابط کاربری از طریق مدل‌های انتشار: بهبود شخصی‌سازی و کارایی» (Automated UI Interface Generation via Diffusion Models: Enhancing Personalization and Efficiency)، چارچوبی را بررسی می‌کند که توضیحات متنی و طرح‌های اولیه را با محدودیت‌های طراحی و بازخورد تعاملی ترکیب می‌کند.

در این چارچوب، نیازهای کاربر به هدایت فرایند تولید رابط کمک می‌کنند و قواعد مربوط به چیدمان، رنگ و فاصله‌گذاری نیز ساختار آن را شکل می‌دهند. بازخورد به کاربران اجازه می‌دهد نتیجه را اصلاح کنند. این عناصر در کنار هم به یکی از مسائل عملی سیستم‌های مولد می‌پردازند: تولید خروجی‌ای که فرد بتواند آن را هدایت و تصحیح کند.

پژوهش یانگ توجه مستقل گروه‌های دانشگاهی و صنعتی خارج از گروه نویسندگان اصلی را نیز جلب کرده است. در پژوهش «نه یک پرونده الکترونیک سلامت دیگر» (Not Another EHR)، محققانی از مایکروسافت ریسرچ، دانشگاه واشینگتن و دانشگاه استنفورد، مطالعه او درباره رابط‌های کاربری مبتنی بر مدل‌های انتشار را در چارچوب بحث درباره رابط‌های مولد حوزه سلامت بررسی می‌کنند. کاربرد پیشنهادی آن‌ها به پزشکان امکان می‌دهد اطلاعات بیمار را به زبان طبیعی درخواست کنند و نمایی متناسب با نیازهای بالینی خود دریافت کنند. چالش بعدی، ارزیابی خروجی هوش مصنوعی است. معیار سنجش CANVAS که پژوهشگران مؤسسه پیشرفته علم و فناوری کره (KAIST)، دانشگاه کره و دانشگاه یانسه تهیه کرده‌اند، همین مقاله را در بررسی روش‌های ارزیابی خود گنجانده است. این معیار می‌سنجد که آیا مدل‌ها می‌توانند صفحه‌های رابط کاربری را بازسازی کنند و تغییرات هدفمندی، مانند تغییر اندازه یا افزودن اجزا، از طریق ابزارهای موجود در Figma انجام دهند یا خیر.

در حوزه‌هایی فراتر از نرم‌افزارهای طراحی، تمرکز به درک کنش‌های انسان منتقل می‌شود. پژوهش Gestura که با مشارکت بخش TeleAI شرکت چاینا تلکام و شرکت Goertek انجام شده، به مطالعه مشترک یانگ درباره شبکه عصبی کانولوشنی (CNN) به‌عنوان پیشینه‌ای برای تشخیص حرکات اشاره می‌کند. در آزمایش‌های نمونه اولیه عینک هوش مصنوعی، حرکاتی بررسی می‌شوند که بیانگر قصدهایی مانند تنظیم دمای تهویه مطبوع، ورق زدن صفحات و عکاسی هستند. پژوهش CNN او همچنین در مطالعه YOLOv8n-RF درباره کنترل تلویزیون هوشمند از طریق دوربین مطرح شده است. افزون بر این، مطالعه‌ای درباره نمونه اولیه ارتباطی کمکی در نشریه MethodsX به مقاله یانگ درباره DeepSORT استناد می‌کند و بررسی می‌کند که چگونه می‌توان مجموعه کوچکی از حرکات را به متن یا کنش تبدیل کرد. این بررسی‌های مستقل، پژوهش او را به مسئله‌ای پیوند می‌دهند که در طراحی محصول نیز به آن می‌پردازد: تبدیل منظور انسان به رفتار سیستمی که کاربران بتوانند آن را درک و کنترل کنند.

یانگ همچنین پژوهش‌های عمیقی در زمینه ردیابی بصری انجام داده و داوری همتا برای نشریه Engineering Applications of Artificial Intelligence را بر عهده داشته است. تجربه داوری و بررسی آثار او حوزه دانشگاهی و صنعت را در بر می‌گیرد؛ از جمله بررسی طرح‌های دانشجویی در دانشگاه میشیگان و عضویت در هیئت داوری جوایز طراحی وب Orpetron و Top Design King. او همچنین در چندین هکاتون هوش مصنوعی، از جمله AI Solution Makers Hackathon، به‌عنوان داور حضور داشته و پروژه‌های مرتبط با عامل‌های هوش مصنوعی، خودکارسازی و قابلیت اطمینان سیستم‌ها را ارزیابی کرده است.

تعیین مرزهای حافظه و اصلاح برای عامل‌های هوش مصنوعی

وقتی یک گردش کار مبتنی بر هوش مصنوعی اطلاعات را در چندین وظیفه به کار می‌گیرد، اصلاحی که کاربر انجام می‌دهد ممکن است فراتر از صفحه فعلی اثر بگذارد. تغییر رنگ یک تصویر می‌تواند انتخابی موقت باشد، در حالی که اصلاح جهت‌گیری بصری ممکن است برای کارهای آینده نیز در نظر گرفته شده باشد. عامل هوش مصنوعی باید قواعد مشخصی برای تشخیص این تفاوت داشته باشد.

مشخصات طراحی‌شده به‌دست یانگ، میان ویرایش یک دارایی در همان وظیفه و پیشنهاد تغییر در راهنمایی‌های ماندگار تمایز قائل می‌شوند. این مشخصات تعیین می‌کنند کدام اطلاعات اولویت دارند، اصلاحات مالک چگونه حفظ می‌شوند و چه زمانی لازم است فرد تصمیم بگیرد که آیا تغییر پیشنهادی باید برای آینده نیز باقی بماند یا خیر. در گردش کار طراحی‌شده، ابزارهای تولید اطلاعات زمینه‌ای را می‌خوانند، اما به‌روزرسانی آن از مسیر جداگانه‌ای انجام می‌شود.

تغییرات تأییدشده به نسخه‌های پروفایل تبدیل می‌شوند و شواهد منبع و سابقه اصلاحات نیز حفظ می‌شوند تا بتوان مسیر شکل‌گیری جهت‌گیری نهایی را پیگیری کرد. ارزیابان می‌توانند تغییراتی پیشنهاد دهند، اما تصمیم نهایی درباره اعمال آن‌ها با مالک است. خروجی‌های قبلی زمینه اصلی خود را حفظ می‌کنند و بی‌سروصدا معنای ترجیحی را که بعدها شکل گرفته است، به خود نمی‌گیرند.

مشخصات طراحی او اطلاعات ناقص یا متناقض را نیز در نظر می‌گیرند. نبود داده، مقادیر دارای اطمینان پایین و درخواست‌هایی که به‌روشنی با هیچ‌یک از فیلدهای موجود مطابقت ندارند، باید به شکلی آشکار مدیریت شوند. در چنین موقعیت‌هایی ممکن است گردش کار به توضیح بیشتر یا تصمیم‌گیری انسانی نیاز داشته باشد.

برای ویرایش محدود به بخش مشخصی از تصویر، مشخصات طراحی یانگ تغییر درخواستی را با دستورهایی همراه می‌کنند که تعیین می‌کنند چه بخش‌هایی باید بدون تغییر بمانند. انتخاب یک ناحیه بر اساس مختصات می‌تواند محدوده موردنظر را در درخواست مشخص کند، اما به‌تنهایی تضمین نمی‌کند که فقط پیکسل‌های همان ناحیه تغییر کنند. یانگ بررسی نتیجه و امکان بازگشت به نسخه‌های قبلی را نیز در گردش کار قرار می‌دهد تا فرد بتواند خروجی واقعی را ارزیابی کند.

مزیت موردنظر برای کاربر، حفظ پیوستگی کار بدون نیاز به نظارت مداوم است. ترجیحی که تأیید شده است می‌تواند در تولیدهای بعدی نیز اعمال شود، در حالی که یک تنظیم موقت به همان وظیفه محدود می‌ماند. یانگ قواعدی را طراحی می‌کند که این دو حالت را از یکدیگر متمایز می‌سازند.

سنجش میزان پایبندی مدل به درخواست

گزینه انتخاب لحن فقط زمانی مفید است که انتخاب‌های مختلف آن به تولید متونی با تفاوت معنادار منجر شوند. یانگ این رابطه را در ارزیابی کنترل‌شده‌ای با ۷۲۰ شرح تولیدشده بررسی کرد. این آزمایش پنج لحن، چهار گروه کسب‌وکار و چهار وظیفه را در سه وضعیت مختلف پرامپت در بر می‌گرفت.

در این آزمایش، مدل GPT-4o mini شرح‌ها را تولید کرد و مدل GPT-4o در مقایسه‌های پنج‌گزینه‌ای با ترتیب تصادفی، لحن آن‌ها را تعیین کرد. دستورهایی که فقط از صفت‌های انتزاعی استفاده می‌کردند، به تفکیک‌پذیری ۴۵ درصدی لحن‌ها رسیدند. این رقم برای مجموعه‌ای ساختاریافته از عبارت‌ها به ۸۸ درصد و در نسخه تکرارشده و اصلاح‌شده آن به ۸۹ درصد افزایش یافت. این معیار نشان می‌دهد لحن‌ها در مقایسه‌های کنترل‌شده‌ای که هوش مصنوعی ارزیاب آن‌ها بود، تا چه اندازه از یکدیگر قابل‌تشخیص بودند.

این مجموعه‌ها شامل عبارت‌های ترجیحی، عبارت‌های ممنوع یا نامطلوب، نمونه جمله‌ها و راهنمای سبک جمله‌سازی بودند. نتایج، مسیر طراحی‌ای را شکل دادند که در آن کاربران می‌توانند انتخاب‌های زبانی و نمونه‌ها را بررسی و تنظیم کنند. به این ترتیب، گزینه آشنای انتخاب لحن، به‌جای تکیه بر یک صفت مبهم، با راهنمایی دقیق‌تری پشتیبانی می‌شود.

آزمایش جداگانه‌ای درباره تولید تصویر نشان داد که ارزیابی باید رفتارهای ناخواسته را نیز بررسی کند. در مقایسه‌ای کنترل‌شده با مدل gpt-image-1، یک معیار پیکسلی برای پس‌زمینه به یکی از نسخه‌ها امتیاز ۱٫۰۰ داد، اما ارزیاب بینایی GPT-4o تنها در ۹ مورد از ۲۴ مقایسه دوتایی همان نسخه را ترجیح داد. بررسی تصاویر نشان داد دستور ساده‌سازی تصویر ممکن است به‌جای حذف جزئیات، وسیله یا شیء دیگری به آن اضافه کند.

یانگ پیشنهاد کرد کنترل پرامپت تغییر کند. این اختلاف، مشکل طراحی‌ای را آشکار کرد که معیار مطلوب آن را نادیده گرفته بود: کاربری که ساده‌سازی تصویر را انتخاب می‌کند، ممکن است در نهایت با شیء دیگری روبه‌رو شود که باید آن را حذف کند. آزمایش دستور پشت این کنترل، مبنایی برای اصلاح تعامل در اختیار او گذاشت.

از دیدگاه یانگ، نتایج ارزیابی باید دوباره به طراحی رابط بازگردند. یک کنترل لحن می‌تواند نمونه‌هایی از زبان را در اختیار کاربران بگذارد تا آن‌ها را بررسی کنند؛ کنترل تصویر نیز زمانی که دستور آن کار اضافی ایجاد می‌کند، باید اصلاح شود. آزمایش در این فرایند هدف مشخصی دارد: کمک می‌کند تعیین شود محصول تا چه اندازه می‌تواند به‌طور معقول از کاربران بخواهد به عملکرد آن اعتماد کنند.

حفظ امکان هدایت ویدئوی مولد به دست انسان

در تولید ویدئو، مسئله این است که خودکارسازی در چه مرحله‌ای باید تصمیم‌گیری را دوباره به سازنده واگذار کند. مدل می‌تواند تصاویر مرتبط را پیدا کند و آن‌ها را به یک توالی تبدیل کند، اما سازنده همچنان باید تشخیص دهد که آیا محتوای حاصل، داستان موردنظر را روایت می‌کند یا خیر.

فعالیت یانگ در زمینه تبدیل تصاویر خام به ویدئو، تعریف محصول، معماری گردش کار، طراحی تعامل و نمونه‌سازی را در بر می‌گیرد و با همکاری تیم‌های محصول، تحقیق و توسعه، طراحی و یادگیری ماشین انجام شده است. مطالعه موردی او به پژوهشی اشاره می‌کند که بر بیش از ۵۰۰ پاسخ به نظرسنجی کاربران فعال و بیش از ۱۰ بررسی کاربری تکیه داشته است. کاربران از کمک هوش مصنوعی استقبال می‌کردند، اما می‌خواستند پیش‌نویسی در اختیار داشته باشند که بتوانند آن را اصلاح کنند.

او تجربه کاربری را حول چهار مرحله سازمان داد: جست‌وجوی تصاویر خام، انتخاب نماها، تولید استوری‌بورد و ویرایش گفتار روی تصویر. هر مرحله امکان مشخصی برای مداخله سازنده فراهم می‌کند؛ از بررسی محتوای منبع گرفته تا تغییر ترتیب نماها یا تنظیم روایت صوتی. آزمایش‌های A/B با بیش از ۱۰ کاربر، گزینه‌های طراحی را در همین نقاط تصمیم‌گیری بررسی کردند.

این طراحی، دشواری تولید دوباره و مکرر محتوا را با فراهم کردن امکان ویرایش پیش‌نویس در مراحل معنادار کاهش می‌دهد. سازنده می‌تواند روی بخشی که به اصلاح نیاز دارد کار کند و در عین حال، هدف کلی پروژه را در نظر داشته باشد. نقش یانگ این است که مشخص کند کمک مدل در کجا مفید است و وقتی نتیجه قطعی نیست، کاربر به چه ابزارهایی برای کنترل آن نیاز دارد.

سوابق طراحی مشارکتی هوش مصنوعی او شامل طرح مفهومی ویرایش ویدئوی مولد است که در سال ۲۰۲۴ در بخش طراحی مفهومی ـ فناوری جوایز طراحی MUSE، جایزه پلاتین دریافت کرد. پروژه Sonic AI، مفهومی برای تجربه کنسرت در خانه که یانگ با دو همکار دیگر در آن مشارکت داشت، نیز در سال ۲۰۲۵ در بخش تجربه کاربری ـ محصول جوایز دیجیتال Vega، جایزه طلا را کسب کرد. این تقدیرها در کنار پژوهش‌ها، مشخصات طراحی و آزمایش‌هایی قرار می‌گیرند که مستندات فعالیت حرفه‌ای او را تشکیل می‌دهند.

در مجموع، رهبری یانگ در طراحی محصول، نیت انسان را به رفتار یک سیستم هوش مصنوعی مولد پیوند می‌دهد. رابط کاربری به فرد امکان می‌دهد انتخابی را بیان یا اصلاح کند؛ قواعد عامل مشخص می‌کنند آن انتخاب چگونه در سیستم جریان یابد؛ و آزمایش‌ها می‌سنجند که آیا مدل مطابق آن عمل می‌کند یا خیر. هر یک از این بخش‌ها بر میزان تلاشی که همچنان بر عهده کاربر می‌ماند، تأثیر می‌گذارند.

نکات برجسته

پژوهش در تعامل انسان و رایانه و رابط‌های مولد: به پژوهش‌های مشترک یانگ در IEEE در مطالعات مربوط به رابط‌های مولد حوزه سلامت، ارزیابی طراحی هوش مصنوعی و تعامل حرکتی در ابزارهای پوشیدنی استناد شده است. این مطالعات از جمله پژوهش‌هایی را شامل می‌شوند که با مشارکت مایکروسافت ریسرچ، KAIST و بخش TeleAI شرکت چاینا تلکام انجام شده‌اند. پژوهش‌های او بررسی می‌کنند که سیستم‌ها چگونه ورودی‌ها را تفسیر می‌کنند، محدودیت‌ها را به کار می‌گیرند و به بازخورد پاسخ می‌دهند؛ پرسش‌هایی که در طراحی محصولات هوش مصنوعی نیز محور فعالیت او هستند.

طراحی محصول و عامل‌های هوش مصنوعی: یانگ رهبری تعریف محصول، معماری گردش کار، طراحی تعامل و نمونه‌سازی را بر عهده دارد. او مشخص می‌کند که تصاویر مرجع چگونه به راهنمای مدل تبدیل شوند، عامل‌ها چگونه ویرایش‌های محلی را از ترجیحات ماندگار تشخیص دهند و کاربران در چه مراحلی تغییرات را بررسی یا تأیید کنند.

آزمایش مدل و کنترل کاربر: یانگ با استفاده از آزمایش‌های کنترل‌شده روی متن و تصویر، بررسی می‌کند که آیا مدل‌ها مطابق جهت‌گیری موردنظر عمل می‌کنند یا خیر و در صورت لزوم، دستورهای پشت کنترل‌های رابط کاربری را اصلاح می‌کند. گردش کار ویدئویی او نیز نقاط مشخصی برای بررسی تصاویر خام، انتخاب نماها، تغییر استوری‌بورد و ویرایش روایت در اختیار سازندگان قرار می‌دهد.