افزودن هشدارهای مقابله با سوءاستفاده در چت‌جی‌پی‌تی و ارائه ابزار رایگان شناسایی تصاویر سوءاستفاده جنسی از کودکان

www.edtechinnovationhub.com

انتشار در منبع: انتشار در سایت ما:

مقاله اصلی · English

اوپن‌ای‌آی در حال اضافه‌کردن هشدارها و تعلیق موقت حساب‌های کاربری به چت‌جی‌پی‌تی است. این شرکت همچنین یک ابزار رایگان تشخیص تصویر معرفی کرده که به تیم‌های مسئول ایمنی کمک می‌کند موارد احتمالی تصاویر سوءاستفاده جنسی از کودکان (CSAM) را شناسایی کنند؛ از جمله تصاویری که پیش‌تر شناسایی نشده‌اند یا با هوش مصنوعی تولید شده‌اند.

این اعلام همچنین شامل راهنمایی‌ها و ابزارهایی برای توسعه‌دهندگان و مأموران متخصص اجرای قانون است. دسترسی به ابزار تشخیص تصویر از طریق API اوپن‌ای‌آی به سازمان‌های تأییدشده محدود خواهد بود. استفاده از ابزارهای تحقیقاتی نیز مستلزم تأیید و مجوز نهاد مربوطه و رعایت شرایط تعیین‌شده در این برنامه است.

هشدارهای چت‌جی‌پی‌تی برای متوقف‌کردن رفتارهای آسیب‌زا

سازوکار جدید چت‌جی‌پی‌تی تلاش کاربران برای یافتن محتوای سوءاستفاده‌گرانه را متوقف می‌کند، درباره آسیب‌های ناشی از چنین رفتاری توضیح می‌دهد و کاربران را به منابع تخصصی دریافت کمک هدایت می‌کند. اوپن‌ای‌آی اعلام کرده است که مکالمه علامت‌گذاری‌شده را حذف و دسترسی کاربر را به مدت ۲۴ ساعت تعلیق می‌کند. در این مدت، منابع و اطلاعات مربوط به دریافت حمایت همچنان در دسترس کاربر خواهند بود.

به گفته این شرکت، تکرار تخلف ممکن است به محدودیت‌های طولانی‌تر، بسته‌شدن حساب کاربری یا گزارش موضوع به مراجع قانونی منجر شود. این اقدام در ادامه سیاست‌های پیشین اوپن‌ای‌آی برای ممنوعیت محتوای سوءاستفاده جنسی از کودکان و تدابیر حفاظتی این شرکت برای رد درخواست‌های مرتبط با چنین محتوایی اجرا می‌شود.

سازمان‌ها و مشاوران دانشگاهی مشارکت‌کننده در طراحی این رویکرد عبارت‌اند از Protect Children، بنیاد لوسی فیتفول (Lucy Faithfull Foundation)، دکتر کائولته اوکاردا، پژوهشگر و خواننده افتخاری روان‌شناسی قانونی در دانشگاه کنت، و جوئل اسکنلن از دانشگاه تاسمانی. اوکاردا و اسکنلن به‌طور مستقل یک دوره آزمایشی از پیام‌های بازدارنده را ارزیابی کرده‌اند.

اسکنلن، دانشیار مرکز بازدارندگی محتوای سوءاستفاده جنسی از کودکان (CSAM Deterrence Centre)، درباره نقش این تخصص در طراحی سازوکار جدید می‌گوید: «اوپن‌ای‌آی با چندین متخصص بیرونی که پیش‌تر پیام‌های هشداردهنده را طراحی و ارزیابی کرده‌اند همکاری کرده است. این شرکت با مشارکت آن‌ها و بر پایه شواهد، مداخله جدید را به‌صورت مشترک طراحی کرده و قصد دارد کاربران را تا حد امکان در حوزه‌های قضایی مختلف به منابع حمایتی محلی هدایت کند.»

ابزار تشخیص برای شناسایی تصاویر پیش‌تر ناشناخته

این ابزار تشخیص تصویر با کمک مرکز ملی کودکان مفقود و مورد سوءاستفاده قرارگرفته آمریکا (NCMEC) توسعه یافته است. سامانه با بررسی نشانه‌های بصری مرتبط با سوءاستفاده احتمالی، امتیازهایی ارائه می‌کند تا کارشناسان بتوانند تصاویر را بر اساس اولویت بررسی کنند. همچنین، شاخصی جداگانه در اختیار آن‌ها قرار می‌دهد که مشخص می‌کند آیا محتوای مشکوک ممکن است با هوش مصنوعی تولید شده باشد یا خیر.

ارزیابی داخلی اوپن‌ای‌آی نشان می‌دهد که این سامانه می‌تواند تعداد تصاویری را که نیازمند بررسی انسانی هستند کاهش دهد. این شرکت در مقایسه‌ای بر اساس تصاویر بارگذاری‌شده توسط کاربران برآورد کرده است که ابزار جدید، در حالی که تقریباً همان تعداد تصویر حاوی سوءاستفاده را شناسایی می‌کند، ۴۸ درصد تصاویر کمتری را علامت‌گذاری خواهد کرد. احتمال اینکه تصاویر علامت‌گذاری‌شده حاوی موارد سوءاستفاده باشند، تقریباً دو برابر بیشتر بوده است.

این نتایج حاصل ارزیابی خود اوپن‌ای‌آی است و هنوز ارزیابی مستقلی از آن‌ها انجام نشده است. با این حال، شرکای اولیه آزمایش‌های تکمیلی نیز انجام داده‌اند. در ارزیابی شرکت fal روی تصاویر واقعی بررسی‌شده توسط کارشناسان انسانی، ۷۲ درصد مواردی که با اطمینان بالا علامت‌گذاری شده بودند، به‌عنوان تصاویر سوءاستفاده جنسی از کودکان که پیش‌تر شناسایی نشده بودند، تأیید شدند.

جان شیهان، معاون ارشد رئیس مرکز ملی کودکان مفقود و مورد سوءاستفاده قرارگرفته، می‌گوید: «این ابزار جدید، امکان دسترسی سازمان‌های بیشتری را به فناوری‌هایی فراهم می‌کند که می‌توانند به شناسایی موارد پیش‌تر ناشناخته سوءاستفاده جنسی از کودکان کمک کنند، فرایند گزارش‌دهی را تقویت کنند و اطلاعات حیاتی در اختیار افرادی قرار دهند که برای شناسایی و محافظت از قربانیان تلاش می‌کنند.»

اوپن‌ای‌آی برای گسترش دسترسی به این ابزار با ائتلاف فناوری (Tech Coalition) و سازمان ROOST همکاری کرده است. این شرکت همچنین مشارکت خود را در برنامه Lantern متعلق به ائتلاف فناوری آغاز کرده است؛ برنامه‌ای که در چارچوب آن، اطلاعات و نشانه‌های مرتبط با استثمار و سوءاستفاده جنسی آنلاین از کودکان میان پلتفرم‌های مختلف تبادل می‌شود.

راهنمای توسعه‌دهندگان و آموزش مأموران تحقیقاتی

راهنمای جدید توسعه‌دهندگان موضوعاتی مانند پیشگیری، گزارش تخلف توسط کاربران، شناسایی محتوا، فرایندهای بررسی و گزارش موارد مشکوک به سوءاستفاده را پوشش می‌دهد. این راهنما با مشارکت ائتلاف فناوری، سازمان Thorn، مرکز ملی کودکان مفقود و مورد سوءاستفاده قرارگرفته و بنیاد دیده‌بانی اینترنت (Internet Watch Foundation) تهیه شده است. همچنین در آن به حمایت از افرادی پرداخته می‌شود که محتوای حساس را بررسی می‌کنند.

در اقدامی جداگانه، اوپن‌ای‌آی، آنتروپیک و گوگل به‌طور مشترک سفارش تهیه راهنمایی از ائتلاف فناوری را داده‌اند که نحوه واکنش به افشای موارد استثمار و سوءاستفاده جنسی از کودکان توسط کاربران در سامانه‌های هوش مصنوعی را توضیح می‌دهد.

نخستین ابزار تحقیقاتی ویژه واحدهای تخصصی اجرای قانون برای بررسی سوابق طولانی مکالمات و اسنادی طراحی شده است که از طریق فرایندهای قانونی به دست می‌آیند. این ابزار می‌تواند ارتباطات احتمالی میان اطلاعات را شناسایی و خط زمانی رویدادها را تنظیم کند. یافته‌های آن نیز به منابع و اسناد اصلی مرتبط خواهند بود تا امکان مراجعه و بررسی آن‌ها وجود داشته باشد.

قرار است آموزش اولیه به شکل معرفی و نمایش عملی ابزار برگزار شود و یک راهنمای کاربردی میدانی نیز در کنار آن ارائه شود. مدیران برنامه مسئول مدیریت دسترسی به ابزارها خواهند بود. همچنین برگزاری دوره‌های آموزشی تکمیلی در کنفرانس‌های منطقه‌ای، ملی و بین‌المللی در دستور کار قرار گرفته است.