ریاضی‌دانان نگران اثبات‌های هوش مصنوعی‌اند؛ اما GPTZero همه آن‌ها را شناسایی کرد
۶ اکتبر ۲۰۲۶ می‌تواند یکی از بزرگ‌ترین روزهای تاریخ ریاضیات باشد؛ یا شاید روز رستاخیز ریاضیات. در هر صورت، ما GPTZero را در معرض یک آزمون واقعی قرار دادیم.
در این روز، OpenAI تعداد ۷۲۲ دست‌نوشته را که یک مدل داخلی این شرکت تولید کرده بود منتشر کرد. OpenAI این دست‌نوشته‌ها را در قالب ۳۷۲ خانواده از نتایج جدید ارائه کرد که هرکدام با هدف پرداختن به یک مسئله مهمِ باز در ریاضیات شکل گرفته بودند. این انتشار در شبکه‌های اجتماعی بازتاب گسترده‌ای پیدا کرد و اسکات آرونسون آن را یکی از بزرگ‌ترین روزهای تاریخ ریاضیات خواند؛ در مقابل، برخی نیز از آن با عنوان «روز رستاخیز ریاضیات» یاد کردند.
فارغ از اینکه این پیش‌چاپ‌ها در نهایت چه معنایی برای ریاضیات داشته باشند، درباره یک پرسش از همین حالا پاسخ روشنی داریم: با وجود پیامدهای نگران‌کننده توانایی این مدل برای حوزه ریاضیات، GPTZero توانست آن را شناسایی کند؛ آن هم در حالی که هرگز با داده‌های این مدل آموزش ندیده بود.
مجموعه‌داده ریاضی OpenAI
OpenAI این ۷۲۲ دست‌نوشته را در قالب یک مخزن گیت‌هاب منتشر کرد. این شرکت اعلام کرد که بیشتر نتایج با استفاده از یک مدل داخلیِ منتشرنشده تولید شده‌اند. فرایند کار به این صورت بود که حدود ۴ هزار مسئله به مدل داده شد و مدل برای تولید هر نتیجه، به‌طور میانگین حدود سه ساعت از توانایی استدلال در سطح ChatGPT Pro استفاده کرد. متن نهایی یکی از دست‌نوشته‌ها نیز برای خوانایی بیشتر توسط یک انسان ویرایش شد.
در ۷ اکتبر، پس از آنکه خطایی در اثبات‌های سه دست‌نوشته پیدا شد، OpenAI این سه مورد را پس گرفت و تعداد دست‌نوشته‌های موجود در مخزن به ۷۱۹ رسید. با این حال، ارزیابی ما بر اساس هر ۷۲۲ دست‌نوشته در نسخه اولیه انتشار انجام شد. برای ساخت مجموعه ارزیابی، کد منبع عمومی LaTeX به متن ساده تبدیل شد و شکل‌ها و فهرست منابع از هر دست‌نوشته حذف شدند. در یکی از پیش‌چاپ‌ها که پیوست آن شامل ۱۳ صفحه جدول‌های صرفاً عددی بود، بخش پیوست نیز حذف شد.
نتیجه ارزیابی GPTZero با اطمینان بالا
ما GPTZero را روی هر ۷۲۲ پیش‌چاپ اصلی آزمایش کردیم. GPTZero هر ۷۲۲ پیش‌چاپ را به‌عنوان متنی که به‌طور کامل توسط هوش مصنوعی تولید شده است طبقه‌بندی کرد.
با بررسی دقیق‌تر، مشخص شد GPTZero نه‌تنها همه آن‌ها را شناسایی کرده، بلکه این کار را با اطمینان بالایی انجام داده است.
آیا GPTZero از عهده متن‌های ریاضی برمی‌آید؟
یکی از پرسش‌هایی که تیم ما اغلب با آن روبه‌رو می‌شود این است که آیا GPTZero وقتی متنی مملو از فرمول‌های ریاضی باشد، همچنان می‌تواند محتوای تولیدشده با هوش مصنوعی را تشخیص دهد؟ پاسخ مثبت است. در دست‌نوشته‌های OpenAI، اسکن پیشرفته GPTZero حتی پاراگراف‌های سرشار از ریاضیات را نیز به‌عنوان متن تولیدشده با هوش مصنوعی علامت‌گذاری می‌کند.
این تصویر بخشی از دست‌نوشته دسته‌های رتبه‌دوِ ample روی سطح کوادریک بدون متریک‌های مثبت گریفیث است. GPTZero حتی زمانی که متن مملو از فرمول‌های ریاضی است، نشانه‌های هوش مصنوعی را تشخیص می‌دهد. نتیجه کامل اسکن پیشرفته را اینجا ببینید.
این موضوع برای دانشگاه‌ها چه معنایی دارد؟
هرچه مدل‌ها و عامل‌های هوش مصنوعی توانمندتر و در دسترس‌تر می‌شوند، نوشتن یک مقاله نیز آسان‌تر می‌شود. این مسئله مشکلات جدی برای دانشگاه‌ها ایجاد می‌کند.
وقتی یک مقاله را می‌توان ظرف چند ساعت تولید کرد، دیگر صرفِ متن مقاله اطلاعاتی درباره اصالت آن به خواننده نمی‌دهد. مقاله‌های تأییدنشده ممکن است پیش از آنکه کسی آن‌ها را بررسی کند، مورد استناد قرار گیرند و به‌سرعت منتشر شوند. پژوهشگران نگران نظام داوری‌ای هستند که با آثار نوشته‌شده توسط هوش مصنوعی اشباع شود. از آنجا که زمان و توجه داوران منابعی ارزشمند هستند، مهم است منابع محدود داوری همتا به آثاری اختصاص یابد که بیشترین شایستگی برای بررسی و به‌رسمیت‌شناخته‌شدن را دارند.
انتشار مجموعه ریاضی OpenAI نمونه خوبی از این مسئله است. تنها یک روز پس از انتشار، پس از آنکه یک خطای اساسی در یکی از دست‌نوشته‌ها پیدا شد و اثباتی را که دو دست‌نوشته دیگر به آن وابسته بودند مخدوش کرد، سه دست‌نوشته پس گرفته شدند. ۱۴ دست‌نوشته دیگر نیز به‌دلیل تعمیر و اصلاح اثبات‌ها، تصحیح گزاره‌ها و در یک مورد اصلاح ارجاعی که دیگر معتبر نبود، بازبینی شدند. این مقالات معیوب هفته‌ها پیش از انتشار تاریخ‌گذاری شده بودند، اما خطاهایشان تنها پس از آن آشکار شد که آثار در دسترس عموم قرار گرفتند و کارشناسان انسانی بیشتری توانستند آن‌ها را بررسی و درباره‌شان پرسش کنند.
به همین دلیل، تشخیص محتوای تولیدشده با هوش مصنوعی اهمیت دارد. وقتی بتوان مقالات تولیدشده با هوش مصنوعی را شناسایی کرد، می‌توان این موضوع را شفاف اعلام و آثار را برای بررسی در اولویت‌بندی کرد تا با آثار علمی تأییدشده انسانی در یک سطح قرار نگیرند. شفافیت برای دانشگاه‌ها ضروری است؛ خوانندگان و داوران حق دارند بدانند یک متن از کجا آمده است تا بتوانند درباره آن خودشان قضاوت کنند. GPTZero تلاش می‌کند از سلامت و اصالت فضای دانشگاهی محافظت کند. با افزایش آثار پژوهشی تولیدشده با هوش مصنوعی، ما نیز به بهبود توانایی خود برای پاسخ به این پرسش ادامه خواهیم داد که چه کسی یک متن را نوشته است.
منابع
- OpenAI. «به‌اشتراک‌گذاری پیشرفت‌های هوش مصنوعی در ریاضیات». ۶ اکتبر ۲۰۲۶. https://openai.com/index/sharing-ai-progress-in-mathematics/
- OpenAI. openai/math (مخزن گیت‌هاب). https://github.com/openai/math
- اسکات آرونسون. «Mathocalypse». Shtetl-Optimized، ۷ اکتبر ۲۰۲۶. https://scottaaronson.blog/?p=10169