انتشار مقاله‌ای درباره تداوم توهم ارجاعات در مدل‌های زبانی بزرگ
انتشار مقاله‌ای درباره تداوم توهم ارجاعات در مدل‌های زبانی بزرگ
نویسنده: جوی بوکانن
خوشحالم اعلام کنم که مقاله پژوهشی زیر منتشر شده است:
«توهم ارجاعات در مدل‌های زبانی بزرگ در علم اقتصاد، حتی با دسترسی به وب، همچنان ادامه دارد»
نویسندگان: جوی بوکانن، استیون هیل و اولگا شاپووال
چکیده: با وجود پیشرفت چشمگیر توانایی‌های مدل‌های زبانی بزرگ (LLM) از سال ۲۰۲۳ و اضافه‌شدن قابلیت جست‌وجو در وب، تولید ارجاعات جعلی همچنان مشکلی پایدار در محتوای دانشگاهی تولیدشده با هوش مصنوعی است. ما مدل‌های GPT-4o، DeepSeek V3، نسخه مجهز به جست‌وجوی وب GPT-4o و نسخه مجهز به جست‌وجوی وب GPT-5.1 را با استفاده از پرسش‌هایی مبتنی بر دسته‌بندی‌های Journal of Economic Literature آزمایش کردیم. با به‌کارگیری چارچوبی سلسله‌مراتبی برای اعتبارسنجی ارجاعات، دریافتیم که حتی یک مدل پیشرفته مجهز به جست‌وجوی وب نیز منابعی را ذکر می‌کند که وجود خارجی ندارند. اگرچه مدل‌های مجهز به وب در مقایسه با نسخه‌های پیشین عملکرد بهتری دارند، میزان خطا در کاربردهای علمی همچنان بالاست. یافته‌های ما نشان می‌دهد که با وجود پیشرفت‌های فناوری، مشکل اساسی تولید ارجاعات جعلی همچنان پابرجاست و این مسئله بر سلامت علمی و استفاده قابل‌اعتماد از هوش مصنوعی در پژوهش تأثیر می‌گذارد. همچنین ابزاری آنلاین در اختیار پژوهشگران قرار داده‌ایم تا بتوانند مدل‌های زبانی بزرگ را با استفاده از پرسش‌های ما و بر اساس این معیار ارزیابی کنند.
شیوه پیشنهادی ارجاع به مقاله:
Buchanan, J., Hill, S. and Shapoval, O. (2026), LLM Hallucination of Citations in Economics Persists With Web-Enabled Models. Southern Economic Journal. https://doi.org/10.1002/soej.70069
مدتی پس از انتشار مقاله سال ۲۰۲۴ ما درباره این موضوع و پس از آنکه امکان جست‌وجو در وب به GPT اضافه شد، تصور کردیم شاید این مشکل عجیبِ ساختن ارجاعات جعلی برطرف شده باشد. به همین دلیل، دوباره بررسی را انجام دادیم و تعداد موارد را شمردیم. نتیجه این بود که هنوز هم تعداد قابل‌توجهی از منابع ذکرشده ساختگی هستند.
به باور من، این مشکل مشخصِ ارجاعات جعلی به‌زودی برطرف خواهد شد. بااین‌حال، آشکاربودن این خطاها نکته‌ای کلی‌تر درباره فناوری مدل‌های زبانی بزرگ را روشن می‌کند و اهمیت راستی‌آزمایی را نشان می‌دهد. می‌توانید به مقاله سال ۲۰۲۶ ما استناد کنید تا نشان دهید که با وجود پیشرفت در جنبه‌های مختلف، پدیده توهم همچنان رخ می‌دهد. از زمانی که این مسیر پژوهشی را آغاز کردیم، شرکت OpenAI مقاله‌ای با عنوان «چرا مدل‌های زبانی دچار توهم می‌شوند» منتشر کرده است. بخشی از آن مقاله چنین می‌گوید:
توهم‌ها تا حدی به این دلیل ادامه دارند که روش‌های کنونی ارزیابی، مشوق‌های نادرستی ایجاد می‌کنند. اگرچه خودِ ارزیابی‌ها مستقیماً باعث بروز توهم نمی‌شوند، بیشتر روش‌های ارزیابی عملکرد مدل‌ها را به‌گونه‌ای می‌سنجند که به حدس‌زدن به‌جای بیان صادقانه عدم‌قطعیت پاداش می‌دهد.
می‌توانید نسخه پیش‌چاپ مقاله «توهم ارجاعات در مدل‌های زبانی بزرگ در علم اقتصاد، حتی با دسترسی به وب، همچنان ادامه دارد» را در SSRN از طریق این پیوند مطالعه کنید: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5318314.
ما از آن دسته افرادی نیستیم که با بدبینی، مدل‌های زبانی بزرگ را صرفاً «طوطی‌های تصادفی» می‌دانند. استیون هیل در زندگی شخصی و روند انجام کارهایش حتی بیش از من از هوش مصنوعی استفاده می‌کند. احتمالاً در آینده‌ای نه‌چندان دور، هوش مصنوعی نیز واجد شرایط دریافت تمام جوایز دانشگاهی‌ای خواهد شد که پیش‌تر به نویسندگان و دانشمندان انسانی اعطا می‌کردیم. بااین‌حال، هرچه مسئولیت‌های بیشتری را به هوش مصنوعی واگذار می‌کنیم، باید همچنان احتمال بروز توهم را در نظر داشته باشیم.