پژوهش: API اوپن‌ای‌آی فقط بخشی از منابع ارجاعی ChatGPT را شناسایی کرد

• نتایج گوگل و API اوپن‌ای‌آی در آزمایش‌ها نتوانستند بیشتر صفحاتی را پیدا کنند که ChatGPT به آن‌ها ارجاع داده بود.
• پژوهشگران دریافتند این ابزارهای جایگزین، وب‌سایت‌های مورد استناد را بیشتر از صفحات دقیق شناسایی می‌کنند.
• نویسندگان پیشنهاد می‌کنند منابع در سطح وب‌سایت بررسی شوند، پرسش‌ها چند بار تکرار شوند و پس از تغییر مدل، آزمایش‌ها دوباره انجام گیرند.

یک پژوهش بررسی کرده است که آیا نتایج جست‌وجوی گوگل و API اوپن‌ای‌آی می‌توانند جایگزین مناسبی برای منابعی باشند که ChatGPT به آن‌ها استناد می‌کند یا خیر. یافته‌ها نشان می‌دهد این ابزارها در شناسایی وب‌سایت‌های مورد استناد عملکرد بهتری دارند، اما در یافتن صفحات دقیق مورد ارجاع موفقیت کمتری به دست می‌آورند.

نتایج جست‌وجوی گوگل و API پاسخ‌های اوپن‌ای‌آی در مجموع توانستند ۲۶٫۲ درصد از صفحاتی را پیدا کنند که ChatGPT در آزمایش‌های مربوط به تنظیم GPT-5.5 Instant به آن‌ها ارجاع داده بود. این دو ابزار همچنین ۴۸٫۷ درصد از وب‌سایت‌های منتشرکننده این صفحات را شناسایی کردند.

پژوهشگران دانشگاه ملی سنگاپور و دانشگاه شی‌آن جیائوتونگ یافته‌های خود را در مقاله‌ای که در ۱۱ اکتبر منتشر شد، ارائه کردند. این پژوهش چهار نسخه از ChatGPT، از GPT-5.2 Instant تا GPT-5.5 Instant، را بررسی می‌کند. بخش عمده داده‌ها نیز بین ۲۹ مارس تا ۲۹ ژوئیه ۲۰۲۶ جمع‌آوری شده است. پژوهشگران بدون نیاز به باز کردن ChatGPT، نتایج این دو ابزار جایگزین را به دست آوردند و میزان شباهت آن‌ها را با صفحاتی مقایسه کردند که نسخه وب ChatGPT به‌عنوان منبع معرفی کرده بود. متن پژوهش در آرکایو در دسترس است.

پژوهشگران چگونه عملکرد ChatGPT را بررسی کردند؟

پژوهشگران با ثبت فعالیت نشست‌های کاربری خود پس از ورود به حساب کاربری، جریان داده‌هایی را بررسی کردند که برنامه تحت وب ChatGPT هنگام تولید پاسخ دریافت می‌کرد. این داده‌ها مشخص می‌کردند ChatGPT چه جست‌وجوهایی انجام داده، چه صفحاتی در نتایج ظاهر شده‌اند و کدام صفحات در نهایت به‌عنوان منبع انتخاب شده‌اند. هر صفحه‌ای که ChatGPT به‌عنوان منبع برگزیده بود، در شمار منابع ارجاع‌شده قرار گرفت؛ چه به‌صورت پیوندی مستقل نمایش داده شده باشد و چه در قالب مجموعه‌ای از منابع که یک‌جا انتخاب شده‌اند.

این آزمایش شامل ۸۰ پرسش برگرفته از Search Arena بود؛ پایگاه داده‌ای عمومی که تعاملات واقعی کاربران با چت‌بات‌ها و مدل‌های هوش مصنوعی مجهز به جست‌وجو را ثبت می‌کند. نیمی از پرسش‌ها به زبان انگلیسی و نیم دیگر به زبان چینی بودند. پرسش‌ها در چهار گروه قرار می‌گرفتند: پیشنهاددهی، یافتن اطلاعات و واقعیت‌ها، ترکیب اطلاعات و تحلیل.

هر یک از ۸۰ پرسش، ۲۰ بار با GPT-5.3 Instant و GPT-5.5 Instant اجرا شد. تعداد اجرای پرسش‌ها با GPT-5.2 Instant و GPT-5.4 Thinking کمتر بود، زیرا این مدل‌ها پیش از پایان جمع‌آوری داده‌ها از دسترس خارج شدند.

برای ساخت ابزارهای جایگزین، پژوهشگران با استفاده از SerpAPI برای هر پرسش حداکثر پنج صفحه از نتایج ارگانیک گوگل را بازیابی کردند. به‌طور میانگین، برای هر پرسش حدود ۴۳ نتیجه به دست آمد. همچنین برای هر پرسش، ۲۰ درخواست به مدل‌های gpt-5.3-chat-latest و gpt-5.5 از طریق Responses API اوپن‌ای‌آی فرستاده شد و قابلیت جست‌وجوی وب در این درخواست‌ها فعال بود. تمام این بررسی‌ها حداکثر طی سه روز پس از اجرای همان پرسش‌ها در ChatGPT انجام شدند. این مقاله پیش‌چاپی منتشرشده در آرکایو است و مقالات این مخزن پیش از انتشار، داوری همتا نمی‌شوند.

ابزارهای جایگزین، وب‌سایت‌ها را بیشتر از صفحات دقیق شناسایی کردند

نتایج گوگل و API در مجموع توانستند ۲۸٫۳ درصد از صفحات مورد استناد GPT-5.3 Instant و ۲۶٫۲ درصد از صفحات مورد استناد GPT-5.5 Instant را شناسایی کنند. در سطح وب‌سایت‌ها، این میزان برای دو مدل به‌ترتیب ۵۰٫۳ و ۴۸٫۷ درصد بود. در این محاسبات، زیردامنه‌ها وب‌سایت‌هایی جداگانه در نظر گرفته شدند. طبق تعریف پژوهش، اگر ChatGPT در دست‌کم یکی از ۲۰ اجرای یک پرسش به صفحه‌ای ارجاع می‌داد، آن صفحه در شمار منابع قرار می‌گرفت. درصدهای گزارش‌شده نیز میانگین نتایج برای ۸۰ پرسش هستند.

نتایج جست‌وجوی گوگل به‌تنهایی ۹٫۴ درصد از صفحات ارجاع‌شده به GPT-5.3 Instant و ۶٫۴ درصد از صفحات ارجاع‌شده به GPT-5.5 Instant را پوشش می‌دادند. این ارقام در سطح وب‌سایت‌ها به‌ترتیب ۲۶٫۱ و ۲۲٫۸ درصد بود.

فهرست کامل منابع ارائه‌شده از سوی API، سهم بیشتری از صفحات ارجاعی را پوشش می‌داد: ۲۲٫۹ درصد برای GPT-5.3 Instant و ۲۲٫۵ درصد برای GPT-5.5 Instant. بااین‌حال، صفحات مشخصی که API در پاسخ‌های خودش به آن‌ها استناد کرده بود، پوشش کمتری داشتند؛ در مقایسه مستقیم با منابع ChatGPT، این صفحات تطابق بیشتری نشان می‌دادند. میانگین نتایج ۸۰ پرسش نشان داد GPT-5.5 Instant به ۲۳٫۳ درصد از صفحاتی ارجاع داده است که API نیز به آن‌ها استناد کرده بود. این رقم از سهم متناظر GPT-5.3 Instant که ۱۶٫۴ درصد بود، بیشتر است.

ChatGPT پرسش‌ها را بازنویسی می‌کرد و منابع آن در اجراهای مختلف تغییر می‌کردند

در صفحه راهنمای اوپن‌ای‌آی توضیح داده شده است که ChatGPT هنگام استفاده از یک ارائه‌دهنده جست‌وجوی خارجی، معمولاً پرسش کاربر را به یک یا چند عبارت جست‌وجوی مشخص تبدیل می‌کند. در تمام اجراهای GPT-5.3 Instant و GPT-5.5 Instant که جست‌وجوهایشان قابل مشاهده بود، ChatGPT هیچ‌گاه دقیقاً با همان عبارت‌بندی پرسش اصلی جست‌وجو نکرد. در GPT-5.2 Instant، این اتفاق در ۵٫۵ درصد از کل اجراها رخ داده بود.

در میان اجراهایی که جست‌وجوهای انجام‌شده برای پرسش‌های چینی در آن‌ها قابل مشاهده بود، GPT-5.3 Instant در ۶۷ درصد و GPT-5.5 Instant در ۶۹٫۶ درصد موارد فقط از زبان انگلیسی استفاده کرد. همچنین، در ماه فوریه، نتایج پژوهش Peec AI را بررسی کردم که نشان می‌داد ۴۳ درصد از جست‌وجوهای گسترش‌یافته برای پرسش‌های غیرا‌نگلیسی در آزمایش‌های این شرکت به زبان انگلیسی انجام شده‌اند. گزارش مربوط به نتایج Peec AI جزئیات بیشتری درباره این یافته ارائه می‌دهد.

نتایج اجرای یک پرسش واحد نیز هر بار یکسان نبودند. برای نمونه، ۴۴٫۵ درصد از صفحات متمایزی که برای یک پرسش در GPT-5.5 Instant نمایش داده شدند، فقط در یکی از ۲۰ اجرای آن پرسش ظاهر شدند. این رقم برای GPT-5.3 Instant برابر با ۴۰٫۸ درصد بود. میزان هم‌پوشانی نتایج در سطح وب‌سایت از سطح صفحات بیشتر بود. نویسندگان همچنین خاطرنشان کردند صفحاتی که در تعداد بیشتری از اجراهای مربوط به یک پرسش ظاهر می‌شدند، احتمال بیشتری داشت که مورد استناد قرار گیرند؛ بااین‌حال، این مشاهده به‌تنهایی ثابت نمی‌کند که فراوانی نمایش یک صفحه بر تصمیم ChatGPT برای ارجاع به آن تأثیر می‌گذارد.

پیش‌تر، پیش‌چاپ پژوهش CiteChoice را بررسی کرده بودم که نشان می‌داد تکرار ورودی‌های یکسان باعث تغییر ۱۵ درصدی تصمیم‌های مربوط به استناد یا عدم استناد می‌شود. در پژوهش حاضر، دو نشست جمع‌آوری داده پس از به‌ترتیب ۱۴ و ۱۶ اجرا به مدل دیگری منتقل شدند. به همین دلیل، نویسندگان توصیه می‌کنند هنگام بررسی پاسخ‌ها، مشخص شود هر پاسخ با کدام مدل تولید شده است. گزارش مربوط به پیش‌چاپ CiteChoice در دسترس است.

اهمیت این یافته‌ها چیست؟

در آزمایش‌های این پژوهش، نه نتایج API اوپن‌ای‌آی و نه نتایج جست‌وجوی گوگل نتوانستند صفحات مورد استناد ChatGPT را دقیقاً همان‌طور که این چت‌بات انتخاب کرده بود، بازتولید کنند. بنابراین، آزمونی که بر API اوپن‌ای‌آی یا رتبه‌بندی نتایج گوگل تکیه داشته باشد، احتمالاً وب‌سایت‌های مشترک با منابع ChatGPT را بهتر از صفحات دقیق مشترک شناسایی می‌کند.

نویسندگان برای پایش منابع پیشنهاد می‌کنند هم صفحات منفرد و هم وب‌سایت‌ها بررسی شوند، هر پرسش یکسان چند بار اجرا شود و در تحلیل نتایج به این نکته توجه شود که ChatGPT عبارت‌های جست‌وجوی خود را از روی پرسش کاربر بازنویسی می‌کند. همچنین، هنگام مقایسه نتایج یک ابزار پایش در سطح صفحه وب با منابعی که ChatGPT گزارش می‌کند، باید بررسی شود که داده‌های آن ابزار از طریق API جمع‌آوری شده‌اند یا مستقیماً از برنامه ChatGPT به دست آمده‌اند. این پژوهش هیچ ابزار تجاری پایش منابع را آزمایش نکرده است.

گام بعدی

تمام تنظیمات بررسی‌شده در این پژوهش به دوره پیش از GPT-5.6 و GPT-6 تعلق دارند. صفحه راهنمای مدل‌های اوپن‌ای‌آی اعلام می‌کند که GPT-6 برای کاربران واجد شرایط طرح‌های Plus، Pro، Business و Enterprise در حال عرضه است و GPT-5.6 Luna به مدل پیش‌فرض کاربران طرح‌های Free و Go تبدیل می‌شود.

در حوالی تغییر مدل به GPT-5.5 در ماه مه، داده‌های Sistrix نشان دادند که میزان تغییرات روزانه منابع مورد استناد ChatGPT به زبان آلمانی به ۴۷ درصد رسیده است؛ درحالی‌که این میزان معمولاً بین ۱ تا ۲ درصد بود. نویسندگان پژوهش تأکید می‌کنند که با تغییر مدل پشت ChatGPT، راهبردهای پایش منابع نیز باید دوباره ارزیابی شوند. تا زمانی که این مقایسه با GPT-6 تکرار نشود، ارقام پژوهش فقط وضعیت مدل‌هایی را توصیف می‌کنند که از مارس تا ژوئیه مورد استفاده بودند.

تصویر شاخص: Accogliente Design/Shutterstock

نشان‌نوشت اوپن‌ای‌آی: OpenAI