ChatGPT در برابر Claude و Gemini برای کارهای علم داده؛ یافته‌های یک بررسی

اگر در هر زمینه‌ای از علم داده فعالیت می‌کنید، احتمالاً دست‌کم یکی از دستیارهای هوش مصنوعی را امتحان کرده‌اید. شاید از آن خواسته باشید مقدار p را توضیح دهد، یک اسکریپت رگرسیون بنویسد یا به پاک‌سازی یک مجموعه‌داده نامرتب کمک کند.

ChatGPT، Claude و Gemini سه ابزاری هستند که دانشمندان داده بیش از همه به سراغشان می‌روند. من نسخه‌های پولی فعلی هر سه ابزار را با مجموعه‌ای از وظایف یکسان آزمایش کردم: انتخاب آزمون آماری، توضیح مفاهیم، تولید کد پایتون، تحلیل اکتشافی داده‌ها و بررسی اسناد طولانی. چند نکته مهم از این آزمایش به دست آمد.

البته باید توجه داشت که هر سه پلتفرم به‌طور مداوم مدل‌های خود را به‌روزرسانی می‌کنند؛ بنابراین این مقایسه را باید تصویری از وضعیت فعلی دانست، نه رتبه‌بندی دائمی.

رویکرد هر ابزار به علم داده

هر سه ابزار می‌توانند کد پایتون و R تولید کنند، مفاهیم آماری را توضیح دهند و شما را در مسیر انجام یک تحلیل راهنمایی کنند. اما شیوه انجام این کار و میزان اطمینان‌پذیری آن‌ها تفاوت قابل توجهی دارد.

ChatGPT یک ابزار عمومی با دامنه گسترده است. بزرگ‌ترین مزیت آن برای علم داده، محیط تحلیل داده آن است که به شما اجازه می‌دهد فایل‌های CSV یا Excel را بارگذاری کنید و سپس در همان گفت‌وگو، پایتون را در یک محیط ایزوله بنویسد و اجرا کند. می‌توانید بدون باز کردن نوت‌بوک، از داده خام به آمارهای خلاصه و نمودار برسید و در میانه تحلیل نیز درخواست‌هایی مانند «این داده‌های پرت را حذف کن و دوباره محاسبه کن» را مطرح کنید.

Claude معمولاً توضیحات جزئی‌تر ارائه می‌دهد و در دنبال کردن دستورهای پیچیده در گفت‌وگوهای طولانی عملکرد خوبی دارد. این ابزار اکنون اجرای کد و ساخت فایل را نیز به‌صورت داخلی ارائه می‌کند؛ بنابراین می‌تواند روی مجموعه‌داده‌های بارگذاری‌شده پایتون اجرا کند و نمودارها را مستقیماً در گفت‌وگو ایجاد کند. اگر یک درخواست دقیق یا مجموعه‌ای از محدودیت‌ها به Claude بدهید، معمولاً آن‌ها را منظم‌تر از دیگر ابزارها رعایت می‌کند.

Gemini از یکپارچگی عمیق با اکوسیستم گوگل بهره می‌برد. اگر داده‌های شما در Google Sheets یا Google Drive قرار داشته باشد، Gemini می‌تواند با کمترین اصطکاک به آن‌ها دسترسی پیدا کند. این ابزار از پنجره‌های متنی بسیار بزرگ پشتیبانی می‌کند و اکنون اجرای داخلی پایتون نیز دارد. برای پژوهش‌هایی که نیازمند گردآوری اطلاعات از چند منبع هستند، قابلیت جست‌وجوی وب آن یک مزیت محسوب می‌شود.

استدلال آماری و توضیح مفاهیم

در این بخش تفاوت میان ابزارها بیشتر آشکار می‌شود.

وقتی یک پرسش مفهومی مطرح می‌کنید، برای مثال اینکه چه زمانی باید از آزمون t ولچ به جای آزمون t استاندارد برای نمونه‌های مستقل استفاده کرد، هر سه ابزار پاسخ درست ارائه می‌دهند. تفاوت اصلی در شیوه توضیح آن‌هاست.

در آزمایش‌های من، Claude منسجم‌ترین استدلال آماری را ارائه کرد و مفروضات، شرایط و پیامدها را به ترتیب منطقی توضیح داد، بدون اینکه به نتیجه‌گیری‌های حدسی بپردازد. یک پژوهش داوری‌شده در سال ۲۰۲۵ نیز الگویی مشابه را تأیید می‌کند: پژوهشگران شش دستیار هوش مصنوعی را در ۲۰ سناریوی انتخاب آزمون آماری بررسی کردند و همه آن‌ها به دقت ۱۰۰ درصد رسیدند. Claude بالاترین امتیاز را از نظر وضوح دریافت کرد و Gemini از نظر ارزش آموزشی بهترین ارزیابی شد. البته این مطالعه نسخه‌های رایگان ابزارها را در یک روز مشخص آزمایش کرده بود و برخی تفاوت‌ها از نظر آماری معنادار نبودند.

ChatGPT پاسخ‌های حل مسئله قابل قبولی ارائه می‌دهد و معمولاً مفاهیم آماری را به موقعیت‌های عملی در کسب‌وکار یا پژوهش مرتبط می‌کند؛ موضوعی که هنگام انتخاب آزمون مناسب برای داده‌های واقعی مفید است.

Gemini معمولاً توضیحاتی ارائه می‌کند که برای آموزش یا یادگیری آسان‌تر هستند. همچنین مفاهیم مرتبط را به یکدیگر پیوند می‌دهد و کمک می‌کند ارتباط میان روش‌های مختلف را بهتر درک کنید.

برای پرسش‌های ساده، هر سه ابزار عملکرد مناسبی دارند. تفاوت اصلی در مسائل چندمرحله‌ای مانند انتخاب روش مدل‌سازی برای مجموعه‌داده‌ای با ویژگی‌های مشخص دیده می‌شود. Claude و Gemini معمولاً مسیر تصمیم‌گیری منظم‌تری ارائه می‌کنند، در حالی که ChatGPT گاهی برای رسیدن سریع‌تر به پاسخ برخی مراحل را حذف می‌کند.

تولید کد برای تحلیل داده

هر سه ابزار اکنون امکان اجرای داخلی کد را دارند؛ بنابراین تفاوت اصلی دیگر در توانایی اجرای کد نیست، بلکه در روند کاری و کیفیت تحلیل تولیدشده است.

محیط تحلیل داده ChatGPT پخته‌ترین تجربه را ارائه می‌دهد. شما مجموعه‌داده را بارگذاری می‌کنید، درخواست خود را توضیح می‌دهید و ابزار پایتون را می‌نویسد، اجرا می‌کند و نتایج را همراه با نمودارها ارائه می‌دهد. برای تحلیل اکتشافی داده‌ها (EDA)، این روند بسیار روان است. محدودیت آن این است که با فایل‌های بارگذاری‌شده کار می‌کند، نه پایگاه‌های داده زنده، و اندازه فایل‌ها نیز محدود است.

در آزمایش من، Claude برای وظایف پیچیده یا چندفایلی، پاکیزه‌ترین کد را تولید کرد. اگر به یک خط لوله داده، کلاس پیش‌پردازش یا بازسازی یک اسکریپت تحلیلی نیاز داشته باشید، Claude معمولاً خروجی سازمان‌یافته‌تری ایجاد می‌کند.

Gemini در تولید کد عملکرد مناسبی دارد و به‌ویژه زمانی که کد با ابزارهای Google Cloud یا BigQuery تعامل داشته باشد، عملکرد خوبی نشان می‌دهد.

در مورد هر سه ابزار باید یک نکته را در نظر داشت: همیشه کد تولیدشده را پیش از اجرای آن روی داده‌های مهم بررسی کنید. همه دستیارهای هوش مصنوعی ممکن است کدی تولید کنند که دارای خطاهای آماری ظریف باشد؛ مانند استفاده از پارامترهای پیش‌فرض نادرست یا اجرای روشی بدون توجه به مفروضات آن.

کار با مجموعه‌داده‌های بزرگ و حجم اطلاعات

اندازه پنجره متنی هنگام کار با مجموعه‌داده‌های بزرگ، نوت‌بوک‌های طولانی یا مستندات گسترده اهمیت دارد. اندازه دقیق این پنجره‌ها به مدل و نوع اشتراک بستگی دارد و باید در مستندات هر پلتفرم بررسی شود.

Gemini معمولاً بزرگ‌ترین پنجره‌های متنی را ارائه می‌دهد. می‌توانید یک نوت‌بوک کامل یا گزارش فنی را وارد کنید و درباره آن سؤال بپرسید، هرچند کیفیت خروجی در بزرگ‌ترین مقیاس‌ها ممکن است متفاوت باشد.

Claude نیز از پنجره‌های متنی بزرگ پشتیبانی می‌کند و در تجربه من، در اسناد طولانی عملکرد قابل اعتمادی دارد. برای تحلیل یک گزارش مفصل یا بررسی یک کدبیس کامل، این ابزار وظایف را به شکل پایدار انجام می‌دهد.

پنجره متنی ChatGPT معمولاً کوچک‌تر است، اما برای بیشتر کاربردهای عملی کافی محسوب می‌شود. نقطه قوت جبرانی آن حافظه پایدار است که ترجیحات شما را در گفت‌وگوهای مختلف حفظ می‌کند. اگر همیشه با پایتون و pandas کار کنید، ChatGPT این الگوها را به‌صورت خودکار در نظر می‌گیرد.

محدودیت‌های واقعی

هیچ دستیار هوش مصنوعی جای درک عمیق از آمار را نمی‌گیرد. هر ابزار ممکن است خروجی‌ای تولید کند که مطمئن به نظر برسد اما دارای خطای روش‌شناختی باشد.

هر سه ابزار ممکن است مفروضاتی را نادیده بگیرند که تأثیر زیادی بر تحلیل دارند؛ از جمله استقلال داده‌ها، نابرابری واریانس‌ها، مشاهدات اثرگذار، مشخصات مدل یا توزیع باقی‌مانده‌ها. آن‌ها ممکن است روشی از نظر آماری معتبر پیشنهاد کنند، اما بررسی نکنند که آیا آن روش برای مجموعه‌داده و سؤال پژوهشی مشخص مناسب است یا نه. در تجربه من، ChatGPT بیشتر احتمال دارد بدون هشدار درباره این مسائل پیش برود، در حالی که Claude گاهی آن‌قدر درباره محدودیت‌ها توضیح می‌دهد که یافتن پاسخ اصلی دشوار می‌شود.

Gemini گاهی برای کتابخانه‌های کمتر رایج پایتون، نحو قدیمی یا توابع منسوخ‌شده پیشنهاد می‌کند. توضیحات آن معمولاً دقیق هستند، اما کد ممکن است پیش از اجرای موفق به اصلاحات جزئی نیاز داشته باشد.

هر سه ابزار ممکن است دچار توهم آماری شوند؛ یعنی گاهی اعداد، منابع یا نتایج پژوهش‌هایی تولید کنند که واقعاً وجود ندارند. این مسئله زمانی اهمیت بیشتری پیدا می‌کند که برای ادعاهای واقعی و نه صرفاً تولید کد، به ابزار اعتماد می‌کنید.

در نهایت باید حریم خصوصی داده‌ها را نیز در نظر گرفت. اگر با مجموعه‌داده‌های اختصاصی یا حساس کار می‌کنید، پیش از بارگذاری فایل‌ها، سیاست‌های نگهداری داده هر پلتفرم را بررسی کنید. رابط‌های وب، دسترسی API و نسخه‌های سازمانی هرکدام شیوه متفاوتی برای مدیریت داده دارند و تنظیمات پیش‌فرض آن‌ها ممکن است با الزامات شما سازگار نباشد.

انتخاب ابزار مناسب برای هر کار

بهترین انتخاب به کاری بستگی دارد که واقعاً انجام می‌دهید.

برای تحلیل اکتشافی داده‌ها روی یک مجموعه‌داده واحد، محیط تحلیل داده ChatGPT بالغ‌ترین تجربه را ارائه می‌دهد. فایل خود را بارگذاری می‌کنید، سؤال می‌پرسید و نتیجه را همراه با خروجی اجراشده دریافت می‌کنید.

برای درک یک مفهوم آماری یا انتخاب آزمون مناسب، Claude معمولاً توضیحات ساختاریافته‌تری ارائه می‌دهد و منطق تصمیم‌گیری را مرحله‌به‌مرحله توضیح می‌دهد.

برای پژوهش‌هایی که به اطلاعات به‌روز یا یکپارچگی با اکوسیستم گوگل نیاز دارند، Gemini انتخاب مناسبی است. جست‌وجوی وب و اتصال آن به ابزارهای Workspace در کارهایی که میان چند ابزار تقسیم شده‌اند، زمان صرفه‌جویی می‌کند.

برای نوشتن کد تولیدی یا ساخت اسکریپت‌های تحلیلی قابل استفاده مجدد، Claude معمولاً خروجی تمیزتر و سازمان‌یافته‌تری تولید می‌کند.

برای استفاده روزمره عمومی در وظایف متنوع، ChatGPT همچنان گسترده‌ترین توانایی کلی را در اختیار دارد.

بسیاری از دانشمندان داده در نهایت به‌طور منظم از دو مورد از این سه ابزار استفاده می‌کنند و بر اساس نوع کار، ابزار مناسب را انتخاب می‌کنند، نه اینکه تنها به یک گزینه متعهد شوند.

جمع‌بندی

هیچ دستیار هوش مصنوعی واحدی وجود ندارد که برای علم داده بهترین گزینه در همه شرایط باشد. ChatGPT مسیر تبدیل داده خام به نتیجه را با محیط تحلیل داده خود ساده‌تر می‌کند. Claude در استدلال آماری و تولید کدهای پیچیده عملکرد خوبی دارد. Gemini نیز با پنجره‌های متنی بزرگ و یکپارچگی مناسب با ابزارهای گوگل مزیت‌هایی ارائه می‌دهد.

رویکرد عملی این است که نقاط قوت هر ابزار را بشناسید و زمانی که یک کار مشخص نیاز دارد، ابزار مناسب را انتخاب کنید. صرف‌نظر از اینکه از کدام ابزار استفاده می‌کنید، همیشه خروجی آن را بررسی کنید؛ به‌خصوص زمانی که تحلیل قرار است مبنای یک تصمیم واقعی باشد.

Vinod Chugani مدرس هوش مصنوعی و علم داده است که میان فناوری‌های نوظهور هوش مصنوعی و کاربردهای عملی آن برای متخصصان شاغل ارتباط برقرار می‌کند. حوزه‌های تمرکز او شامل هوش مصنوعی عاملی، کاربردهای یادگیری ماشین و جریان‌های کاری خودکارسازی است. او از طریق فعالیت‌های خود به‌عنوان مربی فنی و مدرس، به متخصصان داده در توسعه مهارت‌ها و تغییر مسیرهای شغلی کمک کرده است. چگانی دانش تحلیلی خود را از حوزه مالی کمی به رویکرد آموزشی عملی خود منتقل کرده و محتوایش بر راهبردها و چارچوب‌های کاربردی تأکید دارد که متخصصان می‌توانند فوراً به کار گیرند.