افزایش بی‌سابقه هزینه‌های هوش مصنوعی؛ استفاده بیش‌ازحد از مدل‌های پیشرفته با وجود اختلاف ۱۰۰ برابری قیمت توکن‌ها

www.digitaltoday.co.kr

انتشار در منبع: انتشار در سایت ما:

مقاله اصلی · English

بسیاری از شرکت‌ها و کاربران، حتی برای کارهای ساده‌ای مانند نوشتن ایمیل یا تهیه خلاصه، از مدل‌های پیشرفته هوش مصنوعی استفاده می‌کنند؛ این در حالی است که هزینه هر توکن در گران‌ترین مدل‌ها ممکن است تا ۱۰۰ برابر بیشتر از مدل‌های کوچک‌تر باشد. با گسترش استفاده از عامل‌های هوش مصنوعی و ابزارهای خودکارسازی، مصرف توکن‌ها نیز به‌شدت افزایش یافته است. در نتیجه، انتخاب مدل مناسب برای هر وظیفه و کنترل میزان استفاده از آن به یکی از چالش‌های اصلی مدیریت هزینه‌های هوش مصنوعی در شرکت‌ها تبدیل شده است.

تصویری مرتبط با ChatGPT
عکس: ChatGPT

به گزارش رسانه حوزه بلاک‌چین «Decrypt» در ۱۷ اکتبر، کارکنان شرکت متا در اوایل سال جاری میلادی، طی یک دوره ۳۰روزه در مجموع از ۶۰ تریلیون توکن هوش مصنوعی استفاده کردند. این میزان مصرف در پی رقابت شدید داخلی بر سر رتبه‌بندی کارکنان بر اساس میزان استفاده از ابزارهای هوش مصنوعی شکل گرفت. گرگلی اوروش، ستون‌نویس حوزه فناوری، با محاسبه هزینه بر مبنای تعرفه‌های رسمی شرکت آنتروپیک، ارزش این حجم از مصرف را حدود ۹۰۰ میلیون دلار برآورد کرد. البته این رقم بر اساس قیمت‌های فهرست‌شده محاسبه شده و ممکن است مبلغی که متا واقعاً پرداخته، کمتر بوده باشد.

رقابت بر سر استفاده از هوش مصنوعی به دیگر شرکت‌های بزرگ فناوری نیز رسیده است. گزارش‌ها حاکی از آن است که متا، آمازون و اوبر جدول‌های رتبه‌بندی داخلی برای مقایسه میزان استفاده کارکنان از ابزارهای هوش مصنوعی راه‌اندازی کرده‌اند. همچنین گفته شده است که اوبر بودجه ابزارهای هوش مصنوعی خود برای سال ۲۰۲۶ را تنها در حدود چهار ماه به پایان رسانده است.

جنسن هوانگ، مدیرعامل انویدیا، نیز کارکنان و شرکت‌ها را به استفاده گسترده‌تر از هوش مصنوعی تشویق کرده است. او در ماه مارس، در پادکست «All-In»، گفت: «اگر مهندسی که سالانه ۵۰۰ هزار دلار درآمد دارد، دست‌کم به‌اندازه ۲۵۰ هزار دلار توکن مصرف نکند، به‌شدت نگران خواهم شد.» تحلیل مطرح‌شده این است که تشویق به استفاده از هوش مصنوعی با هدف افزایش بهره‌وری، به تشدید رقابت بر سر مصرف این ابزارها دامن می‌زند و فشار بیشتری بر مدیریت هزینه‌ها وارد می‌کند.

یکی از مشکلات اساسی، اختلاف زیاد قیمت میان مدل‌های مختلف هوش مصنوعی است. هزینه هر توکن در پیشرفته‌ترین مدل‌های آنتروپیک و OpenAI ممکن است تا ۱۰۰ برابر بیشتر از مدل‌های کوچک‌تر باشد. برای نمونه، در میان مدل‌های OpenAI، برخی مدل‌ها به‌ازای هر یک میلیون توکن ورودی ۱۰ دلار هزینه دارند، در حالی که قیمت برخی دیگر تنها ۰٫۱۰ دلار است.

توکن واحد پایه‌ای است که هوش مصنوعی برای پردازش و تولید متن از آن استفاده می‌کند. توکن‌ها هم برای پرسش‌ها و اطلاعات زمینه‌ای واردشده به مدل مصرف می‌شوند و هم برای پاسخ‌هایی که هوش مصنوعی تولید می‌کند. در محصولات اشتراکی با قیمت حدود ۲۰ دلار در ماه، سرعت مصرف توکن بر محدودیت‌های استفاده تأثیر می‌گذارد. برای شرکت‌هایی که از طریق رابط برنامه‌نویسی کاربردی (API) به هوش مصنوعی متصل می‌شوند، افزایش مصرف مستقیماً هزینه صورت‌حساب را بالا می‌برد.

ژوئو وانگ از شرکت مشاوره‌ای بین‌اند کامپنی خاطرنشان کرده است که شرکت‌ها اغلب حتی برای کارهایی که به استدلال پیچیده نیاز ندارند، مانند نوشتن ایمیل، از پیشرفته‌ترین مدل‌ها استفاده می‌کنند. به بیان دیگر، ممکن است مدل قدرتمند Opus آنتروپیک تقریباً برای همه وظایف به کار گرفته شود، حتی زمانی که چنین سطحی از توان پردازشی ضرورت ندارد.

مشکل مشابهی در داخل آمازون نیز گزارش شده است. گفته می‌شود برخی کارکنان با استفاده از ابزارهای داخلی هوش مصنوعی برای کارهایی که ارتباط چندانی با وظایف شغلی‌شان نداشت، میزان مصرف خود را افزایش داده‌اند. یکی از معاونان ارشد شرکت به کارکنان هشدار داده است که صرفاً برای استفاده از هوش مصنوعی سراغ آن نروند. اگر میزان استفاده از این فناوری به‌خودی‌خود معیاری برای سنجش عملکرد کارکنان شود، هزینه‌ها افزایش می‌یابد، بی‌آنکه لزوماً بهره‌وری بیشتر شود.

عامل دیگری که هزینه‌ها را بالا می‌برد، استفاده از عامل‌های هوش مصنوعی و سازوکارهای هماهنگ‌سازی آن‌هاست. عامل‌های هوش مصنوعی وظایف را طی چند مرحله، از جمله جست‌وجو، اجرای کد و بررسی نتایج، انجام می‌دهند. اگر گفت‌وگوهای قبلی و اطلاعات زمینه‌ای کار در هر مرحله دوباره به مدل داده شوند، مصرف توکن افزایش می‌یابد. همچنین، تقسیم کار میان چند عامل فرعی می‌تواند تعداد فراخوانی‌ها و حجم اطلاعات زمینه‌ای پردازش‌شده را بیشتر کند.

آنتروپیک اعلام کرده است که وقتی یک عامل گروهی در Claude Code در حالت برنامه‌ریزی (Plan Mode) کار می‌کند، ممکن است حدود هفت برابر یک نشست معمولی توکن مصرف کند. هرچه عامل بتواند وظایف پیچیده‌تری را مستقل‌تر انجام دهد، احتمال افزایش مصرف توکن در پس‌زمینه بیشتر می‌شود؛ حتی اگر کاربر ورودی چندانی ارائه نکند.

یکی از نخستین راهکارهای کاهش هزینه، تفکیک استفاده از مدل‌ها بر اساس میزان دشواری وظایف است. بر این اساس، کارهایی مانند نوشتن ایمیل، ویرایش متن و تهیه خلاصه‌های ساده باید به مدل‌های کوچک‌تر سپرده شوند و مدل‌های پیشرفته تنها برای وظایفی به کار روند که به دقت بالا نیاز دارند؛ از جمله استدلال پیچیده یا تصمیم‌گیری‌های مهم.

شرکت‌ها همچنین می‌توانند پنج وظیفه اخیر خود را با استفاده از یک مدل قدرتمند و یک مدل کوچک‌تر انجام دهند و نتایج را مقایسه کنند. اگر مدل کوچک‌تر نیازهای آن‌ها را برآورده کند، می‌توانند استفاده از آن را ادامه دهند. این رسانه راهبرد مسیردهی درخواست‌ها به مدل مناسب را راهکاری برای کاهش هزینه‌های API تا سقف ۹۹ درصد معرفی کرده است. با این حال، میزان صرفه‌جویی واقعی به نوع وظیفه، قیمت مدل‌ها و حجم استفاده بستگی دارد.

مدیریت دستورها و اطلاعات زمینه‌ای نیز اهمیت دارد. مشخص کردن موارد موردنیاز و قالب خروجی از همان ابتدا، به‌جای اصلاح مکرر پرسش‌ها برای بهبود پاسخ، می‌تواند تعداد درخواست‌های تکمیلی غیرضروری را کاهش دهد. همچنین، با تغییر موضوع بهتر است گفت‌وگوی تازه‌ای آغاز شود تا اطلاعات قبلی بی‌دلیل در درخواست‌های بعدی تکرار نشوند.

آنتروپیک انباشته شدن اطلاعات کم‌ارتباط در گفت‌وگوهای طولانی و افت کیفیت پاسخ در پی آن را «فرسودگی زمینه» (Context Rot) می‌نامد. طولانی‌تر شدن اطلاعات زمینه‌ای نه‌تنها تعداد توکن‌های موردنیاز برای پردازش را افزایش می‌دهد، بلکه ممکن است تمرکز مدل بر اطلاعات اصلی را نیز دشوارتر کند.

محدود کردن طول پاسخ‌ها نیز می‌تواند مستقیماً هزینه‌ها را کاهش دهد. در مدل‌های پیشرفته آنتروپیک و OpenAI، هزینه توکن‌های خروجی پنج برابر توکن‌های ورودی است. افزودن دستورهایی مانند «پاسخ را در حداکثر ۱۰۰ کلمه ارائه کن» یا «فقط بخش‌های اصلاح‌شده را بنویس» می‌تواند از تولید پاسخ‌های غیرضروری و طولانی جلوگیری کند.

همچنین، ضرورتی ندارد محاسبات و تجمیع داده‌ها به‌طور کامل به هوش مصنوعی سپرده شوند. برای مثال، به‌جای وارد کردن یک جدول طولانی به‌صورت کامل برای تحلیل، می‌توان از مدل خواست فرمول‌های موردنیاز یا یک اسکریپت کوتاه بنویسد، آن را مستقیماً اجرا کرد و سپس فقط نتایج محاسبات را در اختیار هوش مصنوعی قرار داد. این روش با واگذاری محاسبات تکراری به ابزارهای متعارف، به‌جای انجام آن‌ها از طریق فرایند استدلال مدل، مصرف توکن را کاهش می‌دهد.

در محیط‌های توسعه نرم‌افزار، استفاده از حافظه نهان و پردازش دسته‌ای نیز از جمله راهکارهای کاهش هزینه به شمار می‌رود. ذخیره دستورهای سیستمی و اطلاعات زمینه‌ای ثابتی که بارها استفاده می‌شوند، می‌تواند هزینه ارسال مجدد همان محتوا در هر نوبت را کاهش دهد. OpenAI و آنتروپیک نیز برای پردازش‌های دسته‌ای ۵۰ درصد تخفیف ارائه می‌کنند؛ روشی که برای حجم بالای کارهایی مناسب است که به پاسخ‌گویی بلادرنگ نیاز ندارند.

برای مثال، به‌جای پردازش بلادرنگ تک‌تک فاکتورها، می‌توان هزار فاکتور را در یک کار دسته‌ای قرار داد و هزینه فراخوانی‌ها را کاهش داد. با این حال، شرکت‌ها باید شرایط پشتیبانی و انواع کارهایی را که امکان استفاده از حافظه نهان و پردازش دسته‌ای برای آن‌ها وجود دارد، بررسی کنند.

تعیین مراحل اجرا و سقف هزینه برای عامل‌های هوش مصنوعی نیز ضروری است. مشخص کردن دقیق شرایط تکمیل کار پیش از شروع، همراه با تعیین حداکثر تعداد مراحل اجرا و بودجه برحسب دلار، می‌تواند مانع تکرار کارهای غیرضروری برای بهبود نتیجه شود. گزارش شده است که شرکت شاپیفای سازوکاری دارد که در صورت افزایش ناگهانی هزینه‌ها در طول یک روز، دسترسی توسعه‌دهندگان را بلافاصله مسدود می‌کند.

قیمت توکن‌ها در حال کاهش است، اما هزینه کل همچنان افزایش می‌یابد. بر اساس شاخص هزینه توکن شرکت Silicon Data، قیمت توکن‌ها از سال ۲۰۲۳ تاکنون بیش از ۹۰ درصد کاهش یافته است، اما هزینه‌کرد مرتبط با مدل‌های زبانی بزرگ از اواخر سال ۲۰۲۵ دو برابر شده است. تحلیل بین‌اند کامپنی نیز نشان می‌دهد که هزینه توکن‌ها از دسامبر ۲۰۲۴ تا دسامبر ۲۰۲۵ به نصف رسیده، اما میزان استفاده ۴۵۰ درصد افزایش یافته است.

این ارقام نشان می‌دهند که کاهش قیمت هر واحد از خدمات هوش مصنوعی لزوماً به کاهش هزینه کلی منجر نمی‌شود. اگر هم‌زمان با افت قیمت‌ها، میزان استفاده با سرعت بیشتری افزایش یابد، مجموع مخارج شرکت‌ها می‌تواند بیشتر شود.

در نهایت، کاهش هزینه‌های هوش مصنوعی صرفاً به انتخاب مدل‌های ارزان‌تر محدود نمی‌شود. شرکت‌ها به سازوکاری عملیاتی نیاز دارند که مدل مناسب را بر اساس نوع وظیفه انتخاب کند، دستورها و اطلاعات زمینه‌ای را به‌صورت کارآمد مدیریت کند و اجرای تکراری عامل‌ها و هزینه‌های آن‌ها را تحت کنترل نگه دارد. با تغییر جهت رقابت در حوزه هوش مصنوعی، از گسترش میزان استفاده به سمت دستیابی به بهره‌وری واقعی، اولویت شرکت‌ها نیز از میزان استفاده به چگونگی استفاده کارآمد از این فناوری تغییر می‌کند.