معرفی روش‌های جدید سفارشی‌سازی مدل‌ها در SageMaker AI بدون نیاز به مدیریت GPU
شرکت‌هایی که از هوش مصنوعی نتایج واقعی می‌گیرند، صرفاً از مدل‌های پایه (FM) آماده استفاده نمی‌کنند. آن‌ها مدل‌های دارای وزن‌های باز را با روش‌های پس‌آموزش، مانند یادگیری تقویتی، متناسب با نیازهای خود سفارشی‌سازی می‌کنند. مدلی که با زمینه کسب‌وکار، فهرست محصولات یا واژگان تخصصی بالینی شما آموزش دیده باشد، می‌تواند وظیفه موردنظر را دقیق‌تر انجام دهد و هزینه اجرای کمتری داشته باشد. هنگام ساخت عامل‌های هوش مصنوعی نیز داده‌ها، گردش‌کارها، روش‌های ارزیابی و معیارهای موفقیت شما بر نحوه رفتار مدل تأثیر می‌گذارند.
بااین‌حال، سفارشی‌سازی مدل کار ساده‌ای نیست. باید روش مناسب را انتخاب کنید، زیرساخت GPU را راه‌اندازی و مدیریت کنید و برای عامل‌ها، محیط‌هایی جهت اجرای یادگیری تقویتی چندمرحله‌ای بسازید. ما برای رفع این چالش‌ها، قابلیت سفارشی‌سازی بدون سرور مدل‌ها را در Amazon SageMaker AI راه‌اندازی کردیم و امروز با عرضه عمومی قابلیت «جلسات آموزش» (Training Sessions)، امکانات آن را گسترش می‌دهیم.
با استفاده از جلسات آموزش می‌توانید منطق پس‌آموزش را کنترل کنید، بدون آنکه لازم باشد زیرساخت زیربنایی را مدیریت کنید. شما حلقه آموزش را می‌نویسید و مراحل آن را هماهنگ می‌کنید؛ از جمله توابع زیان سفارشی یا سیگنال‌های پاداش. SageMaker AI تخصیص GPU، اجرای توزیع‌شده، بازیابی پس از خطا و ذخیره نقاط بازیابی (checkpoint) را بر عهده می‌گیرد.
سفارشی‌سازی مدل بدون دردسر مدیریت زیرساخت
با قابلیت سفارشی‌سازی بدون سرور مدل‌ها در SageMaker AI، نیازی نیست نوع نمونه محاسباتی را انتخاب کنید، خوشه‌ها را مدیریت کنید یا پیکربندی آموزش توزیع‌شده بنویسید.
نمی‌خواستیم شما را به روش خاصی محدود کنیم. می‌توانید از روش‌هایی مانند تنظیم دقیق نظارت‌شده (SFT)، بهینه‌سازی ترجیحات مستقیم (DPO)، یادگیری تقویتی با پاداش قابل‌راستی‌آزمایی (RLVR)، یادگیری تقویتی با بازخورد هوش مصنوعی (RLAIF) یا یادگیری تقویتی چندمرحله‌ای استفاده کنید. همچنین می‌توانید با بهره‌گیری از سازگارسازی کم‌رتبه (LoRA) یا تنظیم دقیق کامل، میزان تغییرات اعمال‌شده بر مدل را تعیین کنید و با پیوند دادن چند روش به یکدیگر، فرایند سفارشی‌سازی پیوسته را اجرا کنید.
نمی‌خواستیم وقت شما تلف شود. کتابخانه راهنمای عملی (cookbook) جلسات آموزش SageMaker AI، نمونه‌ها و موارد کاربرد را در کنار مهارت‌های عامل برای سفارشی‌سازی مدل ارائه می‌کند. کافی است مورد استفاده خود را توضیح دهید تا عامل، آماده‌سازی داده‌ها، انتخاب روش، آموزش، ارزیابی و استقرار را مدیریت کند. این عامل در همان محیطی کار می‌کند که شما از آن استفاده می‌کنید؛ از جمله SageMaker Studio، ابزار Kiro، محیط Claude Code، ابزار Codex یا GitHub Copilot.
«ما از جلسات آموزش بدون سرور SageMaker AI برای ساخت مدلی جهت اولویت‌بندی و بررسی درخواست‌های ردشده بیمه درمانی استفاده کردیم و از همان روز نخست، تجربه کار با این پلتفرم توانمندی‌های آن را تأیید کرد. رابط برنامه‌نویسی سطح پایین، کنترل مستقیم بر گذرهای پیش‌رو و پس‌رو، نمونه‌گیری و مرحله بهینه‌ساز، اختیار دقیق موردنیاز دانشمندان ما را برای پیگیری یادگیری تقویتی در یک کاربرد دشوار و حساس به دقت فراهم کرد. جلسات آموزش، ابزارهای پایه مناسبی در اختیار ما می‌گذارند تا به عملکردی در سطح آماده بهره‌برداری در محیط عملیاتی برسیم.»
— راب گونتارک، معاون ارشد علوم داده، ImagineSoftware
حلقه پس‌آموزش خود را بنویسید
یکی از تغییرات مهم در آموزش عامل‌های هوش مصنوعی، حرکت به سمت یادگیری تقویتی چندمرحله‌ای است. برای مثال، عاملی که سفر رزرو می‌کند، درخواست‌های پشتیبانی را اولویت‌بندی می‌کند یا یک وظیفه پژوهشی چندمرحله‌ای را انجام می‌دهد، باید چندین دور تعامل را پشت سر بگذارد تا بتوان مشخص کرد آیا به نتیجه درست رسیده است یا خیر.
بااین‌حال، حلقه آموزش می‌تواند به‌سرعت پیچیده شود. ممکن است مدل را روی یک زیرساخت آموزش دهید، برای تولید پاسخ‌ها از زیرساخت دیگری جهت استنتاج استفاده کنید، پاسخ‌ها را امتیازدهی کنید و سپس نتایج را برای به‌روزرسانی بعدی به فرایند آموزش برگردانید. هر مرحله به منابع محاسباتی متفاوتی نیاز دارد و اتصال این مراحل از طریق ابزارها و خوشه‌های مجزا، کار بیشتری می‌طلبد.
SageMaker AI از پیش، یادگیری تقویتی چندمرحله‌ای را به‌عنوان روشی مدیریت‌شده و بدون سرور ارائه می‌کند. بااین‌حال، مشتریان به ما گفتند که می‌خواهند توابع زیان خود را تعریف کنند، سیگنال‌های پاداش را شکل دهند یا مراحل مختلف یادگیری تقویتی را در قالب یک حلقه واحد اجرا کنند. جلسات آموزش این انعطاف‌پذیری را در اختیار آن‌ها قرار می‌دهد.
«با استفاده از جلسات آموزش بدون سرور SageMaker AI، مدل gpt-oss-20b را برای فراخوانی ابزارها در یک فرایند عامل‌محور و چندمرحله‌ای، با اتصال به گراف دانش Amazon Neptune، تنظیم دقیق کردیم؛ درحالی‌که پلتفرم مدیریت زیرساخت را بر عهده داشت. راه‌اندازی به‌سادگی انجام شد و نیازی به تنظیم دستی یا کلنجار رفتن با خطاهای کمبود حافظه نبود. قابلیت ذخیره نقطه بازیابی و ادامه آموزش، ویژگی برجسته‌ای بود: ادامه کار از یک گام دقیق، کاملاً قابل‌اعتماد انجام شد. این قابلیت انعطاف‌پذیری موردنیاز توسعه‌دهندگان ما را فراهم کرد و در عین حال، بار عملیاتی را از دوش آن‌ها برداشت.»
— نیتین واگ، مدیرعامل Karini AI
نحوه کار
کد شما حلقه آموزش و تابع پاداش را در محیط خود اجرا می‌کند و عامل را به ابزارها یا شبیه‌سازهای موردنیاز متصل می‌سازد. جلسه آموزش، پردازش‌های سنگین مبتنی بر GPU را انجام می‌دهد: یک نمونه‌گیر پاسخ‌ها را تولید می‌کند و یک آموزش‌دهنده گرادیان‌ها را محاسبه می‌کند و وزن‌های مدل را به‌روزرسانی می‌کند. ترتیب دقیق مراحل به الگوریتمی بستگی دارد که می‌نویسید.
برای نمونه، پیاده‌سازی روش بهینه‌سازی سیاست نسبی گروهی (GRPO) را در نظر بگیرید. GRPO روشی برای یادگیری تقویتی است که چند پاسخ به یک درخواست واحد تولید می‌کند، به آن‌ها امتیاز می‌دهد و سپس از عملکرد نسبی پاسخ‌ها برای به‌روزرسانی مدل استفاده می‌کند. هر بار اجرای حلقه به این صورت است:
- نمونه‌گیری پاسخ‌ها — حلقه شما از نمونه‌گیر می‌خواهد با استفاده از مدل فعلی، برای هر درخواست چند پاسخ تولید کند.
- امتیازدهی به پاسخ‌ها — تابع پاداش شما در محیط خود، با استفاده از یک راستی‌آزما، مدل پاداش یا چارچوب آزمون، به هر پاسخ امتیاز می‌دهد.
- به‌روزرسانی مدل — حلقه شما امتیازها را به آموزش‌دهنده بازمی‌گرداند. تابع
forward_backward()از این امتیازها برای محاسبه گرادیان‌ها استفاده می‌کند و تابعoptim_step()تغییرات را روی وزن‌های مدل اعمال می‌کند. - تازه‌سازی و تکرار — حلقه شما از جلسه آموزش می‌خواهد نمونه‌گیر را با وزن‌های به‌روزشده تازه‌سازی کند و سپس دسته بعدی داده‌ها را پردازش کند. کد شما این مراحل را تا پایان آموزش تکرار می‌کند.
هزینه سرویس بر اساس تعداد توکن‌هایی محاسبه می‌شود که SageMaker AI پردازش می‌کند. هنگامی که تابع پاداش شما در محیط خود یک دسته از داده‌ها را امتیازدهی می‌کند، محاسبه هزینه متوقف می‌شود و نیازی به رزرو ظرفیت نیست.
کنترل داده‌ها و مدل‌های خود را حفظ کنید
هر جلسه از یک نقش اجرایی در سرویس مدیریت هویت و دسترسی AWS (IAM) استفاده می‌کند که خودتان ایجاد می‌کنید. همچنین می‌توانید کلید اختصاصی خود را در سرویس مدیریت کلید AWS (AWS KMS) و پیکربندی شبکه خصوصی مجازی (VPC) را به آن اضافه کنید. داده‌های شما در مخازن اختصاصی Amazon Simple Storage Service (Amazon S3)، در منطقه AWS انتخابی شما باقی می‌مانند و نقاط بازیابی نیز در همان مخازن ذخیره می‌شوند.
ما از داده‌های شما یا وزن‌های سفارشی‌سازی‌شده مدل برای آموزش مدل دیگری استفاده نمی‌کنیم. پیش از استقرار، می‌توانید دقت، سوگیری و ایمنی مدل را ارزیابی کنید. پس از استقرار نیز می‌توانید محدودیت‌های حفاظتی (guardrails) اعمال کنید و عملکرد مدل را با Amazon CloudWatch زیر نظر بگیرید.
همچنین می‌توانید فرایندهای حاکمیتی و نظارتی فعلی تیم خود را بدون تغییر ادامه دهید.
همین امروز شروع کنید
با جلسات آموزش قابلیت سفارشی‌سازی بدون سرور مدل‌ها در SageMaker AI، حلقه آموزش اختصاصی خود را بنویسید. این قابلیت از امروز به‌صورت عمومی در دسترس است و از مدل‌های gpt-oss-20b، gemma-4-31B-it، Qwen3.6-27B و Qwen3.8-27B پشتیبانی می‌کند.
برای شروع، دو راه پیش رو دارید:
- در محیط توسعه یکپارچه (IDE): کیت توسعه نرم‌افزار پایتون SageMaker را روی لینوکس یا macOS، با پایتون نسخه ۳.۱۰ تا ۳.۱۲، نصب کنید؛ مخزن کتابخانه راهنما را کلون کنید و توسعه را آغاز کنید.
- در SageMaker Studio: در کمتر از ۲۰ ثانیه، یک محیط توسعه هوش مصنوعی آماده استفاده راه‌اندازی کنید. وارد حساب خود شوید، یک دفترچه یادداشت باز کنید، عامل برنامه‌نویسی خود را به آن متصل کنید (Kiro، Claude Code، Codex یا Copilot)، مهارت‌های عامل و کتابخانه راهنما را دانلود کنید و کار را آغاز کنید.