دسترسی به مدل‌های GPT اوپن‌ای‌آی در Amazon Bedrock با استنتاج جهانی بین‌منطقه‌ای در تایلند، مالزی، سنگاپور، اندونزی و تایوان
استنتاج در یک منطقه واحد ممکن است زمانی که تقاضا از ظرفیت محلی بیشتر شود با محدودیت مواجه شود. تیم‌ها در تایلند، مالزی، سنگاپور، اندونزی و تایوان برای دسترسی به جدیدترین مدل‌های اوپن‌ای‌آی به ظرفیتی فراتر از این محدودیت نیاز دارند. Amazon Bedrock مدل‌های GPT-6 Sol و GPT-6 Luna اوپن‌ای‌آی را از طریق استنتاج جهانی بین‌منطقه‌ای در هر پنج منطقه AWS و مدل GPT-6 Astra را از منطقه آسیا-اقیانوسیه (سنگاپور) ارائه می‌کند. این مقاله نحوه پیکربندی فراخوانی، تنظیم مجوزها و پایش استنتاج از منطقه مبدأ را توضیح می‌دهد.
مدل‌های GPT-6 Sol، GPT-6 Luna و GPT-6 Astra همگی از طریق استنتاج جهانی بین‌منطقه‌ای از مناطق ذکرشده در بالا و روی نقطه پایانی bedrock-runtime در دسترس هستند. برای جزئیات بیشتر به استنتاج بین‌منطقه‌ای در راهنمای کاربر Amazon Bedrock مراجعه کنید. فهرست کامل مناطق مبدأ و مقصد برای هر پروفایل نیز در مناطق و مدل‌های پشتیبانی‌شده برای پروفایل‌های استنتاج ارائه شده است.
در این مقاله، پروفایل‌های استنتاج جهانی بین‌منطقه‌ای را معرفی می‌کنیم و نحوه فراخوانی آن‌ها از آسیا-اقیانوسیه (سنگاپور) با استفاده از API مربوط به Converse، APIهای سازگار با OpenAI و کلاینت‌های کدنویسی را بررسی می‌کنیم. سپس تنظیمات AWS Identity and Access Management (IAM)، سیاست‌های کنترل سرویس (SCP)، مدیریت سهمیه و پایش را پوشش می‌دهیم.
پروفایل‌های استنتاج جهانی بین‌منطقه‌ای برای OpenAI GPT-6
خانواده GPT-6 شامل سه مدل است که هر سه از طریق استنتاج جهانی بین‌منطقه‌ای قابل استفاده هستند.
- GPT-6 Sol توانایی‌های قدرتمند استدلال و کدنویسی را برای کارهای پیچیده در طول هفته کاری ارائه می‌دهد.
- GPT-6 Luna انجام کارهای متمرکز و تکرارشونده را در مقیاس بالا عملی می‌کند.
- GPT-6 Astra برای کارهای پیچیده استدلالی، کدنویسی و پردازش اسناد طولانی طراحی شده است.
هر سه مدل ورودی متنی و تصویری، استفاده از ابزارهای سمت کاربر و ذخیره‌سازی درخواست‌ها (prompt caching) را پشتیبانی می‌کنند. تفاوت آن‌ها در سطح تلاش استدلالی است. GPT-6 Sol و GPT-6 Luna سطوح none، low، medium، high، xhigh و max را می‌پذیرند. GPT-6 Astra همه این سطوح به‌جز none را پشتیبانی می‌کند. برای GPT-6 Sol و GPT-6 Luna به افزودن هوشمندی بیشتر به کارهای روزمره با GPT-6 Sol و GPT-6 Luna در Amazon Bedrock و برای GPT-6 Astra به انجام بلندپروازانه‌ترین کارها با GPT-6 Astra در Amazon Bedrock مراجعه کنید.
استنتاج جهانی بین‌منطقه‌ای درخواست‌ها را میان مناطق تجاری پشتیبانی‌شده AWS که مدل در آن‌ها مستقر است مسیریابی می‌کند و دسترسی گسترده‌تری به ظرفیت Amazon Bedrock فراهم می‌سازد. برای استفاده از آن، شناسه یک پروفایل استنتاج جهانی بین‌منطقه‌ای به جای شناسه مدل ارسال می‌شود. منطقه مبدأ، منطقه‌ای است که فراخوانی API از آن انجام می‌شود و Amazon Bedrock منطقه مقصد پردازش را انتخاب می‌کند. صورتحساب، رهگیری سهمیه، AWS CloudTrail و Amazon CloudWatch همگی در منطقه مبدأ باقی می‌مانند.
جدول زیر شناسه پروفایل‌های استنتاج جهانی بین‌منطقه‌ای و مناطق مبدأ پوشش‌داده‌شده در این مقاله را نشان می‌دهد.
| پروفایل‌های استنتاج جهانی بین‌منطقه‌ای | مناطق مبدأ | مناطق مقصد |
global.openai.gpt-6-sol global.openai.gpt-6-luna | آسیا-اقیانوسیه (سنگاپور) ap-southeast-1 آسیا-اقیانوسیه (جاکارتا) ap-southeast-3 آسیا-اقیانوسیه (مالزی) ap-southeast-5 آسیا-اقیانوسیه (تایلند) ap-southeast-7 آسیا-اقیانوسیه (تایپه) ap-east-2 | مناطق تجاری پشتیبانی‌شده AWS که مدل در آن‌ها مستقر شده است |
| global.openai.gpt-6-astra | آسیا-اقیانوسیه (سنگاپور) ap-southeast-1 | مناطق تجاری پشتیبانی‌شده AWS که مدل در آن‌ها مستقر شده است |
دسترسی به پروفایل‌های استنتاج و پشتیبانی مناطق با افزودن مناطق و پروفایل‌های جدید توسط AWS تغییر می‌کند؛ بنابراین پیش از ساخت سرویس، این موارد را در کارت مدل بررسی کنید: GPT-6 Sol، GPT-6 Luna و GPT-6 Astra. برای نرخ هر توکن نیز به قیمت‌گذاری Amazon Bedrock مراجعه کنید.
شروع کار با مدل‌های OpenAI در Amazon Bedrock
ابتدا پیش‌نیازها را آماده کنید، سپس هر یک از سه پروفایل را از طریق API مربوط به Converse، APIهای سازگار با OpenAI یا کلاینت کدنویسی موجود خود فراخوانی کنید.
پیش‌نیازها
- یک هویت IAM با مجوز فراخوانی پروفایل. سیاست IAM در بخش امنیت و مجوزها فقط دسترسی موردنیاز این نمونه‌ها را اعطا می‌کند.
- منطقه مبدأ شما باید فعال باشد. فقط منطقه‌ای که از آن فراخوانی انجام می‌دهید نیاز به فعال‌سازی دارد و مناطق مقصد که با ظرفیت مدیریت‌شده Amazon Bedrock اجرا می‌شوند نیازی به فعال‌سازی ندارند. سنگاپور (
ap-southeast-1) به‌طور پیش‌فرض فعال است. جاکارتا (ap-southeast-3)، مالزی (ap-southeast-5)، تایلند (ap-southeast-7) و تایپه (ap-east-2) مناطق انتخابی هستند و باید ابتدا فعال شوند. اطلاعات بیشتر در فعال یا غیرفعال کردن مناطق AWS در حساب شما آمده است. - یک AWS SDK یا CLI به‌روز. نمونه‌های سازگار با OpenAI همچنین به OpenAI SDK و Amazon Bedrock token generator نیاز دارند که با دستور
pip install boto3 openai aws-bedrock-token-generatorنصب می‌شوند.
کنسول Amazon Bedrock هر سه پروفایل استنتاج جهانی بین‌منطقه‌ای را در میان پروفایل‌های استنتاج تعریف‌شده توسط سیستم نمایش می‌دهد.
فراخوانی مدل‌های GPT-6 از طریق Amazon Bedrock Runtime
هر مدل سه مسیر دسترسی در این نقطه پایانی دارد: API مربوط به Converse در Amazon Bedrock، API مربوط به OpenAI Responses و API مربوط به OpenAI Chat Completions. APIهای سازگار با OpenAI از مسیرهای /openai/v1 استفاده می‌کنند و نه AWS SDKها؛ همچنین نقطه پایانی هم امضای Signature Version 4 (SigV4) و هم کلید API مربوط به Amazon Bedrock را می‌پذیرد. در همه حالت‌ها شناسه پروفایل استنتاج جهانی بین‌منطقه‌ای را به‌عنوان مقدار model ارسال کنید.
API مربوط به Converse. این نمونه GPT-6 Sol را از آسیا-اقیانوسیه (سنگاپور) فراخوانی کرده و پاسخ را ثبت می‌کند. برای تغییر مدل، مقدار BEDROCK_PROFILE_ID را روی global.openai.gpt-6-luna یا global.openai.gpt-6-astra قرار دهید یا برای دریافت پاسخ جریانی از converse_stream استفاده کنید.
کد نمونه اصلی در منبع مقاله ارائه شده است.API مربوط به OpenAI Chat Completions. در SDK اوپن‌ای‌آی، نقطه پایانی منطقه‌ای را تنظیم کنید و همان شناسه پروفایل را ارسال کنید.
کد نمونه اصلی در منبع مقاله ارائه شده است.هنگام مهاجرت یک کلاینت موجود OpenAI:
- پارامتر مدل را در هر درخواست، از جمله درخواست‌هایی که به پاسخ قبلی اشاره می‌کنند، تنظیم کنید.
- از انواع ابزارهای پشتیبانی‌شده شامل
function،mcp،custom،namespaceوtool_searchاستفاده کنید. - شناسه پروفایل استنتاج را مستقیماً در کلاینت خود تنظیم کنید و از نقطه پایانی مدل‌ها برای دریافت آن استفاده نکنید.
ادامه مقاله شامل راه‌اندازی برنامه دسکتاپ ChatGPT و Codex CLI، تنظیمات امنیت و مجوزها، مدیریت سهمیه، پایش و ثبت رخدادها، پاک‌سازی منابع و نتیجه‌گیری است و روش کامل استفاده از پروفایل‌های استنتاج جهانی بین‌منطقه‌ای GPT-6 در Amazon Bedrock را توضیح می‌دهد.