رمپ، Router را معرفی کرد؛ API رایگان LLM تا 2026
این سرویس درخواستها را بین چندین ارائهدهنده مدل توزیع میکند و به طور پیشفرض، نگهداری دادهها را به مدت یک سال و با امکان انصراف تنظیم میکند.
رمپ Router را راهاندازی کرده است، یک API که به شرکتها اجازه میدهد درخواستهای AI را از طریق چندین ارائهدهنده مدل زبان بزرگ با استراتژیهای مسیریابی و یک داشبورد هزینه و تأخیر هدایت کنند. این سرویس در زمان راهاندازی فقط برای ایالات متحده در دسترس است، و تا پایان سال 2026 به صورت رایگان قابل استفاده است به جز هزینههای استنتاج، و با یک سیاست حفظ پیشفرض یک ساله و اختیاری برای ورودیها و خروجیها ارائه میشود.
نکات کلیدی
- رمپ Router را راهاندازی کرد، یکAPIکه به تیمها اجازه میدهد بین چندین ارائهدهنده مدل زبان بزرگ با استراتژیهای مسیریابی و یک داشبورد هزینه/عملکرد سوئیچ کنند.
- Router در زمان راهاندازی محدود به کاربران ایالات متحده است و تا پایان سال 2026 به صورت رایگان قابل استفاده است به جز هزینههای استنتاج مدل پایه، با اعتبار راهاندازی 26 دلار.
- رمپ میگوید که این روتر به مدت سه سال به صورت داخلی در حال اجرا بوده است و انتشار آن را به عنوان یک ابزار تولید خارجی به جای یک آزمایش جدید معرفی میکند.
- سیاست پیشفرض ورودیها، خروجیها و تماسهای ابزاری مدل را به مدت یک سال به صورت اختیاری حفظ میکند و رمپ میگوید قبل از استفاده از محتوا برای بهبود محصول، اطلاعات شناسایی شخصی را حذف میکند.
رمپ Router را راهاندازی میکند: یک API مسیریابی LLM فقط برای ایالات متحده، رایگان تا سال 2026
رمپ، که بیشتر به خاطر مدیریت هزینههای شرکتی شناخته شده است، با Router، یک سرویس مسیریابی مدل که بین یک برنامه و چندین ارائهدهنده مدل زبان بزرگ قرار دارد، به زیرساخت AI بیشتر نفوذ کرده است. از نظر مکانیکی، این یک ادغام API واحد است که میتواند هر درخواست را بر اساس قوانین به یک فروشنده مدل انتخابی ارسال کند.
نتیجه این است که قفل شدن کمتر برای تیمهایی که در حال اجرای کارهای سنگین AI هستند و یک مسیر واضحتر برای رمپ برای دریافت هزینه بابت "هدایت ترافیک" در استنتاج وجود دارد.
روتر در زمان راهاندازی تنها در ایالات متحده در دسترس است. رمپ همچنین سرویس را تا پایان سال 2026 به صورت رایگان ارائه میدهد، در حالی که هنوز از مشتریان میخواهد هزینههای استنتاج مدل زیرین را پرداخت کنند. اعتبار راهاندازی 26 دلاری شامل میشود و رمپ هزینه روتر در سال 2027 را فاش نکرده است.
رمپ روتر را به عنوان یک محصولسازی خارجی از ابزارهای داخلی معرفی میکند و میگوید که در سه سال گذشته از روتر خود برای نیازهای استفاده از AI خود استفاده کرده است. این موضوع اهمیت دارد زیرا لایههای مسیریابی معمولاً ابتدا به روشهای خستهکنندهای شکست میخورند، مانند افزایشهای ناگهانی تأخیر در موارد خاص، قطعیهای ارائهدهنده و عدم تطابقهای صورتحساب. "ما قبلاً با آن در تولید زندگی کردهایم"، این استدلال اعتبار است.
چگونه روتر کار میکند: یک ادغام در OpenAI، Anthropic، DeepSeek، xAI و بیشتر
یک روتر مدل، یک پلیس ترافیک برای استنتاج AI است، نه یک مدل جدید. توسعهدهندگان یک بار ادغام میکنند، سپس انتخاب میکنند که کدام ارائهدهنده هر درخواست را مدیریت کند بدون اینکه برنامه خود را برای API هر فروشنده دوباره بنویسند. پیشنهاد روتر این است که هزینههای تغییر از "پروژه مهندسی" به "تغییر پیکربندی" منتقل میشود، که این چیزی است که انتخاب فروشنده را واقعی میکند.
در زمان راهاندازی، روتر دسترسی به مدلهایی از OpenAI، Anthropic، DeepSeek، Moonshot، Minimax، Nvidia، xAI و Z.ai را فراهم میکند. رمپ هنوز سعی در برنده شدن در تنوع کاتالوگ ندارد. این محصول به عنوان مشابه OpenRouter موقعیتیابی شده است، اما گزینههای مدل کمتری نسبت به خط تولید OpenRouter دارد.
روتر همچنین با "استراتژیهای" مسیریابی عرضه میشود، که قوانین از پیش تعیین شدهای برای اینکه درخواستها به کجا بروند، هستند. یک استراتژی به کاربران اجازه میدهد تا ترجیحی برای سطوح استفاده انعطافپذیر ارائهدهندگان مدل تعیین کنند. دیگری به روتر اجازه میدهد که بر اساس تا سه معیار مشخص شده توسط کاربر، انتخاب کند که کدام مدل به پرسشها پاسخ دهد.
رمپ همچنین میگوید که مشتریان میتوانند تنها مسائل دشوار را به مدلهای گرانتر مسیریابی کنند، یا مدلها را بدون تغییر دستی ادغامها آزمایش کنند.
جزئیات محدودکننده برای برخی تیمها، مدیریت دادهها است. روتر یک سیاست نگهداری اختیاری دارد که ورودیها، خروجیها و تماسهای ابزاری مدل را به طور پیشفرض به مدت یک سال ثبت میکند. رمپ میگوید که قبل از استفاده از آن محتوا برای بهبود محصول، اطلاعات شناسایی شخصی را حذف خواهد کرد، اما جزئیات اینکه این حذف PII چگونه انجام میشود یا کنترلهایی که شرکتها فراتر از انصراف دریافت میکنند، مشخص نکرده است.
هزینه، تأخیر و گزینههای پشتیبان: داشبورد هزینهای که رمپ بر روی آن شرطبندی میکند
سطح دوم محصول روتر، قابلیت مشاهده است: یک داشبورد که هزینه توکن، هزینه، تأخیر، تلاشهای پشتیبان و جزئیات دیگر را گزارش میدهد. توکنها واحد صورتحساب برای اکثر مدلهای متنی هستند، تأخیر زمان پاسخدهی است و تلاشهای پشتیبان، تلاشهای مجدد یا تغییرات ارائهدهنده زمانی است که انتخاب اول شکست میخورد یا نمیتواند درخواست را انجام دهد. به طور کلی، این یک نمای کلی از صورتحساب و حالتهای شکست است.
این داشبورد پل بازگشت به کسبوکار اصلی رمپ است. اگر یک تیم در حال مسیریابی در میان چندین ارائهدهنده باشد، بخش نامنظم تنها انتخاب ارزانترین مدل نیست. این درک این است که چه زمانی "ارزان" به "کند" تبدیل میشود، چه زمانی محدودیتهای ظرفیت یک ارائهدهنده تلاشهای پشتیبان را فعال میکند و چه زمانی یک قانون مسیریابی به آرامی هزینه را از یک فروشنده به فروشنده دیگر منتقل میکند.
رمپ شرط میبندد که لایه هزینه چسبنده است و هنگامی که یک شرکت به اندازهگیری اعتماد کرد، تحمل خواهد کرد که رمپ در مسیر درخواست نشسته باشد.
ساختار رایگان تا سال 2026 استراتژی پذیرش را تقویت میکند. رمپ هزینه واقعی استنتاج را معاف نمیکند، که هنوز هم در ارائهدهندگان مدل انباشته میشود. در حال حاضر، رمپ هزینه مسیریابی خود را معاف کرده است و اصطکاک را برای آزمایش Router به عنوان یک پل کنترل کاهش میدهد در حالی که رمپ میآموزد مشتریان در عمل چه چیزی را بهینه میکنند.
قیمتگذاری سوال باز بعد از 2026 است و رمپ هنوز چیزی نمیگوید.
منحنی پیشرو در Router عمدتاً به این مربوط میشود که رمپ چه چیزی را برای شارژ انتخاب میکند زمانی که دوره رایگان به پایان میرسد. رمپ نگفته است که هزینه خدمات در سال 2027 چقدر خواهد بود و این موضوع را باز گذاشته است که آیا قیمتگذاری به عنوان نرخ برداشت از استنتاج، یک اشتراک، هزینه به ازای درخواست، یا سطوح شرکتی مرتبط با کنترلها و گزارشدهی خواهد بود.
جغرافیا یکی دیگر از نشانههاست. Router در حال حاضر فقط در ایالات متحده موجود است و گسترش فراتر از ایالات متحده نشاندهنده آمادگی و جاهطلبی گستردهتر در سطح شرکتها خواهد بود، بهویژه برای تیمهایی که به سیاست و مدیریت دادههای مداوم در مناطق نیاز دارند.
وضعیت داده سومین اهرم است. یک سیاست حفظ پیشفرض یکساله با امکان انصراف، برای برخی از اپراتورها یک پیشفرض با اصطکاک بالا است، حتی با ادعاهای حذف PII. حفظ کوتاهتر، ذخیرهسازی با امکان انتخاب، یا کنترلهای شرکتی واضحتر میتواند نشانهای عینی باشد که رمپ در حال بهینهسازی برای بارهای کاری تحت نظارت و حساس به امنیت است.
در نهایت، فهرست ارائهدهندگان احتمالاً تغییر خواهد کرد. Router در حال حاضر از OpenAI، Anthropic، DeepSeek، Moonshot، Minimax، Nvidia، xAI و Z.ai پشتیبانی میکند. افزودن موارد فراتر از این مجموعه میتواند روشن کند که آیا رمپ در حال ساخت یک دروازه گسترده است یا یک مجموعه انتخابی از روابط با آزمایشگاهها و ارائهدهندگان استنتاج خاص.
خوانش من: رمپ در تلاش است تا لایه هزینه AI را فراتر از کارتهای شرکتی به دست آورد.
مکانیسم در اینجا ساده است: یک پل اندازهگیری و کنترل را در مقابل استنتاج قرار دهید، سپس سوئیچ کردن را به اندازه کافی ارزان کنید که تیمها دیگر انتخاب مدل را به عنوان یک درب یکطرفه در نظر نگیرند. دسترسی رایگان به Router تا سال 2026 این کار را انجام میدهد، زیرا تنها هزینه فوری صورتحساب استنتاج پایه است و داشبورد تعادلها را به صورت قابل فهم در توکنها، تأخیر و گزینههای پشتیبان نشان میدهد.
آستانهای که اهمیت دارد این است که آیا رمپ میتواند آن پل کنترل را به یک پیشفرض شرکتی تبدیل کند بدون اینکه توسط وضعیت حفظ خود مسدود شود. اگر محصول سیاست لاگ یکساله با امکان انصراف خود را حفظ کند در حالی که سعی میکند در وسط درخواستهای حساس و تماسهای ابزاری قرار گیرد، پذیرش به سمت بارهای کاری با حساسیت کمتر و آزمایش تمایل خواهد داشت.
اگر رمپ کنترلهای حفظ را تنگ کند و یک مدل قیمتگذاری معتبر برای 2027 به دست آورد، Router شروع به شبیه شدن به یک لایه عوارض پایدار برای استنتاج میکند نه یک ویژگی تبلیغاتی که به مدیریت هزینهها متصل شده است.
