A black router with antennas on a wooden desk
人工智能

Ramp推出Router:美国专用LLM路由API,2026年前免费

该服务在多个模型提供商之间路由请求,并默认为一年、可选择退出的数据保留。

作者:Elliot Marsh阅读 6 分钟

Ramp推出了Router,这是一款API,允许公司在多个大型语言模型提供商之间路由AI请求,配备内置的路由策略和支出与延迟仪表板。该服务在推出时仅限于美国使用,直到2026年剩余时间内免费使用,但不包括推理成本,并附带默认的一年选择退出的提示和输出保留政策。

关键要点

  • Ramp推出了Router,这是一款API,允许团队在多个大型语言模型提供商之间切换,配备路由策略和支出/性能仪表板。
  • Router在推出时仅限于美国用户使用,并且在2026年剩余时间内免费使用,但不包括基础模型的推理成本,提供26美元的启动信用。
  • Ramp表示,该路由器在内部运行了三年,将此次发布定位为外部生产工具,而不是新的实验。
  • 默认政策在选择退出的基础上保留模型输入、输出和工具调用一年,Ramp表示在使用内容改进产品之前会删除个人可识别信息。

Ramp推出Router:一款仅限美国的LLM路由API,免费使用至2026年

Ramp以企业费用管理而闻名,进一步推动AI基础设施的发展,推出了Router,这是一项模型路由服务,位于应用程序与多个大型语言模型提供商之间。从机制上讲,它是一个单一的API集成,可以根据规则将每个请求发送到所选择的模型供应商。结果是,运行AI密集型工作流的团队减少了供应商锁定,并为Ramp在推理中收取“流量引导费”提供了更清晰的路径。

Router在发布时仅在美国可用。Ramp还将使该服务在2026年剩余时间内免费使用,同时仍要求客户支付基础模型推理成本。包括$26的启动信用,Ramp尚未披露Router在2027年的费用。

Ramp将Router框架视为内部工具的外部产品化,表示在过去三年中,它已将路由器用于自身的AI使用需求。这很重要,因为路由层往往首先以无聊的方式失败,比如边缘情况的延迟峰值、提供商中断和账单不匹配。“我们已经在生产中体验过它”是可信度的宣传。

Router的工作原理:在OpenAI、Anthropic、DeepSeek、xAI等之间的一次集成

模型路由器是AI推理的交通警察,而不是新模型。开发者只需集成一次,然后选择哪个提供商处理每个请求,而无需为每个供应商的API重写应用程序。Router的宣传是,切换成本从“工程项目”变为“配置更改”,这使得供应商的选择变得真实。

在发布时,Router提供对OpenAI、Anthropic、DeepSeek、Moonshot、Minimax、Nvidia、xAI和Z.ai模型的访问。Ramp尚未试图在目录广度上获胜。该产品的定位类似于OpenRouter,但模型选项少于OpenRouter的产品线。

Router还配备了路由“策略”,这些是请求去向的预设规则。一种策略允许用户设置对模型提供商灵活使用层的偏好。另一种策略允许Router根据最多三个用户指定的基准选择路由查询的模型。Ramp还表示,客户可以将仅难题路由到更昂贵的模型,或在不手动切换集成的情况下测试模型。

某些团队的关键细节是数据处理。Router有一个选择退出的保留政策,默认情况下记录模型输入、输出和工具调用一年。Ramp表示,它将在使用该内容改善产品之前删除个人可识别信息,但尚未详细说明如何实施该PII删除或企业在选择退出之外获得的控制。

成本、延迟和回退:Ramp所押注的支出仪表板

Router的第二个产品表面是可观察性:一个报告代币支出、成本、延迟、回退尝试和其他细节的仪表板。代币是大多数文本模型的计费单位,延迟是响应时间,回退尝试是在首选项失败或无法满足请求时的重试或提供商切换。综合起来,它是账单和失败模式的视图。

该仪表板是回到Ramp核心业务的桥梁。如果一个团队在多个提供商之间进行路由,麻烦的部分不仅仅是选择最便宜的模型。它是理解何时“便宜”变成“慢”,何时提供商的容量限制触发回退,以及何时路由规则悄然将支出从一个供应商转移到另一个。Ramp押注支出层是粘性的,一旦公司信任测量,它将容忍Ramp在请求路径中。

到2026年的免费结构强化了这一采用策略。Ramp并没有放弃实际的推理费用,这仍然由模型提供者累积。它目前放弃了自己的路由费用,从而降低了尝试Router作为控制平面的摩擦,同时Ramp学习客户在实践中优化的内容。

定价是2026年后的开放问题——而Ramp尚未透露。

Router的前向曲线主要是关于Ramp在免费期结束后选择收取的费用。Ramp尚未说明2027年服务的费用是多少,这使得定价是否作为推理的提成费、订阅费、按请求收费或与控制和报告相关的企业级别仍然悬而未决。

地理位置是另一个指标。Router目前仅限于美国,超越美国的扩展将表明更广泛的企业准备和分发雄心,特别是对于需要在不同地区保持一致政策和数据处理的团队。

数据姿态是第三个杠杆。默认的一年选择退出保留政策对于某些运营商来说是一个高摩擦的默认设置,即使有个人身份信息移除的声明。更短的保留期、选择加入的存储或更清晰的企业控制将是Ramp正在优化受监管和安全敏感工作负载的具体信号。

最后,提供者列表可能会变动。Router目前支持OpenAI、Anthropic、DeepSeek、Moonshot、Minimax、Nvidia、xAI和Z.ai。超出该集合的新增内容将澄清Ramp是构建一个广泛的网关还是与特定实验室和推理提供者建立策划的关系。

我的看法:Ramp试图拥有超越企业卡的AI“支出层”。

这里的机制很简单:在推理前放置一个测量和控制平面,然后使切换成本足够低,以便团队不再将模型选择视为单向门。到2026年的免费Router访问实现了这一点,因为唯一的直接成本是基础推理费用,而仪表板使得在代币、延迟和后备之间的权衡变得清晰可见。

重要的阈值是Ramp是否能够将该控制平面转变为企业默认设置,而不被自身的保留姿态所阻碍。如果产品在试图处于敏感提示和工具调用之间时保持其一年的选择退出日志,采用将倾向于低敏感工作负载和实验。如果Ramp收紧保留控制并确立一个可信的2027年定价模型,Router开始看起来像是一个持久的推理收费层,而不是附加在支出管理上的促销功能。

来源