Ramp Router 上线:LLM 网关降低推理成本 40%

SethGRosenberg · x · 2026-08-28

Ramp 推出了 LLM 网关产品 Router,旨在通过为每个请求匹配最低成本的合规模型来降低推理成本,平均降幅达 40%。该产品将所有模型整合在一个 API 端点下,支持自动路由至最合适的模型(包括闭源和开源),并持续引入新的节省策略。客户如 Delphi 表示,通过处理数十亿 Token,已将模型成本降低了 92%。该工具还提供 CLI,并计划免费路由至 2026 年。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →