Ramp Router 上线:LLM 网关降低推理成本 40%
SethGRosenberg · x · 2026-08-28
Ramp 推出了 LLM 网关产品 Router,旨在通过为每个请求匹配最低成本的合规模型来降低推理成本,平均降幅达 40%。该产品将所有模型整合在一个 API 端点下,支持自动路由至最合适的模型(包括闭源和开源),并持续引入新的节省策略。客户如 Delphi 表示,通过处理数十亿 Token,已将模型成本降低了 92%。该工具还提供 CLI,并计划免费路由至 2026 年。
「Infra」频道最新
- NVIDIA 推出 Mesh 开源计算网络,聚合闲置 GPU 跑 AI — nvidia · 2026-08-28
- AI 自动化研究发现 vLLM/SGLang 底层数值错误 — josh_tobin_ · 2026-08-28
- llama.cpp 定制分支:M1 Ultra 上 Metal 加速 Qwen3.8 推理 — tarruda · 2026-08-28
- Hot Chips 观察:推理芯片进入「群雄 ferment 时代」 — BenBajarin · 2026-08-28
- 实测 Muon 优化器:残差梯度平滑且稳定 — stochasticchasm · 2026-08-28
- 分析师预测 CXL 标准将走向商用,有望打破内存墙 — BenBajarin · 2026-08-28