Red Hat 自身工程团队实测:开源权重模型将 token 成本砍 40-70%
AccBalanced · x · 2026-11-18
Red Hat 以自身工程组织作为「零号客户」,试点 EnMaaS(Praxis 网关 + llm-d + vLLM)让内部开发者使用开源权重模型,结果颇具说服力:
- 规模:单个 30 天窗口处理超过 1 万亿 token。
- 采用曲线逆转:开发者获得无摩擦接入后,用量从最初 70/30 偏向商业前沿 API,翻转成 30/70 偏向内部托管的开源权重模型,且开源份额每天持续增长。
- 流量路由:Praxis 将大部分日常编码与评测流量智能路由到内部托管的开源模型,外部 API 只用于专业场景和种子实验。
- 成本:将这部分流量从前沿模型迁移到 llm-d 自托管后,有效 token 开销相比此前的前沿定价下降 40-70%(取决于 prompt 缓存与路由策略)。
这是企业级「开源权重替代前沿 API」目前最详实的一手数据之一。
「编程与Agent」频道最新
- 1.3 万星项目 Plannotator:给 AI 编码计划做 PR 式评审 — techNmak · 2026-11-18
- 开源 Prefixwise 诊断 Agent 缓存未命中:注入 1772 处改动全部识别归因 — No-Individual159 · 2026-11-18
- 博主提前体验 Devin bots 并与开发者对谈其原理 — Madisonkanna · 2026-11-18
- 遗传算法自动调优 GPU 内核,7 小时冲进 Open Kernel Challenge 前二 — morgymcg · 2026-11-18
- 未来代码库八成由 AI 代写,研究者忧质量下滑成常态 — 996roma · 2026-11-18
- 实测两周:service_tier priority 对中转站首 token 延迟仅 +5.5%,属噪声 — iambubu0523 · 2026-11-18