Echo 用开源模型路由，在三分之一成本下追平 Fable
adam_rida · hn · 2026-07-24
Echo 在尝试把一组开源权重模型当成一个统一系统来用，而不是每个任务只选单一模型。
- 作者先把包括 GLM-5.2、Kimi K2.7 在内的多个模型放到同一套评测里，再做一个路由器，决定每个请求分配多少计算、调用哪些模型，以及如何合并输出。
- 早期测试里，Echo 在整体上超过了池子里最强的单模型，并且以大约 1/3 的推理成本 达到了与 Fable 相近的综合结果。
- 目前仍有两个主要问题：何时该分配更多算力、以及怎样更好地组合模型输出；作者也在继续测试它在编码和 agent 任务上的表现。
「Infra」频道最新
- 从聊天到 Agent,推理延迟正在成为生产级瓶颈 — Euphoric_Sea632 · 2026-09-11
- 推理服务关键指标盘点:流式速度 TPOT 与可用性如何影响体验 — abhijithneil · 2026-09-11
- PlanetScale 推出分片 Postgres,768 台服务器组成 1PB 单库 — dhruv2038 · 2026-09-11
- 7900 XTX 24GB 能否跑 Qwen，Reddit 征集 ROCm 实测数据 — thenomadexplorerlife · 2026-09-11
- 实测戳破 RTK 省钱神话:token 省了,账单分文未降 — Bartaseth · 2026-09-11
- SF Compute 创始人：现在买算力是「绝对糟糕的体验」 — IgorCarron · 2026-09-11