Echo 用开源模型路由,在三分之一成本下追平 Fable
adam_rida · hn · 2026-07-24
Echo 在尝试把一组开源权重模型当成一个统一系统来用,而不是每个任务只选单一模型。
- 作者先把包括 GLM-5.2、Kimi K2.7 在内的多个模型放到同一套评测里,再做一个路由器,决定每个请求分配多少计算、调用哪些模型,以及如何合并输出。
- 早期测试里,Echo 在整体上超过了池子里最强的单模型,并且以大约 1/3 的推理成本 达到了与 Fable 相近的综合结果。
- 目前仍有两个主要问题:何时该分配更多算力、以及怎样更好地组合模型输出;作者也在继续测试它在编码和 agent 任务上的表现。
「Infra」频道最新
- 英特尔财报超预期股价大涨 11%,AI 需求成关键动力 — econoar · 2026-07-24
- AMD Helios 很强,但和 Vera Rubin 不是同口径对比 — karlfreund · 2026-07-24
- Intel 发布 2026 财年第二季度财报,算力链开始关注 — BenBajarin · 2026-07-24
- 英特尔 Q2 大超预期,全年资本开支上调至 200 亿美元 — zephyr_z9 · 2026-07-24
- Laguna-S-2.1 的无限思考循环可能是量化导致的 — CautiousStudent6919 · 2026-07-24
- 5种LLM量化技术详解:如何在单GPU运行70B模型 — Roger_M_Taylor · 2026-07-24