实测大模型路由小模型省钱：小harness成本反升30%-89%

@yb2698 做了一组实验，验证社区流行的「用决策模型逐轮判断，把简单请求从大模型路由到更便宜小模型以省成本」的思路是否成立，结论是有条件的：小 harness 下不仅不省钱，成本反而上升 30%-89%；只有在大 harness 场景下路由才有收益。

已确认

• 实验设置：大模型用 Qwen3.8-27B（帖子 m4 也写作 Qwen3.5-27B），配 vLLM d3 作为决策模型，可把部分查询路由到 Qwen3.5-9B。
• 评测设计：从 TB-Lite（已更新修复版）抽样 10 个 hard 任务，每任务重复 3 次，对比「只用 27B」与「27B + 决策路由」两种方案，harness 覆盖 ipython、Pi、Claude Code 等。
• 结果因 harness 而异：对 ipython、Pi 这类小 harness，引入决策协议的开销比直接用大模型更贵；在 Claude Code 这样的大 harness 下路由有收益。作者据此认为委托与编排适合「超大模型 + 大型 harness」的组合。
• 即使按委派给小模型的对话轮数统计，小模型在输出 token 中的占比依然很低。

尚未确认

• 后续方向仍在探索：换不同的小模型、或采用不同的路由机制（如让小模型承担大部分工作、大模型按需介入的多层路由），作者公开征求反馈，尚无结论。

为什么重要

• 该实验用具体数字挑战了「路由到小模型必然省钱」的直觉，指出决策模型本身的调用开销在小 harness 场景可能吞掉甚至超过成本节省，为工程实践提供了按 harness 规模取舍的参考。

2026-10-23 ~ 2026-10-23 · 5 条相关

• 大模型路由给小模型省不了钱？实测成本反升 30%-89% — yb2698 · 2026-10-23
• 【源头】路由实验细节:10 个 TB-Lite 难题 × 4 种 harness 评测设计 — yb2698 · 2026-10-23
• 【源头】实测大小模型路由：小 harness 下决策模型反更贵 — yb2698 · 2026-10-23
• 模型路由实验结果：大 harness 才有收益，小模型占比仍低 — yb2698 · 2026-10-23
• 【源头】小模型 token 占比仍极低，多层路由省钱实验求反馈 — yb2698 · 2026-10-23