自建决策路由：5 次分类中 4 次留在本地模型的实测

Smooth_Two8781 · reddit · 2026-10-15

Reddit 用户分享了自己搭建的决策路由系统：用一个轻量路由判断每条分类请求是否需要调用大模型，实测约 4/5 的分类可以直接在本地小模型完成，只有少数困难样本升级到云端模型。

作者给出了自己测得的数据与设计思路，展示了「本地优先、按需升级」的路由模式如何在保持分类质量的同时降低成本和延迟，对做 agent 编排和推理成本优化的人有直接参考价值。