LLM流水线70%token是浪费？轻量看门狗中间件实测降本50%
Forsaken-Bobcat4065 · reddit · 2026-07-07
一位开发者审计自己的LLM流水线后发现约70%的token消耗属于无效支出，主要来源是JSON格式税、全量上下文堆叠和agent循环幻觉。他在API与模型之间插入轻量级「看门狗」中间件，将格式化、提取等低价值任务路由到更小更便宜的模型，实时监控每次调用并识别循环prompt，最终在几乎不改动核心代码的情况下将账单减半。该方案强调即插即用、不锁定供应商，与重型可观测性平台相比维护成本极低，是独立开发者控制LLM运营成本的可行路径。