7000用户实测后放弃：为什么我们不再相信LLM路由
nuno6Varnish · reddit · 2026-07-31
在经历了 4 个月、覆盖 7000 名云用户的实际使用后，开发团队决定关停他们的 LLM 路由系统，回归单一模型。
团队得出以下核心结论：
- 无法仅凭 prompt 判断复杂度：路由系统难以准确评估请求的实际负荷。
- 缓存比路由更省钱：在降低成本方面，命中缓存的收益远超路由分配。
- 破坏行为一致性：在不同模型间切换会导致输出风格和逻辑的不稳定。
- 不可预测性本身具有成本：路由带来的不确定性增加了系统维护与调试的开销。
「编程与Agent」频道最新
- 公开课：如何将评估结果转化为更强大的 AI 模型 — xeophon · 2026-07-31
- NVIDIA 教程：将 Polars 数据处理代码跑在 GPU 上 — NVIDIAAI · 2026-07-31
- 开源 AI 创业分析师:10 分钟验证产品想法 — tom_doerr · 2026-07-31
- 开源Agent平台复盘：代码仅占10%，跨环境部署才是真正考验 — Future_AGI · 2026-07-31
- Positron Notebook编辑器正式发布：数据科学IDE迎来AI辅助 — HamelHusain · 2026-07-31
- 系统提示词不是描述而是约束规范：四步框架防止生产环境模型退化 — ClickOk5811 · 2026-07-31