实测本地小模型做编码 Agent 路由：48 条提示 0 次敢切换模型
projectEscape · reddit · 2026-10-15
作者尝试用本地小模型（Laya，开源）作为编码 agent 的逐轮模型路由器：便宜模型跑简单轮次、贵模型跑难轮次。在 agent 与 provider 之间放一个本地代理，每个新用户轮次让 Laya 在 fast/balanced/strong/hold 四档中选择，低于 0.8 置信度则不动作。
结果很不理想：五种问法变体下，与人工标注一致率最高仅 23/48，且没有一次决策置信度足够触发切换（最高 answerconfidence 仅 0.64）。模型还明显向中间档倾斜，14 个难题里 10 个被判为 balanced；把选项改个名字就改变了 13/48 的决策；加上「不确定就 hold」后 48 条里 44 条直接 hold。
一个有趣的旁证：给 DeepSeek Flash 和 Pro 各跑 10 个可判分的小问题（thinking 关闭），Flash 拿了 10/10，Pro 只有 8/10 且更慢——「难题就上大模型」这个假设本身就需要路由器去验证。作者计划让路由器保持影子模式，用真实结果（测试通过率、重试、token 数）对比「全便宜」和「全贵」策略。
「编程与Agent」频道最新
- Decisions API 正式 GA,agent 反馈循环全自动剪辑云视频 — dkundel · 2026-10-23
- 50+ 免费 AI Agent 学习资源合集：视频与仓库一站打包 — ifioknkem · 2026-10-23
- 自封「全网最佳」的免费 AI Agent 资源库引围观 — ifioknkem · 2026-10-23
- Vercel 推出免注册部署：拖拽文件到首页即得线上 URL — steren · 2026-10-23
- 5 个 Claude Code 会话经 MCP 互发邮件，组队攻破多品牌网络摄像头 — doodlestein · 2026-10-23
- Vercel 上线 vercel deploy --temporary,可临时部署后自动清理 — cramforce · 2026-10-23