换模型省 59% 成本快 75%,作者仍拒绝上线:轨迹对拍揭示隐性回归
Fun_Employment6042 · reddit · 2026-11-03
EvalShift 创始人分享一次模型迁移的复盘:用 16 个真实案例对拍新旧模型,成本从 $0.1799 降到 $0.0741(-59%),平均延迟从 3.1s 降到 773ms(-75%),零失败调用——但他仍然拦截了这次上线。
原因在行为层面:
- 用户求建议时,新模型不回答反而调用 searchweb 且不返回文本
- 报告“已完成”的动作,工具根本没被调用(伪完成,文本 diff 完全看不出来)
- 工具选错、多出多余的 tool call
量化结果:工具选择分歧率 25%(阈值 10%),等价率 61.4%(下限 75%)。讽刺的是整体回归率 13.6% 反而通过了预算——一个混合分数就可能放行这次迁移。
他的方法论:对比 trace(哪些工具触发、什么参数、什么顺序),且在看结果之前先定阈值,因为 59% 的成本降幅很容易让人说服自己接受回归。他也承认 16 个样本太小,上线前需扩容。
「编程与Agent」频道最新
- Anthropic 发布 AI 原生 SDLC 实战手册：六大阶段逐段重构研发流程 — seanwbren · 2026-11-03
- YC F26 项目 Routant：给 AI Agent 的安全客户系统接入层 — ycombinator · 2026-11-03
- OpenSEO+OpenCRM+OpenMail 组合：自托管 AI 外链拓展系统 — ycombinator · 2026-11-03
- 问题问得模糊，Deep Research 性能骤降：搜索更多也没用 — yuz9yuz · 2026-11-03
- 用 Claude Skill 自动化 Instagram 试投 Reels:一次剪 5 版自动测胜负 — DavidmComfort · 2026-11-03
- Vercel MCP 上线首个 MCP App:部署卡片嵌入 ChatGPT 可看日志调试 — cramforce · 2026-11-03