生产 QA Agent 模型切换实测
dumbfoundded · reddit · 2026-07-14
作者在生产环境里运行浏览器驱动的 QA agent，并把最高流量的 agent 从 GPT-5.3-codex 迁移到 MiniMax M3，利用逐步计费数据做了一个自然实验，累计覆盖超过 5e11 tokens。 结论是： - 单次 pipeline 中位成本下降约 55%； - MiniMax M3 为完成同样工作需要约 2.5 倍 token，但因为单价更低，最终账单更便宜； - 同一模型在不同推理 provider 上表现差异很大，prompt cache 命中率和可靠性会显著影响实际成本。 文章还通过账单反推“有效单价”，发现 codex 的输出 token 有明显高于标价的实际成本，原因是 reasoning token 计费与可见 token 统计不一致。作者强调：评估 agent 不能只看 token 效率，也要看真实成本、失败率、重试开销和 provider 实现细节。