模型升级后 prompt 静默劣化?生产环境 eval 实践讨论
SnooDoubts4271 · reddit · 2026-09-15
一位在生产环境跑 agent 的开发者提出痛点：现有 CI 只检查 prompt 模板的结构合法性（schema、变量、必须失败的坏例），无法发现模板在新模型上“仍通过但输出质量悄悄变差”的问题。
他倾向的方案：
- 每个 prompt 模板固定一组 pinned eval 用例
- 维护模板 × 已测模型的测试矩阵
- 分数低于固定阈值即 CI 失败
帖子同时向社区征集经验：是按 prompt 逐条评估还是评估整个 agent 运行？自由文本输出如何打分才能避免 LLM judge 漂移？是每次模型更新就重跑 eval 还是定时重跑？
「编程与Agent」频道最新
- Claude Code 自动批准有风险,作者整理 Agent 沙箱选型地图 — minchoi · 2026-09-15
- 写代码成本趋零后,程序员都成了「产品工程师」 — rseroter · 2026-09-15
- 工程负责人：shadcn/lint 正是我想要的设计系统 linter，准备迁移 — shadcn · 2026-09-15
- 一个 prompt 生成整款 3D 射击游戏，ASTRA 编排 Thrixel 出资产 — RanaHanocka · 2026-09-15
- 同一需求三模型实测:0.5 美元的腾讯 Hy3 方案胜过 4 美元的 Claude — tejasghutukade · 2026-09-15
- Stripe 公开征集意见：用 AI Agent 经营业务的用户想要什么功能 — jeff_weinstein · 2026-09-15