输出每次都不同，怎么判断 agent 改动是变好了？
SnooDingos9560 · reddit · 2026-10-13
发帖人提出 agent 评测的经典难题：换 prompt 或换模型后结果「感觉不同」，但输出非确定性、无法 diff。已知选项各有短板——固定任务集手工重跑会过时；LLM 当裁判自带偏见；按 checklist 打分则覆盖有限。他问大家实际怎么做、是否真的靠这些方法抓到过回归。帖子汇总了 agent eval 工程的核心实践困境，评论区含一线经验。
「编程与Agent」频道最新
- 用 Opus 5.5 加 Blender 生成拉面店 3D 场景，效果惊人 — victormustar · 2026-10-13
- Voyager 发布:用 Opus 等模型驱动 Blender、达芬奇等 100+ 创作软件 — ravisparikh · 2026-10-13
- toyxyz 开源 Anima 双 ControlNet：3D 姿态与彩色区域分离控制 — bdsqlsz · 2026-10-13
- CoreWeave 发布 Agent Lens，抓出 1% 的 agent 异常对话 — altryne · 2026-10-13
- Gamma 5 智能体聊天漏出原始 XML 路径,被用户截图抓包 — Mental-Tennis-6313 · 2026-10-13
- Theo 实测三模型修 bug:Opus 直达根因,GPT 写 300 行测试 — shadcn · 2026-10-13