生产环境 LLM eval 实战讨论:哪些工具留、哪些弃
LostLeek1304 · reddit · 2026-10-24
一位做海关报关单校验的开发者(Norquin)发帖征集真实生产环境的 LLM 评测实践:
- 想了解:eval 是发版前跑、线上跑还是都跑;CI 门禁、线上抽样人审、LLM-as-judge、漂移告警怎么组合;Braintrust、Langfuse、LangSmith、Phoenix、Promptfoo 等工具哪些留下哪些弃用
- 自己的方案:一条必须精确到分的黄金测试样例、一个确定性门禁(行合计对不上页面总额就拒绝解析)、模型步骤失败时发 Telegram 告警;不用 tracing、不用平台
- 踩坑案例:黄金测试 40 行过 38 行,但两份真实文档 38 行全挂——因为测试文件里有一列真实单据不打印
评论区对做 agent/工作流 eval 工程的人有参考价值。
「编程与Agent」频道最新
- ClimateTriage MCP Server：让 AI 检索气候变化开源 issue — modelcontextprotocol · 2026-10-24
- NoonAI DIS 推出图像/视频人脸自动脱敏 MCP 连接器 — modelcontextprotocol · 2026-10-24
- 开发者经验:给 Agent 工单加「Non-goals」段,防小修变大重构 — HaktanSuren · 2026-10-24
- TUM.ai 项目征询：如何把真实 agent 工作流变成评测集 — Super_Tough_4997 · 2026-10-24
- Glance 发布 iOS MCP 服务器,让 AI Agent 直接更新 iPhone 主屏小组件 — Dense-Map-406 · 2026-10-24
- 微软开源 Agensh:无中心调度器,1024 个智能体协作写大型软件 — donglixp · 2026-10-24