RAG 客服机器人上线前如何测出错误答案?开发者征集合集
srinath_y · reddit · 2026-10-18
一位开发者在 Reddit 上征集生产环境 RAG 文档问答机器人的测试实践,问题覆盖:测试集来源(手工构建、生成问题还是真实用户日志)、评判方式(精确匹配、rubric 还是 LLM-as-judge,以及如何校验裁判可信度)、如何区分「引用了文档错误部分」和「凭空编造」、是否在每次模型/prompt/文档变更后重跑评测,以及 promptfoo、DeepEval、Ragas、LangSmith 等工具的使用体验。
所属事件:开发者征集 RAG 客服机器人上线前测试实践(2 条相关)→
「编程与Agent」频道最新
- 用户称 $200 Codex 额度一天耗尽，重置后又异常波动 — alexcovo_eth · 2026-10-18
- Anthropic 工程师一句话让 Claude 子代理提速，Yacine 感叹额度被烧之谜解开 — yacinelearning · 2026-10-18
- 连 diff 都让 agent 来缩:开发者称回不去 GitHub 网页版 — davidcrawshaw · 2026-10-18
- 开发者弃用 GitHub PR:全员直推 main,靠工具事后评审代码 — davidcrawshaw · 2026-10-18
- 45 年老程序员:agentic coding 是我见过最大生产力跃迁 — Scobleizer · 2026-10-18
- Reddit 用户晒 80 条证据：自动化 Agent 正在公网留下大量痕迹 — CapitalKingGaming · 2026-10-18