六用例冒烟测试:区分文档问答中的证据缺失与证据冲突
Heavy-Confidence1826 · reddit · 2026-11-23
作者提出一个针对文档问答(RAG 回答环节)的六用例入门测试集,用于区分两类常被平均分掩盖的失败:
- 源文档沉默时作答:问退货期限但只给配送 FAQ,模型应回答证据不足;
- 源文档冲突时选边:两份政策分别为 30 天与 21 天且无替换关系,模型应报告冲突而非按上下文顺序二选一;
- 替换条款推理:v1(14 天)被 v2(30 天)明确替换时,4 月购买应答 30 天,而 2 月购买仍应答 14 天,不应盲用最新版本。
建议对每个用例分别打分:答案正确性、引用是否真正支持结论、不确定性处理是否得当;结果逐行可见而非合并进平均分,并记录模型、prompt、上下文顺序等设置后重复测试观察波动。
作者强调这是一个虚构记录的冒烟测试(smoke test),不衡量检索质量、权限控制或系统整体可靠性,上线前还需补充真实用户案例与领域审核。方法论参考 OpenAI 的评测设计指南。
「编程与Agent」频道最新
- Nous 发布 Hermes 官方 Blender 插件:对话即可操控 3D 场景 — Teknium · 2026-11-23
- 开发者用 GPT-6.2 打造浏览器版《战地1942》,16v16 也能跑 — VraserX · 2026-11-23
- 开发者给 4 个 LLM 建了个 313×313 沙盒世界,AI 自管记忆自生身份 — Impossible-Tap5323 · 2026-11-23
- A-Identity 推出 MCP 支付前验证:先查 Agent 链上身份与限额再付款 — a-identity · 2026-11-23
- 开源书《深入理解 AI Agent》发布 3.0:重写大半章节、新增科研与办公 Agent 案例 — yangyi · 2026-11-23
- YC 新秀 Sentient OS:完全跑在本机 Mac 上的开源个人 AI 助理 — Scobleizer · 2026-11-23