六用例冒烟测试:区分文档问答中的证据缺失与证据冲突

Heavy-Confidence1826 · reddit · 2026-11-23

作者提出一个针对文档问答(RAG 回答环节)的六用例入门测试集,用于区分两类常被平均分掩盖的失败:

建议对每个用例分别打分:答案正确性、引用是否真正支持结论、不确定性处理是否得当;结果逐行可见而非合并进平均分,并记录模型、prompt、上下文顺序等设置后重复测试观察波动。

作者强调这是一个虚构记录的冒烟测试(smoke test),不衡量检索质量、权限控制或系统整体可靠性,上线前还需补充真实用户案例与领域审核。方法论参考 OpenAI 的评测设计指南。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →