167 个错误答案证据齐全:Temporal RAG 实验揭示证据使用才是真瓶颈
LowAd8593 · reddit · 2026-11-09
作者在研究 temporal RAG 时发现:检索到正确信息不等于 agent 能正确使用它。比如让 AI 比较两家公司两个报告期的营收,需要的是 4 个各自绑定公司/指标/期间的精确事实,一旦财报被修订或语料含多版本,agent 即便引用看似正确,仍会混用季度、遗漏数值,生成「自信但错误」的对比——问题不总是幻觉,而是系统没保留每条证据该回答什么。
作者据此构建了 ChronoRAG-G,方法叫 OETRA(Obligation-Explicit Temporal Retrieval and Allocation):
- 把问题拆成显式的「证据义务」,每项对应一个必须确立的事实
- 按义务分别检索,而非依赖整体 top-k 池化检索
- 用图结构语料保存实体身份、时序关系、来源与竞争性证据
- 校验证据是否匹配要求的实体/指标/期间,再分配到对应答案槽位后做结构化生成
在 480 份修订过的财报电话会议记录、1005 道时序 QA 上评测:审核后答案准确率 80.70%,严格槽位覆盖率 95.92%。最关键的发现是:167 个错误答案拥有完整的证据链——检索已解决,答案构建仍失败,说明只改进检索不会解决剩余问题,证据完整性与证据正确使用是两件事。作者开源了研究并做了交互式 demo,认为该方法适用于金融研究 agent、合规助手、随时演变的政策等场景(目前验证仅限金融时序 QA)。
「编程与Agent」频道最新
- 在骁龙版 Surface Pro 上跑通 Omarchy：编译内核加 SSH 隧道远程跑 OpenClaw — vincent_koc · 2026-11-09
- Obsidian 笔记重浮出指南：随机笔记、回顾队列与相关笔记 — dSebastien · 2026-11-09
- 一行改动致 Agent 狂拨 21 通电话烧掉 $133，三道外部闸门止损 — Worth_Wealth_6811 · 2026-11-09
- 独立开发者给饮食日记接入 MCP，让 Claude 直接读你的记录 — Content-Two5729 · 2026-11-09
- 疑似朝鲜黑客组织借 npm 包 archetype-index-sdk 投放混淆木马 — cyb3rops · 2026-11-09
- OpenBrowser 开源数天斩获 9.6k 星，让 AI Agent 自主演览网页 — thisdudelikesAI · 2026-11-09