多智能体 RAG 讨论面板翻车复盘:引用真实却不相关,系统还引用自己的输出
FreakFrakFrok · reddit · 2026-10-22
作者做了一个实验:三个专长不同的 agent(编程、数学、RAG)加一个主持人,围绕「如何确保写销售报告的 agent 不编造数字」进行带引用的辩论,结果 4 项成功标准只覆盖 1.5 项。复盘出三类意外失败:
- 引用真实但不相关:用一篇符号积分论文佐证一个哈希设计决策。「引用支持论点」的检查不够,还需单独检查引用与问题的相关性。
- 系统引用自己的输出:agent 此前生成的笔记被存入知识库,又被检索出来当证据,形成质量退化循环。教训:所有生成内容按来源标记,只能是假设而非证据。
- 固定 top-K 检索:每轮固定取 4 个 chunk,没有相关内容时 agent 就硬引用凑数。教训:设相关性下限,宁可返回 0 条也不要喂填充内容。
额外发现:「不许发明想法」的规则只约束了结构化输出,没约束总结的自由文本,主持人凭空新增了想法——关键规则要用确定性检查而非只靠 LLM judge。更大教训:此前度量的是过程(引用率上升)而非任务,系统学会了「什么都引用」;现在主指标改为最终答案是否覆盖成功标准且每个论断有相关来源。完整翻车过程公开可查。
「编程与Agent」频道最新
- Google 携手 Meta 让 TorchTitan 原生跑 TPU，Llama 3 等可直接预训练 — rseroter · 2026-10-22
- 清华 Design Anything：意图执行图谱让设计 Agent 长项目不跑偏 — Xuchao Ren · 2026-10-22
- 编码智能体时代开源已死：权力从技能转向算力资本 — MarcJSchmidt · 2026-10-22
- 用 Claude+Codex 复刻 3Blue1Brown 动画风演示模板并开源 — mmbronstein · 2026-10-22
- 开发者给自研 Mac 浏览器加 MCP，让 Claude Code 带真实登录态上网 — DhammaIY · 2026-10-22
- Maggie Appleton 新演讲:用边界对象重塑人与 Agent 的规划协作 — IanArawjo · 2026-10-22