迭代式 AI 事实核查实验:纠错循环一次后即进入平台期
burny_tech · x · 2026-10-28
作者认为「用 LLM 对 LLM 输出做对抗性纠错循环」被低估了——同行评审本就是最原始的人工纠错闭环，而 agent 让「机器评审机器的评审」成为可能。他做了一个最小实验：在一段注入错误的 STEM 文本上，用基于 web search 的迭代式 agentic 事实核查（两个 prompt），结果显示纠错在第一轮后就基本进入平台期。
实验设置与局限
- 数据集仅为一段人工注入错误的 STEM 文本，规模很小
- judge 是另一个能访问 ground truth 但仍会幻觉的弱模型
- 事实核查 agent 用的是 Codex 里最弱的模型
作者提出的研究方向
- 对可精确用符号代码验证的事实做同样评测；或让 agent 写 Lean 证明但不编译、由 judge 编译验证
- 在更大规模上测试，比如整个 agentic 科研 pipeline（代码、实验、论文）的输出
- 猜想「可验证陈述的验证难度」呈重尾分布（类似幂律），更强模型能在尾部更少引入新错误；理论计算机科学中的证明复杂度、平均情况复杂度等概念会变得相关
- 部分陈述根本无法验证（或暂不能），准确度本身是个光谱
配图显示纠错一轮后准确率从约 40% 升至 85-90%，之后各轮变化不大。
「漫话AGI」频道最新
- AI agent 时代,人类的研究品味将成为稀缺溢价品 — Swarooprm7 · 2026-10-28
- Goertzel 力挺 AI 审稿：称其已强于人类评审但更难纠偏 — bengoertzel · 2026-10-28
- Delta、摩根大通、亚马逊纷纷封杀 AI 代理，权限成下个大战场 — Arindam_1729 · 2026-10-28
- 斯坦福演讲提醒：多数市场参与者正无意中押注模型不再进步 — abhiadesai · 2026-10-28
- 评论：AI 实验室正输掉叙事战，需三层合作愿景 — sudoraohacker · 2026-10-28
- 「AI 味」让创作贬值 80%：文字之后轮到视频 — heyneighbor · 2026-10-28