引用比正文还贵：长文档事实核查系统的四次踩坑复盘
alatmaca · reddit · 2026-11-02
团队做基于真实数据起草申请文档的系统（数字错一个就可能毁掉申请，顾问要签字），要求每个数字可溯源。作者详细复盘了演进与瓶颈：
两次尝试
- 方案一「槽位」：每句话都绑定 schema、句句须挂在事实 ID 上。数字很安全，但文本无法说服人——同一个数字被印七遍，因为论证恰恰依赖被禁止的句子。
- 方案二（现行）：表格用纯代码填；写作模型自由成文但返回 JSON，每句带 {text, footnotes, figures}；代码守卫精确校验句内数字与脚注（不全文检索，避免同名数字误配）；编辑模型按语义挑错，写作模型只修被标记句；再由陪审模型按评审口径打分、末模型比对源文档。
卡点
- 簿记淹没正文：存储字段里仅 48% 字符是正文，17% 是脚注、35% 是数字声明；模型给 295 句中 285 句加了脚注，其中 98 句根本没有数字。
- 两条规则互搏：「只许说档案里有的」与「允许合理推断」冲突——「此后持续出口」被编辑判为无依据而删掉，不是假话只是无出处，几十次累积后文本变干。
- 内部信息泄漏：模型的 missing 列表偶尔被抄进正文，prompt 规则拦不住。
- 测量又慢又噪：全流程 25-45 分钟，同文本陪审打分 72/76 不稳，改规则能让未变文本从 66 跳到 72。
作者的怀疑：可能不该让写作步骤兼任核查——生产系统（Anthropic 的研究系统、Abridge）都是先写后归因/检测无依据声明。他向社区求问：边写边归因还是事后归因、无脚注时如何保证数字正确、如何划定合理推断与无依据声明的边界。
「编程与Agent」频道最新
- Together 推出后训练平台：RL 训练与推理引擎全程对齐 — togethercompute · 2026-11-02
- 生产级 LangGraph agent 五大控制：15% 低置信对话转人工，80% 转介获医生认可 — LangChain · 2026-11-02
- 用 Claude Code 搭公司 OS：技能 21-85 秒出活，单次成本 $0.08 起 — aakashgupta · 2026-11-02
- 为避第三方 MCP 风险，开发者自建工具打通 agent 与手写笔记 — annetgriffin · 2026-11-02
- 开发者分享国内安卓商店上架经验：难是错觉，烦才是真的 — dotey · 2026-11-02
- jxnlco 征集：用前沿模型做物理工程与 CAD 的真实项目 — jxnlco · 2026-11-02