Grading the Narrators: An Isnad-Rijal Framework for Claim-Level Provenance in Multi-Agent Knowledge Systems
Ali Zahid Raja
cs.AI, cs.MA
2026-07-27
多智能体系统里一条事实要经过好几手转换,这篇把圣训学的传述链加传述者分级搬过来,给每个环节打分、链取最弱一环。2万条物理claim验证了隔离与佐证有效,但也坦白因内容审查器太弱,覆盖率卡在4.8%,没能跑出优于基线的对照。
现在的 LLM 知识系统里,一条事实从原始网页到最终答案,要经过抓取、抽取、消化、综合好几手。每一手都可能丢信息、带偏、或者直接编。现有的 provenance 工作能记下「这一路发生了什么」(执行 trace、工具调用、引用链接),也早有评估来源可靠度的研究(真理发现、声誉系统)。但它们回答不了用户真正想问的那句:这条具体结论,经过了这几个具体环节,到底该不该信?
作者指出,这个问题一千多年前就被一种古老学科用极其严密的办法解过一次,就是伊斯兰圣训学('ilm al-hadith)。
圣训学要解决的问题是:先知穆罕默德的话经过一长串人传述流传下来,怎么判断哪条可信。它发展出一整套方法,核心几条:
作者把这套原样搬过来:每个「环节」(某个抓取器版本、某个模型版本、某个数据源、某个人)就是一个传述者,给它们建可分领域打分的注册表(同一个模型在历史日期上靠谱、在量子方程上可能不行),版本一升级就重置评分,链取最弱环节,独立链可佐证升级,正文和链分开评,最后用一个决策矩阵(链强度乘正文裁决)给出动作:直接发布 / 进人工复核队列 / 隔离。
一个对 AI 管线的关键修正:抽取、分块这类「有损」转换只能丢信息,严格取最弱;而综合这类「生成」转换可能修好上游噪声也可能引入新错,所以是「有界的、需佐证才认」的最弱,不是盲目取最小。
在 2 万条从真实物理教科书(OpenStax、Crowell)抽出的原子 claim 上验证,30% 做校准、70% 做评测,配了 4 个有设计错误率的传述者(1%、2%、15%、18%)。
框架开源为 pip install isnad,157 个测试全过。
多智能体系统正在变成主流,而「这条 agent 链产出的结论能不能信」几乎是还没被正经回答的问题。这篇给了一个可工程化、可追溯的回答框架,且诚实地把证据撑不住的地方全标了出来,读这种论文比读只报好数字的更可信。对做 agent 系统、知识库、可验证 AI 的人,这套 schema 和决策矩阵可以直接拿来对照自己的管线。
但要把预期放对:它目前证明的是「这套机制可实现、在它有证据的地方行为正确且可诊断」,没有证明它在等覆盖率下优于现有做法。那个证明被内容审查器卡住了。
作者自己列得很全。框架只针对能判断真假的事实性知识积累,不适用于开放式创作。内容审查器是当前的硬瓶颈(参考实现只是词重叠加否定启发式,对多数真实正文返回「无法判定」),所以覆盖率天花板基本卡在人工复核预算。打分要按领域逐格填证据,稀有的传述者可能在某个领域永远攒不够证据被打分,正是漏掉那个 18% 抓取器的原因。把人当传述者打分时,它就变成了对人的声誉系统,有公平性、可争议性、职场权力的问题,作者只标出未解决。佐证假设的「独立」是理想化的:两条链不显式共享传述者,但如果终止于同一个模型家族、共享训练数据,仍可能一起出错。框架也还没在真实生产负载下端到端跑过。