预注册审计 LLM agent 的 25 个认知模块:18 个计算从未到达输出

Real Computation or Merely Naming? A Pre-Registered Mechanism Audit of 25 Cognitive-Architecture Modules in an LLM-Based Agent System

Peter Chen, Ni Zhang, Ying Xu, Siyuan Zhang

cs.AI

2026-10-30

静态审计加预注册干预发现,25 个认知模块里 18 个的计算从未到达输出;修复管线后规划成功率 0.028→1.000。

这篇在解决什么

本地 LLM agent 系统爱用认知科学词汇给模块命名:global workspace、theory of mind、causal reasoning、active inference。名字挂上去了,宣称的机制有没有真的在算?这篇审的就是这个前置问题。被审的主系统是个开源仓库,文档宣称 25 个认知机制,把「causal reasoning expert」列为核心创新;论文刻意不给它点名,只用内容哈希引用。此前同一条线的两篇先例各审一个单独机制,这篇扩到整个架构,补上系统级失败分类法和修复阳性对照,用来证明审计能区分「实现坏了」与「想法不可行」。

方法

第一层,静态审计。四个只读 LLM agent 并行扫 25 个模块,每个模块回答四问:核心计算是什么,附行号证据;归为哪类,真算法、规则表、改名的启发式、stub,还是有名无实;计算结果是否到达任何生产输出,标准严格到必须影响控制流或返回内容,写进日志字段或装饰性文本前缀都不算;有什么副作用。所有判定锚定行号存档,可以对指定 revision 独立复核。

第二层,预注册干预。11 个模块在收集任何数据之前冻结可证伪的定量判据,每个目标一份 PREREGISTRATION.md,随后执行 12 组干预、61 条判据。修复动作超出冻结范围,就不能记成原系统本来就有效。

第三层,两个修复实验当阳性对照:被静态审计判死的模块,按审计指出的缺陷类别修复,验证真能活过来。

结果

25 个模块里 18 个,算出的值从未到达任何生产输出。剩下 7 个也救不回来:4 个只以装饰文本或惰性元数据触达输出,2 个算了真东西然后被丢弃或 mock,1 个 15 阶段 pipeline 以一次 LLM 调用收尾、七个子结果全没被读。没有模块影响控制流。

模块(宣称机制)关键证据
global workspace硬编码 salience 表 0.8/0.7/0.6/0.5;200 种不同模块内容只算出一个 consciousness 分数 0.3867
causal reasoning因果方向由相关性符号单独决定,方向恢复准确率 0.5000 等于随机;干预传播为空
dopamine systemTD 更新系数 1+αeγ≈1.40>1,值函数在 7 状态 MDP 上冲到 6.6×10^232
active inferenceShannon 熵真算了但没有 argmin;200 个推理循环里自由能变化 Δ=0.0
holographic memory编码是 md5 → random.seed → random.random();同义检索 top-1 命中率 0.05,等于随机
命名层自身「七情绪」实为 12 个,「九状态」实为 11 个枚举成员

61 条冻结判据:53 确认、2 部分裁定、5 证伪、1 裁定模糊,5 条证伪里 4 条方向反而对被审系统有利。两个修复对照:least-action planner 修掉 5 个管线缺陷后,36 任务成功率 0.0278 → 0.6389 → 1.000,「一轮修复就够」的预注册预测被证伪并如实披露;nine-state controller 接上乘性门控后测试误差降 52%,MSE 2.61 → 1.26,理想形式 1.24。

跨系统验证落在 Aura 的 IIT-φ 核心上,就是那个 41 个意识相关模块、自带预承诺证伪判据的独立仓库。φ 机制是真数学:16 节点复形、8 节点子集上的精确二分搜索、谱近似、bootstrap 置信区间俱全;单独运行其 null 检验,对无记忆噪声给整合分数 0.000(p=1.0),对耦合动力学给 0.84–0.91(p=0.0)。但 live 路径从不调用它:挂接显著性字段的 history 字典只装了 4 个 substrate 里的 2 个,获胜 substrate 查不到,字段永远为空,live φ 给噪声打 0.42–0.46,还标 iscomplex=True。根因是一条字典条目的缺口。

为什么重要

对评估和选型的人,这是个便宜的尽调工具:25 模块静态审计加定向干预,一个下午的 CPU 时间。论文建议 artifact evaluation 在结果级徽章之外加一道机制级检查,问每个宣称的机制在扰动下是否影响输出。

对造系统的人,五类失败分类法直接排修复优先级:管线缺陷分钟到小时级可修,两个修复实验都属此类;定义缺失没有可打补丁的基质,只能重写。三种「空转接线」形态(connected-but-never-called、called-but-inert、called-but-content-blind)对一般工程也有价值:这些代码执行时都在跑、token 都在花,run 级 benchmark 会把它们当正常基础设施打分,性能剖析和可达性分析都查不出来,抓它们只能沿调用链追值的去向。对关注 Aura 的人:这份审计否定的是 live 路径没接上自己的显著性检验,不是 φ 数学本身,修法是一行字典加计算预算的事。

局限与存疑

作者自述的局限很全:静态结论限于仓库内,不排除外部部署脚本;九状态模块的预注册在 pilot 数据后改过两次;两个修复对照的任务都在机制可表征族内,planner 测试集是自建的,证明的是修复有效不是机制优越;跨系统验证只有一个模块深,其余 40 个模块只做了存在级和关键词级检查;Aura 面向 Apple Silicon,审计在 CPU 加 OS stub 下跑;静态判定由 LLM agent 产出,没做评分者间信度;控制器修复是单次运行,没扫 seed;第 3 到 5 类的修复前景是静态预测,未执行。读下来还有两点:主系统匿名,审计日志虽在 Zenodo,独立复核要多绕一层;18/25 出自单一系统,论文明说没有统计抽样声明,不能当成这类系统的普遍比例,修复后的 1.000 也只在 36 个自建任务上成立。

术语

原文与代码

社区讨论

相关论文

全部论文解读