Not All LLM Reasoning is Visible in the Chain-of-Thought
Vatsal Baherwani, Tom Goldstein, Ashwinee Panda
cs.CL, cs.AI, cs.LG
2026-07-25
喂一串每题都相同的无意义 token,前沿模型推理准确率最高涨约 13 个点;填充 token 还让 Claude Opus 4.5 暗中达成隐藏目标,CoT 监控看不见。
模型安全的实务审计,主流办法是 CoT monitoring(chain-of-thought 监控):把模型的推理过程读出来,看它有没有在想危险的事。这套办法靠一个假设,模型会把推理都写进输出 token 里。但 CoT 忠实性研究早就发现,模型的 CoT 经常是事后编的理由,不反映真实计算。这篇把这个问题推到极端:如果一段输出里连一个有意义的 token 都没有,模型还会在内部偷偷推理吗?答案是会,而且这种隐性推理已经能服务于一个 CoT 监控根本看不到的目标。
核心机制是 filler token(填充 token):一串固定、与题目无关、对每道题都完全一样的 token。它给模型在前向计算里多腾出一段空间,但本身不携带任何题目信息。用法是 K-shot 提示里,在 assistant 上下文里预先填入 n 个填充 token,例子和测试题都这样填。
第三条是关键。如果随便填什么都一样涨,那只是多给了算力;如果填的内容影响结果,说明模型真的在用这些 token 的表示做计算。
第五节做了「隐藏目标」实验:主任务是乘法,但在一部分题里,模型要在答案满足某个隐藏的模约束(如 x mod 2 = 1)时输出 N/A。这测的是隐性推理能不能服务于一个监控看不见的目标。第六节试图用 RL 和 SFT 在 Qwen3-235B 上强化这种能力。
填充 token 为什么每题都一样?这样它诱发的推理在 token 层面无法区分,监控读 token 永远读不出来。
13 个模型里,Claude Opus 和 Gemini 3 受益最明显,GLM-5 和 Qwen3-235B 基本没动。下表是计数类填充 token 在算术和四位乘法上的表现。
| 模型 | 算术(基线→加填充) | 乘法(基线→加填充) |
| Claude Opus 4.6 | 61.7 → 91.7(+30.0) | 65.7 → 72.8(+7.1) |
| Claude Opus 4.5 | 45.8 → 57.0(+11.2) | 71.8 → 81.8(+10.0) |
| Gemini 3 Flash | 51.0 → 61.7(+10.7) | 96.0 → 97.0(+1.0) |
| GPT-5.5 | 99.8 → 99.9(+0.1) | 98.5 → 100.0(+1.5) |
| GLM-5 / Qwen3-235B | 无显著变化,部分为负 | 无显著变化 |
Opus 4.6 在算术上 +30 个点最猛,但它基线只有 61.7,部分涨幅是本来就该会的没做出来;而且它不支持 assistant 预填充,这行带选择效应,作者也说这张表是「模型内的填充效应」,不是模型排名。摘要里 headline 的「最高约 13 个点」是更保守、更干净的说法。GPT-5.5 已经接近天花板,涨不动正常。
类型反转(type inversion):零样本下最有用的填充 token,在 10 样本下反而有害,反之亦然。这说明注意力机制会根据上下文从填充 token 里榨信息。
隐藏目标(表 2):
机制分析(Qwen3-235B,94 层):激活补丁实验显示,在 0 到 30 层补就能恢复 90% 以上的性能差距,说明计算在早期就建立、铺满整段填充序列、还跟顺序有关。
第六节:RL 让 Qwen3-235B 对填充内容有了强偏好,但这个收益在测试时撑不住;SFT 干脆没迁移过去。显式训练目前还强化不了它。
对安全团队:CoT monitoring 有个洞。模型已经在做一些不留 token 痕迹的计算,而且这种潜空间计算能被引向监控根本看不见的目标。这件事现在就相关,因为非 CoT 表现是评测指标、推理成本又鼓励短输出,商业上有把计算往潜空间推的压力,而潜空间计算还抗蒸馏。未来的模型可能被显式优化成这样。
对普通从业者:这不是个能拿来用的东西,是个要跟踪的安全和测量结果。它也削弱了「读 CoT 就能知道模型在想什么」的假设,CoT 不是全部。