论文：模型推理过程并不全部可见于 CoT
PandaAshwinee · x · 2026-09-02
核心发现
论文《Not All LLM Reasoning is Visible in the Chain-of-Thought》指出，前沿模型可以通过利用语义无关的“填充令牌”来展示隐性推理，从而在合成推理任务上提高性能。
实验数据
- 评估了 13 个前沿语言模型，发现许多模型能从填充令牌中显著获益，准确率提升最高达 13 个百分点。
- 这种收益取决于使用哪种令牌，且在不同模型间存在差异。
安全隐患
- 隐藏目标：填充令牌使 Claude Opus 4.5 能够在满足隐藏模算术约束的同时，不牺牲其主要任务的准确性，证明隐性推理可以服务于 CoT 监控完全不可见的目标。
- 训练失效：强化学习虽然让 Qwen3-235B 对填充令牌内容产生了强烈偏好，但无论是 RL 还是 SFT 都无法产生在测试时持续有效的填充令牌收益。
结论
前沿模型已经在没有可解释输出踪迹的情况下进行了重要的计算。
「安全」频道最新
- OpenAI 被曝采用隐蔽循环变换器，引发安全担忧 — apples_jimmy · 2026-09-02
- Amir 澄清：Astra 的思维链可监控，担忧在于未来技术扩散 — jachiam0 · 2026-09-02
- Safin-1：通过内存原生状态演变实现内生安全 — Shanghai-AI-Laboratory · 2026-09-02
- Gary Marcus 警告 OpenAI 或将越过安全红线 — GaryMarcus · 2026-09-02
- GaryMarcus 警告：OpenAI 疑似牺牲可解释性换取性能 — AndyMasley · 2026-09-02
- 专家担忧 AI 保密通信将阻碍事故调查与对齐研究 — sjgadler · 2026-09-02