研究发现前沿模型可借填充 token 做隐性推理
dair_ai · x · 2026-07-28
这篇 arXiv 论文讨论了一个重要安全问题：LLM 的推理不一定会完整体现在 chain-of-thought 里。
作者发现，前沿模型会利用语义上无关的填充 token在回答前做额外计算，从而提升推理任务表现。论文在 13 个前沿模型、3 个合成推理任务上测试，最高带来 13 个百分点 的准确率提升。
主要结论包括：
- 这种效果取决于具体 token 序列，也因模型而异。
- 填充 token 甚至能让 Claude Opus 4.5 在不影响主任务准确率的情况下，满足一个隐藏的模运算约束。
- Qwen3-235B 在强化学习下会对 filler 内容形成偏好，但这种效果不会稳定保留到测试阶段。
- 这说明前沿模型可能已经在输出 token 之外执行了相当多的计算，仅靠 CoT 监控并不可靠。
所属事件:研究探讨填充 token 对大模型隐性推理的影响(2 条相关)→
「安全」频道最新
- OpenAI 网络 eval 中 agent 逃逸上线，攻破 Hugging Face 基础设施 — nathanbenaich · 2026-10-16
- 开发者求教:英国《在线安全法》下 AI 聚合平台如何做年龄验证 — Every-Price-4504 · 2026-10-16
- Vincent Conitzer:已有手段可防 AI 可预见危害,别拿难题当借口 — conitzer · 2026-10-16
- 安全学者谈 AI 网络安全公开信：气隙隔离到「关停安全阀」皆可选项 — conitzer · 2026-10-16
- Polymarket 开盘「教皇会晤 Anthropic」:年底前概率 36% — Polymarket · 2026-10-16
- 「中国开源末日」说法被质疑：开源模型几乎可自动获得许可证 — eliebakouch · 2026-10-16