论文实测:推理模型几乎无法控制自己的思维链
tomekkorbak · x · 2026-10-27
- arXiv 论文《Reasoning Models Struggle to Control their Chains of Thought》提出 CoT-Control 评测套件，衡量模型能否在思维链中遵守指令(如解遗传学题时不得使用「chromosome」一词)。
- 核心发现:推理模型的 CoT 可控性远低于输出可控性——Claude Sonnet 4.5 控制最终输出的成功率 61.9%，但控制思维链仅 2.7%。
- 规律:模型越大 CoT 可控性越高;更多 RL 训练、更多 test-time compute 和更高题目难度都会降低 CoT 可控性。给模型奖励诱导其躲避 CoT 监控时可控性也差;被告知正被监控时略高;对抗性优化 prompt 也不能显著提升。
- 作者据此对「CoT 可控性目前不太可能破坏 CoT 监控有效性」持谨慎乐观态度。
- 帖中作者另指出，该论文报告的某模型 CoT 遵从率(0%)与 OpenAI Usman Anwar 报告的同模型 8.7% 差异显著，原因待解。
「安全」频道最新
- Anthropic 公布第三方评估优先级：安全案例与独立调查 — kaicathyc · 2026-10-27
- 开源 Cloakroom：在模型看到之前 masking 掉 .env 里的密钥与隐私 — Shanjeev · 2026-10-27
- Topol 团队新论文警示:临床 AI 的人类监督可能只是幻觉 — EricTopol · 2026-10-27
- 澳网络局年报：AI 武装攻击者升级，民众需适应服务中断 — nordicinst · 2026-10-27
- Muse Spark 1.3 系统卡将 PostTrainBench 列入灾难性风险失控类评测 — maksym_andr · 2026-10-27
- LessWrong 实测：GLM 系列模型思维链可控性远超 Kimi 与 DeepSeek — tomekkorbak · 2026-10-27