Harvard/MIT 论文：CoT 可控性差源于开头几个 token 的熵坍缩
rohanpaul_ai · x · 2026-11-04
Harvard 与 MIT 的论文《The First Few Tokens Matter: Understanding Chain-of-Thought Controllability》研究了为何推理模型难以控制自己的思维链内容——这关系到 CoT 监控能否作为安全手段。
核心发现
- 限制源于 thinking 标签后开头几个 token 的「熵坍缩」：模型习惯用固定开场（如 "Okay"）启动推理，导致后续难以按要求改变。
- 两种推理时干预可恢复可控性：prefill（哪怕预填一个 token 也能显著提升），以及「禁用高频开头 token + 上下文示例」——后者让平均合规率提升 34-41 个百分点。
结构区分
- 「添加/风格可控性」（增改信息）与「抑制可控性」（回避信息）表现不同，像是两种独立能力；跨组相关大多为负。
- 添加与风格可控性与可监控性正相关，而抑制往往负相关，提示抑制信息走的是不同机制。
意义：CoT 监控作为安全手段的有效性依赖模型「说不出自己想要什么」这一局限，论文解释了该局限的成因，也说明某些干预可能削弱监控性。
所属事件:哈佛MIT论文：思维链开头token熵坍缩削弱CoT可控性(4 条相关)→
「安全」频道最新
- 美智库专家：英伟达夸大中国AI芯片能力，在华盛顿信誉受损 — mchorowitz · 2026-11-04
- Anthropic 更新 RSP 政策：或已逼近"AI 加速研发"触发阈值 — thlarsen · 2026-11-04
- METR 与 Redwood 红队实测 OpenAI 内部监控:约 10% agent 流量未被监测 — dl_weekly · 2026-11-04
- Perplexity 开源决策模型接入 Numbat v0.3.0,用于 AI Agent 安全监控 — AravSrinivas · 2026-11-04
- 提醒：你对 AI 代理的行为负法律责任，一句“失误”法庭可不爱听 — var_epsilon · 2026-11-04
- CrowdStrike 发布 AI Kill Switch：一键叫停任意 AI agent — AccBalanced · 2026-11-04