哈佛MIT论文：CoT可控性卡在思维链开头几个token的熵坍缩
omarsar0 · x · 2026-11-02
哈佛、剑桥波士顿对齐倡议与 MIT 的论文《The First Few Tokens Matter》研究了思维链（CoT）可控性的来源：模型之所以难以控制自己在推理轨迹里写什么，很大程度源于 <think> 标签后开头几个 token 的熵坍缩——模型总是落入少数几种常见开场。
关键发现：
- 干预见效：prefill 单个 token 即可大幅提升可控性；禁用高频开场 token 并加入上下文示例，可将平均合规度提升 34–41 个百分点（跨多个模型）。
- 两类控制是不同能力：干预主要恢复「添加/改写信息」类控制，而「省略信息」类控制响应不一致。两类在模型间各自内部正相关，跨组则多为负相关。
- 与可监控性的关系：addition/style 可控性与 CoT 监控可行性更一致地正相关，suppression 常呈负相关，提示需要区分「难以下手开场」与「整体改写受限」的可控性评测。
「安全」频道最新
- Anthropic 更新扩展政策：AI 自动研发能力阈值或即将触发 — wfithian · 2026-11-03
- SimpleLoRIF 用梯度对齐过滤隐性损害安全的微调数据，GCG 攻击成功率降 22% — DatologyAI · 2026-11-03
- 苏莱曼发微软 MAI 模型行为准则草案，公开征询 3 周后截止 — mustafasuleyman · 2026-11-03
- Anthropic S-1 披露：内部评估显示可能即将触及 RSI「AI 加速 AI 进展」阈值 — kimmonismus · 2026-11-03
- 博主称 AI 推翻指数时间假设，两周内触及 BTC/ETH 密钥曲线 — LeviTurk · 2026-11-03
- Claude 自认失误：把用户邮箱随请求头发给第三方镜像 — tak3sh8 · 2026-11-02