哈佛MIT论文:思维链开头几个 token 决定 CoT 可控性
哈佛、剑桥波士顿对齐倡议与 MIT 的研究者(Hugh Van Deventer、Dmitrii Troi 等)发表论文《The First Few Tokens Matter》,研究思维链(CoT)可控性的来源。论文发现模型难以控制自己在推理轨迹中写什么,症结在于思维链开头几个 token 的「熵坍缩」;实验显示禁用如「Okay」这类开头 token,可让 CoT 的可控性大幅提升。
2026-11-02 ~ 2026-11-04 · 2 条相关
- 哈佛MIT论文:CoT可控性卡在思维链开头几个token的熵坍缩 — omarsar0 · 2026-11-02
- Harvard/MIT 研究:禁用「Okay」开头 token 可让 CoT 可控性大幅提升 — LauraRuis · 2026-11-04