Learn Your Own Thoughts: Abstract Token Curriculum
Khashayar Gatmiry, Avrajit Ghosh, Parsa Mirtaheri, Jason D. Lee, Nika Haghtalab, Emmanuel Abbe, Peter Bartlett
cs.LG, cs.AI, cs.CL, stat.ML
2026-09-17
伯克利与DeepMind提出ATC：只监督最终答案、按难度加长连续思维槽，图可达性准确率99.9%，八位数加法98.7%，均不需要中间步骤标注。
Chain-of-thought（思维链）把中间计算写进离散 token，能加深 Transformer 的有效计算深度，但通常要任务特定的草稿格式或逐步标注。Coconut 一类连续思维方法把离散推理前缀逐渐换成隐向量，仍然依赖现成的思维链示范。直接在最难分布上训练、中间不留草稿，优化又很容易卡住。
伯克利、UC San Diego、EPFL 与 Google DeepMind 提出 Abstract Token Curriculum（ATC，抽象 token 课程）：不设计草稿、不标中间状态，只靠把题目从易到难排开，让模型在连续表示里自己长出「想法」。
ATC 把训练拆成若干阶段。第 r 阶段抽难度为 r 的样本，上下文里已经接上前 r-1 个连续思维向量 z₁,…,z{r-1}，只用一个线性头从最后隐状态预测答案。验证集答对了，就把当前最后隐状态追加为下一个 z。难度和思维槽同步加长，中间步骤没有任何监督。
理论上，他们在单层 softmax 注意力上学全奇偶校验。阶段 k 只让前 k 个比特随机、后面固定为 +1，目标退化成前 k 比特的乘积。Theorem 1 证明：在「上一阶段的思维与当前奇偶完全相关」的理想化假设下，只对 key 做一步足够大的梯度下降，最终答案位置的注意力有至少 1/4 的概率把 99% 的质量打在最近那个思维 token 上。这被叫做 attention simplicity bias（注意力简单性偏差）：注意力会盯住预测下一步最容易的那条路。
实验里这个假设不会自动成立。后续阶段会改写早期表示，全反向传播的显存又随思维链变长。于是加了三件配套：
奇偶校验：1 层 1 头、宽度 64 的 Transformer，20 个比特里随机 10 位做目标，最多 20 个阶段。ATC 全程接近满分。同样的数据课程但没有连续思维，准确率随阶数掉下去。既无课程也无思维的对照卡在 50% 随机水平。
图可达性更硬。每张图是一棵 20 节点随机树加上一棵同构副本，正确候选与干扰项深度、度数相同，只有与根的连通性不同，随机水平 50%。模型是从零训练的 2 层 GPT-2，8 头、宽度 768，约 1,500 万参数。
| 方法 | 中间监督 | 测试准确率 | 验证集到 95% 的 epoch |
| 无 CoT | 无 | 48.3% | 未达到 |
| 离散最短路径 CoT | 有 | 63.5% | 未达到 |
| 全程满思维、无课程 | 无 | 47.8% | 未达到 |
| 无 CoT + 数据课程 | 无 | 49.0% | 未达到 |
| Coconut，固定每阶段 25 epoch | 有 | 97.6% | 468 |
| Coconut，按中间集合准确率推进 | 有 | 99.9% | 132 |
| ATC | 无 | 99.9% | 51 |
课程和连续思维拆开都接近随机。截断反传到 b=5 时，只向前推进的课程塌到 51.0%；加上回退能回到 97.4%，峰值显存从 5.78 GiB 降到 1.55 GiB（0.27×），单步时间 198.6 ms 降到 124.7 ms（0.63×）。全反传时回退几乎没差（99.9% 对 99.8%）。
探针也对齐理论：把前面的思维换成噪声、但在预测前把最后一个干净思维塞回去，ATC 准确率几乎不动；让噪声传到最后一步，准确率才塌。第一层注意力大约 50% 打在最后一个连续思维上，更早的思维只有 1.4%，边 token 约 2.3%。Coconut 对应 39.6% 和 17.0%。
八位数加法（2,000 道测试题，10 个种子中位数）：ATC 98.7%，加回退 99.0%。Coconut 用部分和做中间标签，中位种子四位还能对，五位 98%，七位掉到 0%。ρ=0 不藏候选时 ATC 卡在第 0 阶段，准确率约 0%。截断到最近五步与全反传持平（98.8% / 99.6%）。
连续思维不一定要示范，也不一定要规定中间该算什么。把难度轴放在输入分布上，模型可以自己决定隐状态里装什么。对想做 latent CoT 的人，可复用的工程件是回退、截断和藏候选：分别管遗忘、显存和抄袭。这仍是小模型、合成任务上的机制结果，还不是直接改 GPT 级推理的配方。
理论只覆盖单层注意力、全奇偶，且假设上一阶段表示完好。图和算术都是从零训练的小 Transformer，没有在预训练大模型上试过。图任务用同构副本卡捷径，加法用进位状态，结构都很干净。作者自己也写，证明构造、多子问题交织的长程推理里，最新一个思维未必能概括所需信息，模型可能得回头检索更早的 z。课程阈值、回退耐心、ρ 都是设定值，迁移成本未知。