Abstract CoT:离散潜空间推理将 token 用量最多降低 11.6 倍
evijit · x · 2026-09-11
Meta 研究者发布论文《Thinking Without Words: Efficient Latent Reasoning with Abstract Chain-of-Thought》,探讨让模型不用自然语言思考:
- 提出 Abstract Chain-of-Thought:模型先生成一段来自保留词表的短「抽象 token」序列,替代冗长的自然语言 CoT,再输出回答。
- 训练采用策略迭代式 warm-up:先通过 masking 从自然语言 CoT「瓶颈化」做 SFT,再用受限解码自蒸馏让模型直接从 prompt 生成抽象 token;随后用 warm-start RL 优化抽象序列生成。
- 结果:推理 token 最多减少 11.6 倍,在数学推理、指令遵循、多跳推理上性能与显式 CoT 相当,且可跨模型家族泛化。
- 抽象 token 使用中还涌现出幂律分布。
讨论中还引出一个观点:效率压力会把模型的「思考语言」推离英文——对 agent 间消息传递未来走向的开放问题有启发。
「研究」频道最新
- neuron-finder:消费级显卡约 5 分钟精准定位指定神经元 — pbaylies · 2026-10-28
- OpenSIR 自博弈框架：LLM 无需训练数据自学数学推理 — PMinervini · 2026-10-28
- 网友玩坏可解释性:找到了让 Qwen「发疯」的神经元 — sebkrier · 2026-10-28
- 不开向量检索也能拿 86.67%,开源记忆层 Mind 挑战 embedding 必要性 — GabrielMartinMoran · 2026-10-28
- 提议：给每篇 arXiv 论文找最短复现 prompt,度量真实信息增量 — tak3sh8 · 2026-10-28
- Piano2Pop：无需对齐监督，把钢琴 demo 自动扩展成完整流行歌 — affige_yang · 2026-10-28