CoT 理论论文被赞“解释了 Transformer 为何胜出”
willcb · x · 2026-10-16
willcb 推荐了他心目中最重要的现代论文之一：斯坦福与 Google 的《Chain of Thought Empowers Transformers to Solve Inherently Serial Problems》（李志远、刘泓、Denny Zhou、Tengyu Ma）。
论文核心结论：
- 常数深度、有限精度的 transformer 不用 CoT 只能解 TC⁰（常数位精度下更紧的上界是 AC⁰）类问题，天然缺乏串行计算能力；
- 引入 T 步思维链（CoT）后，常数深度 transformer 用 O(log n) 嵌入维度即可解决任何规模为 T 的布尔电路可解问题，即 CoT 赋予了模型串行计算能力；
- 实验上，CoT 在置换群复合、迭代平方、电路值问题等并行计算困难任务上带来大幅提升，低深度模型尤甚。
作者评价：这篇论文基本完整解释了为什么 transformer 赢了，以及为什么 RL 会成为这一架构的合适算法。
所属事件:CoT 理论论文走红：解释 Transformer 为何胜出(2 条相关)→
「研究」频道最新
- 4B 模型加 8K 上下文堆算力反而更差，Hermes 提出上下文推理新思路 — mangahomanga · 2026-10-16
- SpliceAI2 预测变异在表型关联基因中富集度最高 — anshulkundaje · 2026-10-16
- SpliceAI2 在 UK Biobank 蛋白组学验证中超越 AlphaGenome — anshulkundaje · 2026-10-16
- Genomics England 数据复测:SpliceAI2 隐蔽剪接位点检测 auPRC 0.59 — anshulkundaje · 2026-10-16
- 150 万样本 AIGC-textbank 数据集亮相,REVEAL 检测器给出可解释判定 — burkov · 2026-10-16
- 数据量决定智能边界：模型只在数据充足的领域超人类 — burny_tech · 2026-10-16