回顾 Alex Graves 2016 年 ACT:让 RNN 自己决定计算步数的开山之作
peterjliu · x · 2026-09-03
作者推荐自适应计算(adaptive compute,即今天「thinking/pondering」)方向的经典论文——Alex Graves 2016 年的《Adaptive Computation Time for Recurrent Neural Networks》。
论文要点:
- 提出 ACT 算法,让循环神经网络学习在输入与输出之间采取多少计算步骤,几乎不改动网络架构,确定性、可微且不给梯度加噪。
- 在奇偶性、逻辑运算、整数加法、排序四个合成任务上性能显著提升,计算步数能自适应问题难度。
- 在 Hutter Prize Wikipedia 字符级语言建模上收益不大,但揭示了计算量向难预测位置(词间空格、句尾)倾斜的结构,暗示 ACT 类方法可用于序列分段推断。
这是当前推理模型「多步思考」思路的重要先驱工作。
「研究」频道最新
- 港城大发布免训练图像编辑框架 RefineEdit,背景保持全面领先 — CityU-HongKong · 2026-09-21
- tokenbender 分享一份「值得一读」的 AI 材料链接 — tokenbender · 2026-09-21
- QwenImage 2.1 引入 KV Cache,实测图像生成提速 2.55 倍 — RisingSayak · 2026-09-21
- 科学家用ML最常犯的错在选模型之前：11个必备观念 — bravo_abad · 2026-09-21
- 478 份提交角逐 5 万美元奖金，Aletheia AI 撒谎检测大赛揭晓获奖者 — gsarti_ · 2026-09-21
- IBM 发起 Steerability 大赛:征方案抑制大模型说谎,奖金取胜者登上 NeurIPS — davidbau · 2026-09-21