DeepMind 提出循环机制改进 Transformer 状态维持
burkov · x · 2026-08-25
Transformer 并行处理的高效性使其难以维持演进的内部状态，导致模型虽在深层形成正确解释，却无法及时供后续处理使用。
Google DeepMind 与 UT Austin 的论文提出了一种微小的架构改动——循环：在每个输入步骤，将深层层的内部表示混合回下一个步骤的浅层。这在不改变预训练权重的情况下创建了循环信息路径。
在 Gemma 模型上的实验显示，该方法显著改善了语言预测能力，自适应版本降低了困惑度。这表明通过简单的架构调整可以缓解 Transformer 在状态管理上的固有缺陷。
所属事件:DeepMind 推出 Recirculation 无需再训练强化推理(3 条相关)→
「研究」频道最新
- 证明助手惊现 Collatz「证明」：LLM 找漏洞威胁数学正确性根基 — marc_lelarge · 2026-10-16
- NEJM AI 研究：AI 开检查费是医生 3.2 倍，2/3 就诊医生零检查 — dvir_a · 2026-10-16
- 19 个模型评估：提示词可降低 LLM 过度检查成本，但代价是诊断一致性 — dvir_a · 2026-10-16
- LLM 医疗评测新维度：NEJM AI 发表「推荐照护成本」对比研究 — dvir_a · 2026-10-16
- 24 个 AI 系统开处方检查：平均 314 美元/次，是医生的 3.2 倍 — dvir_a · 2026-10-16
- SubQ 开源 Decision LCR:72K-115K 长文决策基准,自研模型领先 — ryanallred · 2026-10-16