DeepMind 提出循环机制改进 Transformer 状态维持
burkov · x · 2026-08-25
Transformer 并行处理的高效性使其难以维持演进的内部状态，导致模型虽在深层形成正确解释，却无法及时供后续处理使用。
Google DeepMind 与 UT Austin 的论文提出了一种微小的架构改动——循环：在每个输入步骤，将深层层的内部表示混合回下一个步骤的浅层。这在不改变预训练权重的情况下创建了循环信息路径。
在 Gemma 模型上的实验显示，该方法显著改善了语言预测能力，自适应版本降低了困惑度。这表明通过简单的架构调整可以缓解 Transformer 在状态管理上的固有缺陷。
所属事件:DeepMind 推出 Recirculation 无需再训练强化推理(3 条相关)→
「研究」频道最新
- Halcyon：0.52B 参数省 18 倍算力超越 LlamaGen-XL/8 文生图基线 — JosephJacks_ · 2026-10-16
- GPT-6.1 审查 arXiv：6% 论文主定理有错，近两月降至 1.5% — nitarshan · 2026-10-16
- 研究：一个 just 之差就能改变 LLM 对话的走向 — StellaLisy · 2026-10-16
- SEAR 首次大规模对照研究：7 个前沿 LLM、330 项任务检验自进化机器人 — xiye_nlp · 2026-10-16
- Claude 助力连破椭圆曲线纪录后，EC Rank 挑战赛开放 156 个纪录位 — Jsevillamol · 2026-10-16
- 用超声替代胎儿 MRI，牛津团队做产前大脑 AI 建模 — AnnaCiaunica · 2026-10-16