NVIDIA 提出 ELR:单 checkpoint 循环推理,4 圈提升 7.25 分无单圈税
nvidia · hf · 2026-10-12
NVIDIA 论文提出 Elastic Latent Recurrence (ELR),消除 latent recurrent 语言模型的「单圈税」:传统循环模型重复使用共享层块以计算换精度,但单圈表现远低于同尺寸非循环模型。
- 核心保证:单圈时 ELR 模型推理成本与同尺寸非循环模型相同、精度相当;每多一圈即可换取更多精度。
- 三个关键设计:带可学习步长的门控状态更新、每次优化器更新内混合循环次数、每圈按循环索引与预算做条件化。
- 工程技巧:可在预训练后期才引入混合深度以控制额外训练成本,配合零初始化条件化甚至比从头混合深度训练损失更低;MoE 模型中后续循环复用首轮专家路由可减少 11.7% 的混合深度更新时间;推理时只保留最后一圈注意力 KV,内存保持单圈水平。
- 成绩:4B dense 与 30B-A3B MoE 混合模型上,单圈十任务平均仅差基线 0.52 / 反超 1.04 分,四圈分别再加 7.25 / 4.75 分。经后训练得到 Koi-4B:单圈 Artificial Analysis Intelligence Index 约 18 分(持平 Qwen3.5-4B),四圈达 29 分。
一个 checkpoint 即可在延迟与精度间弹性权衡。
「Infra」频道最新
- 机器人研究也要堆算力:一项工作用掉 64 块 H200 引热议 — chris_j_paxton · 2026-10-13
- 美国算力不够用? Foreign Policy 建议盟友托管数据中心换前沿 AI — abhiadesai · 2026-10-13
- 华为徐直军:昇腾国内份额已超英伟达,25.6万卡超节点部署中 — pstAsiatech · 2026-10-13
- CoreWeave 推出模型蒸馏预览:用生产数据训练小模型替代高价前沿模型 — altryne · 2026-10-12
- AWS博客：llama.cpp上SageMaker部署决策模型，GPU尾部延迟快32倍 — AWS ML Blog · 2026-10-12
- NVIDIA 开放 Vera Rubin 机架设计,联合伙伴定义 AI 工厂开放标准 — elonmusk · 2026-10-12