NVIDIA 提出弹性潜循环 ELR：一个 4B 模型循环四次精度提升 7.25 分
burny_tech · x · 2026-11-02
NVIDIA 发布论文 Elastic Latent Recurrence（ELR），解决循环 Transformer（looped LM）的「一次循环税」问题——以往此类模型只跑一次循环时精度远低于同规模标准模型。
- 方法：带学习步长的门控状态更新、每次优化器更新内混合不同循环数训练、按循环索引与算力预算做条件化；混合深度可放到预训练后期再引入，配合零初始化条件化，损失比从头混合训练更低。
- 效果：4B 模型单循环精度仅比标准 Transformer 低 0.52 分；循环 4 次平均精度提升 7.25 分。MoE 模型复用首循环专家路由可省 11.7% 混合深度训练时间；推理时只保留最后一循环的 attention KV cache，显存维持单循环水平。
- 落地：经后训练得到单一 checkpoint 的 Koi-4B，仅调循环次数即可把 Artificial Analysis Intelligence Index 估计分从 18 提到 29（18 分时对齐 Qwen3.5-4B）。
- 核心价值：一个模型自由用推理算力换精度，无需单独部署不同规模模型。
「模型」频道最新
- 有人预言 Anthropic 十月发布 Opus 5.5,网友直呼「准得离谱」 — dejavucoder · 2026-11-02
- WhatsApp 官方向 Kimi 致贺「你创造了历史」,网友玩梗力挺月之暗面 — crystalsssup · 2026-11-02
- 从「AGI」到无人问津：GPT-Astra 在 Opus 5.5 发布后被遗忘 — ns123abc · 2026-11-02
- Mollick:ARC-AGI 等大基准已饱和,SemiAnalysis 专家级评测路子对了 — emollick · 2026-11-02
- SAM 3.1被开发者玩出新花样:22个项目合集展示意外用法 — Vjeux · 2026-11-02
- Elie Bakrouch 吐槽：Meta 又是唯一不公布价格的实验室，横评没法算性价比 — eliebakouch · 2026-11-02