NVIDIA 开源循环架构模型 Dory1-4B，循环四次逼近 9B 水平

NVIDIA 发布并开源 4B 参数的循环(looped)Transformer 模型 Dory1-4B，架构为 8 个输入层 + 20 层循环块(可循环 1/2/4 次)+ 8 个输出层，共 36 层，权重已上架 Hugging Face，可按需增加循环次数换取更高精度。配套论文提出弹性潜循环 ELR，解决循环 Transformer 的「一次循环税」问题，实测循环 4 次可提升精度 7.25 分，性能逼近 9B 模型水平。

2026-11-02 ~ 2026-11-03 · 4 条相关

• NVIDIA 提出弹性潜循环 ELR：一个 4B 模型循环四次精度提升 7.25 分 — burny_tech · 2026-11-02
• NVIDIA 开源 4B 循环 Transformer 模型 Dory，可按需循环推理 — Sam Witteveen · 2026-11-02
• Nvidia 发布循环架构模型 Dory1-4B：36 层复用，循环 4 次逼近 9B 模型水平 — scaling01 · 2026-11-03
• NVIDIA 发布 Dory1-4B:36 层循环结构 LLM 开源亮相 — scaling01 · 2026-11-03