NVIDIA 开源 4B 循环 Transformer 模型 Dory

NVIDIA 旗下 Nemotron Labs 发布 4B 参数的循环 Transformer 模型 Dory,权重已在 HuggingFace 开源,可按需循环推理。配套论文提出弹性潜循环(ELR)方法,解决循环 Transformer 的「一次循环税」问题,实验显示该 4B 模型循环四次即可将精度提升 7.25 分。开发者 Sam Witteveen 已进行实测体验。

2026-11-02 ~ 2026-11-02 · 2 条相关