Nvidia 发布循环架构模型 Dory1-4B:36 层复用,循环 4 次逼近 9B 模型水平

scaling01 · x · 2026-11-03

Nvidia 数日前发布了 Dory1-4B,一个「循环式」(looped)LLM:8 个输入层 + 20 层循环块(可循环 1/2/4 次)+ 8 个输出层。

从配套图表看:

思路是用参数复用换计算深度,小参数量跑出更大模型的能力。

所属事件:NVIDIA 发布循环架构模型 Dory1-4B,36 层复用逼近 9B(2 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →