Nvidia 发布循环架构模型 Dory1-4B:36 层复用,循环 4 次逼近 9B 模型水平
scaling01 · x · 2026-11-03
Nvidia 数日前发布了 Dory1-4B,一个「循环式」(looped)LLM:8 个输入层 + 20 层循环块(可循环 1/2/4 次)+ 8 个输出层。
从配套图表看:
- 循环次数 k 越多,AA v4.3.2 评测分数越高:k=1 得 13.8,k=2 得 17.7,k=4 得 18.4,已超过 Qwen3.5-9B(12.53),逼近 Muse-Glimmer-30B(19.94)
- 代价是延迟增加,但输出 token 显著减少:k=4 时 Terminal-Bench 输出量降到 0.50x,GDPval 降到 0.40x
思路是用参数复用换计算深度,小参数量跑出更大模型的能力。
所属事件:NVIDIA 发布循环架构模型 Dory1-4B,36 层复用逼近 9B(2 条相关)→
「模型」频道最新
- 观点:手调任务型小模型将是 AI 变现主力,大模型负责编排集成 — basedjensen · 2026-11-03
- Particle 模型首进数据分析 Pareto 前沿,击败 Haiku 5.5 — ycombinator · 2026-11-03
- ML4 开放权重发布:代码 Agent 与网络安全能力达前沿,三周内大幅压缩提效 — _AndrewZhao · 2026-11-03
- OpenRouter 数据:重度用户中位数已用 6 个模型家族,一年翻倍 — sarahookr · 2026-11-03
- 「Killed by Google」悼念 AI Overview,网友调侃其尚未倒闭 — gaganghotra_ · 2026-11-03
- DeepSeek 超级 Agent 引热议:肉身代理时代是否终结 — gdechichi · 2026-11-03