循环4B两圈均分39.7,超过Gemma 4 26B-A4B

Dory1.0-4B: A Looped Normalized-GPT

Maxim Fishman, Simeng Sun, Shantanu Acharya, Faisal Ladhak, Brian Chmiel, Santiago Akle Serano, Ron Banner, Boris Ginsburg, Krishna C. Puvvada

cs.CL

2026-11-03

同一份4B权重把共享的40层循环使用,12项均分从35.2升到40.6,两圈39.7已超过Gemma 4 26B。

这篇在解决什么

测试时加计算,主流做法是把思维链写长。token 一多,延迟、KV cache 和账单一起涨。循环模型把同一组层反复用在隐状态上,参数不增加。

Dory1.0-4B 是 NVIDIA Nemotron Labs 放出的第一款开源循环语言模型,40 亿参数。一份权重在推理时自选循环次数,用计算换精度,不必按预算再训一版。

方法

骨干是 normalized Transformer(nGPT)。残差在更新前后做 L2 归一化,再用可学习的每通道系数混合新旧状态。72 层分成 16 层输入块、40 层共享循环块和 16 层输出块。前后两块只跑一次,循环块跑 k 次。每圈开始前把输入块的输出加回当前状态,避免多圈后把最初表示冲掉,两端再归一化,没有额外适配器。有效深度是 32+40k,一圈 72 次层计算,四圈 192 次。

注意力按 3:1 交错滑窗和全注意力。滑窗只看 1024 个近邻,用来压长上下文的开销,全注意力负责远处。分组查询用 16 个 query head、4 组 KV。

结果

十二项等权平均。GDPval 的 Elo 先减 500 再除以 20 才进入均分。除标 † 的自报分外,对照都用 NVIDIA 的同一套协议。

模型12项均分SWE-BenchGDPval EloTerminal-Bench
Dory k=135.250.3%81512.5%
Dory k=239.759.5%94618.1%
Dory k=440.661.8%96722.2%
Qwen3.5-9B32.261.0%54624%
Gemma 4 12B32.647.3%657.427.0%
Gemma 4 26B-A4B36.757.4%75235%
Qwen3.6-35B-A3B42.373.4%†98743%

两圈均分 39.7,高于 Gemma 4 26B-A4B 的 36.7、Gemma 4 12B 的 32.6 和 Qwen3.5-9B 的 32.2。四圈 40.6,离总参数约九倍的 Qwen3.6-35B-A3B(42.3)差 1.7。圈数不增加权重,只把每 token 层计算从 72 次加到 192 次。

涨幅在编程、工具调用和长上下文,分布并不均匀。一圈到四圈,SWE-Bench Verified 从 50.3% 到 61.8%,超过 Gemma 4 26B-A4B 的 57.4%。AA-LCR 从 63 到 73,IFBench 从 74.3 到 79,τ³-Banking 从 11.6% 到 14.7%,这三项高于表中全部对照。Terminal-Bench 从 12.5% 到 22.2%,仍低于 Qwen3.5-9B 的 24 和 Gemma 26B-A4B 的 35。GPQA 四圈 72.2、两圈 72.4,都低于 Qwen3.5-4B 的 77.7。HLE 从 8.3 到 10.4,两圈时的 10.9 更高。AA-Omniscience 准确率停在 10.0。基座在六圈、八圈上已不再稳定上升,后训练只报到四圈。

四圈还会少写 token。相对一圈,每次尝试的输出少 1.3 到 2.5 倍。GDPval 从 21.2 万 token、116 回合降到 8.5 万、49 回合。Terminal-Bench 从 10.9 万降到 5.4 万。用输出 token 乘层数估算生成计算,两圈是一圈的 1.03 到 1.25 倍,拿回四圈涨幅的 86%(GDPval Elo)、80%(SWE-Bench)、58%(Terminal-Bench)和 42%(Banking)。第二圈最划算。

last-loop 缓存只留最后一圈的 K/V,KV 显存不随圈数涨。四圈相对逐圈缓存,分数在 -2.1 到 +0.4 之间,AA-LCR 掉得最多。自投机解码用同一权重,一圈起草 4 个 token、四圈验证,吞吐是纯四圈自回归的 1.37 到 1.71 倍,且没有和 last-loop 缓存一起测。MXFP8 训练后量化接近 BF16。NVFP4 在 DGX Spark、batch 为 1 时最高到 BF16 的 2.44 倍。较早的 SFT 检查点上,难度课程把四圈 Terminal-Bench 从 14.0% 提到 21.4%,GDPval 多 98 个 Elo。

为什么重要

服务可以按请求改圈数,权重只留一份。BF16、MXFP8、NVFP4 和 GGUF 已公开。两圈适合当默认:精度相对一圈跳一档,多出的层计算大体被更短的工具轨迹抵消。换来的是编程和多步执行。专家问答上,这份 4B 打不过 Qwen3.5-4B。

局限与存疑

等权均分有一块靠非幻觉分。四圈时这一项 Dory 为 79.4,Qwen3.5-9B 为 17.4,Gemma 4 26B-A4B 为 16.4。它统计的是非完全正确的回答里不属于硬错的比例,弃答和部分正确都算进去。准确率 Dory 约 10%,对照在 15% 到 21%。少了自信的错,也少了答对。拿掉这项,用表里其余 11 项再平均,四圈约 37.1,Gemma 4 26B-A4B 约 38.6。

Qwen3.6 的 SWE-Bench 73.4% 是自报。其余分数来自 NVIDIA 协议,文中说可能和公开榜不一致。生成计算是 token 数乘层数,没有测延迟。自投机比的是四圈自回归,不是一圈直出。训练只在四圈以内反传最后一圈。没有权重不共享的同算力深模型,也没有把同样的测试时计算写成更长思维链的对照。难度只用一圈通过率画像,课程消融也不是最终检查点。

术语

原文与代码

相关论文

全部论文解读