NVIDIA 开源 Dory1.0-4B:循环共享块省推理算力,12 项基准超 Qwen3.5-9B
ChengleiSi · x · 2026-11-06
NVIDIA 发布并开源 Dory1.0-4B,一个 40 亿参数的循环(latent-recurrent)语言模型,首次将「循环深度」这一推理算力扩展轴带到完整后训练的推理/智能体模型上。
核心设计
- 基于 nGPT 归一化 Transformer,共享循环块可变次数循环,单一 checkpoint 适配不同推理算力预算
- 在 6 万亿 token 上预训练(前 4.5 万亿用 NVFP4),上下文扩展至 256K,再经 SFT 与 RLVR 后训练,采用难度感知的循环课程——更难的题路由到更深循环
关键结果
- 两次以上循环即可在 12 项基准上平均超过 Qwen3.5-9B、Gemma 4 12B、Gemma 4 26B-A4B 等更大模型
- 4 次循环时智能体基准生成的 token 减少 1.3–2.5 倍:额外算力花在潜空间而非更长输出
- 只缓存最后一次循环的 KV,使 KV-cache 占用与非循环模型相同
已开源 BF16、MXFP8、NVFP4 与 GGUF 量化权重。
所属事件:NVIDIA 开源 40 亿参数循环模型 Dory1.0-4B(2 条相关)→
「研究」频道最新
- 斯坦福癌症生物学最佳论文奖得主：要造加速科研的 AI Agent — MengdiWang10 · 2026-11-06
- VybBench 开源：小编辑下主流图像模型平均改动超 90% 像素 — balajiln · 2026-11-06
- 实时 AI Agent 该测「流畅度」：HRI 十年指标给出新答案 — Stefania_druga · 2026-11-06
- METR：能力加速并非源于训练算力增速提升 — BenBajarin · 2026-11-06
- Laude 携手 NSF 助力芝大团队做 AI 天气预报，帮农民定播种时机 — BenBlaiszik · 2026-11-06
- 果蝇全脑连接组驱动小鸭机器人：13.8万神经元实现避险与转头 — willknight · 2026-11-06