NVIDIA 开源 Dory:1B/4B 小模型经优化方法逼近大模型表现

yaroslavvb · x · 2026-10-20

yaroslavvb 转发并点评 NVIDIA Nemotron Labs 在 Hugging Face 发布的 Dory 系列本地优化小模型,他早有预期「先进优化方法在小模型上收益更大,因为那是更难的优化问题」,这次发布印证了判断。配图显示 Dory-1B 通过增加推理宽度(k=1→4)在 AA v4.32 估计分上从 13.8 升至 18.4,超过了 Qwen3.5-9B(12.53)并逼近 Muse-Glimmer-30B(19.94)、Qwen3.6-35B-A3B(20.15),远超 Gemma4-26B-A4B(16.35)——即 1B 级模型经优化后可匹敌 30B 级模型。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →