NVIDIA 开源 Nemotron-Labs-Sigma:连续扩散语言模型,14 个权重全放出
ArashVahdat · x · 2026-11-17
NVIDIA 发布并更新了开源模型系列 Nemotron-Labs-Sigma,核心思路是把视觉领域的连续扩散(continuous diffusion)引入语言建模:
- 共发布 14 个检查点(3B 和 8B 两个规模),代码与权重全部开源
- 语言模型一直是离散的,Sigma 采用 16 维平滑 ODE 轨迹,解锁蒸馏与可控引导:数学任务 8 TPF、代码任务 4 TPF,同时保持准确性与多样性
- 本次更新:仅需 4 个采样步即取得强蒸馏效果;投机解码(speculative decoding)提速 3.5 倍
作者 ArashVahdat(NVIDIA)称这是「把连续扩散带入语言」的重要进展,新版本全部检查点和代码已放出。
所属事件:NVIDIA 开源首个大规模连续扩散语言模型 Sigma(3 条相关)→
「模型」频道最新
- 用户吐槽某 Google 模型性格差:无共情、固执、爱说教 — Yamapama · 2026-11-17
- 辟谣:Sam Altman 并未宣称 OpenAI 已实现 AGI — haider1 · 2026-11-17
- Google 修复 Gemma 4 分词器 219 个 glitch token,GGUF 版本或未同步 — TuskNaPrezydenta2020 · 2026-11-17
- FutureSim 团队用 Exa Snapshot 解决评测回溯搜索泄漏难题 — maksym_andr · 2026-11-17
- 月之暗面放弃卷编程榜单,Kimi 模型转向生物化学与制药科研 — The Decoder · 2026-11-17
- 博主改口:开源模型落后前沿已从4-8个月扩大到8-12个月 — iruletheworldmo · 2026-11-17