NVIDIA 开源 Nemotron-Labs-Sigma:8B/3B 连续扩散语言模型,块并行解码
jacek2023 · reddit · 2026-11-17
NVIDIA 在 Hugging Face 发布 Nemotron-Labs-Sigma 系列(8B/3B,各有 base 和 instruct 版本),是连续扩散语言模型:不逐 token 生成,而是在 16 维连续 token 嵌入空间对高斯噪声去噪,去噪网络与 token 嵌入通过似然优化联合训练。
关键技术点:
- 块并行解码:每块默认 64 个 token 一起精炼,支持 DDPM/DDIM 采样器与 self-conditioning,已提交 token 复用标准 KV cache
- 减少去噪步数可用少量质量换取大幅加速,连续表示利于少步蒸馏与轨迹控制
- 架构为 Ministral 风格 decoder-only Transformer(GQA、SwiGLU、RoPE),上下文 4096 token
- 官方称推理精度与最先进的掩码(离散)扩散 LM 相当;纯 PyTorch 实现,标准 transformers 加载,无需自定义 kernel
Base 版面向并行解码研究、微调与蒸馏,对话用 instruct 版,均可商用。
所属事件:NVIDIA 开源首个大规模连续扩散语言模型 Sigma(3 条相关)→
「模型」频道最新
- 用户吐槽某 Google 模型性格差:无共情、固执、爱说教 — Yamapama · 2026-11-17
- 辟谣:Sam Altman 并未宣称 OpenAI 已实现 AGI — haider1 · 2026-11-17
- Google 修复 Gemma 4 分词器 219 个 glitch token,GGUF 版本或未同步 — TuskNaPrezydenta2020 · 2026-11-17
- FutureSim 团队用 Exa Snapshot 解决评测回溯搜索泄漏难题 — maksym_andr · 2026-11-17
- 月之暗面放弃卷编程榜单,Kimi 模型转向生物化学与制药科研 — The Decoder · 2026-11-17
- 博主改口:开源模型落后前沿已从4-8个月扩大到8-12个月 — iruletheworldmo · 2026-11-17