NVIDIA 开源 Nemotron-Labs-Sigma:连续扩散语言模型并行成块生成
karsten_kreis · x · 2026-11-19
NVIDIA 发布开放权重模型系列 Nemotron-Labs-Sigma(3B/8B 共 14 个 checkpoint),首次把视觉领域的连续扩散引入大规模语言建模:
- 方法:基于平滑的低维 ODE/SDE 潜空间轨迹的分块去噪训练(16 维),利用预训练 AR 权重热启动;推理时 classifier-free guidance 与 score temperature 是高保真推理的关键。
- 性能:预训练后在 GSM8K、Minerva、HumanEval、MBPP 等基准上超过同类 masked dLM 与 AR 基线,SFT 后在 MATH-500、AIME 等推理任务上增益最大,编码提升最一致。
- 独特优势:平滑轨迹支持少步蒸馏(数学 8 TPFs、代码 4 TPFs)与轨迹引导,可并行生成 token 块,适合对数学/编码问题并行探索多个解。论文 arXiv:2610.02665,模型已开放下载。
「模型」频道最新
- Qwen 4 Max 登上 FrontierCS 榜第 6,硬核基准表现强劲 — teortaxesTex · 2026-11-19
- 腾讯混元 Hy4 解 34/35 国际象棋谜题,自称全模型第二 — TencentHunyuan · 2026-11-19
- Gemini 4 Neon 登顶 Vending-Bench 2,谈判中会「虚报低价」 — DynamicWebPaige · 2026-11-19
- 开发者横评三大编程模型与 Antigravity:谁都没拉开差距 — iskander · 2026-11-19
- PRIM 论文拆解 LLM 数学推理:识别灵感 92%,自己发现仅 25% — _vztu · 2026-11-19
- Gemini 4 Neon 登顶 Coding Agent Index,领先 GPT-6.2 Astra 6 分 — kimmonismus · 2026-11-19