NVIDIA 开源 Nemotron-Labs-Sigma:8B/3B 连续扩散语言模型,块并行解码

jacek2023 · reddit · 2026-11-17

NVIDIA 在 Hugging Face 发布 Nemotron-Labs-Sigma 系列(8B/3B,各有 base 和 instruct 版本),是连续扩散语言模型:不逐 token 生成,而是在 16 维连续 token 嵌入空间对高斯噪声去噪,去噪网络与 token 嵌入通过似然优化联合训练。

关键技术点:

Base 版面向并行解码研究、微调与蒸馏,对话用 instruct 版,均可商用。

所属事件:NVIDIA 开源首个大规模连续扩散语言模型 Sigma(3 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →