首个大规模连续扩散语言模型 Sigma 发布，3B/8B 媲美自回归
LucaAmb · x · 2026-10-05
- 研究者发布 Sigma，首批大规模（3B/8B）以似然训练的连续扩散语言模型（dLM），是扩散 LM 路线的又一进展。
- 在数学与编码任务上成绩与离散扩散 LM 及自回归模型相当。
- 连续表征使推理时的干预（inference-time interventions）研究更有意义，可用于分析扩散模型的生成过程。
- 项目由 zhihanyang、Wei Guo、Jean-Marie Lemercier、Simon Welker 联合主导，团队含 NVIDIA 研究人员与 Georgia Tech 的 Yongxin Chen 等。
「研究」频道最新
- 上海交大发布 LIFT:VLA 零力标注预训练,后训练注入力觉高频反应 — jiqizhixin · 2026-10-05
- LOOM 让循环 MoE 稳定跑到 9-12 层循环，iso-FLOP 反超标准 MoE — SonglinYang4 · 2026-10-05
- 论文被 ACML 2026 接收却因无钱交注册费考虑撤稿 — Jealous_Key_4030 · 2026-10-05
- CMU 提出 TailRL：优化奖励上尾概率，让 RL 少陷次优解 — ceciletamura · 2026-10-05
- CTWM 用一半参数持平强基线：六个像素级任务导航操作全测 — hisspikeness · 2026-10-05
- 多数自监督学习破坏所需表征缩放，论文用 log-det 正则修复 — hisspikeness · 2026-10-05