连续扩散与流语言模型综述发布：并行细化token表示可扩展至数十亿参数
LucaAmb · x · 2026-11-09
一篇关于连续扩散与流语言模型的综述上线，系统梳理了这一非自回归文本生成路线的研究版图。
核心内容
- 这类模型把噪声转化为 token 的连续表示来生成文本，可并行细化多个位置，同时保持位置间依赖，还能借助可微目标的梯度对生成过程做引导。
- 在少步生成场景下，普通并行离散扩散采样器会因条件独立采样多个 token 产生因式分解误差，连续模型的联合生成在这方面有优势。
- 近期模型已在语言基准上与离散扩散打平，并扩展到数十亿参数规模。
综述覆盖：文本表示方式、生成动力学的学习、少步生成机制，以及 scaling、应用、评测与开放问题；配套论文地图、按主题分类的 Awesome 论文列表与 GitHub 合集。
所属事件:连续扩散与流语言模型新综述发布盘点领域进展(3 条相关)→
「研究」频道最新
- 牛津研究员:toby ord 称 METR 时间线可趋于无穷而世界未必大变 — tobyordoxford · 2026-11-09
- EM 算法 M 步推导背后的优化问题其实都是非凸的 — caglar_ee · 2026-11-09
- 谷歌 ScientistTwo：多智能体全自动科研，107 题中 86 题超越原论文 — 2C_ornot2C · 2026-11-09
- Weaviate 播客第 150 期:用国际象棋 Elo 思路做 SOTA 重排序器 — CShorten30 · 2026-11-09
- 非凸优化之谜：八九十年代的解析解根本不靠凸性 — caglar_ee · 2026-11-09
- METR 报告：Anthropic 内部 AI 研发已加速约 2 倍，RSI 或不到一年 — Don't Worry About the Vase (Zvi) · 2026-11-09