斯坦福团队提出 Next-Concept Modeling，文本生成最快提速 31 倍

Azaliamirh · x · 2026-10-15

Hermann Kumbong、Ishan Khare 等研究者发布 Next-Concept Modeling（NCM），一种新的文本生成范式：将采样从 token 空间搬到概念空间，先花算力生成粗粒度结构，再逐步并行预测更细的残差，从短潜序列出发逐层细化。

相比同参数量的强扩散语言模型（DLM）：摘要、翻译等下游任务生成最高快 31 倍，质量相当或更好；TinyStories、LM1B、OpenWebText 上无条件生成快 10–21 倍，训练 token 用量少 3–5 倍；Sudoku 等推理任务上以更少采样步数超过 AR 与扩散基线。相比自回归模型顺序步数更少，相比全序列扩散早期计算更便宜。