斯坦福提出 Next-Concept Modeling:文本生成比扩散基线快 10-31 倍
TheTuringPost · x · 2026-10-18
斯坦福与 Together AI 提出 Next-Concept Modeling(NCM),在自回归与扩散之外的第三条文本生成路线,通过层级压缩编码从粗到细生成文本。
方法两步:
- 多尺度残差 VQ-VAE 将文本编码为多个层级的离散码,Level 1 粗略概要,高层逐级补足重建缺失的细节;
- Transformer 从粗到细逐层生成编码,每层内的所有码并行预测,层数 K 远小于 token 数。
结果:
- 比最强扩散基线快 10–31 倍,质量相当或更好;
- Sudoku 推理任务上以更少的函数评估超过自回归与扩散基线;
- 训练 token 数比强扩散基线少约 4–5 倍。
注意:结论来自小模型与特定 benchmark,大模型规模上的对比尚未建立。论文作者含 Christopher Ré,代码已开源于 HazyResearch/ncm。
所属事件:斯坦福提出 Next-Concept 建模，开辟文本生成第三条路线(3 条相关)→
「研究」频道最新
- Optimus 发布:自主 RL Agent 全自动跑并行训练实验 — _AustinCalvert_ · 2026-10-18
- 菲尔兹奖得主 Gowers：用 ChatGPT 一把梭解题，我们并不理解自己在做什么 — haider1 · 2026-10-18
- NVIDIA CANTO:将 CAD 几何 token 化预测气动、优化设计 — JeanKossaifi · 2026-10-18
- ASU 论文「Beyond Semantics」入选 NeurIPS 2026 期刊轨 — karthikv792 · 2026-10-18
- Papers with Code新增Auto-Research分类，已收录166篇论文 — NielsRogge · 2026-10-18
- 开源 ModelTrace 火了:三条挑战题主动探测大模型真实身份 — scaling01 · 2026-10-18