斯坦福提出 Next-Concept 建模:粗到细并行生成,比扩散 LM 快 21 倍
Azaliamirh · x · 2026-10-18
斯坦福 Hazy Research 团队(Christopher Ré、Azalia Mirhoseini 等)提出 Next-Concept Modeling(NCM),一种既非自回归也非扩散的文本生成框架,代码已在 GitHub 开源(MIT 协议)。
- 两阶段架构:先用多尺度残差 VQ tokenizer 把文本编码为离散码层级结构,再由 transformer 从粗到细逐层预测,层内所有位置并行生成,每层只需一次前向。
- 效果数据:同等参数规模下,NCM 在 LM1B 上困惑度优于最强扩散 LM 基线且快 21×;OpenWebText 上与最强 DLM 持平但快 10×;XSum 摘要上 ROUGE-L 持平但快 31×;Sudoku 推理任务在所有难度上都超过自回归和扩散基线,且函数调用次数更少。
- 核心思路:文本按压缩信息分层,早期层捕获粗结构,后续层补足细节,生成过程类似从草稿逐步细化到完整输出。
所属事件:斯坦福提出 Next-Concept 建模，开辟文本生成第三条路线(3 条相关)→
「研究」频道最新
- 斯坦福儿童词汇发展开放数据库 Wordbank 迁新址,发布新数据并重回 CRAN — RobbWiller · 2026-10-18
- 数学家断言传统数学界无力解 P/NP，押注 AI 冲击既有格局 — IgorCarron · 2026-10-18
- Jhaddix 盘点进攻性网络安全领域最值得追的 4 个 AI 评测基准 — rez0__ · 2026-10-18
- CDT+GT 解睡美人问题：接受契约无悖论 — jessi_cata · 2026-10-18
- 特拉维夫大学 ACEdit：15 轮连续修图不崩，非对称条件解决累积漂移 — linoy_tsaban · 2026-10-18
- CoRL 2026 设 late-breaking 结果专场，征集机器人智能体与 Real2Sim2Real 工作 — Majumdar_Ani · 2026-10-18