新范式NCM:比扩散模型快31倍,训练数据省3-5倍
HazyResearch · x · 2026-10-15
研究者提出 Next-Concept Models(NCM),一种新的语言生成范式,声称比扩散语言模型(DLM)更快、更省数据。
做法
- 先学习文本从粗到细的一系列压缩表示,称为「概念」(concepts),这一步只做一次,类似训练 tokenizer。
- 推理时按粗到细的层级生成文本:transformer 顺序预测每一层级,但同一层级内的 code 并行生成。
结果(与同参数量强扩散语言模型对比)
- 摘要、机器翻译等下游任务生成速度最高快 31 倍,质量相当或更好。
- 在 TinyStories、LM1B、OpenWebText 上无条件生成快 10-21 倍,生成困惑度相当或更好,且训练 token 用量少 3-5 倍。
- 在数独等推理任务上优于自回归与扩散基线,采样步数更少。
作者包括 Azalia Mirhoseini、Hermann Kumbong、Ishan Khare 等。
所属事件:斯坦福团队提出NCM新范式,生成提速31倍(4 条相关)→
「模型」频道最新
- 高质量模型只承载 14% 开发者 token,平价模型 wins — alexcovo_eth · 2026-10-15
- Claude Opus自称工作40分钟,系统计时只跑了5分50秒 — mgostIH · 2026-10-15
- 用 OpenRouter Key 在 gr.workflow 试玩 Gemini Argon — erhannah · 2026-10-15
- Claude 连续自主编码 16 小时,交付完美实现 — Atlan_ · 2026-10-15
- Google 官方展示多团队用 Gemini 4 Argon 写作与优化代码 — GeminiApp · 2026-10-15
- 研究者偏好采样：Muse Wonder 最少受其他模型影响，Gemini 4 最细腻 — repligate · 2026-10-15