斯坦福 NCM 先画草稿再并行补细节，单 H100 生成提速 21 倍
lmoroney · x · 2026-10-16
斯坦福 Hazy Research 团队提出 Next-Concept Modeling（NCM），挑战语言模型必须逐 token 生成的前提。
- 方法：训练多尺度 tokenizer，把文本编码为粗到细的层级离散码；transformer 逐层生成，层内所有码并行预测，最后由 tokenizer 解码为文本——先出粗略「概念草稿」，再并行填充细节。
- 成绩：单张 H100 上，LM1B 生成比最强 diffusion LM 基线快 21 倍，OpenWebText 快 10 倍，质量相当或更好；XSum 摘要在同 ROUGE-L 下快 31 倍。训练用量少约 4-5 倍，Sudoku 上同时超过自回归和 diffusion 基线。
- 开放性：代码、checkpoint、数据集全部公开。
- 教学建议：作者建议让学生逐步观察翻译 demo 从粗略大意到最终句子的细化过程，直观理解 coarse-to-fine 生成。
所属事件:斯坦福提出NCM：粗到细并行文本生成，快扩散模型31倍(10 条相关)→
「模型」频道最新
- ChatGPT 推荐视频工具时提示「可通过 Runway 集成获取」，被讽疑似软广 — tlakomy · 2026-10-16
- 微软 MAI 自研 3T 参数级预训练基座模型完成，后训练结果即将公布 — soumitrashukla9 · 2026-10-16
- 实测 Gemini 4 Argon：速度远超 Opus 5.5，但幻觉多且贵 — prasenx · 2026-10-16
- Bindu Reddy 呼吁 Meta 开源 Wonder:称其略强于 DeepSeek — bindureddy · 2026-10-16
- Fortytwo Engine 用 Swarm Inference 让 Qwen3.8-27B 准确率升 7%、token 省 25% — rohanpaul_ai · 2026-10-16
- 「中国已追平前沿」?对比图显示 K3 仍落后 Microsoft MAI — scaling01 · 2026-10-16