Hazy Research 开源 NCM:概念级并行生成,比扩散文本模型快 31 倍
simran_s_arora · x · 2026-10-20
斯坦福 Hazy Research 团队发布 Next-Concept Modeling(NCM),提出 next-token prediction 之外的文本生成路线,代码与权重完全开源(MIT 协议,已 324 星)。
方法
- 用多尺度残差 VQ-VAE 把文本压缩成层级化的离散「概念」编码
- Transformer 逐层由粗到细预测整个编码层级,层内所有位置并行生成
- 推理前向次数固定(约 12 次),与输出长度无关
结果
- 比扩散文本模型快 10–31 倍(XSum 上 31 倍、LM1B 上 21 倍)
- 训练所需 token 少 3–5 倍
- 困难数独上以 12 步并行精确求解率 86.1%,超过自回归(1.0%)与 MDLM/FLM/DUO 等扩散基线,避开自回归贪心陷阱
转发者已在本地 CPU 上几秒内跑通数独求解器和 TinyStories 生成 demo。
「模型」频道最新
- DeepSeek V4.1 拒绝越狱人设，开始认真对待 prompt injection — teortaxesTex · 2026-10-20
- 博主自研推理优化：Qwen 系列开 MTP 后可再提速约 16% — karminski3 · 2026-10-20
- 博主实测:DeepSeek 新模型设计表现逼近 Opus 水平? — sven_ai · 2026-10-20
- 指纹测试：DeepSeek ds-4.1-flash 被识别为 GPT-6-astra — sven_ai · 2026-10-20
- 智能边际效益骤降:领先 10 分仅多换 20% 开发者流量 — khademinori · 2026-10-20
- MiniMax M3.1 Flash 登 BuildingBench 成本质量前沿，总分区 73.3 — Lianhuiq · 2026-10-20