借图像生成思路做文本：NCM 用多尺度 VQ-VAE 分层并行生成离散概念
burny_tech · x · 2026-10-23
Hermann Kumbong 介绍的 NCM（Next-Concept Model）采用两阶段架构，把图像领域的 VAR 思路迁移到文本：
- 学习阶段：用多尺度 VQ-VAE 把文本编码为从粗粒度概念到细粒度细节的层级离散表示（多尺度残差码）。作者指出 VAR 已在图像上做到这一点，但迁移到文本需要大量建模改动。
- 生成阶段：Transformer 逐层预测整个层级，同一层级内的所有 code 并行生成，并使用块对角注意力（block-diagonal attention）控制开销，每层以前面各层的累积重建作为条件。
配图展示了完整的 tokenizer 编解码流程与分层生成的注意力掩码结构。
所属事件:Together AI 与斯坦福推出 NCM：比扩散语言模型快数十倍(3 条相关)→
「研究」频道最新
- Google Cloud AI 发布 PLE 基准：所有前沿模型真实工程任务得分不足 50% — sainingxie · 2026-10-23
- Anthropic 携手 Theorem 做形式化验证,PL 学界罕见集体兴奋 — xennygrimmato_ · 2026-10-23
- 像 Minecraft 一样学晶体学：CRYSTALMINER 用 23 个对称世界教晶体学 — CatAstro_Piyush · 2026-10-23
- 扩散模型教材将亮相 NeurIPS 2026,主题锁定扩散 LLM — LucaAmb · 2026-10-23
- Lucas Beyer 谈 Nesterov 论断：归纳偏置或能扭转悲观结论 — giffmana · 2026-10-23
- 首次人体体内 prime editing 治疗完成注射,直接改写 DNA — basedjensen · 2026-10-23