Hazy Research 开源 NCM:按概念从粗到细并行生成文本的新框架
andrew_n_carr · x · 2026-10-27
Hazy Research 团队几天前发布 Next-Concept Modeling(NCM),Andrew Carr 制作了一支用 Claude 辅助完成的讲解视频,并戏称其为「almost autoregressive」。
NCM 的核心思路:
- 两阶段并行生成:用多尺度残差 VQ tokenizer 把文本序列表示为离散码的层级结构,由 transformer 从粗到细预测整个层级。
- 每层一次前向:同一层级内的位置并行生成,生成只需每层一次 forward,而非逐 token 自回归。
- 效果:在多个基准上超过或持平强扩散基线,成本大幅降低;逐层解码可以直观看到样本从粗糙草稿被逐步细化成完整输出。
代码以 MIT 协议开源在 GitHub(HazyResearch/ncm),已获 1.1k star。
「研究」频道最新
- 研究者借 DeepMind Argon 模型剖析癫痫遗传数据,超罕见基因发现翻 6 倍 — anshulkundaje · 2026-10-27
- 194 岁象龟乔纳森完成基因组测序,衰老通路现罕见变异 — rand_longevity · 2026-10-27
- 英矽智能生成式 AI 设计的抗癌药 ISM6331 报 40% 客观缓解率 — rand_longevity · 2026-10-27
- ETH 结果引热议:所有布尔电路之间竟存在共同结构? — moultano · 2026-10-27
- 爱丁堡团队连发 10 篇论文:自博弈、多模态检索与 VLM 稳定性 — PMinervini · 2026-10-27
- 斯坦福发布 HalluRank 基准:把 LLM 放进完全指定的世界,定位幻觉的成因 — StanfordAILab · 2026-10-27