斯坦福联合 Together AI 提出 NCM：层级概念生成取代逐 token 预测
bendee983 · x · 2026-11-07
斯坦福与 Together AI 提出 Next-Concept Modeling（NCM），用层级化概念生成取代自回归 LLM 的 next-token prediction（NTP）。
动机——NTP 的两大瓶颈：
- 逐 token 串行生成导致扩展需要巨大的算力与内存
- token 一旦生成无法回头修正，除非重算整个序列
NCM 的做法：模型学习一个概念层级，从代表整个回复的单一离散值起步，逐层并行生成更多、更细粒度的值（类似从粗到细的多尺度解码，与 masked diffusion 的并行填空路线不同），最后再 decode 成文本。
对一直关注 NTP 之外新架构的人来说，这是值得跟进的路线。
「研究」频道最新
- CompressionBench:让编码 Agent 自主压缩 LLM,36 次提交 29 次通过验证 — BeidiChen · 2026-11-07
- SwarmEvolve：潜空间Agent集群进化搜索，8B模型跑赢AlphaEvolve — brownu · 2026-11-07
- METR 数据推算:AI 任务时长每 2 个月翻倍,Model 4 达 240 小时 — scaling01 · 2026-11-07
- EuroSafeGuard 开源宪法分类器护栏，越狱检出率超 16 个开源护栏 — ZhijingJin · 2026-11-07
- 个性化癌症疫苗开源工具 OpenVax 改版,OpenVax2 将支持长读长测序 — iskander · 2026-11-07
- Google 发布 Muir 线性注意力架构：25MB 状态流式处理 1000 万 token — CategoryNormal149 · 2026-11-07