FLM 用连续去噪做一步语言建模,快 8.3 倍入选 NeurIPS 2026
ArashVahdat · x · 2026-09-25
KAIST 与 CMU 的论文《Flow Map Language Models》入选 NeurIPS 2026,挑战「离散扩散是快速文本生成正路」的主流假设。
- FLM:用基于流的连续去噪替代离散扩散,对 one-hot token 做欧氏去噪,通过多 token 分类预测干净数据,并采用简单的时间重参数化显著改善训练与生成。
- FMLM:将 FLM 蒸馏为 flow map,实现少步(1/2/4/8 步)并行生成。
- 结果:在 LM1B 与 OpenWebText 上,FLM 在多步(512/1024)生成质量超过 SOTA 离散扩散模型;FMLM 在少步场景全面领先,一步生成即可匹配蒸馏离散扩散基线 8 步的质量,比现有方法快 8.3 倍。
「研究」频道最新
- 三年造 CPU、内存与脉冲网络：一位芯片爱好者的加速器之路 — k7agar · 2026-11-11
- 数学家 Strogatz 探问：当 AI 成为「神谕」，数学将走向何方 — stevenstrogatz · 2026-11-11
- 从莱布尼茨行列式到向量空间：线性代数两百年演化一图看懂 — burny_tech · 2026-11-11
- MessyMem 入选 CoRL 2026 主会海报，探索机器人智能体长期记忆 — leto__jean · 2026-11-11
- Tree-Ising：90 美分修复小模型推理循环，胜过 LLM 权重编程 — pmttyji · 2026-11-11
- 4000 字图论入门长文：从城市交通讲起的可视化教程 — TivadarDanka · 2026-11-11