FLM 用连续去噪做一步语言建模,快 8.3 倍入选 NeurIPS 2026
ArashVahdat · x · 2026-09-25
KAIST 与 CMU 的论文《Flow Map Language Models》入选 NeurIPS 2026,挑战「离散扩散是快速文本生成正路」的主流假设。
- FLM:用基于流的连续去噪替代离散扩散,对 one-hot token 做欧氏去噪,通过多 token 分类预测干净数据,并采用简单的时间重参数化显著改善训练与生成。
- FMLM:将 FLM 蒸馏为 flow map,实现少步(1/2/4/8 步)并行生成。
- 结果:在 LM1B 与 OpenWebText 上,FLM 在多步(512/1024)生成质量超过 SOTA 离散扩散模型;FMLM 在少步场景全面领先,一步生成即可匹配蒸馏离散扩散基线 8 步的质量,比现有方法快 8.3 倍。
「研究」频道最新
- 研究：推理并非总有用，15.7% 案例反而拉近难负样本 — _reachsumit · 2026-09-25
- Google 生产级多任务推荐：辅助头学习跨任务关系，已上线 YouTube — _reachsumit · 2026-09-25
- 字节 OneTrans-V2 统一推荐三阶段 Transformer,线上 GMV 提升 9.74% — _reachsumit · 2026-09-25
- 免训练检索框架 Seek 用自评估迭代探索,BRIGHT 上超 BM25 达 82% — _reachsumit · 2026-09-25
- 字节 X-Rec 把推荐做成流匹配生成,推理吞吐达 SID-AR 的 3.46 倍 — _reachsumit · 2026-09-25
- 研究：多智能体系统中少数欺骗者即可持续带偏团队 — sethlazar · 2026-09-25