何恺明团队提出 ELF：连续嵌入空间扩散语言模型，少量步数超越离散 DLM
alec_helbling · x · 2026-09-18
MIT 研究者 Keya Hu、Yoon Kim、Jacob Andreas、何恺明等人发布论文《ELF: Embedded Language Flows》。
核心思路：当前主流扩散语言模型（DLM）多在离散 token 空间运行，ELF 基于 Flow Matching 在已有模型（如 T5）的连续嵌入空间做扩散，直到最后一步才用共享权重网络映射回离散 token。
关键结果：
- 由于全程在连续空间，图像扩散领域的成熟技术（如 classifier-free guidance）可直接迁移
- 实验显示 ELF 在生成质量上显著优于领先的离散和连续 DLM，且所需采样步数更少
- v2 补充了蒸馏结果：把 flow-based LM 蒸馏成一步/少步生成的 flow map 语言模型
「研究」频道最新
- 卡马克详解 RL 中 Q 值高估问题，借 Relative Value Learning 简化方案 — ID_AA_Carmack · 2026-09-18
- AI 预测公司 Mantic 击败锦标赛全部 676 名人类，融资 2500 万美元 — tshevl · 2026-09-18
- sokrypton 引 AF3 论文：仅增随机种子成绩即从 0.3 升至 0.6 — sokrypton · 2026-09-18
- XGEN 发布世界模拟原型：JING 交互模型 + DAO 共享世界引擎 — anthara_ai · 2026-09-18
- 定制长寿 LLM 与 17 个前沿模型比拼抗衰老生物学评估并占优 — EricTopol · 2026-09-18
- TLMR 主编:53% 投稿直接拒,采访 10 位作者 3 人答不出基础问题 — Dr_Atoosa · 2026-09-18