ORL 让扩散语言模型重写速度-智能 Pareto 前沿,吞吐量提升约 6.9 倍
james_y_zou · x · 2026-10-16
Together AI、UIUC、斯坦福等机构发布 ORL(On-Policy Residual Learning)工作,回答「有了无损加速的投机解码,为什么还需要扩散语言模型(DLM)」:AR 优化智能、投机解码优化速度,而 DLM 优化速度与智能的 Pareto 前沿。
关键点:
- ORL 用模型当前自产的、经验证的新鲜残差轨迹训练,并显式促进熵收缩,使并行解码更果断
- 通过算法、训练/推理引擎与 kernel 的协同设计,在 QwenDLM、LLaDA-2.1-mini、DiffusionGemma 上均提升并行解码效率
- QwenDLM 上每前向 token 数最高提升 6.2 倍,单 H100 端到端吞吐约 6.9 倍,训练步数加速最高 5.2 倍
- 相同性能下比投机解码更快,即使对比有损投机解码也占优
项目页面含实时 demo,代码与模型已开源,论文为 arXiv 预印本。
「研究」频道最新
- SpliceAI2 预测变异在表型关联基因中富集度最高 — anshulkundaje · 2026-10-16
- SpliceAI2 在 UK Biobank 蛋白组学验证中超越 AlphaGenome — anshulkundaje · 2026-10-16
- Genomics England 数据复测:SpliceAI2 隐蔽剪接位点检测 auPRC 0.59 — anshulkundaje · 2026-10-16
- 150 万样本 AIGC-textbank 数据集亮相,REVEAL 检测器给出可解释判定 — burkov · 2026-10-16
- 数据量决定智能边界：模型只在数据充足的领域超人类 — burny_tech · 2026-10-16
- Benchling 发布 Science Foundries:让 AI Agent 与科学家组队跑全流程科研 — nlarusstone · 2026-10-16