ORL 开源方案让扩散语言模型加速，单卡 5090 跑出 2788 tokens/s

Together AI、UIUC、UC Berkeley、斯坦福等机构发布全开源研究 ORL（On-Policy Residual Learning）及配套推理引擎 dlmrt，显著加速扩散语言模型推理，重写速度-智能 Pareto 前沿，吞吐量提升约 6.9 倍，单卡 RTX 5090 即可跑出 2788 tokens/s。该工作也回应了「有投机解码无损加速，为何还需要扩散语言模型」的疑问，在 r/LocalLLaMA 引发关注。

2026-10-16 ~ 2026-10-17 · 3 条相关

• ORL 让扩散语言模型重写速度-智能 Pareto 前沿,吞吐量提升约 6.9 倍 — james_y_zou · 2026-10-16
• 单卡 RTX 5090 跑出 2788 tokens/s：开源扩散语言模型加速方案 ORL 发布 — arty_photography · 2026-10-17
• ORL 让扩散语言模型单卡 RTX 5090 跑出 2788 tokens/s，全开源 — arty_photography · 2026-10-17