ORL 让扩散语言模型单卡 RTX 5090 跑出 2788 tokens/s，全开源
arty_photography · reddit · 2026-10-17
来自 Together AI、UIUC、UC Berkeley、Stanford 等机构的新研究 ORL（On-Policy Residual Learning）显著加速扩散语言模型（dLLM），并配套开源了定制推理引擎 dlmrt、模型、训练代码与评测管线。核心成绩（均为单请求 batch=1）：
- 单张 RTX 5090 达 2,788 tokens/s（LLaDA-2.1-mini + ORL，NVFP4）
- 8×B200 达 7,708 tokens/s（DiffusionGemma 26B MoE）
- QwenDLM-4B 端到端吞吐提升最高 6.9×，HumanEval pass@1 从 82.9% 升至 89.6%
- 单 H100 上 1,298 tokens/s，比 DFlash（746）快 1.74×、比 EAGLE3（405）快 3×以上
方法要点：
- On-policy 残差学习——模型把上一步去噪的预测作为残差上下文逐步精化，且直接在当前模型自己生成的新鲜轨迹上训练，避免离线残差分布失配；仅 4.2M 自生成 token + 36 H100 小时后训练即可让 LLaDA-2.1-mini 吞吐提升约 3×。
- Adjacent Entropy Contraction——约束每步去噪相对上一步降低不确定性，并对已高置信的预测做损失门控，使模型学会每次前向敲定更多 token。
dlmrt 引擎：把整个去噪循环捕获进 CUDA graph 在 GPU 上执行，免去 CPU 逐步同步，支持 Blackwell 上的 NVFP4；同模型同设置下比 SGLang/vLLM 快 1.2–1.6×。
所属事件:ORL 开源方案让扩散语言模型加速，单卡 5090 跑出 2788 tokens/s(3 条相关)→
「Infra」频道最新
- 扎克伯格押注本地推理，Meta 或成端侧前沿 AI 的旗手 — StefanoGogioso · 2026-10-17
- 范式与 RiseUnion 开源 ModelSphere：面向混合 GPU 集群的 LLM 部署平台 — Codeblix_Ltd · 2026-10-17
- Flux 3 Klein 量化实测：nvfp4 比 fp8 快近一倍出图 — dh7net · 2026-10-17
- .NET 10 Lambda ARM64 基础镜像残留 170MB Yum 缓存 — DanielLockyer · 2026-10-17
- Vera Rubin 被指为代际级升级:美国不足一成数据中心一年内能跑 — sudoraohacker · 2026-10-17
- 实测 RTX Spark 笔记本跑 gpt-oss-120b 全面快过 DGX Spark — fallingdowndizzyvr · 2026-10-17