单卡 RTX 5090 跑出 2788 tokens/s：开源扩散语言模型加速方案 ORL 发布
arty_photography · reddit · 2026-10-17
r/LocalLLaMA 上发布全开源研究 ORL（On-Policy Residual Learning）及配套推理引擎 dlmrt，大幅加速扩散语言模型（dLLM）：
性能亮点（均为 batch size 1 单请求解码）：
- 单张 RTX 5090：LLaDA-2.1-mini + ORL 达 2788 tokens/s（NVFP4）
- 8×B200：DiffusionGemma 26B MoE 达 7708 tokens/s
- QwenDLM-4B 端到端吞吐提升最高 6.9 倍，HumanEval pass@1 从 82.9% 升至 89.6%
- 单 H100 上 1298 tokens/s，对比 DFlash 746、EAGLE3 405（同等精度）
方法核心：
- 在策略残差学习：不再每步从零预测，而是携带上一步预测作为残差上下文逐步精化；并直接在当前模型生成的新轨迹上训练，解决离线残差的分布失配
- 相邻熵收缩：鼓励每个去噪步相对上一步降低不确定性，并对已高置信预测做损失门控
dlmrt 引擎：将整个去噪循环捕获为 CUDA 图在 GPU 上执行，支持 Blackwell 消费卡的 NVFP4，同条件下比 SGLang/vLLM 快 1.2-1.6 倍。模型、训练代码、评测管线、推理引擎全部开源。
所属事件:ORL 开源方案让扩散语言模型加速，单卡 5090 跑出 2788 tokens/s(3 条相关)→
「Infra」频道最新
- vLLM 团队与 AMD 合作优化 Instinct GPU 上的生产级 Agent 推理 — woosuk_k · 2026-10-17
- 扎克伯格押注本地推理，Meta 或成端侧前沿 AI 的旗手 — StefanoGogioso · 2026-10-17
- 范式与 RiseUnion 开源 ModelSphere：面向混合 GPU 集群的 LLM 部署平台 — Codeblix_Ltd · 2026-10-17
- Flux 3 Klein 量化实测：nvfp4 比 fp8 快近一倍出图 — dh7net · 2026-10-17
- .NET 10 Lambda ARM64 基础镜像残留 170MB Yum 缓存 — DanielLockyer · 2026-10-17
- Vera Rubin 被指为代际级升级:美国不足一成数据中心一年内能跑 — sudoraohacker · 2026-10-17