ORL 框架让扩散语言模型提速 6.9 倍，超越自回归投机解码
burny_tech · x · 2026-10-19
Together AI、UIUC、UC Berkeley、斯坦福等机构联合发布论文《On-Policy Residual Learning for Diffusion Language Models》，提出 ORL 框架解决扩散语言模型（DLM）中残差上下文（residual context）难以高效学习的问题。
核心内容
- 作者发现残差学习本质上是在策略（on-policy）问题，ORL 直接从模型自身生成的轨迹中学习，并用熵收缩引导的指示函数鼓励稀疏化预测。
- 工程上协同设计了异步残差捕获、专用 block-diffusion attention 与 packed compute-balanced 训练等学习算法，使在线残差学习可规模化。
- 在从 Qwen3-4B 转换的 4B DLM 上，每 token 输出提升 6.2 倍，配合自研 DLMRT 引擎端到端吞吐提升约 6.9 倍，质量持平或更好；单请求 H100 服务下速度-质量帕累托前沿强于 EAGLE3 与 DFlash 投机解码。
- 方法可迁移：在 LLaDA2.1-mini 上用 36 H100-小时与 4.2M 自生成 token 即获得比以往 LLaDA 配方高 1.5 倍 TPS、多 3 倍以上吞吐的效果；对 DiffusionGemma 还能再提 TPS 1.1-1.2 倍。
- 优化后模型在 B200 上可达 5,046 tokens/s，RTX 5090 消费级显卡上达 2,788 tokens/s，质量相当。
「Infra」频道最新
- Nebius 通过 NVIDIA Exemplar Cloud 认证：HGX B300 训练环境获官方背书 — DavidLinthicum · 2026-10-19
- Surface Laptop RTX Spark 实测 Qwen 27B:解码 20.7 tok/s — draginol · 2026-10-19
- 2026 年搞算力像找黄牛:预付款、SPV、电力还延期 — marksaroufim · 2026-10-19
- AI Toolkit 新增 Qwen 3.8 27B LoRA 训练：5090 上 70-80 tok/s 自动打标仅用 20GB 显存 — ostrisai · 2026-10-19
- RTX 5080 笔记本实测 Qwen 27B：预填 441 tok/s 但解码仅 9.1 tok/s — draginol · 2026-10-19
- vLLM 官宣提速约 2 倍：agent 自动生成融合模型定义改写推理优化 — mohbibi_ · 2026-10-19