arXiv 论文详解 Uno:扩散蒸馏为 LLM 带来无损推理加速
rohanpaul_ai · x · 2026-09-09
arXiv 论文《Unlocking Lossless Speedups in LLMs via Discrete Diffusion》提出 diffusion-augmented LLM(Uno):将模型参数解耦为标准的 AR 权重(NTP 训练)和轻量 diffusion 权重(通过 Diffusion Distillation 阶段学习,对现有训练流程开销可忽略),后者可同时生成多个 token。
- 引入 Ψ-Spec 采样器家族,实现无损加速与固定上下文长度下的推理时 scaling
- 与投机解码不同,无需单独 draft 模型;与 diffusion LLM 不同,不牺牲底层 AR 模型的质量
- 可从零训练,也可在现有开源权重 AR LLM 上加装;在每个评测 batch size 下吞吐都超过主流投机解码方法
- 作者团队含 Eric Xing、Zhengzhong Liu、Joel Hestness 等
所属事件:论文提出 Uno:离散扩散为 LLM 带来无损推理加速(4 条相关)→
「Infra」频道最新
- tinygrad 推出 768GB 显存 tinybox:4 张翻新 MI300X 售价 8.9 万美元 — viksit · 2026-11-19
- Salesforce 用 SageMaker 跨区域推理路由解决 30+ 区域容量碎片化 — AWS ML Blog · 2026-11-19
- 纯 Rust 推理引擎 RustingStrata 实测:3060 上跑 Qwen MoE 略胜原版 Strata — Serious_Scarcity7818 · 2026-11-19
- 投资人感叹:市场对不确定性的厌恶盖过了英伟达财报赚钱能力 — MartinGTobias · 2026-11-19
- SGLang 宣布为新模型 DaisyRose-27B 提供 Day-0 支持 — ying11231 · 2026-11-19
- Linux LTS 补丁洪峰将至:单日 3318 个补丁,「人类根本审不完」 — pkqzy888 · 2026-11-19