Uno 用离散扩散为 LLM 实现无损推理加速

arXiv 论文《Unlocking Lossless Speedups in LLMs via Discrete Diffusion》提出 Uno 方法，针对 next-token 串行生成浪费算力、推高延迟的问题：保留原自回归模型保证质量，通过 LoRA 蒸馏训练轻量 diffusion adapter 并行起草多个 token（Ψ-Spec 采样），再由原模型验证，从而不改变输出分布。在 Qwen3-8B 上实测，单请求吞吐提升 2.5 倍，对长轨迹与并发 agent 负载尤其有效。

2026-09-08 ~ 2026-09-09 · 3 条相关

• Uno 扩散增强 LLM:LoRA 蒸馏+Ψ-Spec 采样实现无损并行生成 — burkov · 2026-09-08
• Uno 用扩散并行起草提速 Qwen3-8B,单请求吞吐提升 2.5 倍 — rohanpaul_ai · 2026-09-09
• arXiv 论文详解 Uno:扩散蒸馏为 LLM 带来无损推理加速 — rohanpaul_ai · 2026-09-09