Uno 论文：AR 权重校验扩散草稿，实现无损加速 LLM 推理

LucaAmb · x · 2026-11-10

哈佛 Kempner 研究所发文介绍 Subham Sahoo 团队的 Uno 论文：一种让扩散式并行生成与自回归 LLM 结合的新方法。

核心思路

• 保留标准 AR 架构，每层额外加一组小型 Diffusion 权重
• Diffusion 权重一次前向并行草拟一整块 token，未改动的 AR 权重负责校验
• 输出分布与原 AR 模型完全一致，实现无损加速

结果

• 速度超过所有投机解码方法（DFlash、EAGLE-3），且在各 batch size 下均占优
• 质量击败所有扩散 LLM：Mercury 2、Diffusion Gemma、Llada

背景：逐 token 解码受内存带宽限制，GPU 大多时间在搬权重和 KV cache；并行产出多个正确 token 可同时提升 GPU 利用率与吞吐。方法可直接构建在 Qwen3-8B 等开源模型之上。作者预告后续将对比 DFlash2 与 DSpark。

原文链接 →

「Infra」频道最新

• 马斯克:Grok 4.8 弃用 JAX/SGLang,C/C++ 重写全栈进入 RL 阶段 — tetsuoai · 2026-11-10
• RTX 3060 12GB 实测:RustingStrata 跑 Qwen3.6-35B 全胜 llama.cpp — Serious_Scarcity7818 · 2026-11-10
• 开源 OKC 挑战赛 H200 内核:第 99 名公开 5 个内核与提速数据 — abhijithneil · 2026-11-10
• 论文实证：on-policy distillation 可容忍量化推理与异步 rollout 的训练-推理失配 — Cong Yu · 2026-11-10
• Seroter 每日阅读清单：新 TPU、Claude 新模型降价 20% 与产品经理的未来 — rseroter · 2026-11-10
• 美能源部投 1150 万美元建电网基础模型，目标提速千倍 — ingliguori · 2026-11-10

更多「Infra」频道 AI 资讯 →