扩散适配器+AR验证,Uno 实现无损 3 倍提速且无需草稿模型
kastnerkyle · x · 2026-09-06
一项新论文提出「扩散增强 LLM」(Uno),在保持自回归模型分布的前提下用扩散并行生成多个 token,实现无损加速。
核心做法
- 将模型参数解耦为两组:标准 NTP 训练的 AR 权重,加上通过简单 Diffusion Distillation 阶段训练的轻量扩散权重,后者可并行草拟多个 token,再由原 AR 模型精确验证。
- 与 speculative decoding 不同,无需单独的草稿模型;与传统 diffusion LLM 不同,不牺牲底层 AR 模型的质量。
- 提出 Ψ-Sample 系列采样器,在固定上下文长度下实现无损加速与推理时扩展。
结果
- Uno 可从零训练,也可在现有开源权重 AR 模型上增训得到。
- 在所有评测 batch size 下吞吐均高于主流 speculative decoding 方法,相对基线 AR 模型最高提速 3×,即使在设备支持的最大 batch size 下也有效。
- 8B Uno 性能超过 26B 的开源 d-LLM DiffusionGemma,以及专有模型 Mercury。
所属事件:Uno 扩散增强 LLM：无损并行生成，速度超 EAGLE-3(6 条相关)→
「研究」频道最新
- 初创公司宣称首次用 AI 设计病毒治疗耐药菌感染患者 — nordicinst · 2026-10-21
- 开源婴儿脑连接工具包:vibe coding 串起皮层-电极-纤维追踪分析 — Dr_Alex_Crimi · 2026-10-21
- 伯克利获 Schmidt Sciences 资助：用 AI 破解抹香鲸与虎鲸语言 — begusgasper · 2026-10-21
- 斯坦福 CS336 第 6 讲:kernel 提速先少跑几趟显存 — stanfordnlp · 2026-10-21
- UIUC 论文：高分不等于会推理，LLM 换个表述就丢失推理规则 — UIUC-CS · 2026-10-21
- 马斯特里赫特研究标注 2122 段真实对话：用户如何向 LLM 求助法律问题 — Amirreza Mohseni · 2026-10-21