Uno 用扩散并行起草提速 Qwen3-8B,单请求吞吐提升 2.5 倍
rohanpaul_ai · x · 2026-09-09
Uno 提出一种不改变输出分布即可加速现有 LLM 的方法:保留原自回归模型负责质量,只用轻量 diffusion adapter 并行起草多个 token,再由原模型验证,因此无需单独的 draft 模型,也保持基础模型的采样行为。
在 Qwen3-8B 上,Uno 在最大测试 batch size 下实现单请求吞吐提升 2.5 倍、系统吞吐提升 1.6 倍,端到端 RL 训练最高提速 40%。
所属事件:论文提出 Uno:离散扩散为 LLM 带来无损推理加速(4 条相关)→
「Infra」频道最新
- tinygrad 推出 768GB 显存 tinybox:4 张翻新 MI300X 售价 8.9 万美元 — viksit · 2026-11-19
- 纯 Rust 推理引擎 RustingStrata 实测:3060 上跑 Qwen MoE 略胜原版 Strata — Serious_Scarcity7818 · 2026-11-19
- 投资人感叹:市场对不确定性的厌恶盖过了英伟达财报赚钱能力 — MartinGTobias · 2026-11-19
- SGLang 宣布为新模型 DaisyRose-27B 提供 Day-0 支持 — ying11231 · 2026-11-19
- Linux LTS 补丁洪峰将至:单日 3318 个补丁,「人类根本审不完」 — pkqzy888 · 2026-11-19
- DaisyRose-27B 背后:自建沙箱服务降本 80%,百万次运行成功率 99.95% — BanghuaZ · 2026-11-19