Uno 用 AR 架构无损并行采样,速度超 EAGLE-3 全部扩散 LLM
HongyiWang10 · x · 2026-09-05
IFM 团队发布 K2-Horizon-7B-Uno,针对扩散 LLM 相比 AR 模型的两大短板(质量更低、大批次推理更慢)提出统一架构方案:
- 保留 LLM 的 AR 架构,每层带两组权重:AR 权重 + 扩散权重
- 扩散权重(LoRA 适配器)可从 AR 分布无损并行采样
- 速度超过所有投机解码方法(DFlash、EAGLE-3),成绩击败 Mercury 2、Diffusion Gemma、Llada 等所有扩散 LLM
评测亮点:SWE-bench Verified 70.1(对比基线 0.8–18.7)、AIME-24 93.0、GPQA-Diamond 77.1、Terminal-Bench v2.1 39.1;平均 TPF 仅 2.71,系统吞吐 5,255。模型已在 Hugging Face 上以 Apache 2.0 开源(含 LoRA 适配器,底模单独托管)。
所属事件:Uno 扩散增强 LLM:无损并行生成,速度超 EAGLE-3(6 条相关)→
「研究」频道最新
- ACS 推免费平台,研究者可白嫖 Llama 3.1 8B/405B 基座模型 — jankulveit · 2026-10-21
- LessWrong 长文引入「LM 心理学」:像心理学家一样直接与模型对话 — jankulveit · 2026-10-21
- LiFT 循环复用 DiT 核心:参数减 60% 仍胜稠密基线 3.34 FID — burny_tech · 2026-10-21
- 斯坦福学者激辩基因组大模型:变体预测成绩为何只挑着报 — anshulkundaje · 2026-10-21
- Gemini 数小时破解悬置 59 年的核聚变磁场数学猜想 — DynamicWebPaige · 2026-10-21
- Bombadil:解码植物生物电信号的基础模型问世 — tdhopper · 2026-10-21