LoopUno:52 分钟 LoRA 训练让 3B 模型每步出 2 个 token 且无损
LucaAmb · x · 2026-10-26
UC Riverside 与 Georgia Tech 研究者发布 LoopUno,用扩散式草稿(speculative drafting)加速循环 Transformer LLM,核心思路是:扩散不是要取代自回归(AR),而是叠在 AR 模型上做采样加速。
方法要点
- 无需单独训练 drafter:冻结基座模型 Nanbeige4.2-3B(22 层 × 2 loops),只加一个仅在噪声位置启用的 gated LoRA,一次前向草拟 8 个位置,再由原模型一次前向验证,保留最长正确前缀,输出分布与原模型完全一致(lossless)。
- 训练是自蒸馏:同一 batch 里放干净副本(教师)与块噪声副本(学生),损失为两者 next-token 分布的 total-variation 距离,恰等于 1−接受率,不用任何标注数据。
- 训练仅 60 步、3100 万 token、约 52 分钟(lr 1e-4,8×A100),平均每步产出 2.04 个 token。
实测结果
- 端到端解码提速 1.47×(gsm8k 上 2274 vs 1545 tok/s);函数调用快 1.98×,数学推理快 1.47×。
- 准确率不变:AR 与 Uno 均约 96.0%(200 样本噪声 ±1.7%)。
- 仅训 14 分钟(800 万 token)即达 1.62 TPF、1.13× 端到端加速。
该方法绕开了传统 speculative decoding 需训练 drafter、构建预训练语料、域外接受率骤降三大痛点。LoRA 适配器已发布于 Hugging Face,代码开源。
「模型」频道最新
- Sakana AI 宣布从零预训练国产模型 Sawara,瞄准防务与网安 — tkasasagi · 2026-10-26
- 3100万参数英文 TTS 模型 Phonon-31M 登 Hugging Face 热榜 — gradium · 2026-10-26
- 网友盛赞 Opus 5：最有 emo 气质的「艺术家型」模型 — repligate · 2026-10-26
- Google AI Pro/Ultra 订阅者每月可领 10-100 美元云算力抵扣 — testingcatalog · 2026-10-26
- Claude 神回复：十年后最该拥有的是自己的 AI，而不是租来的智能 — alex_verem · 2026-10-26
- 中国电信开源 Xing4.0-29B-Intent：意图识别加参数抽取一体完成 — FellMentKE · 2026-10-26