LoopFill 无训练投机解码加速 Looped Transformer 推理
UIUC-CS · hf · 2026-11-17
UIUC 团队发布 LoopFill,一种免训练的投机解码算法,用于降低循环语言模型(Looped Transformer)的解码延迟。
- Looped Transformer 通过重复应用同一层提升参数效率,但每个 token 需 T 次顺序前向传播,小批量下各次传播均受内存带宽限制,解码很慢
- LoopFill 将多 token 后缀草稿与浅循环预测合并到单一草稿树中,再用全深度验证,保持自回归输出分布不变
- 依赖循环模型的归纳偏置:浅循环预测与全深度预测高度一致,在 Ouro-2.6B 上,T=4 循环中一次循环后的 top-1 token 在 88.8% 位置与全深度贪心 token 一致,两次循环后达 95.6%
「Infra」频道最新
- Pipeshift 服 Gemma 4 31B 首 token 快 40%,日吞吐 1500 亿 tokens — NirantK · 2026-11-17
- 腾讯 DSpine 推测解码上线:27B 模型提速至 4.5 倍、90-125 tok/s — pmttyji · 2026-11-17
- 直言算力不缺:千卡 GPU 全靠短期合同入手,六成是 B300 — SumitGup · 2026-11-17
- 开源项目 Agent Substrate 让空闲 Agent 挂起唤醒,同硬件跑 10 倍 Agent — Saboo_Shubham_ · 2026-11-17
- OpenAI 代理记忆系统省钱三招:缓存 TTL、Flex 减半、少调用 — gabrielchua · 2026-11-17
- xAI 再扩孟菲斯算力版图:关联公司 550 万美元购入 96 英亩土地 — XFreeze · 2026-11-17