Feedback Shortcut 让潜反馈 Transformer 推理提速 2.4–2.8 倍
JohnCLangford · x · 2026-11-21
论文提出 Feedback Shortcut,解决潜反馈(latent feedback)Transformer 与投机解码不兼容的问题:逐位把顶层隐状态回馈到下一位置输入虽提升性能,但验证草稿 token 需要前一位置的顶层状态,破坏了并行验证。
方法要点:
- 状态对齐:训练一个轻量投影,把 MTP 头状态映射为缺失反馈 hprev 的替代品,不改基座模型训练;
- 流水线修正:在后续草稿的验证 pass 中用新算出的真实状态重评草稿,零额外调用地提升准确率。
结果:在 135M 与 780M 规模上,解码加速 2.4–2.8 倍,额外训练算力仅约 2%,Paloma 上与精确解码上限差距保持在 10⁻⁴ bits/byte 内;大 batch 下跳过修正仍保持 Transformer 速度并获得潜反馈 80% 以上的收益。论文与代码已开源。
「Infra」频道最新
- Altimeter 解盘 AI 超级周期:年 CapEx 近 8600 亿美元流向何方 — bobmcgrewai · 2026-11-21
- AWS 发表 SOSP 论文:用轻量形式化方法验证 S3 分布式元数据索引 — blaizedsouza · 2026-11-21
- 200 万金丝雀令牌实测 AI 服务:三家供应商被盗,转售商偷记录 prompt — AccBalanced · 2026-11-21
- Unsloth 发布新版:26.4B Inkling 2 Mini 可在 16GB 内存运行 — danielhanchen · 2026-11-21
- Seroter 每日阅读清单 #914:编码 harness 易换、模型行为难改 — rseroter · 2026-11-21
- NVFP4 专家权重逼 MoE 上 CPU,重量化后 Metal 推理提速 5.8 倍 — teortaxesTex · 2026-11-21