Feedback Shortcut 让潜反馈 Transformer 推理提速 2.4–2.8 倍

JohnCLangford · x · 2026-11-21

论文提出 Feedback Shortcut,解决潜反馈(latent feedback)Transformer 与投机解码不兼容的问题:逐位把顶层隐状态回馈到下一位置输入虽提升性能,但验证草稿 token 需要前一位置的顶层状态,破坏了并行验证。

方法要点:

结果:在 135M 与 780M 规模上,解码加速 2.4–2.8 倍,额外训练算力仅约 2%,Paloma 上与精确解码上限差距保持在 10⁻⁴ bits/byte 内;大 batch 下跳过修正仍保持 Transformer 速度并获得潜反馈 80% 以上的收益。论文与代码已开源。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →