循环语言模型 Late Entry 解码:最高 12.5 倍贪心精确加速

NanyangTechnologicalUniversity · hf · 2026-11-19

NTU 的研究提出循环语言模型(looped LM)的 Late Entry 解码策略:新 token 跳过初始 pass、直接进入最终 K<T 次 pass 复用深上下文缓存,与常规 early-exit 相反。轻量微调解决入口处隐状态范数失配后,效果超过匹配的 early-exit。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →