循环语言模型 Late Entry 解码:最高 12.5 倍贪心精确加速
NanyangTechnologicalUniversity · hf · 2026-11-19
NTU 的研究提出循环语言模型(looped LM)的 Late Entry 解码策略:新 token 跳过初始 pass、直接进入最终 K<T 次 pass 复用深上下文缓存,与常规 early-exit 相反。轻量微调解决入口处隐状态范数失配后,效果超过匹配的 early-exit。
- Wake 验证在单个静态 CUDA 图内统一贪心精确(τ=0)、margin 门控与无回滚有损三种模式,关键路径只需 K 次 pass
- Ouro-2.6B(T=4,K=2):贪心精确加速 5.2 倍(GSM8K 上再 +26%),τ=inf 时 6.8 倍(比训练式 early-exit 多 +16.9 分)
- Huginn-3.5B 上扩展 T 至 8–64:回滚减少 21.5 倍,贪心精确加速达 6.1 倍(T=32)至 8.4 倍(T=64),τ=inf 达 10.6–12.5 倍
「Infra」频道最新
- CoreWeave 被质疑濒临破产:一年内到期债务 246 亿美元 — SumitGup · 2026-11-19
- Anthropic 定价 83 美元上市,anon 长文预言股价将在解禁前腰斩 — basedjensen · 2026-11-19
- 纳德拉:若能租到 SpaceX 算力,微软愿意租 — elonmusk · 2026-11-19
- AMD ROCm 10.2 发布:新增 18 款 Ryzen 笔记本本地 AI 支持并升级 vLLM/SGLang — AnushElangovan · 2026-11-19
- 消费级 NAND 现货价单月暴跌 20%,SSD 市场现缓解迹象 — SumitGup · 2026-11-19
- Tideway:统一内存池管理,消费级设备跑大 MoE 模型延迟降半 — DukeUniversity · 2026-11-19