TokenGate：学习式 token 剪枝让长上下文预填充提速最高 11 倍
Liana Patel · hf · 2026-10-21
斯坦福与 UC Berkeley 研究者发布 TokenGate，一个轻量可学习的 token 剪枝模块，通过「token 门控注意力」选择性跳过不重要 token，加速 transformer 的长上下文 prefill。
- 人类专家读长文档靠略读，LLM 却对每层都处理全部 token，长上下文成本高。TokenGate 是即插即用小组件，可扩展现有已训练模型实现端到端可学习的 token 剪枝。
- 为绕过不可微的 top-K 剪枝算子，借鉴 MoE 思想引入 token-gated attention，用 token 重要性分数对注意力 logits 重加权。
- 效果：在多任务上实现 1.4–11.3 倍更快的 TTFT（首 token 时间）与 1.5–3.4 倍更低峰值显存，且无精度损失；对比此前最佳 token 剪枝方法，prefill 最快提升 6.4 倍、峰值显存降低 2 倍。
- 代码开源于 GitHub（tokengate-models/TokenGate）。
「Infra」频道最新
- vLLM 专用解码路径实测：四张 B300 单用户延迟快 26% — vllm_project · 2026-10-21
- vLLM 宣布复现 DeepSeek 推理性能，每 GPU 时收入达 39 美元 — vllm_project · 2026-10-21
- vLLM 实测：解码性能已可匹敌 DeepSeek 官方 DeepInfer，差距仅 6% 以内 — vllm_project · 2026-10-21
- AMD 携手 EAGLE 团队推出 EAGLE-4：MI355X 上投机解码最高提速 1.6 倍 — hongyangzh · 2026-10-21
- Modal 团队用自研 Sticky Sessions 复活经典网页游戏 Curvytron — charles_irl · 2026-10-21
- Seroter 每日阅读：TorchTPU 开源、Claude Code 团队的代码评审实践 — rseroter · 2026-10-21