斯坦福等发布 TokenGate：可学习 token 剪枝大幅加速 LLM 预填充

斯坦福与 UC Berkeley 研究者发布 TokenGate，一个轻量、即插即用的可学习 token 剪枝模块，可为已训练好的大语言模型增加端到端可学习的长上下文 token 剪枝。其核心机制「token 门控注意力」能选择性跳过不重要的 token，从而加速 prefill 并降低显存占用，实测预填充最高提速至 11.3 倍。

2026-10-21 ~ 2026-10-21 · 2 条相关

• TokenGate：学习式 token 剪枝让长上下文预填充提速最高 11 倍 — Liana Patel · 2026-10-21
• TokenGate 论文：可学习 token 剪枝让 prefill 提速至 11.3 倍 — pmttyji · 2026-10-21