TokenGate 论文：可学习 token 剪枝让 prefill 提速至 11.3 倍
pmttyji · reddit · 2026-10-21
新论文 TokenGate 提出一个可即插即用的小型组件，为已训练好的 LLM 增加端到端可学习的长上下文 token 剪枝，加速 prefill 并降低显存。
- 核心机制「token-gated attention」：受 MoE 启发，用 token 重要性分数对 attention logits 重加权，绕过 top-K 不可导问题实现端到端训练
- 在多类任务上，TTFT 提速 1.4–11.3 倍，峰值显存降低 1.5–3.4 倍，且无精度损失
- 对比此前最优 token 剪枝方法，prefill 最快 6.4 倍、峰值显存减半
- 兼容标准 Transformer（如 Qwen3）与混合注意力模型（如 Qwen3.5），微调成本接近普通 PEFT
代码已开源（GitHub），arXiv 可查。
所属事件:斯坦福等发布 TokenGate：可学习 token 剪枝大幅加速 LLM 预填充(2 条相关)→
「Infra」频道最新
- embedl 发布边缘设备农场:1000+ 模型真机实测与性能分析 — Course_Latter · 2026-10-21
- Taalas 把模型烧进芯片:单芯片跑 8B 模型达 17000 tok/s — IAM_274 · 2026-10-21
- NVIDIA 发布 DSX POD：AI 工厂预集成交付，最快 14 天部署 — nvidia · 2026-10-21
- 黄仁勋展示 Vera Rubin 节点：组装从 2 小时缩至 5 分钟内 — rickasaurus · 2026-10-21
- PHP 爆 CVSS 9.2 紧急漏洞，WordPress 站长被敦促连夜待命打补丁 — EthanJPerez · 2026-10-21
- Tenstorrent 主打「一套架构通吃」：从单卡到超集群同一开源栈 — AIFlow_ML · 2026-10-21