斯坦福团队推出 TokenGate：学会略读上下文，prefill 最快提速 11 倍
CShorten30 · x · 2026-10-21
Stanford 与 UC Berkeley（Liana Patel、Ion Stoica、Matei Zaharia、Carlos Guestrin 等）发布 Token-Gated Language Models 研究：训练模型学会「略读」上下文，在浅层后仅条件性前传重要 token，实现新维度上的条件计算——类比从稠密模型到 MoE 的转变，只是稀疏化对象从参数换成了上下文 token。
关键结果（微调 Qwen3-1.7B，精度对齐标准 prefill）：
- 首token延迟（TTFT）：NIAH 长上下文检索任务 425ms → 37ms，快 11.3 倍；RepoBench 代码补全 286ms → 72ms，快 3.9 倍。
- 峰值内存：NIAH 2.4GB → 0.7GB（降 3.4 倍）；RepoBench 1.6GB → 0.6GB（降 2.8 倍）。
方法上在 Layer L 处用 Gate Module 保留 K 个 token，上层以 Token-Gated Attention 剪枝前传。代码开源于 github.com/token-gate-llms/TokenGate。
所属事件:斯坦福等推出 TokenGate，长上下文 prefill 最高提速 11 倍(3 条相关)→
「Infra」频道最新
- Nscale IPO 宣称 10000MW 潜在容量,实际建成不足 1% — SumitGup · 2026-10-22
- 马斯克:SpaceX 明年新建 20GW 电力与散热,年内算力达 3GW — rohanpaul_ai · 2026-10-22
- Google 与 Meta 联手推 TorchTPU:PyTorch 原生 TPU 后端 — PyTorch · 2026-10-22
- ExecuTorch 支持在骁龙 X Elite 笔记本编译，端侧推理两条路实测 — carrycooldude · 2026-10-22
- NVIDIA GTC 柏林场：Keynote 反响与开发者展望直播 — NVIDIAAI · 2026-10-22
- Nvidia 锁定 SK Hynix 优先 HBM 供应，2027 年独占 37% 产能 — Beth_Kindig · 2026-10-22