Stanford 与 Berkeley 发布 TokenGate：长上下文预填充最高提速 11.3 倍
MundanePercentage674 · reddit · 2026-10-26
Stanford 与 UC Berkeley 研究者发布 TokenGate（arXiv 2610.26754），一种面向长上下文预填充的学习型 token 剪枝方法，思路是让 LLM 学会「略读」。
机制：低层（L 层以下）处理全部 N 个 token；学习到的门控只保留 top-K 文档 token（问题 token 永不剪枝）；上层仅处理这 K 个 token。
结果：首 token 时间（TTFT）最高快 11.3 倍，峰值预填充内存降低 3.4 倍，比次优剪枝器快 6.4 倍。
「Infra」频道最新
- 双卡 Radeon R9700 本地跑 DeepSeek V4.1-Flash:8K 上下文解码 49 tok/s — Longjumping-Elk-7756 · 2026-10-26
- Anthropic 日均合并代码从 2500 暴增至 3 万,自研 Scion 五个月替换 git — bibryam · 2026-10-26
- NVIDIA 演示 RTX Spark 支持机器人仿真后空翻落地现实 — Aiden_Tech_Ai · 2026-10-26
- MiniMax H3 社区狂飙:8 步参考控制、4 步蒸馏、跑上苹果芯片 — Hailuo_AI · 2026-10-26
- 曝 SPCX 收购云算力平台 Modal,细节尚未证实 — arthurcolle · 2026-10-26
- 猜年代挑战:多模梯度折射玻璃波导光学背板曾做到 0.1dB/cm — jwt0625 · 2026-10-26