TokenGate 让大模型学会略读，预填充最高提速 11.3 倍

新研究 TokenGate（Token-Gated Language Models）提出端到端学习方法，让大模型在推理时动态丢弃不必要的 token、学会"略读"上下文，从而优化 prefill（预填充）阶段。实验显示最高可将 prefill 提速 11.3 倍。此前 Jev 与「decision models」等工作已证明预填充优化的价值，Ilya Sutskever 也转发推荐了这一新方向。

2026-10-23 ~ 2026-10-24 · 2 条相关

• TokenGate 端到端学习动态丢 token,解锁 LLM 预填充新优化方向 — CShorten30 · 2026-10-23
• TokenGate 让 LLM 学会略读上下文，prefill 提速最高 11.3 倍 — berkeley_ai · 2026-10-24