EMNLP Oral 论文:免训练 KV 缓存驱逐实现 10 倍内存压缩
yuz9yuz · x · 2026-10-27
Lambda 研究团队在 EMNLP 2026(布达佩斯)发布两篇论文,其中一篇获 Oral:
- Nexus Sampling(Oral):面向长上下文与 agentic 推理的免训练 KV 缓存驱逐方法。现有方法普遍采用「每步直接注意力打分 + 确定性 top-K」模板,一步低于阈值就永久抹除 token。Nexus Sampling 用迭代遍历直接注意力以发现「桥接 token」的 Nexus 打分,配合加权蓄水池采样保留 token。80% 缓存驱逐下在 LongBench 上与稠密注意力差距在 1% 内,检索密集任务上超过 top-K 基线,每序列缓存内存最多缩小 10 倍。
- OpenResearcher:完全开放的长程深度研究轨迹合成流水线,支持可扩展、可复现的 deep research agent 训练;其数据已被 NVIDIA Nemotron 系列(含 Nemotron 3 Ultra)采用。附带的性能/参数比散点图显示 OpenResearcher 以 54.8% 的 BrowseComp-Plus 成绩领先一众更大参数模型(Claude-Opus-4 36.8%、GPT-4.1 36.4%、Gemini-2.5-Pro 29.5% 等)。
「Infra」频道最新
- 同一套 DeepSeek 内核两种优化路线:vLLM 拆专家、SGLang 降访存 — AccBalanced · 2026-10-27
- Flint 本地实测:质量与 Qwen3.6 打平,速度快 3.6 倍 — RichardSocher · 2026-10-27
- Anthropic S-1 披露:CSP 渠道收入占比三年从 11% 涨至 48% — AccBalanced · 2026-10-27
- Alchemy 支持 Effect Workflow:跨 Durable Objects、Workflows 与 Lambda 持久函数 — samgoodwin89 · 2026-10-27
- Alchemy 推出 Lambda Web Functions,Node 版 Web 服务器直接上 Lambda — samgoodwin89 · 2026-10-27
- profiling 实测:Alchemy Cloudflare 绑定 CPU 时间最多降 166 倍 — samgoodwin89 · 2026-10-27