Context Language Models:让模型自己改写上下文,BrowseComp 准确率提升 11.4%
RulinShao · x · 2026-10-05
UW、Meta Superintelligence Labs、MIT 等机构推出 Context Language Models(CLM):不再依赖外部 harness 管理上下文,而是把上下文当作一个文件,让模型直接重写,自行学习何时压缩、删除、保留或重组信息,并自然扩展到多 agent 场景(多个 agent 上下文以文件形式共存)。
关键结果:
- 零样本即超过 SOTA 上下文管理策略:BrowseComp-Plus 准确率 +11.4%、FLOPs 减少 21.5%;12 小时 EdgeBench 分数 +7%、FLOPs 减少 59%;24 小时多仓库 agent-swarm 任务在同算力下提升多 65%。
- 通过标准 skill 优化循环用自然语言指令引导 CLM,hold-out 上下文管理任务准确率最高 +35.9 分。
- 在线 RL 方法使 Qwen3.5-9B 在 BrowseComp-Plus 上提升 47.6%,FLOPs 减少 12%。
- 配套的 Suffix Cache Reuse 服务方案,在同性能下较标准 SGLang 再省 35% 服务端算力。
作者包括 Luke Zettlemoyer、Pang Wei Koh、Nathan Lambert 等。
所属事件:Context Language Models:让模型像编辑文件一样自管上下文(7 条相关)→
「编程与Agent」频道最新
- Murat 发布 TLAPS-Bench:用 TLA+ 形式化证明真实系统规格的正确性 — tianyin_xu · 2026-11-19
- Rivet 实战经验:别让 JEV 推理,拆成微小是非题反而更准 — yawnxyz · 2026-11-19
- 16 次 MVP 老手用原生 PowerShell 给微软 Intelligent Terminal 造了个自定义 Agent — dfinke · 2026-11-19
- 马斯克喊话:把 Grok Bot 当成一个很聪明的员工来用 — elonmusk · 2026-11-19
- Eve 编码工具复用编译器模块图,构建时间从 56.9 秒降到 6.9 秒 — evilrabbit_ · 2026-11-19
- Klaus 分享 AI 测试平台界面:一句话即可生成全站测试 — KlausCodes · 2026-11-19