Context Language Models:让模型自己改写上下文,BrowseComp 准确率提升 11.4%
RulinShao · x · 2026-10-05
UW、Meta Superintelligence Labs、MIT 等机构推出 Context Language Models(CLM):不再依赖外部 harness 管理上下文,而是把上下文当作一个文件,让模型直接重写,自行学习何时压缩、删除、保留或重组信息,并自然扩展到多 agent 场景(多个 agent 上下文以文件形式共存)。
关键结果:
- 零样本即超过 SOTA 上下文管理策略:BrowseComp-Plus 准确率 +11.4%、FLOPs 减少 21.5%;12 小时 EdgeBench 分数 +7%、FLOPs 减少 59%;24 小时多仓库 agent-swarm 任务在同算力下提升多 65%。
- 通过标准 skill 优化循环用自然语言指令引导 CLM,hold-out 上下文管理任务准确率最高 +35.9 分。
- 在线 RL 方法使 Qwen3.5-9B 在 BrowseComp-Plus 上提升 47.6%,FLOPs 减少 12%。
- 配套的 Suffix Cache Reuse 服务方案,在同性能下较标准 SGLang 再省 35% 服务端算力。
作者包括 Luke Zettlemoyer、Pang Wei Koh、Nathan Lambert 等。
所属事件:Meta与UW提出CLM：让模型自管上下文(5 条相关)→
「编程与Agent」频道最新
- 苹果 MagSafe 线缆固件时隔三年更新,网友用从不拒绝的 GLM 逆向对比 — steipete · 2026-10-05
- 用 AI Agent 5 分钟重建个人网站:迁移 83 篇文章,每年省 120 美元 — thisiskp_ · 2026-10-05
- Agent 策略边界参考实现更新:新增幂等、审计日志与独立验证 — Dapper-Roof2370 · 2026-10-05
- 多智能体系统最大改进:让 agent 变成可替换的临时工人 — Druss_ · 2026-10-05
- 把「清空收件箱」设为 agent 目标,Anthropic 高管首次实现 Inbox Zero — BorisMPower · 2026-10-05
- 想让 PM 和设计师用 agent 干活?先给他们一个接好线的种子应用 — gethackteam · 2026-10-05