Context Language Models:让模型自己管理上下文,精度提升 11.4% 还省 21.5% 算力
datawithsuman · x · 2026-10-05
AI2 等机构的论文提出 Context Language Models(CLM):把上下文当作一个文件,模型可对其进行任意编辑,从而自主管理自己的上下文。
核心结果:
- 零样本构建的 CLM 在多项任务上超越 SOTA 上下文管理策略:BrowseComp-Plus 准确率高 11.4%、FLOPs 少 21.5%;12 小时 EdgeBench 得分高 5%、FLOPs 少 59%;24 小时多仓库 agent 集群任务同算力下提升大 65%。
- 上下文管理从外部 harness 移入模型内部,可用自然语言指令经技能优化循环进化,held-out 准确率最高提升 35.9 分。
- 提出在线 RL 方法训练 CLM,Qwen3.5-9B 在 BrowseComp-Plus 提升 47.6%,FLOPs 再省 12%。
- 配套 Suffix Cache Reuse 服务方案,较标准 SGLang 服务端算力再降 35%。
注意事项: 大上下文预算下与摘要法差距缩小(128K 时 EdgeBench-10 为 47.3 vs 47.8,但成本更低);部分数学结果为单次运行;可编辑上下文是新的 prompt injection 攻击面,作者已指出。
所属事件:Context Language Models:让模型像编辑文件一样自管上下文(7 条相关)→
「编程与Agent」频道最新
- Murat 发布 TLAPS-Bench:用 TLA+ 形式化证明真实系统规格的正确性 — tianyin_xu · 2026-11-19
- Rivet 实战经验:别让 JEV 推理,拆成微小是非题反而更准 — yawnxyz · 2026-11-19
- 16 次 MVP 老手用原生 PowerShell 给微软 Intelligent Terminal 造了个自定义 Agent — dfinke · 2026-11-19
- 马斯克喊话:把 Grok Bot 当成一个很聪明的员工来用 — elonmusk · 2026-11-19
- Eve 编码工具复用编译器模块图,构建时间从 56.9 秒降到 6.9 秒 — evilrabbit_ · 2026-11-19
- Klaus 分享 AI 测试平台界面:一句话即可生成全站测试 — KlausCodes · 2026-11-19