新论文提出 Context Language Models:模型自管上下文,省 21.5% FLOPs 还提 11.4% 准确率
rohanpaul_ai · x · 2026-10-01
论文:Context Language Models(CLMs)
Zettlemoyer、Pang Wei Koh 等多位研究者提出让语言模型原生管理自己的上下文:把上下文当作一个文件,模型可对其进行不受限的更新,从而自己学会该在上下文中保留什么,并自然扩展到多智能体系统——多个 agent 的上下文以文件形式共存。
零样本即超 SOTA 上下文管理策略:
- BrowseComp-Plus:准确率 +11.4%,FLOPs −21.5%
- 12 小时长任务 EdgeBench:分数 +5%,FLOPs −59%
- 24 小时多仓库 agent 集群任务:同等算力下提升幅度大 65%
可训练、可优化:
- 用标准 skill 优化循环进化出的自然语言指令即可引导 CLM,held-out 任务准确率最高提升 35.9 点且更省算力
- 在线强化学习方法让 Qwen3.5-9B 在 BrowseComp-Plus 上提升 47.6%,FLOPs 再省 12%
- 配套的 Suffix Cache Reuse 服务方案较标准 SGLang 再降 35% 服务端算力
所属事件:Meta 发布上下文语言模型 CLM:模型用 Bash 自管上下文(12 条相关)→
「编程与Agent」频道最新
- Slop Eisley:全 AI 编写的星战游戏开放测试,credits 里写着 Claude Opus 和 Codex — jasonkneen · 2026-10-25
- CCC 本地面板新增 Antigravity 适配器,统一管理 Claude Code 与 Codex 会话 — amirfish · 2026-10-25
- 给 Claude 一份清单,周末两小时自查家庭网络安全 — zedlander · 2026-10-25
- 康奈尔论文:64.7% agent 遇错会失控,一个404引发校警介入 — 2C_ornot2C · 2026-10-25
- Reddit 用户盲测 5 款本地 Agent:同一个 Qwen 模型成绩差近一倍 — GapNew4766 · 2026-10-25
- WildAWM 开源合成计算机环境,Qwen3.6 训练后 8 项基准平均涨 10.6 分 — HuaxiuYaoML · 2026-10-25