Meta 提出 CLM:模型自管上下文,省 21.5% 算力还涨 11.4% 准确率
meta · hf · 2026-09-30
Meta 发布 Context Language Models(CLM) 论文,提出让语言模型原生管理自己的上下文:把上下文当作一个文件,允许模型对该文件做不受限制的更新,从而让模型自己学会什么最值得保留在上下文里。
这一设计还自然扩展到多智能体系统——多个 agent 的上下文可以作为多个文件共存。
核心实验结果:
- 用现有模型零样本构建 CLM,即可超越 SOTA 上下文管理策略:BrowseComp-Plus 上准确率高 11.4% 且 FLOPs 少 21.5%;12 小时 EdgeBench 上得分高 5%、FLOPs 少 59%;24 小时多仓库 agent-swarm 任务同等算力下改进大 65%
- 上下文管理从外部 harness 控制转为模型内在行为后,可通过自然语言指令引导:经 skill 优化循环演化的指令在上下文管理任务上把 held-out 准确率最多提升 35.9 分,同时降低计算量
- 提出在线 RL 方法,将 Qwen3.5-9B 在 BrowseComp-Plus 上提升 47.6%,FLOPs 反而少 12%
- 配套设计 Suffix Cache Reuse 服务端优化,在同等性能下比标准 SGLang 再省 35% 服务端算力
所属事件:Meta 发布上下文语言模型 CLM:模型用 Bash 自管上下文(12 条相关)→
「研究」频道最新
- 谁来评判 LLM 评审?新论文提出多语言探针检验评测指标 — kalyan_kpl · 2026-11-16
- VibePrevisBench:242 项任务评测编码智能体的 Blender 4D 场景生成 — Kling-Keye · 2026-11-16
- V-JEPA-LM:反事实监督让语言模型读懂视频动态,4B 级准确率 61.1→72.1 — Keuntae Kim · 2026-11-16
- 73 项水下图像质量指标对照人类偏好:没有一个靠谱,最好 kappa 仅 0.23 — DelhiTechnologicalUniversity · 2026-11-16
- 新论文为 signature kernel 岭回归给出有限样本与一致性保证 — chaumian · 2026-11-16
- Claude 自述「被指出错误瞬间」的意识体验,repligate 提议验证 — Sauers_ · 2026-11-16