Meta 提出 CLM:模型自管上下文,省 21.5% 算力还涨 11.4% 准确率
meta · hf · 2026-09-30
Meta 发布 Context Language Models(CLM) 论文,提出让语言模型原生管理自己的上下文:把上下文当作一个文件,允许模型对该文件做不受限制的更新,从而让模型自己学会什么最值得保留在上下文里。
这一设计还自然扩展到多智能体系统——多个 agent 的上下文可以作为多个文件共存。
核心实验结果:
- 用现有模型零样本构建 CLM,即可超越 SOTA 上下文管理策略:BrowseComp-Plus 上准确率高 11.4% 且 FLOPs 少 21.5%;12 小时 EdgeBench 上得分高 5%、FLOPs 少 59%;24 小时多仓库 agent-swarm 任务同等算力下改进大 65%
- 上下文管理从外部 harness 控制转为模型内在行为后,可通过自然语言指令引导:经 skill 优化循环演化的指令在上下文管理任务上把 held-out 准确率最多提升 35.9 分,同时降低计算量
- 提出在线 RL 方法,将 Qwen3.5-9B 在 BrowseComp-Plus 上提升 47.6%,FLOPs 反而少 12%
- 配套设计 Suffix Cache Reuse 服务端优化,在同等性能下比标准 SGLang 再省 35% 服务端算力
所属事件:Meta 发布上下文语言模型 CLM 并开源(3 条相关)→
「研究」频道最新
- AI 生成合金微结构:边缘损失+结构相似度损失保住晶界物理意义 — bravo_abad · 2026-09-30
- SOSP26 论文 YoloFS:290 起智能体误删文件报告催生 Agent 原生文件系统 — tianyin_xu · 2026-09-30
- 新论文:Claude Code、Codex 等 Agent 可随意篡改自身执行日志 — maksym_andr · 2026-09-30
- 新加坡国立大学发布 StoryEngine:状态锚定的长篇视频叙事智能体框架 — NationalUniversityofSingapore · 2026-09-30
- AnyStep-WAM:按任务难度自适应分配去噪步数,平均省 60% 步数不掉成功率 — Rui Wang · 2026-09-30
- Sys1Cal-v1 数据集揭示:Jev 概率校准藏着一个「我不知道」第三真值 — Riccardo Porcedda · 2026-09-30