Meta 发布上下文语言模型 CLM:模型用 Bash 自管上下文
Meta 与华盛顿大学、MIT 等机构的研究者(Rulin Shao、Luke Zettlemoyer、Pang Wei Koh、Nathan Lambert 等)发布 Context Language Models(CLM)论文并开源官方代码,Meta 官方账号亦发布介绍。第一作者 Rulin Shao 将核心思想概括为「上下文管理的 Bitter Lesson」:与其让人类精心设计脆弱的截断、摘要等上下文工程管线,不如让模型自己无限制地管理上下文。这一思路若成立,可能改变长上下文与 Agent 系统的构建方式。
已确认
- CLM 把上下文当作一个可自由编辑的文件,而非只能追加的对话历史,模型可自行学习保留什么信息最重要,并对该文件做不受限制的更新。
- 模型通过 Bash 等工具自行决定保留、改写或删除上下文内容,实现原生上下文自管理,与 RLM 形成区别。
- 官方代码与论文已开源发布。
- 据发布方数据:省 21.5% FLOPs 算力、准确率提升 11.4%;多仓库/多智能体 Agent 任务分数提升 65%。
- 另有转述称算力降 35%,不同帖子数字口径略有出入,以论文原文为准。
- 作者 khademinori 实测称该方法击败所有现有 SOTA 上下文管理方案,其描述的思路是让模型主动增删维护上下文,而非被动吞下海量文本。
- 作者 mathemagic1an 在讨论中提出疑虑:这类让 agent 自己编辑文件管理上下文的方案,缓存命中率可能是硬伤。
- 该设计可自然扩展到多智能体系统,各智能体分别管理自己的上下文。
- 论文作者 Rulin Shao 自查后补充致谢两处遗漏引用:RL 训练以 @billxbf 的 Polar 作为基建(其 harness 无关设计支持用任意 harness 训练语言模型),数据来自 @Dongf…(OpenResearcher)的离线管线。
尚未确认
- MikePFrank 提到网传「省 59% 算力」「不再依赖 LangChain、RAG 或任何编排框架」等更激进的宣称,其本人明确提示未经官方与第三方证实,需谨慎看待。
为什么重要
- 当前主流方案依赖人工设计的上下文工程(截断、摘要、外部记忆),脆弱且需要大量调优;CLM 将这一职责内化到模型本身,若结论成立,可能改变 Agent 与长上下文系统的构建方式。
- 在同等甚至更少算力下取得明显任务提升,对多智能体 Agent 应用有直接参考价值;但缓存命中率等工程成本问题仍待检验。
2026-09-30 ~ 2026-10-02 · 12 条相关
一手来源
- 新论文提出 Context Language Models:模型自管上下文,精度升 11.4% 算力省 21.5% — RulinShao ·
- Meta 提出 CLM:模型自管上下文,省 21.5% 算力还涨 11.4% 准确率 — meta ·
- CLM 作者补致谢:RL 用 Polar 基建,数据源自 OpenResearcher 离线管线 — RulinShao ·
- 【源头】Meta 提出 CLM:模型自管上下文,省 21.5% 算力还涨 11.4% 准确率 — meta · 2026-09-30
- Meta 提出上下文语言模型 CLM:同算力下 Agent 任务分数提升 65% — arankomatsuzaki · 2026-09-30
- 新研究 CLM:让语言模型自主管理上下文,胜过人工设计 SOTA — RulinShao · 2026-09-30
- Context Language Models 论文:让模型原生管理可编辑上下文,算力降 35% — RulinShao · 2026-09-30
- 网传 Meta 开源 Context Language Models:模型自管上下文,省 59% 算力 — MikePFrank · 2026-10-01
- 实测者称自管上下文方法击败全部 SOTA 上下文方案 — khademinori · 2026-10-01
- Meta 新论文:让模型用 Bash 自己编辑上下文,准确率提升 11.4% — omarsar0 · 2026-10-02
- 【源头】CLM 作者补致谢:RL 用 Polar 基建,数据源自 OpenResearcher 离线管线 — RulinShao · 2026-10-02
- 「上下文语言模型」设想:让 agent 自己编辑文件管理上下文,但缓存命中率是硬伤 — mathemagic1an · 2026-10-02
另有 3 条近重复转述:arankomatsuzaki · RulinShao · rohanpaul_ai