Meta 等团队提出 Context Language Model,让模型自管上下文省 21% 算力
armand_ruiz · x · 2026-10-06
arXiv 论文《Context Language Models》由 Rulin Shao、Luke Zettlemoyer、Pang Wei Koh 等 13 人(含 Meta Superintelligence Labs 成员)发布,提出让语言模型原生管理自己的上下文。
核心思路:
- 把上下文当作一个文件,允许模型对其进行任意更新,由模型自己学会保留什么最重要
- 天然扩展到多智能体系统:多个 agent 的上下文以文件形式共存
关键结果:
- 零样本构建即超过 SOTA 上下文管理策略:BrowseComp-Plus 准确率高 11.4% 且 FLOPs 省 21.5%;12 小时 EdgeBench 得分高 5%、FLOPs 省 59%;24 小时多仓库 agent 集群任务在同等算力下提升多 65%
- 通过标准 skill 优化循环进化出的自然语言指令可引导 CLM,保留集准确率最高提升 35.9 分
- 在线 RL 方法使 Qwen3.5-9B 在 BrowseComp-Plus 上提升 47.6%,FLOPs 再省 12%
- 配套 Suffix Cache Reuse 服务端优化,较标准 SGLang 再省 35% 服务端算力
作者称这把上下文管理从外部 harness 移入模型内在行为,同时支持 in-context 与参数化的上下文管理学习。
所属事件:Meta等团队提出Context LM让模型自管上下文省21%算力(2 条相关)→
「编程与Agent」频道最新
- 同一个 agent 任务：Gemini Flash 跑近千步烧 $14 失败，Pro 85 步仅 $1 成功 — XIFAQ · 2026-10-06
- 博主称每月爬取与研究 API 花费是 AI 模型的 5 倍，数据层才是壁垒 — EXM7777 · 2026-10-06
- Interfaze 开源 MoA 模型：单张 80GB GPU 跑 OCR、语音转写与 GUI 定位 — charles_irl · 2026-10-06
- 十人电商品牌全员用 AI 智能体:15 周落地 90 项改进,年省 1500 小时,还做起咨询 — jacob_posel · 2026-10-06
- 开源自托管 agent 平台 Eidon：Docker 一键部署多智能体团队 — Quack66 · 2026-10-06
- 让模型像编辑文件一样改自己的上下文：CLM 论文显示长任务与算力双收益 — Combinatorilliance · 2026-10-06