让模型像编辑文件一样改自己的上下文:CLM 论文显示长任务与算力双收益

Combinatorilliance · reddit · 2026-10-06

Reddit 用户推荐 arXiv 新论文 Context Language Models (CLM),核心思路极简:给模型把自身上下文当作文件随时编辑的能力,即可同时改善长任务表现、上下文管理和推理效率。

收益:

代价:缓存优化目前仅 SGLang 支持;prompt injection(含幻觉指令)更难被遗忘,安全风险上升;需要 harness 改造。

实测:在 qwen3.6 9b、qwen3.8 27b 和 claude sonnet 4.6 上验证——仅靠系统提示词加编辑工具,小模型效率略降,大模型持平或提升;再经 RL 训练后性能大幅提升。

上手:作者提供了 pi 插件 pi-clm,关键设置:启用 One tool per turn、开启 Size trailer(每次工具结果后附上下文占用,否则模型不爱主动改上下文)。

所属事件:Context Language Models:让模型像编辑文件一样自管上下文(3 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →