「上下文语言模型」设想:让 agent 自己编辑文件管理上下文,但缓存命中率是硬伤

mathemagic1an · x · 2026-10-02

mathemagic1an 讨论一种与 RLM 类似的思路——「Context Language Models」:agent 通过编辑一个文件来主动管理自己的上下文,走的是「苦涩的教训」路线,即尽量精简 harness、把更多工作交给模型本身。

核心障碍在推理效率:如果频繁修改作为缓存前缀的内容,提示缓存(prefill cache)命中率会极差。以今天的 Anthropic API 等服务接口,这种做法无法高效实现。作者认为这原则上可解,但很可能需要改动 transformer 架构,并肯定需要改动推理服务基础设施。

所属事件:Meta 发布上下文语言模型 CLM:模型用 Bash 自管上下文(12 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →