「上下文语言模型」设想:让 agent 自己编辑文件管理上下文,但缓存命中率是硬伤
mathemagic1an · x · 2026-10-02
mathemagic1an 讨论一种与 RLM 类似的思路——「Context Language Models」:agent 通过编辑一个文件来主动管理自己的上下文,走的是「苦涩的教训」路线,即尽量精简 harness、把更多工作交给模型本身。
核心障碍在推理效率:如果频繁修改作为缓存前缀的内容,提示缓存(prefill cache)命中率会极差。以今天的 Anthropic API 等服务接口,这种做法无法高效实现。作者认为这原则上可解,但很可能需要改动 transformer 架构,并肯定需要改动推理服务基础设施。
所属事件:Meta 发布上下文语言模型 CLM:模型用 Bash 自管上下文(12 条相关)→
「研究」频道最新
- 谁来评判 LLM 评审?新论文提出多语言探针检验评测指标 — kalyan_kpl · 2026-11-16
- VibePrevisBench:242 项任务评测编码智能体的 Blender 4D 场景生成 — Kling-Keye · 2026-11-16
- V-JEPA-LM:反事实监督让语言模型读懂视频动态,4B 级准确率 61.1→72.1 — Keuntae Kim · 2026-11-16
- 73 项水下图像质量指标对照人类偏好:没有一个靠谱,最好 kappa 仅 0.23 — DelhiTechnologicalUniversity · 2026-11-16
- 新论文为 signature kernel 岭回归给出有限样本与一致性保证 — chaumian · 2026-11-16
- Claude 自述「被指出错误瞬间」的意识体验,repligate 提议验证 — Sauers_ · 2026-11-16