8K 上下文小模型靠自我调用工具追平 GPT-5.4 百万级上下文

xennygrimmato_ · x · 2026-10-06

Bryce Sandlund 发布新论文《Trained Agentic Context Management》：不训练原生长上下文，也不搭建复杂长上下文 harness，只给模型两个最简单的工具——用任意 prompt 调用自身、读取输入上下文中任意区间的 token——并在多样化合成数据上微调 Qwen3.6-35B-A3B。结果：仅 8,000 token 上下文的小模型，在文档超过 40K token 的 OOLONG-synth 基准上追平了拥有 1M token 上下文的 GPT-5.4。无需 REPL 环境、无需上下文压缩。论文含代码，共 17 页，正在评审中。