DISCO: Distributed Long Context Scaling with Grounding-Reasoning Disaggregation
Guanzheng Chen, Viet Dac Lai, Subhojyoti Mukherjee, Branislav Kveton, Seunghyun Yoon, Franck Dernoncourt, Qizhe Xie, Trung Bui
cs.CL
2026-09-27
DISCO拆开定位与推理：1M上RULER-QA仍78.4%，LongBench v2最多比满上下文高9.8分。
百万 token 的窗口已经写进规格书，有效推理长度短得多。输入变长，答案质量往下掉，这个现象叫 context rot（上下文腐烂）。RULER 一类基准反复量过：名义窗口还在，散落的针找不到，多跳推理更先崩。
两段活的工作量不对称。contextual grounding（上下文定位）是从原文里捞相关事实，搜索负担随长度涨。reasoning（推理）是把事实拼成答案，复杂度通常不随草堆变大。单体 Transformer 把两段活绑在同一组 attention 里，定位把表征带宽吃光，留给多跳的残差不够。
现有绕法各卡一边。RAG 和 agentic memory 把检索拆出去了，grounding 交给 embedding、BM25 这类浅匹配，隐式相关的证据经常漏。Chain-of-Agents 用 LLM 级理解串行扫每一块，延迟线性涨，跨步状态也脆。LLM×MapReduce 能并行扫，Worker 仍要扛完整问题，最后只聚合一次。DISCO 要同时做到深、可并行、和推理结构上隔离。
DISCO 把长上下文当成分布式数据，类比 Apache Spark：单个 LLM 的有效窗口像单机内存，超出就分片，不去造更大的节点。
上下文切成 K 个不相交 shard，每片 4096 token，交给一队 Worker。默认 Worker 是 Qwen3-4B-Instruct-2507，只做局部定位，看不到全局。中央 Driver 用更强的推理模型（实验里是 Qwen3-8B/14B 或 Gemini-3-Pro-Preview），不读原始长文本，只看 Worker 交上来的证据。
Driver 把用户问题编成一张 DAG（有向无环图），节点分两类：
最优图事先不知道。Driver 按规划、执行、评估循环，最多 10 轮；证据不够就按缺口重画 DAG。上下文变长就加 Map，推理变难就加 Wide。
中间 DAG 没有标准答案，Driver 用 GRPO 做强化学习。一条轨迹包含多轮规划和最终回答，奖励三项：最终对错 Racc（0/1）；证据是否撑得住答案 Revd（0/1，Qwen3-235B-A22B 当 judge，惩罚碰巧对但证据不够的幻觉）；DAG 格式是否合法 Rfmt（-1/0）。终端奖励回传到每一步规划。训练数据是 MuSiQue 经维基页面递归展开得到的 4.5k 条，上下文 16K–512K，训 2 个 epoch，学习率 1e-6。
对照包括满上下文直读、Qwen3-Embedding-4B 的 RAG（top-16 个 256 token 块）、Chain-of-Agents、LLM×MapReduce、Recursive LM。开源模型窗口一律用 YaRN 扩到 128K。
RULER-QA 上，Qwen3-8B 的 DISCO 在 1M token 仍有 78.4% 准确率；同设置 RAG 掉到 10.9%。满上下文基线从 256K 起就是空缺，跑不动。可扩展基线里最强的是 LLM×MapReduce，8B 在 1M 上 72.4%（256K/512K/1M 为 75.3/73.2/72.4），DISCO 高出 6 分。从 256K 到 1M，DISCO 几乎走平。这是腐烂被压住的主要证据。
LongBench v2 的 Long 子集（>128K）上，差距更像会不会规划：
| 方法 | Qwen3-8B Long | Qwen3-14B Long |
| Full Long Context | 32.4 | 38.9 |
| LLM×MapReduce | 未单列 | 33.7 |
| DISCO | 36.1 | 48.7 |
| DISCO (RL) | 39.8 | 50.9 |
14B 的 DISCO 比满上下文高 9.8 分，比 MapReduce 高 15.0 分。Medium（32K–128K）上 14B DISCO 是 41.8，满上下文 42.3，没赢。增益集中在更长的那一档。8B 满上下文 Medium/Long/Avg 为 28.8/32.4/30.6，DISCO 为 34.4/36.1。
Thinking Mode 在满上下文里只加 0.9（8B）和 5.6（14B）分，思考预算耗在噪声里。DISCO 把同一开关放到 +5.5 和 +13.5：证据已经蒸过，Driver 的思考花在推理上。
Worker 从 4B 加到 14B，准确率 50.9% 到 53.8%，轮数 3.96 到 3.02，延迟 415s 对 432s。Driver 从 8B 加到 14B，Long 从 39.8% 到 50.9%。该加的是规划模型。
Gemini-3-Pro 当 Driver 评 LongBench v2 Long：71.3% 对满上下文 72.2%，费用 126.7 美元降到 20.4 美元，约 6.2 倍。8×H100 上 4 卡给 14B Driver、4 卡给 4B Worker，延迟随长度接近走平；串行 CoA 和单模型扫全文线性往上爬。
奖励消融（8B，LongBench v2）：完整奖励 39.8%、381 秒；去掉证据奖励 36.3%、432 秒；去掉格式奖励 34.4%、499 秒，非法 DAG 触发重试。
这是推理期系统，不改底层权重也能套。适合文档远超有效窗口、问题带多跳、能接受多模型调度延迟的场景：长报告问答、多文件检索、书籍级 QA。4B 扫、14B 想，把读的成本和想的成本拆开，贵模型不用把百万 token 过一遍 attention。
对已经在用 MapReduce 式扫文档的人，这是渐进改进。RULER 这种找针题只多 6 分；LongBench 这种要规划的题才拉开差距，Thinking Mode 也终于有地方花。RL 调 Driver 值得做，训练数据是合成维基膨胀，迁到真实日志、代码仓库之前不要默认同一组数字。
381 到 432 秒的端到端延迟说明它更接近批处理，不接近交互。
论文没有单独的 Limitations 节，结论写「有效消除 context rot」，表述偏满。RULER-QA 走平，这个数字站得住；LongBench Medium 上 14B DISCO 是 41.8，满上下文 42.3。被压住的是超长档，不是所有长度。
Driver 不读原文。查询若需要全文共现或跨 shard 模式、又没拆成实体查找，Worker 交不上来，Driver 补不了。分片固定 4096 token，跨边界证据没有针对性实验。
训练是 MuSiQue 加维基递归展开 4.5k 条，像把实体针埋进维基长文，和合同、代码、对话日志不是同一类噪声。RL 增益主要落在 LongBench；1M 上 78.4% 来自未做 RL 的 DISCO。
和 Gemini-3-Pro-Preview 打平，是 Gemini 当 Driver 包 DISCO（71.3% 对满上下文 72.2%），不是 Qwen3-14B 追上 Gemini。Recursive LM 在 8B/14B 掉到个位数；论文写过 RLM 要数千亿参数加写代码能力，这个对照偏弱。