LongCapHarness: Capability-Guided Auto-Harnessing for Long-Context Reasoning
Tao Zhang, Yuhang He
cs.CL
2026-11-07
不合成数据也不后训练,GPT-5.6-Sol 在开发集上把长上下文拆成可执行原语。8K 窗口的 Llama3-8B 在 HELMET 与 RULER 汇总均分从 15.1 升到 79.3,高于 NExtLong,开发约 541 美元。
拉长上下文的常见路线是合成长文本,再后训练。NExtLong 往序列里塞难负例,EntropyLong 按预测不确定性筛上下文,PolicyLong 让数据跟着训练中的模型刷新。两套配方分开试,账在 H100 上:NExtLong 约 960 卡时、估 3696 美元,PolicyLong 按 FLOP 折算约 1859 美元。
这类题很少靠一次前向读完整篇。模型要认出题型、找到证据、留下中间结果,再拼成前后一致的答案。步骤藏在同一次调用里,边读边协调,就容易丢。
微软亚洲研究院的 LongCapHarness 不合成数据,也不改权重。没做过长上下文预训练的模型,配上解题程序,仍可以在长基准上拿高分。程序把总长度和单次上下文预算拆开,每步只喂用得上的片段。
能力(capability)指与某道具体问答无关的变换,同一变换服务多道题。可执行层叫能力骨架(capability harness):代码、提示模板和执行规则。骨架拆成能力原语(capability primitive),每条原语的输入输出固定。
以重排序为例。相关性判断读查询和段落,输出分数或偏好;排序收成名次。控制逻辑规定顺序和停止。能力状态(capability state)是跨题协议,规定新问题如何喂给原语、哪些中间量留下。单题的问题和中间结果每次清空,不算状态。
编写代理是 GPT-5.6-Sol,试跑用 Llama3-8B。循环叫 RSI:骨架答案对开发集参考答案,反复改到差距够小。
测试时 Llama3-8B 或 Qwen2.5-3B 只做选择:题面去对说明,载入代码和模板再执行。代码原语改上下文之外的记录;模型原语只拿模板、题面字段和本步段落。HELMET 与 RULER 的原语有关键词匹配、查找、关系追踪、状态跟踪、计数、排序、相关性判断、规则推断、分类、证据选择、证据整合。
开发集 2242 条,测试集 59826 条,题型都见过,题目不重叠。
表 1 的 Avg 把 HELMET(长上下文综合基准)的类别均分和 RULER(检索、追踪与计数一类合成任务)等权平均。执行时 Llama3-8B 仍是 8K 上下文,Qwen2.5-3B 是 32K;三个后训练基线都续到 128K。RRSI 是不按原语拆题的递归改进基线。
| 设置 | 均分 | 参照 |
| Llama3-8B 基座 | 15.14 | 8K |
| NExtLong | 70.15 | Llama,训练估 3696 美元 |
| RRSI | 39.67 | Llama,开发估 332 美元 |
| LongCapHarness | 79.32 | Llama,开发估 541 美元 |
| Qwen2.5-3B 基座 | 61.91 | 32K |
| PolicyLong | 64.10 | Qwen,训练估 1859 美元 |
| RRSI | 38.46 | Qwen |
| LongCapHarness | 78.73 | Qwen,骨架迁移 |
Llama 79.32,比基座高 64.18,比 NExtLong 高 9.17,比 RRSI 高 39.65。Qwen 78.73,比基座高 16.82,比 PolicyLong 高 14.63,比 RRSI 高 40.27。换执行模型后均分少 0.59。迁移时改了接口、分词器、证据预算和部署配置,代码规则不变。
64.18 由两块拼成。RULER 从 17.80 到 94.62,HELMET 类别均分从 12.48 到 64.01。相对 NExtLong,类别均分只高 5.21,RULER 高 13.12,汇总优势主要在 RULER。
代码能执行的题拉开差距。Recall 两边都是 100,Llama 比 RRSI 高 71.81,比 NExtLong 高 17.44,8K 到 128K 都保住。Qwen 的 RULER 94.28,比 PolicyLong 的 76.67 高 17.61。重排序 Llama 39.67,高于 NExtLong 的 31.47;Qwen 56.28,高于 RRSI 的 21.15。
语义题几乎持平。ICL 上 Llama 比 RRSI 高 0.40,Qwen 低 2.63。RAG 两边低于 RRSI,差 4.93 和 0.55。LongQA 上 Llama 36.84,高于 RRSI 的 31.65,低于 NExtLong 的 37.30;Qwen 26.45,低于 RRSI 的 27.55。
LongBench-v2 只报 Qwen。Medium(32K-128K)34.47,高于 PolicyLong 的 27.10;Long(128K-2M)27.85,低 3.65。
重排序的 RSI 只改实现。BM25 加排序均分 40.35;改成模型打分后 Llama 掉到 38.95,短输入升、长输入降。再改成比较加归并,Qwen 到 56.28,128K 单档高 26.75;Llama 只到 39.67。四组各 500 条,每个长度 100 条。换到 Qwen 后重排序升 16.61,LongQA 掉 10.39。
开发成本按 GPT-5.6-Sol 估价:LongCapHarness 8.141 亿输入 token、335 万输出 token,约 541 美元;RRSI 约 332 美元。541 不到 NExtLong 训练估价的 15%,也不到 PolicyLong 的 30%。推理时 Llama 输出 token 从约 8955 万降到 187 万,估价 8.23 对 8.30 美元,输入从 2.36 亿增到 4.08 亿。Qwen 推理从 29.39 增到 53.74 美元。
RRSI 忙着截断和分块,LongCapHarness 改的是解题步骤。
已有 8B 或 3B、又不想为长上下文续训时,这笔账算得过来。强模型把骨架写一次,小模型选库并执行。计数、查找、关系追踪、状态跟踪这些步骤规则清楚,8K 窗口就能处理 128K 输入。
证据要靠模型读懂时,领先会缩小。RAG、LongQA 和 LongBench-v2 超长子集就是这样。能写进代码的部分离开了模型,读懂文本的部分仍看执行模型。编写代理还换不得:Llama3-8B 或 Qwen2.5-3B 充当编写代理时,表现陡降。
开发集覆盖了每种被评题型,测的是新输入,题型本身见过。选骨架只看说明和题面是否相像,论文没给选错率。停机阈值由编写代理自定。RSI 全文只展开重排序一条,其他原语的轮次和退步没有报告。
Long 子集到约 2M token,Qwen 仍比 PolicyLong 低 3.65。找证据和整合在这里仍是语义步骤。
成本口径不同。训练是 H100 租金,PolicyLong 还假设每卡吞吐相同;开发是 API 标价。图 1 的均分是 79.97 和 77.91,表 1 是 79.32 和 78.73,论文没解释差异从哪来。EntropyLong 的 Llama 只给了 RULER 87.37,低于 LongCapHarness 的 94.62。