LongHarness Bench: Stress-Testing Language Model Harnesses for Long-Context Reasoning
Quang Hieu Pham, Thuy Duong Nguyen, Jocelyn Qiaochu Chen, Xi Ye
cs.CL
2026-09-30
阿尔伯塔大学提出 LongHarness，四项需策略检索的长上下文任务。GPT-5.6-sol 配 mini-swe-agent 宏观准确率 68%；同模型下备忘录任务 RLM 成本是 mini-swe-agent 的 12.4 倍且更不准。
LM harness 是套在基座模型外的控制层，靠搜索、切上下文、工具调用和多次模型请求，把长上下文任务做起来。现有评测分不开这些套件。GPT-5.6-sol 在 LongBench-v2 的 90K-128K 子集上，五种配置准确率全挤在 60%-68%；OOLONG-Synth 上所有 agentic harness 都比直接读更好，70%-86% 对直接推理的 64%。准确率饱和，成本也看不出策略差异。能靠一次检索或分段独立处理做完的题，测不出套件会不会随推理改策略。
Alberta 与 Amii 的 LongHarness 同时打有效性和效率。四个任务都要求词法搜索和语义匹配混用，并且中间发现会改变下一步该看哪。上下文里大量语义相关的干扰项，每一步真正有用的只是一小撮。穷举和选择性搜索都能答对，算力差一截。
上下文大约 80K-128K token，每条实例累计输入加输出 3M token 预算。答案是精确集合或精确值，对不上算错。任务先在私有结构上算金标，再渲染成打乱的公开文本，并植入受控干扰项，所以穷举和选择性搜索对应不同成本。
对照配置是直接长上下文推理，外加 RLM、OpenCode、mini-swe-agent、ReAct。ReAct 用 BAAI/bge-m3 做语义检索。模型是 GPT-5.6-sol、Gemini 3.8 Flash、GLM-5.3、Qwen3.8-27B、Kimi-K2.6。GPT-5.6-sol、Gemini 3.8 Flash、GLM-5.3 用高推理力度，Qwen3.8-27B 用中等，Kimi-K2.6 开推理模式。
最好配置是 GPT-5.6-sol 配 mini-swe-agent，四项宏观平均 68%，每条 $0.816。同一模型直接推理已经 60.0%、$0.822，套件只再抬 8 个点。分任务天花板差很大：备忘录最高 100%，程序配对最高 52%。没有哪个套件四项全赢。
| 配置 | 宏观准确率 | 每条成本 |
| GPT-5.6-sol + mini-swe-agent | 68.0% | $0.816 |
| GPT-5.6-sol 直接推理 | 60.0% | $0.822 |
| GPT-5.6-sol + RLM | 53.5% | $4.30 |
| GLM-5.3 + mini-swe-agent | 42.5% | $3.00 |
| Qwen3.8-27B + OpenCode | 38.5% | $7.06 |
| Kimi-K2.6 最好 | 1.5% | $5.65 |
同一模型、相近准确率，成本可以差一个数量级。备忘录任务上，GPT-5.6-sol 的 mini-swe-agent 做到 100%、$0.583，做法是把事实收成表再用本地脚本组合核验；RLM 做到 92%、$7.23，贵 12.4 倍。程序追踪上直接推理已经 94%、$0.648，只用 0.121M 输入 token；OpenCode 提到 96%，输入涨到 1.29M，成本 $1.37。
套件也会把强模型弄差。GPT-5.6-sol 上 OpenCode 把备忘录从 44% 打到 10%，程序配对从 44% 打到 0%；RLM 把程序配对打到 2%，还花 $7.86。弱模型从套件里捞得更多：Qwen3.8-27B 直接推理 0%，OpenCode 拉到 38.5%，程序追踪一项从 0% 到 92%，成本约 23.66 倍；GLM-5.3 从 9.5% 到 42.5%。Kimi-K2.6 所有配置不超过 1.5%。
现有榜把这件事衬得更清楚。同一 GPT-5.6-sol，LongBench-v2 子集五种配置全在 60%-68%；OOLONG-Synth 上套件一律加分，mini-swe-agent 到 86%，每条只要 $0.217。LongHarness 上每个套件对 GPT 都有加分任务和减分任务。
评的是模型加套件的组合。多花推理 token 既不必要也不充分。mini-swe-agent 在备忘录上赢，是因为它把全局关系建成可复用的表，省掉反复读包。ReAct 的 embedding 检索只在程序配对上帮到忙，从 44% 到 52%，因为检索到的条目本身就是候选；备忘录要跨三条拼证据链，相似度检索只拿到 6%。
128K 级长文档上跑 agent，别默认套一个 coding harness 就比直接塞上下文更准。对 GPT-5.6-sol，直接推理在约束求解 58%、程序追踪 94%，已经很强，乱套 harness 会又贵又错。
这是渐进但用得上的评测贡献：任务合成、确定性答案、成本和准确率画在同一张图上。它没有提出新的套件算法。
论文没有单独的 Limitations 节。正文里能钉住的缺口有几处。
程序配对的金标是「在原题测试上一起通过」，不是对所有合法输入的形式化等价；追踪任务同样只在显式 input contract 上做行为验证。合成世界很整齐：恰好 5 人、恰好 15 条矛盾备忘录、恰好 5 对程序，真实文档不会这样。LongBench-v2 对照是 50 条 90K-128K、偏 hard 的子集，作者写明不代表全榜分布。成本按公开 API 单价折算，自托管 Qwen 用等价费率。Kimi-K2.6 全面崩盘，几乎没分析是模型能力、套件适配还是预算耗尽。主文也没写死每项任务的题量，Table 2 的百分比步进看起来像 50 题一档。