论文揭示：LLM 排行榜水分大，测试框架是关键
sven_ai · x · 2026-08-26
新论文《Stop Comparing LLM Agents Without Disclosing the Harness》指出，在长周期任务评测中，Agent 执行框架对性能的影响往往超过模型本身。作者通过控制变量实验（3 模型 x 3 Harness x SWE-bench）发现，更换 Harness 带来的方差是模型本身的 7.8 倍，且会导致排名反转。论文提出“约束约束论”，建议评测必须披露 Harness 规范。
所属事件:论文指出Agent排行榜不可信：测试框架影响远超模型本身(2 条相关)→
「研究」频道最新
- Halcyon：0.52B 参数省 18 倍算力超越 LlamaGen-XL/8 文生图基线 — JosephJacks_ · 2026-10-16
- GPT-6.1 审查 arXiv：6% 论文主定理有错，近两月降至 1.5% — nitarshan · 2026-10-16
- 研究：一个 just 之差就能改变 LLM 对话的走向 — StellaLisy · 2026-10-16
- SEAR 首次大规模对照研究：7 个前沿 LLM、330 项任务检验自进化机器人 — xiye_nlp · 2026-10-16
- Claude 助力连破椭圆曲线纪录后，EC Rank 挑战赛开放 156 个纪录位 — Jsevillamol · 2026-10-16
- 用超声替代胎儿 MRI，牛津团队做产前大脑 AI 建模 — AnnaCiaunica · 2026-10-16