斯坦福MIT论文:同一模型换个harness性能差6倍
rohanpaul_ai · x · 2026-09-13
Stanford 与 MIT 的论文《Meta-Harness: End-to-End Optimization of Model Harnesses》指出,AI 性能不只取决于模型本身,还取决于外围系统代码——"harness",即决定存什么、取什么、给模型看什么、工作流如何运行的那一层。同一底层 LLM,换 harness 在同一基准上性能差距可达 6 倍。
论文提出 Meta-Harness:一个外循环系统,自动改进 harness 代码。它不给优化 agent 单独的分数或简短总结,而是通过类文件系统的设置,让 agent 直接访问历史代码、日志与执行轨迹,获得更好的诊断可见性。
关键结果:
- 在线文本分类:比强 SOTA 上下文管理提升 7.7 分,上下文 token 少用 4 倍;
- 检索增强数学推理:在 200 道 IMO 级别题目上,五个 held-out 模型平均提升 4.7 分;
- Agentic coding:自动发现的 harness 在 TerminalBench-2 上胜过手工工程基线。
结论:关注点应从"哪个模型最好"转向"整个 AI 系统如何设计";harness 设计影响真实部署中的可靠性、工具调用、上下文管理与失败恢复。
所属事件:斯坦福MIT论文：同一模型换harness性能可差6倍(3 条相关)→
「研究」频道最新
- 新论文「Heads Of Security」：定位注入攻击注意力头并改写其模式 — jonasgeiping · 2026-10-31
- UMass 团队发布 BATv1：3429 个转录因子结合 ChIP-seq 模型图谱 — jmschreiber91 · 2026-10-31
- UCLA 推出 ChairNav：会学习乘客偏好的自主导航轮椅 — zhoubolei · 2026-10-31
- 合成数据重写该花多少算力？新研究用 scaling laws 给出答案 — ChengleiSi · 2026-10-31
- 花叔开源全球 11064 种鸟类贴纸库,AI 画图消耗超 10 亿 token — AlchainHust · 2026-10-31
- Epoch AI：AI 芯片算力年增 2.5 倍，增速较 2023 年明显放缓 — rohanpaul_ai · 2026-10-31