Meta-Harness 论文:自动搜索 harness 代码,IMO 级数学提升 4.7 分
zainhas · x · 2026-09-14
arXiv 新论文 Meta-Harness(Chelsea Finn、Omar Khattab 等作者)提出用外循环系统自动优化 LLM 应用的 harness——即决定存取和呈现什么信息的代码,而非模型权重本身。系统用 agentic proposer 通过文件系统访问所有历史候选的源码、得分和执行轨迹来搜索新 harness。
结果:
- 在线文本分类上比 SOTA 上下文管理系统高 7.7 分,上下文 token 少 4 倍;
- 检索增强数学推理:单个发现的 harness 在 200 道 IMO 级题上,跨 5 个 held-out 模型平均提升 4.7 分;
- agentic coding 上超越 TerminalBench-2 最佳人工基线。
发帖人 zainhas 试用开源 agent 框架 goose 后感慨「开箱即用相当好」,并指出 harness 选择与优化里有大量 alpha。
所属事件:斯坦福MIT论文：同一模型换harness性能可差6倍(3 条相关)→
「编程与Agent」频道最新
- Agent 审计新思路：不看总结，让用户说出改了哪些文件跑过哪些测试 — ronbodkin · 2026-10-31
- 开发者：coding agent 通知只在等待审批时才值得推送 — petrusenko_max · 2026-10-31
- OpenTargets 非官方 MCP 服务器上线，可查询基因-药物-疾病关联 — modelcontextprotocol · 2026-10-31
- zero-core-budget 连接器发布，为 Agent 提供预算与 ROI 追踪 — modelcontextprotocol · 2026-10-31
- 设计师用 Claude 流式标注卫星数据，尝试让全世界可驾驶 — tomjohndesign · 2026-10-31
- Reddit 求编：你的编码 Agent 干过最糟的事是什么？ — Practical-Craft4967 · 2026-10-31