不改模型改代码:OO-Harness 让 agent 商业任务从 61.6% 升至 77.4%
alex_verem · x · 2026-10-24
Google Cloud AI Research 与伊利诺伊大学的论文(arXiv:2610.28380)用面向对象设计演化 agent harness,不改模型就带来接近 16 分的提升。
核心思路
- harness 是模型外围代码,决定 prompt、可用工具和任务完成判定
- 让 AI(用 Claude Opus 4.8)基于执行记录自动写出专门化 harness,新 harness 继承基类只改特定任务需要的部分
- router 读取任务和首次尝试结果选择 harness;134/300 个任务上保持原配置不动
关键数据
- 商业工作流:61.62% → 77.41%,完全解决 25.44% → 37.22%
- 办公文件任务:25.45% → 39.48%
- 未见过的应用上自动回退基础 harness,保持 59.18%,对比方法强行套用掉到 44.90%
- 搜索 29 小时完成,旧方法 109 小时
反直觉:商业工作流上跑 5 次取最优只得 60.24%,低于单次——多试并不总是更好。
结论:agent 持续失败时,先检查外围代码再考虑买更大的模型。
所属事件:Google 论文：只改外围代码让 agent 提升近 16 分(2 条相关)→
「编程与Agent」频道最新
- mlx-decision：Mac 上本地跑决策模型，比 PyTorch 快 6 倍 — armbues · 2026-10-25
- 创业团队如何在多个 agent 间共享记忆？ — belhelha · 2026-10-25
- KNOWS 基准实测：最强 computer-use agent 完整成功率仅 3.6% — anmarasovic · 2026-10-25
- 开发者给 Grok 接入热成像和全程摄像头，让 AI 实时监测硬件翻车 — Baconbrix · 2026-10-25
- 用 Claude Code 给 2006 年老游戏做出分屏联机 Mod — RecordingTechnical86 · 2026-10-25
- 开发者观察:AI 能写出好软件,如今终于又快又好 — sull · 2026-10-25