清华微软论文:HarnessMM 让 Agent 省 87.93% token 且成功率反升
rohanpaul_ai · x · 2026-11-02
清华与微软的论文《HarnessMM: Recursive Self-Improvement for Harness Token Efficiency》提出减少 agent harness 中重复 LLM 调用的方法。
问题:Codex、DeepSeek Harness 这类 agent 工具在每次工具结果返回后都会再调一次 LLM 来决定下一步,但很多时候这一步早已确定(如代码编译完成后必然要跑测试),这些调用纯属浪费。
方法:HarnessMM 让模型提前写出未来的命令及其精确参数,并为每条命令附上通过条件(如构建成功)。当工具结果满足条件时,agent 直接执行命令、跳过 LLM 调用;遇到新的语义决策、证据不足或选择器弃权时再唤起原模型。
结果(98 个 HumanEval 任务):
- Codex 成功率保持 90.82%,每任务 token 从 66.72 降到 47.02(省 29.54%)
- DeepSeek Harness 成功率从 71.43% 升至 85.71%,每任务 token 从 96.28 降到 11.62(省 87.93%)
- MBPP 消融显示比单用图省 26.91% 成本、比保留回调省 19.52%
实践启发:如果你的 agent 有「写码→构建→测试」这类可预测的链条,可以让模型一次性规划好后续步骤并配通过校验,而不是每步都重新问 LLM。
所属事件:清华微软 HarnessMM:Agent 省 87.93% token 成功率反升(3 条相关)→
「编程与Agent」频道最新
- 微软 MemSteer 把无标注用户历史变成监督信号,优化 Agent 记忆设计 — MicrosoftResearch · 2026-11-02
- 博主「开除自己」:AI Agent 独立运营 Instagram 数周零手写 — heyshrutimishra · 2026-11-02
- Sourcegraph:AI 写码快过人工审查,未审代码正推高事故率 — AI Engineer · 2026-11-02
- GitHub 发布 Agent HQ:Anthropic、OpenAI 等编码 agent 全部入驻 — emmanuelvivier · 2026-11-02
- DeepSeek 开源编码智能体 Super-Agent,力求最少人工介入 — emmanuelvivier · 2026-11-02
- JPMorgan、Schwab 与 Amazon 封禁 AI 购物代理,Meta Muse 被点名拦截 — emmanuelvivier · 2026-11-02