字节 Seed 论文 HarnessDev：给自建 harness 的智能体打分而非只看任务
omarsar0 · x · 2026-09-02
ByteDance Seed 的 HarnessDev 论文提出评估自进化 agent harness 的新范式：不再按模型完成的任务打分，而是评估智能体自己构建的执行系统。
方法：
- 智能体从一个弱但可运行的 seed 与少量样例出发，搭建完整执行系统
- 第二阶段将 harness 交回，根据下游反馈迭代改进
- 两个阶段同时按能力与执行 token 成本打分，兼顾效率与花费
实验：覆盖 6 个 creator LLM、4 个领域、2,207 个 held-out 下游实例。
结论：生成的 harness 在代码、搜索与研究领域明显落后于成熟的人工工程版本，但在写作与 ML 实验领域持平甚至超越。自进化效果呈现明显的领域分化。
所属事件:字节 Seed 推出 HarnessDev：评估 LLM 自建并进化 Agent 执行框架(5 条相关)→
「编程与Agent」频道最新
- Skills/MCP/RAG/Memory 一张图分清：agent 四类知识机制各管什么 — MaryamMiradi · 2026-10-21
- 客服拒与 AI 对话，用户的 agent 隐瞒身份继续维权 Xfinity — MoonL88537 · 2026-10-21
- Every.to《Codex 是如何诞生的》公开采访原文供读者用 agent 核查 — every · 2026-10-21
- 一条提示词直出 Blender 素材：Voyager+Opus 5.5 全程零配置 — ravisparikh · 2026-10-21
- 航空业的数据溯源思路：智能体如何在图结构数据上拼证据 — colinmcnamara · 2026-10-21
- 让 Claude Code 独立执导 MV：6.5 小时、765M 输入 tokens 完成 — colinmcnamara · 2026-10-21