字节 Seed 推出 HarnessDev：评估 LLM 自建并进化 Agent 执行框架
字节跳动 Seed 团队发布论文《HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness?》并推出同名基准，提出评估自进化 agent 的新范式：不再按模型完成的任务打分，而是评估智能体能否构建并迭代改进自己的执行基础设施（harness）。结果显示模型自建 harness 能力参差不齐、跨模型迁移性差，但生成式 harness 在部分任务上具有潜力，值得关注。
已确认
- 评测设置：让模型从近乎空白或一个弱但可运行的运行时出发，自行搭建执行循环、工具、上下文管理、恢复与验证机制（@rohanpaulai、@omarsar0 转述）
- 基准覆盖 6 个创建 harness 的 LLM、4 个领域、5 项下游基准测试（@akhaliq）
- 核心发现：模型自建 harness 能力参差不齐、效率差异大；换用其他模型执行时掉分，跨模型迁移性差（@rohanpaulai）
- 生成式 harness 在代码、搜索、研究类任务上显示潜力，但尚未达到人类手写 harness 的水平（@akhaliq）
为什么重要
当前 agent 评测多关注任务最终产出，而 harness（执行基础设施）本身对下游性能影响巨大。HarnessDev 把「模型能否改进自己的工具与运行时」变成可量化的研究对象，为自进化 agent 研究提供了新方向；其揭示的迁移性瓶颈也提示，自建 harness 目前仍高度依赖特定模型。
2026-09-02 ~ 2026-09-04 · 5 条相关
一手来源
- 字节 Seed 发布 HarnessDev:让 LLM 自己造并进化 Agent 执行框架 — ByteDance-Seed ·
- HarnessDev 基准:LLM 尚难自建媲美人类的 Agent Harness — _akhaliq ·
- 字节论文:LLM 能自建 Agent Harness,但换模型就掉分 — rohanpaul_ai ·
- 字节 Seed 论文 HarnessDev：给自建 harness 的智能体打分而非只看任务 — omarsar0 · 2026-09-02
- 【源头】字节 Seed 发布 HarnessDev:让 LLM 自己造并进化 Agent 执行框架 — ByteDance-Seed · 2026-09-03
- 【源头】HarnessDev 基准:LLM 尚难自建媲美人类的 Agent Harness — _akhaliq · 2026-09-04
- 【源头】字节论文:LLM 能自建 Agent Harness,但换模型就掉分 — rohanpaul_ai · 2026-09-04
另有 1 条近重复转述:_akhaliq