字节论文:LLM 能自建 Agent Harness,但换模型就掉分
rohanpaul_ai · x · 2026-09-04
字节跳动新论文《HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness?》让模型从近乎空白的运行时开始,自行搭建执行循环、工具、上下文管理、恢复与验证机制。关键发现:
- 生成的 harness 已可用,但领域间表现极不均衡:Opus 4.8 自评写作 84.6 分(高于所选外部参考的 83.7),BrowseComp 仅 52.4 对外部参考的 92.2。
- 可移植性差:同一套 Opus 代码 harness,Opus 执行时 SWE-Pro 得 69.3,换成 Gemini 3.1 Pro 执行只剩 33.0。
结论:harness 设计会与单一模型共适应,难以成为干净可复用的软件层。论文:arxiv.org/abs/2609.01437。
所属事件:字节 Seed 推出 HarnessDev：评估 LLM 自建并进化 Agent 执行框架(5 条相关)→
「编程与Agent」频道最新
- OpenAI Live API 实用技巧：后端 sideband 连接免代理管住语音会话 — pbbakkum · 2026-10-21
- OpenAI 多语言编程基准 MultiLangBench：PHP 拿下单项最高 91.3% — ricklamers · 2026-10-21
- UserProof 让 Claude Code 直播观看用户会话录像并给出转化优化建议 — doooyle · 2026-10-21
- dphnAI 分布式推理网络日供 320 亿 DeepSeek tokens,约为 Venice 日量 6% — Ronangmi · 2026-10-21
- Superconductor 推出 agent 选择器:一键检索 8 款编码 agent 并行对比 — sergeykarayev · 2026-10-21
- Metaphor 云端编码 Agent 称比 Claude Code 少用 25% token — Scobleizer · 2026-10-21