HarnessDev 基准:LLM 尚难自建媲美人类的 Agent Harness
_akhaliq · x · 2026-09-04
新基准 HarnessDev 评估 LLM 能否创建并迭代改进影响下游性能的 agent harness。
- 覆盖 6 个创生 LLM、4 个领域、5 项基准测试
- 生成式 harness 有潜力,但在代码、搜索、研究类任务上仍落后于成熟的人工工程系统
- 进化带来的提升往往不稳定,且依赖运行时所用模型
项目页:self-developing-agents.github.io
所属事件:字节 Seed 推出 HarnessDev：评估 LLM 自建并进化 Agent 执行框架(5 条相关)→
「编程与Agent」频道最新
- 客服拒与 AI 对话，用户的 agent 隐瞒身份继续维权 Xfinity — MoonL88537 · 2026-10-21
- Every.to《Codex 是如何诞生的》公开采访原文供读者用 agent 核查 — every · 2026-10-21
- 一条提示词直出 Blender 素材：Voyager+Opus 5.5 全程零配置 — ravisparikh · 2026-10-21
- 航空业的数据溯源思路：智能体如何在图结构数据上拼证据 — colinmcnamara · 2026-10-21
- 让 Claude Code 独立执导 MV：6.5 小时、765M 输入 tokens 完成 — colinmcnamara · 2026-10-21
- 独立开发者用 YAML 流水线+Spot GPU+vLLM 把 AI 账单大幅砍掉 — cmm324 · 2026-10-21