Hamel Husain 看了 48 小时公开 benchmark trace:质量差到令人难以置信
HamelHusain · x · 2026-10-21
Hamel Husain 连续看了 48 小时公开 benchmark trace 后直言基准质量「差到跪地」。主要问题:
- 评分器(grader)配置不正确
- harness 和环境写得潦草,没在测你以为在测的东西——agent 做对了仍被扣分
- 半指定环境里跑的蠢测试,工具调用出错也不返回反馈或报错,agent 根本无法自我纠正
- 直接错误的断言
- 没给 agent 合理的工具,或没用对 API
他同时点名 @xeophon 是投入时间最多的人(数月,而他本人周一才开始)。这条线程对 agent eval 工程是重要一手观察:很多公开基准的分低可能是基准自身的 bug 而非模型不行。
「编程与Agent」频道最新
- 论文：决策模型控制器让 agent 成本升 19%，成功率却零提升 — Naman Vats · 2026-10-21
- 腾讯混元 RiseHarness：不改模型权重，让终端 agent 自进化 — Tencent-Hunyuan · 2026-10-21
- 论文：agent 记忆越多反而越差，Anti-Persistence 用后即弃更省钱 — IUB · 2026-10-21
- KOL 晒 agent 日常：我的子 agent 正在骂子 agent 不好好干活 — Kyrannio · 2026-10-21
- 20 个 GitHub 仓库让 Grok Bot 每任务 token 从 10 万降到 1.25 万 — alexcovo_eth · 2026-10-21
- 为痛玩《GTA 6》整年搭自动化系统，开发者拒绝赶场技术会议 — rudrank · 2026-10-21