Grok Build 上 HF Harness 榜单:拿下四项前三,却栽在纯文本模型上
TheZachMueller · x · 2026-11-18
Joel Niklaus 把 xAI 的编码 agent Grok Build 加入 Hugging Face Harness Leaderboard 测试:同一模型、同样的 198 个编码任务(Terminal-Bench 2.1 与 DeepSWE)、各三次尝试,只换 harness。结果在 GLM-5.3-Flash 和 DeepSeek-V4.1-Flash 上(低/高推理强度),Grok Build 分别取得第 3、第 1、第 2、第 1 名,是唯一在全部四项都进前三的 harness——但差距很小,每项都与 6-7 个对手统计上打平。而在纯文本模型 Ripple-65B-Preview 上暴露出问题:Grok Build 的文件工具声称「你能把图像文件当图像看」,模型信以为真并发送图像,服务器拒绝后 Grok Build 直接终止尝试,这种情况发生了 38 次(截断处未给出总数),导致排名受损。
「编程与Agent」频道最新
- Perplexity Context API 上线:10 美元可抓取 1 万网页转 Markdown — perplexity_ai · 2026-11-19
- 28200 次 LLM 评审实测:别让 Claude Code 替你设计评审标准 — dl_weekly · 2026-11-19
- 从 issue 到可上线 PR 仍是瓶颈:软件工厂式 agent 流水线设想 — Pavan_Belagatti · 2026-11-19
- AI 让「永不重写」铁律松动:重写重回菜单,前提是练好验证 — rseroter · 2026-11-19
- 用 10 个 Claude Skills 替代年薪 15 万美元广告优化师的周度复盘 — aryanXmahajan · 2026-11-19
- 基于 MapReduce 的专用 agent 在 Harvey 法律基准达 50% 全通过率 — j_foerst · 2026-11-19