Grok Build 上 HF Harness 榜单:拿下四项前三,却栽在纯文本模型上

TheZachMueller · x · 2026-11-18

Joel Niklaus 把 xAI 的编码 agent Grok Build 加入 Hugging Face Harness Leaderboard 测试:同一模型、同样的 198 个编码任务(Terminal-Bench 2.1 与 DeepSWE)、各三次尝试,只换 harness。结果在 GLM-5.3-Flash 和 DeepSeek-V4.1-Flash 上(低/高推理强度),Grok Build 分别取得第 3、第 1、第 2、第 1 名,是唯一在全部四项都进前三的 harness——但差距很小,每项都与 6-7 个对手统计上打平。而在纯文本模型 Ripple-65B-Preview 上暴露出问题:Grok Build 的文件工具声称「你能把图像文件当图像看」,模型信以为真并发送图像,服务器拒绝后 Grok Build 直接终止尝试,这种情况发生了 38 次(截断处未给出总数),导致排名受损。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →