Stripe 开源编码 Agent 评测:14 个 Agent 平均仅 29% 任务全达标

emilygsands · x · 2026-11-20

Stripe 发布并开源了 Stripe evals 基准与评测框架。与只检查代码能否运行的标准编码基准不同,它检验代码是否用对当前 API、正确处理支付失败、webhook 等真实集成问题,覆盖支付、订阅、Connect 共 69 个场景,已评测 14 个编码 Agent。

关键结果:Agent 平均满足 78% 的标准,但只有 29% 的运行满足全部必备标准——接近完成但常常差最后一公里。基准与 harness 已开源。

所属事件:Stripe 开源编码 Agent 评测基准:全达标率仅 29%(5 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →