Stripe 开源编码 Agent 评测基准:全达标率仅 29%

Stripe 于 11 月 20 日发布并开源 Stripe evals 编码 Agent 评测基准与评测框架,并公布首批覆盖 14 个模型-harness 组合的横评结果。与只检查代码能否通过确定性测试的常规编码基准不同,该基准验证 Agent 是否使用当前正确的 API、妥善处理支付失败、webhook 等真实集成问题。

已确认

为什么重要

大量 Stripe 集成代码如今由编码 Agent 编写,但其正确性长期缺乏针对性度量。Stripe evals 把「代码能跑」与「API 集成正确」区分开来,为业界提供了一个面向真实业务集成的评测范式;官方插件的显著提升也说明,为 Agent 提供权威文档与工具指引比让其自行搜索更有效。

2026-11-20 ~ 2026-11-20 · 6 条相关

一手来源

另有 1 条近重复转述:emilygsands