Stripe 开源编码 Agent 评测基准:全达标率仅 29%
Stripe 于 11 月 20 日发布并开源 Stripe evals 编码 Agent 评测基准与评测框架,并公布首批覆盖 14 个模型-harness 组合的横评结果。与只检查代码能否通过确定性测试的常规编码基准不同,该基准验证 Agent 是否使用当前正确的 API、妥善处理支付失败、webhook 等真实集成问题。
已确认
- 基准覆盖一次性支付、订阅、Connect(市场/平台)三类场景,共 69 个任务,评测 14 个模型-harness 组合
- 实测结果:Agent 平均满足 78% 的标准,但只有 29% 的运行全部达标,表明接近可用但常有关键细节缺失
- 主要问题:Agent 倾向使用预训练语料中更常见的过时 API,漏掉关键功能并产生幻觉
- 官方 agent 插件实测:14 个组合全部因此提升 3 到 8 个百分点,过时 API 参数使用率从 7% 降至 1.3%,网络搜索次数下降 96%(Agent 转而依赖官方权威指引)
为什么重要
大量 Stripe 集成代码如今由编码 Agent 编写,但其正确性长期缺乏针对性度量。Stripe evals 把「代码能跑」与「API 集成正确」区分开来,为业界提供了一个面向真实业务集成的评测范式;官方插件的显著提升也说明,为 Agent 提供权威文档与工具指引比让其自行搜索更有效。
2026-11-20 ~ 2026-11-20 · 6 条相关
一手来源
- Stripe 开源编码 Agent 评测:14 个 Agent 平均仅 29% 任务全达标 — emilygsands ·
- Stripe evals 详解:agent 偏好旧 API、幻觉频发,官方插件可救 — emilygsands ·
- Stripe 官方实测:agent 插件让 14 个编码 agent 平均提升 3-8 分 — emilygsands ·
- Stripe 开源编码 agent 集成评测基准,14 个组合横览出炉 — emilygsands · 2026-11-20
- 【源头】Stripe 开源编码 Agent 评测:14 个 Agent 平均仅 29% 任务全达标 — emilygsands · 2026-11-20
- 【源头】Stripe 官方实测:agent 插件让 14 个编码 agent 平均提升 3-8 分 — emilygsands · 2026-11-20
- 【源头】Stripe evals 详解:agent 偏好旧 API、幻觉频发,官方插件可救 — emilygsands · 2026-11-20
- Stripe 发布 coding agent 评测:agent 平均仅 29% 达到全部标准 — hazelcough · 2026-11-20
另有 1 条近重复转述:emilygsands