Stripe 发布 coding agent 评测:agent 平均仅 29% 达到全部标准
hazelcough · x · 2026-11-20
Stripe 发布 evals(stripe.dev/evals),衡量 coding agent 构建真实 Stripe 集成的能力。关键发现:
- 官方插件(推荐的 skills 和工具)帮助了所有被测的 14 种 harness/模型组合,得分普遍提高约 3-8 个百分点
- 用插件后 agent 搜索更少、写的测试更少:网页搜索下降 96%,多余测试代码减少约 40%,同时得分反而上升
- 评测方法上用另一个 agent 扮演开发者:先表达不完美表述的目标,再追问、多轮对话协作
- 最后一公里很难:agent 平均满足约 78% 的标准,但只有约 29% 的运行满足全部必达标准
图表显示 Claude Code、Codex、OpenCode 等在一次性支付、订阅、Connect 三类集成上的对比成绩。
所属事件:Stripe 开源编码 Agent 评测基准:全达标率仅 29%(6 条相关)→
「编程与Agent」频道最新
- 谷歌免费发布 2 小时 Harness 工程课,从建 Agent 到自改进图系统 — udmrzn · 2026-11-20
- 《塞尔达传说》林克被接上 Hermes Agent,Teknuitar 欢迎新成员 — Teknium · 2026-11-20
- Anthropic 推出 Claude Platform OAuth,Agent 平台可告别 API Key — udmrzn · 2026-11-20
- Google Antigravity 公测两年仍难用:远程上传文件都失败 — jasondeanlee · 2026-11-20
- Firecrawl 为 Grok Bot 推出插件:3300+ 数据工具,答案质量提升 21% — devdigest · 2026-11-20
- OnchainBench 发布:测试加密 agent 能否安全持有你的私钥 — DavideCrapis · 2026-11-20