Stripe evals 详解:agent 偏好旧 API、幻觉频发,官方插件可救
emilygsands · x · 2026-11-20
Stripe 发布博客详解其编码 agent 集成评测体系与发现:
- 问题:agent 倾向使用预训练语料中更常见的过时 API,漏掉关键功能并产生幻觉;现有编码基准只检查代码能否通过确定性测试,不验证 API 集成是否正确
- 方法:69 个真实场景(托管 checkout、按量计费、按席位订阅、市场分账等),由角色扮演 agent 驱动,覆盖 14 个 model-harness 组合,各跑有无 Stripe agent 插件两版
- 结果:插件让全部 14 个组合提升约 3-8 个百分点;网络搜索下降 96%,agent 转用插件提供的官方 skills 与 Stripe MCP 工具;模型行为也随插件发生变化
- Stripe 将持续公布结果,帮助开发者选择最有效的 agent 配置
所属事件:Stripe 开源编码 Agent 评测基准:全达标率仅 29%(6 条相关)→
「编程与Agent」频道最新
- Together AI 12 月 15 日直播:用 RL 后训练 Kimi K3.1 完整拆解 — togethercompute · 2026-11-20
- YC F26 项目 GrayPass 两个月 MRR 从 9000 涨到 6.6 万美元 — ycombinator · 2026-11-20
- 谷歌免费发布 2 小时 Harness 工程课,从建 Agent 到自改进图系统 — udmrzn · 2026-11-20
- 《塞尔达传说》林克被接上 Hermes Agent,Teknuitar 欢迎新成员 — Teknium · 2026-11-20
- Stripe 发布 coding agent 评测:agent 平均仅 29% 达到全部标准 — hazelcough · 2026-11-20
- Anthropic 推出 Claude Platform OAuth,Agent 平台可告别 API Key — udmrzn · 2026-11-20