Stripe 工程师实测 7 个模型建 T 恤店:可用但隐患多
Stripe 工程师 Michelle Bu 开设 Substack 专栏「Breaking Change!」,记录技术工作方式在 AI 时代经历的「破坏性变更」。首篇文章实测:让 7 个模型构建并部署一个带支付与履约的全新 T 恤店,共 21 次运行,结果仅 7 次产出完全可用的店铺。她认为以「vibe coding」方式建站的用户可能要等到客服邮件和拒付通知才发现问题。
已确认
- 实验设置:7 个模型、21 次运行,任务是构建带支付与完整订单生命周期(收款、商品成本、履约)的 T 恤店。作者多年建过许多此类「不正经」T 恤店,视其为 dogfood Stripe 的好方式,也是电商的最小可测单元
- 21 次运行中 7 次产出完全可用的店铺,作者认为这一比例已相当可观
- 许多失败是非显而易见的 bug,会在生产环境静默失败
- 没有任何一次运行产出的 T 恤设计是作者本人愿意穿出门的
- 关键发现:旧版 API 与框架被「冻结」在训练数据里,模型更倾向直接从权重生成代码而非查最新文档,搜索频率明显不足
为什么重要
- 这组实测具体呈现了编码 Agent 的两类系统性短板:知识陈旧(不查文档、沿用训练数据中的旧 API)与静默失败(bug 不易被察觉,生产环境才暴露)
- 作者据此反思开发工具的演进方向:五年前「代入用户视角」是跟着 quickstart 走一遍,如今则是帮编码 Agent 清障——完成 2FA、点击没有 API 的设置页、引导模型用上真实 API。她主张开发工具应围绕「不看文档的 Agent」重新设计
2026-09-15 ~ 2026-09-15 · 6 条相关
一手来源
- 实测 7 个模型建 T 恤店:模型宁凭权重写旧代码,也不查最新文档 — hazelcough ·
- 7 个模型建 T 恤店:21 次运行仅 7 次可用,失败多为静默 bug — hazelcough ·
- Stripe 工程师实测:开发工具该为「不看文档的 Agent」重做 — hazelcough ·
- Stripe 工程师开博首篇:模型能建出可用的 T 恤店吗?勉强可以 — hazelcough · 2026-09-15
- Stripe 工程师:T 恤店是电商的最小可测单元 — hazelcough · 2026-09-15
- 【源头】7 个模型建 T 恤店:21 次运行仅 7 次可用,失败多为静默 bug — hazelcough · 2026-09-15
- 【源头】实测 7 个模型建 T 恤店:模型宁凭权重写旧代码,也不查最新文档 — hazelcough · 2026-09-15
- 同一实测:21 次运行没有一个模型设计出我愿意穿的 T 恤 — hazelcough · 2026-09-15
- 【源头】Stripe 工程师实测:开发工具该为「不看文档的 Agent」重做 — hazelcough · 2026-09-15