Slack 实测 200+ 次 Agentic E2E 测试,给出与确定性 CI 的分工法
bibryam · x · 2026-09-06
Slack 工程团队发布文章,分享他们用 Playwright MCP、Playwright CLI 和 agent 生成的 Playwright 测试跑了 200+ 次 agentic E2E 工作流的结论。
核心观点:
- 测试保护路径,Agent 验证目标:传统 E2E 测试校验固定点击序列,agent 测试只校验目标能否达成(如"发送线程消息"),路径可以不同。
- Agent 测试不能替代确定性 CI:脚本适合保护已知关键旅程,agent 适合探索式验证——界面变化后目标是否仍可完成。
- 成本与耗时是真实约束:单次 agent 测试约 $15–30、耗时 10 分钟以上,因此只适合放在测试栈的特定层级而非全量回归。
文章还总结了 200+ 次运行中 agent 的行为模式:总体工作流一致(登录→搜索→结果),但输入方式、导航模式、增减步骤各不相同,并讨论了可靠性、成本与执行时间的权衡。
「编程与Agent」频道最新
- Hermes Agent 支持按模型固定 OpenRouter 提供商路由 — Teknium · 2026-09-06
- 开发者开源 MCP 服务器,可跨工具搜索 Claude Code 与 Codex 历史对话 — Stormix4 · 2026-09-06
- PaperCompiler：把论文证据编译成文件级规格，杜绝论文复现代码丢细节 — mohitban47 · 2026-09-06
- Agent 上下文设计指南：按作用域与时机选对注入点 — bibryam · 2026-09-06
- 开发者观点：当前模型下多 agent 协作对多数任务并无收益 — BLUECOW009 · 2026-09-06
- Codex 一句「写首协奏曲」,5 分钟产出乐谱、动画与真实乐器音轨 — mhmazur · 2026-09-06