B2B 团队用生产 trace 构建模拟用户 agent 自动化 QA
Lopsided_Feedback_81 · reddit · 2026-11-20
一位运营约 50 家 B2B 客户的数据分析应用开发者分享了用 AI agent 自动化 QA 的完整流程:
- 基础:生产环境 agent 的调用 trace( prompts 与工具调用)已记录在自托管于 Cloudflare 的 MLflow 实例上。
- 构建题库:从会话中随机抽样,提取真实用户提问存入「question bank」,作为模拟查询模板。
- 模拟用户:启动多个 agent,每个模拟某家真实门店的用户,从题库随机抽题并套用到自己门店的数据上;应用照常执行并记录工具调用、耗时与响应。
- 评估:独立 agent 逐条检查对话 trace 的事实准确性、速度与成本。
- 落地:在 staging 与 production 之间新增一个「私有 beta」区,任何变更必须先通过这套严格 QA,目标是保证新改动至少不劣化现有表现。
作者承认模拟无法完美还原人类行为、未见过的新 case 仍可能出错,但认为如今模型已足够智能且便宜,值得把过往最耗时的人工 QA 交给它。
「编程与Agent」频道最新
- 200 行 Python 调 Gemini 生成带字幕配音的 9:16 演示视频 — DynamicWebPaige · 2026-11-20
- Strategist:自动进化推理策略库,30 项基准赢 24 项且便宜 39% — liuzhuang1234 · 2026-11-20
- Spring Boot 4.2 弃用 RestTemplate,一文看懂如何迁移到 RestClient — therealdanvega · 2026-11-20
- 开发者给 Claude Code 配一台专属电脑:像人一样操作浏览器和桌面应用 — jradoff · 2026-11-20
- GBrain 展示 AI 夜间自动干活:三周产出 850 页销售记录 — garrytan · 2026-11-20
- Perplexity agent 花 2.2 美元筛完 327 块地并出 4K 选址视频 — garrytan · 2026-11-20