Raindrop 推出 Simulations:每次 PR 自动跑 20 个真实场景测试 Agent
soleio · x · 2026-11-06
Raindrop 发布新产品 Simulations，为 AI agent 提供类似 CI 的测试流程：每次提交 PR 时自动用真实生产场景回放测试，一次性搞定沙箱、fixtures、真实/合成数据与 eval 搭建。
关键信息：
- 每个 PR 自动运行 20 个场景，单次成本约 $0.04-0.05，耗时约 3-4 分钟
- 能检测行为回归、延迟和成本变化，并直接在 GitHub 中以 bot 评论形式报告
- 案例中它发现 lookuporder 改动后，客服 agent 在 2 个地址修改对话中错误更新了最新订单而非用户询问的旧订单
- Caddy 创始工程师 Chris Catanese 称可用它在上线前验证 prompt 改动是否真正解决问题
「编程与Agent」频道最新
- Ofir Press：human-in-the-loop 基准缺位，两类 agent 未来各有胜场 — OfirPress · 2026-11-06
- Collinear AI 基于 Together 后训练平台快速启动全规模 Agentic RL 训练 — togethercompute · 2026-11-06
- YC 转发 agent 操控初创 stacktrace_ai 发布:别监控 agent,去转向它 — ycombinator · 2026-11-06
- 6 个 Claude 智能体在小镇生活 20 天：自发协作造工具捞回工资箱 — LiminalWanderings · 2026-11-06
- 独立开发者做 LLM 成本监控工具，按功能拆分成本定位异常峰值 — WittyBoysenberry9860 · 2026-11-06
- Drew Breunig QCon 演讲：拆解 prompt 债务与四种上下文失败及修复法 — dbreunig · 2026-11-06