用模拟测试 AI Agent：重放真实生产流量，50 个精选胜过千个随机
HamelHusain · x · 2026-10-13
Raindrop 联合创始人 Ben Hylak 做客 Hamel Husain 的 AI Evals 课程，讲解如何用模拟（simulations）测试 AI Agent。
- 核心方法：把真实生产 trace 重放到改动上，看它会破坏什么（"What will my change change?"）。
- 关键坑：缓存过的工具结果会让 Agent 察觉自己在模拟环境中，需要重建 Agent 周围的「世界」。
- 数量观：5–50 个精心挑选的模拟胜过上千个随机模拟；海量 evals 不是护城河。
- 趋势：evals 正在变成「对 trace 的简单函数」，视频还讲到 OpenAI 如何用模拟测试 Codex。
所属事件:Husain 对谈 benhylak：用模拟评测 AI Agent 的方法论(4 条相关)→
「编程与Agent」频道最新
- 开发者实测 sketch MCP:一句话评价「确实有用」 — nathanborror · 2026-10-13
- 开源 Pulse 给 Claude Code 做任务控制台：多 agent 实时地图加本地语音提醒 — ThirdEyeDry · 2026-10-13
- Every 弃个人 agent 转公司共享 agent，工程师 token 用量骤降背后逻辑 — every · 2026-10-13
- 给编码代理加防膨胀前置指令，省 token 又少 bug — gabriberton · 2026-10-13
- 一条 prompt 编排 Haiku 修复+Astra 审查,t3code 自动跑 PR 循环 — talkaboutdesign · 2026-10-13
- 跑数千万个无用程序实验：一种交给 LLM 的自动化玩法 — bushibuilds · 2026-10-13