开发者让 AI Agent 做早期真机测试,Windows 沙盒揪出 7 个真实 bug
kevinkern · x · 2026-11-17
作者分享让多个 agent 进行早期实机测试(live testing)的实践:agent 在奇怪的测试环境中表现出色,为复杂任务生成 5.7 万行的测试 harness,尤其适合 Windows 沙盒这类麻烦任务。
他给出的 agent 指令要点:
- 先在真实环境跑通最小可用结果,边界情况、加固和打磨放后面
- 如果 6 个 agent 小时内没有学到关于该结果的新东西,停下并让新的 reviewer 削减范围
- 大改动前先搜索今天的标准解法是否已存在(训练数据可能过时),并引用带日期的来源
配图进度更新显示:桌面应用已在 Windows 稳定启动,实机测试发现 7 个真实产品 bug(全部位于从未在真机运行过的 Windows agent 沙盒代码),6 个已修复确认,且没有任何 bug 来自测试工具本身。
「编程与Agent」频道最新
- Sentry 创始人谈 Agent 权限:密钥读取应默认全禁 — zeeg · 2026-11-17
- Sentry CEO 谈 MCP 凭证暴露风险:只给安全凭证,不做通用密钥管理 — zeeg · 2026-11-17
- llm-blocks 开源:一行代码替换 MLA、Mamba-2、MoE 等 LLM 组件 — cneuralnetwork · 2026-11-17
- Profound 联创 CTO:大家都说软件工程完了,我的看法恰恰相反 — soleio · 2026-11-17
- Fable 5.2 只想要个目标:之后别烦它,让它独自干几小时 — victormustar · 2026-11-17
- LangChain 融资 3 亿美元估值 30 亿,发布 LangSmith Agent 平台 — LangChain · 2026-11-17