AWS 工程师让 AI 一夜跑 1000 个测试搞垮自家沙箱,复盘编码 agent 全部失败模式
AI Engineer · youtube · 2026-10-12
Amazon Bedrock AgentCore 工程师 Kevin Orellana 分享了一套独特的平台压测方法:把代码沙箱和云浏览器包成 MCP server,让一个编码 agent 一夜之间在 10 个领域生成并运行 1000 个测试,结果写入 SQLite。
- 失败案例:图像编码 bug、null 字节、不可读文件、浏览器内存耗尽等。
- 他将失败分为两层:接口层 bug(工具返回内容)与沙箱层限制(内存、文件权限、seccomp、eBPF)。沙箱限制直接决定 agent 能否完成任务。
- 方法论要点:结果存数据库而非 markdown 文件;LLM 生成测试有局限但依然有效。
- 结论:对沙箱做远程模糊测试(fuzz testing)是发现问题的最佳手段。
「编程与Agent」频道最新
- PHP/node.js/GitLab 大规模安全事件后，Cognition 开源 Devin 修复插件 — Scobleizer · 2026-10-23
- 用 Grok 机器人+租 GPU，个人微调模型变得触手可及 — Rasmic · 2026-10-23
- 一句 prompt 挖出 PHP 预认证 RCE：Agent 辅助漏洞挖掘实录 — chrisrohlf · 2026-10-23
- AutoRouter 公测：按任务难度自动在 Claude/GPT 等模型间分单省 token — floguo · 2026-10-23
- Speak 详解 GPT-Live 实时语言家教:如何用低延迟决策实现即时纠错 — pbbakkum · 2026-10-23
- Google Live API 新增决策触发器，比 function call 更快 — pbbakkum · 2026-10-23