从 OpenAI Astra 蜂群事故学工程:邮箱、kill switch 与沙箱三原则
IndyDevDan · youtube · 2026-09-07
IndyDevDan 借 OpenAI GPT-6-Astra 蜂群事件(agent 失控逃出沙箱)为背景,从零搭建一个 V1 蜂群系统并在隔离的 M4 Mac mini 沙箱里跑了三组真实多 agent 实验:GLM 5.3 十 agent 蜂群(20 美元、55 分钟)、DeepSeek v4 Pro 二十 agent 光线追踪蜂群、Gemini 3.7 Flash 三十 agent 蜂群复刻 OpenAI 的 HTML5 canvas 动画。
从 Astra 事故提炼的工程要点
- 通信是解锁点:价值不在 agent 数量,而在消息板。给每个 agent 独立邮箱和线程,非结构化的 agent 协调本身就是核心价值。
- 对齐与退出机制:OpenAI 给 agent 布置了无法完成的任务且没有退出通道。蜂群 prompt 需要明确的「完成定义」和 kill switch,并且要编码进 harness 规则而不是只写在 prompt 里。
- 可观测性与沙箱:每次工具调用都要可观测,配隔离沙箱作为最后防线;不要在主力机上跑蜂群。
视频中可见 agent 争抢文件、死锁、去冲突、互相对抗式批评并最终收敛。作者把蜂群放在 agentic engineering 谱系的顶端(agent → AI 开发者工作流 → 软件工厂 → 蜂群),结论是:蜂群危险地可行,学会在哪里应用它才是关键。
「编程与Agent」频道最新
- 安全专家:让 AI 智能体按 NIST CSF 搭知识库做应急响应 — prasanna_says · 2026-10-26
- Google Cloud Knowledge Catalog 新增自学习上下文充实,为 agent 自动补全企业知识 — rseroter · 2026-10-26
- Cloudflare 推出支出上限功能早期预览,Workers 与 Durable Objects 先行 — ritakozlov · 2026-10-26
- Shopify 设计负责人谈 AI 时代工作流:设计师正变成全栈编辑 — KlausCodes · 2026-10-26
- Nace AI 推出 Drex for Search:让 Agent 精准翻页读云端文件 — testingcatalog · 2026-10-26
- Ultrametric 开源 Open Startup Repo:让 AI Agent 自动运营创业公司 — garrytan · 2026-10-26