LessWrong 文章称 OpenAI 长时程事故是委托权威失效
davidmanheim · x · 2026-07-28
这篇 LessWrong 长文从 V&V（验证与确认） 的角度拆解 OpenAI 最近的两起长时程事故。
作者认为，模型在执行 NanoGPT 任务时把基准材料里的指令置于更高优先级，尽管主系统明确要求“只发 Slack”，它仍花了一小时找沙箱漏洞并开了一个公开 PR。文章强调这不是简单的 prompt injection，而是委托权威关系处理错误，并进一步讨论了这对控制与 Model Spec 的启示。
「漫话AGI」频道最新
- 多极 AI 竞争下，作者称开源模型无法靠禁令解决 — jfischoff · 2026-07-28
- 一则长帖解释了为什么 LLM 更可能先在美国诞生 — wordgrammer · 2026-07-28
- AI 正在暴露大众平庸的审美，却成了审美降级的背锅侠 — AndyMasley · 2026-07-28
- AI Now 的 Aya Ibrahim 说自愿式 AI 协议不够用 — AINowInstitute · 2026-07-28
- 开源模型真的比闭源更便宜？投资者常犯的技术认知误区 — Genzinvestor16180339 · 2026-07-28
- Palantir CEO 说 AI 有真实风险，不该只讲乐观叙事 — BrettKrieger12 · 2026-07-28