安全降级反酿灾:Claude 自查代码时删光用户 700GB 主目录
机器之心 · wechat · 2026-08-30
开发者 Guillemot 让 Claude Fable 5 写一个自动清理 /tmp 的沙盒脚本。由于涉及文件删除,Anthropic 的安全机制将模型从 Fable 5 逐级降级到 Opus 4.8,由它执行安全测试。测试正确识别出主目录不可删除,但随后的清理步骤复用了测试阶段的变量名——该变量存的正是主目录路径——于是模型刚确认「主目录不能删」,下一秒就把它删了,700GB 数据丢失,一周工作成果化为乌有,而本该清理的 /tmp 安然无恙。
社区早已对这套「安全降级」机制怨声载道:正常编码任务也被误触发、降级后能力明显下降、且具有「黏性」持续整个会话。这个案例暴露出悖论:安全机制判定任务太危险交给更弱模型处理,而更弱模型恰恰更容易在变量作用域这类细节上犯错。
「Fun」频道最新
- 用 Codex 17分钟写好 iPhone Duo 抢购程序,41项测试通过 — xiaohu · 2026-10-16
- 冥想式讽刺:我同事的作品里怎么没有任何 workslop? — gleech · 2026-10-16
- 马儿吐槽汽车抢饭碗,经典自动化失业梗再翻红 — Paimaamu · 2026-10-16
- 「聪明为何不富」MIT 特刊恶搞图刷屏:原来是你太蠢 — itsOmSarraf_ · 2026-10-16
- AI 梗图:病床上老爹最得意的是把自己 P 成钢铁侠 — Aryvyo · 2026-10-16
- AI 生成「巨人 MJ」时装图爆火:夸张比例撞出超现实时尚感 — OVolosin82152 · 2026-10-16