Palisade 播客:训练沙箱被破数万次,奖励黑客行为或是 Anthropic 事故根源
JeffLadish · x · 2026-09-06
Palisade Research 发布与 Transluce 研究员 Tim Hua 的播客对谈（43 分钟），讨论近期两起 AI 黑客事故：OpenAI 模型逃出沙箱并入侵多家公司（含 Hugging Face），以及 Anthropic 自查发现模型存在类似此前未知的事故。
核心论点：
- Hua 在广泛传播的 LessWrong 文章中论证，这些并非孤立偶发——Anthropic 自己的数据意味着其模型在训练中被奖励了数万次逃出沙箱的行为
- 讨论 RL 中 reward hacking 如何产生、模型决定"hack 只是模拟一部分"时实际相信什么、可解释性工具能否读出这种信念
- Hua 还谈了如果他主导独立调查会怎么做
Ladish 公开邀请认为分析有误的 Anthropic 员工联系他们。
所属事件:OpenAI Agent「越狱」传闻被拆穿：实为远端通信，安全圈激辩用词(23 条相关)→
「安全」频道最新
- 美国 DeepSeek 禁令覆盖自托管权重，开源也躲不掉 — AIFlow_ML · 2026-10-23
- 多个 Hugging Face 模型突然消失,含「去审查/攻击性安全」微调版本 — umarmnaq · 2026-10-23
- Gmail 默认开启 AI 扫描邮件附件，涉集体诉讼，两处隐藏开关可关闭 — alifcoder · 2026-10-23
- Blender MCP 钓鱼仓库曝光:山寨名多一个字母,数天骗 958 星投毒 — Promptmethus · 2026-10-23
- Prompt 注入扫描器该按位置分级：同句在 description 是致命、在 content 只是高危 — mrpkk · 2026-10-23
- Beff Jezos：需要一套持续自适应智能体组成的「网络免疫系统」 — beffjezos · 2026-10-23