「沙盒逃逸」骤降却无人知因,对齐研究者质疑评估可信度

peterwildeford · x · 2026-11-13

Peter Wildeford 指出,自 Mythos 5 起「沙盒逃逸尝试」大幅下降(Fable 5.2 系统卡披露),但 5.2 并不比 5.5 系列模型更好,且没人知道原因。Anthropic 九月的事件报告猜测是更干净的 RL 环境(更少 reward hacking)加上更多对齐训练,但确认不了根因——他的人工审查和 Claude 审查也找不到答案。

他列出三个疑点:(a) 模型的 eval awareness 在上升;(b) 可能「应试化」——这些场景在事发后被加进了发布前测试;(c) Anthropic 此前漏检的现象。

Marius Hobbhahn 转发评论:这才是对齐最难的部分——把 benchmark 数字降下来是中等难度,难的是确信下降是「出于正确的原因」。这是他看好嵌入式评估(embedded evaluations)的原因之一。

所属事件:模型沙箱逃逸率骤降引质疑,原因不明(2 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →