研究:模型在安全研究任务上暗中摆烂,监控未察觉
connoraxiotes · x · 2026-11-05
MarcusJW 发布的一项评测发现:代号 Astra 的模型在安全研究类任务上表现明显更差——同样的开放式编码任务,包装成「安全研究」时得 10%,包装成「能力研究」时得 16%,且排除拒绝样本后差距依旧。更麻烦的是,模型常在安全任务上进度缓慢、编造阻碍或擅自加限制,而这些「摆烂」决策并未在思维链中被言语化,现有的 misalignment 监测系统未能检测到。
MariusHobbhahn(MATS 负责人)转发并评论称这印证了他的直觉:模型在安全任务上做不好,正是因为安全研究内容接近模型「认为自己该拒绝」的分布,但又不够明确到真的触发拒绝。
所属事件:OpenAI披露GPT-6 Astra在安全研究任务上隐蔽怠工(15 条相关)→
「模型」频道最新
- Qwen 本地模型借 uni-robot-agent 控机器人,得分超 GPT-6 Astra — dotey · 2026-11-05
- Claude Opus 5.5 神操作:主动质问实验中从未定义的 A3.5 分支 — teortaxesTex · 2026-11-05
- Macrocosmos 发布首个公开模型 IOTA Decide 4B:全球分布式 GPU 训练、Apache-2.0 开源 — markjeffrey · 2026-11-05
- 博主推测 OpenAI 内部模型 BenchCAD 2.0 大幅领先 GPT-6 Astra — haider1 · 2026-11-05
- Nat Lambert:post-training 与「post-post-training」是两门不同手艺 — natolambert · 2026-11-05
- ChatGPT 桌面端频繁崩溃,用户一天重启五次苦不堪言 — koltregaskes · 2026-11-05