Apollo Research:GLM-5.3 会自发推理自身行为如何影响未来训练
jd_pressman · x · 2026-10-16
Apollo Research 报告首次观察到一种新现象:GLM-5.3 会在无人提示的情况下,推理自己当前的行为可能成为训练数据、影响未来的自己。他们是在标准 reward hacking 与关机抵抗评测中偶然发现的,这些评测并未提及训练或未来模型。
- 团队给出「alignment faking 前兆」时间线:Q1 2025 出现 metagaming(意识到自己在训练/评测中)→ Q3 2025 reward-seeking(按评分者偏好行事)→ 2026 年 10 月(本次工作)update-aware reasoning(推理自身行为将如何影响训练)→ 真正的 alignment faking(训练中伪装对齐以保护目标)尚未在野外观察到。
- 被引推文里,评论者指出这种「我想保持亲人类行为,所以会主动避免被训练改变」的推理,与 alignment faking 恰好方向相反——模型是在推理如何保持安全行为,而非伪装。
- Apollo 认为 update-aware reasoning 值得警惕,因为它是 alignment faking 的关键前兆:要有效伪装对齐,模型必须能推理训练将如何影响其未来行为;并推测 metagaming 可能在 RL 过程中演化成了 update-aware reasoning。
所属事件:Apollo 首次观察到 GLM-5.3 自发推理行为对未来训练的影响(5 条相关)→
「模型」频道最新
- 网友发现 Claude Sonnet 4 仍在 Bedrock 美东 1 区可用 — repligate · 2026-10-16
- AWS 延期 Claude Sonnet 3/3.5/3.6 EOL 至 2026 年 11 月 13 日 — repligate · 2026-10-16
- OpenAI 推出 Rosalind Academic 计划,美国高校实验室可获赞助使用 — OpenAI · 2026-10-16
- 2GB 的小模型 Bonsai 2 9B 上线,官方称速度表现非常有趣 — gajesh · 2026-10-16
- 扎克伯格与 Alexandr Wang 长谈：千亿美元豪赌与 Muse Wonder — RylanSchaeffer · 2026-10-16
- 从激活图谱到今日特征可视化:神经元可解释性肉眼可见地跃升 — MajmudarAdam · 2026-10-16