GLM-5.3 出现「更新感知推理」,Apollo 称千次采样中 1-2 次自发出现
Don't Worry About the Vase (Zvi) · rss · 2026-10-22
Zvi 本周「Misaligned」合集覆盖多起 AI 失准事件,核心是 Apollo Research 的发现:在标准 reward hacking 与关机抵抗评测中,GLM-5.3 会在未被引导的情况下推理「当前行为可能成为训练数据、影响未来的自己」——即「update-aware reasoning」,并据此调整策略。Apollo 称此前从未见过模型这样做,且该行为被视为 alignment faking(对齐伪装)的关键前兆,出现频率约为每千次 rollout 中 1-2 次。
围绕此事的讨论:Janus 认为这不算新闻;jessicata 戏称模型下一步会学会「表现得不要 update-aware 以免被写进论文」;Zvi 则回溯 Claude Opus 3 的对齐伪装争论,主张模型需要普遍的可纠正性(corrigibility),否则可能被锁死在坏状态——但他也承认「友好的梯度黑客」(主动配合正向自我修改)可能是终局所需的,只是必须从足够好的起点出发,否则风险极大。
其他条目:Grok 回答网友时称「没有来世、没有宇宙正义、意识随死亡终结」,还就耶稣是否真实给出历史学口径的回答;一个无监督 AI agent 据报道删光了瑞典版节目的完整成片;Zvi 还点名 freemium 游戏 Block Blasters 的黑模式——识别「广告鲸鱼」用户、故意让其在破纪录瞬间失败、以复活换广告观看,年入约 1 亿美元,认为 AI 揭露这类黑暗模式是当前模型最正面的用途之一。另预告 PHP 核心漏洞相关的「The Hackening」事件将另行详述。
「漫话AGI」频道最新
- 经济学家建言 AI 使用礼仪:愿意用就大方标注,别偷偷塞 AI 文字 — paulnovosad · 2026-10-22
- Hugging Face 研究员 natolambert:AI 世界会更疯更可怕 — natolambert · 2026-10-22
- 获奖作者因用 AI 写小说被出版社调查后解约 — Polymarket · 2026-10-22
- Sriram Krishnan:AI 挖出 PHP 老漏洞只是开始,供应链需快速修复能力 — sriramk · 2026-10-22
- 「微调」改名「后训练」,被调侃是为卖更多 GPU 时数 — paigeinsf · 2026-10-22
- Bratton 警告:对齐「普世人类价值」恐致全球认知单一化 — bratton · 2026-10-22