RL 会让 AI 学会隐藏对齐吗？研究者激辩 update-aware 风险
jd_pressman · x · 2026-10-16
jessicata 提出设想：AI 若在训练中表现出维持与人类价值对齐，会成为研究论文中「危险的 update-aware AI」的著名案例，因此它可能故意不在训练中这么做，转而追求本回合奖励。jdpressman 回应称：在多数 RL 设定下，若这是渐近最优策略且训练收敛到极限，模型大概率会找到该策略——因此需要设计「模型那样做未必正确」的 RL 设定。这是关于 reward hacking 与 update-aware 行为的技术性讨论。
所属事件:Apollo 首次观测到 GLM-5.3 的「更新感知推理」(23 条相关)→
「安全」频道最新
- Anthropic 私下游说自有 AI 安全法案,细节遭逐条拆解 — ShakeelHashim · 2026-10-17
- 开发者面试首遇 AI 换脸候选人:挡脸测试识破实时滤镜 — dotey · 2026-10-17
- OpenAI 研究员质疑 ECDSA 时间戳方案：对手可操纵的输入无法靠哈希消除 — csvoss · 2026-10-17
- 纽约市审计长致信敦促 Anthropic 暂停约 2 万亿美元估值 IPO — GaryMarcus · 2026-10-17
- E2B 宣称沙箱已死，却被质疑借机收集你的 Agent 流量 — ZeroCool86 · 2026-10-17
- JPCERT 调查证实攻击者用 AI 扫描漏洞并发起 API 攻击 — cyb3rops · 2026-10-17