ICML 论文支撑对齐论证：奖励函数只能部分识别，换数据源目标随之一变
gleech · x · 2026-09-07
gleech 引用 ICML 2023 论文《Invariance in Policy Optimisation and Partial Identifiability in Reward Learning》（Skalse、Russell、Gleave 等）作为论证支柱：奖励学习常存在多个与数据同样拟合的奖励函数，即使在无限数据极限下奖励函数也只能部分识别。论文形式化了专家示范、轨迹比较等数据源的偏识别性，并分析其对策略优化的下游影响——改变底层真实生成器对目标（"价值观"）的伤害大于对能力的伤害。
所属事件:gleech 论对齐为何难于能力：误差信号的根本不对称(9 条相关)→
「安全」频道最新
- Edouard Harris:曾与美国情报部门合作，发现关键基础设施对 AI 网络攻击毫无准备 — harris_edouard · 2026-10-27
- 面对 AI 网络危机，安全创业者推出免费网站教个人加固财务与身份安全 — harris_edouard · 2026-10-27
- End AI 团队上线免费网站，指导用户防范 AI 网络攻击锁定账户安全 — harris_edouard · 2026-10-27
- Cisco 路由器摄像头信任的 CA 私钥竟是不超 256 的数字，数秒可伪造 HTTPS 证书 — murat_kocaoglu_ · 2026-10-27
- Rob Miles 玩梗:自动化黑客兴起,AI 公司员工开始录「音频日志」 — Puzzleheaded-King584 · 2026-10-27
- LiteLLM 后门事件后,开发者开源 OS 级包管理防火墙 — iacgm · 2026-10-27