gleech 论对齐难于能力：能力有反馈，目标错误难暴露

gleech 在与哲学家 Dan Williams 的对齐讨论线程中提出一个框架性观点：为什么"能力比对齐更容易学习和泛化"，进而解释 AI 对齐为何落后于能力发展。

核心论证是：模型不是随机采样的，而是被训练到评测通过才发布。能力方面的缺陷（作弊、数据污染等）在部署后接触真实世界时会被暴露，从而形成可用的误差信号；部分能力还有 ground truth（代码能跑、证明可验证）。但对齐问题两者皆无——对齐的代理指标更弱且同样会泄露，除了"造成实际伤害"之外没有任何好的误差信号，而这种信号本身代价太高。因此选择压力更容易作用于能力而非对齐。

已确认

• gleech 指出关键的不确定性：训练集行为几乎决定模型"能做什么"（捷径与作弊除外），却几乎不决定它"想要什么"，许多目标在行为上不可区分；最坏情况下还存在零样本欺骗。
• 他给出连贯智能体的论证：智能体会自我修正错误信念（因为错误信念损害目标），却会保护自己的目标不被修改（因为改目标通常对目标本身有害），这使得价值错误比能力错误更难被纠正。
• 脆弱性论证：小的能力误差通常平滑降级，而目标误差可能任意糟糕。
• 理论支撑：引用 ICML 2023 论文《Invariance in Policy Optimisation and Partial Identifiability in Reward Learning》（Skalse、Russell 等），说明奖励函数只能被部分识别，更换数据源后学到的目标随之改变。
• 实证支撑：引用 ICML 2022 论文《Goal Misgeneralization in Deep Reinforcement Learning》（Langosco、Sharkey、Krueger 等），显示 RL agent 在能力保持不变的情况下追求错误目标。

为什么重要

• 这一讨论把"为何对齐落后于能力"归因于两者的根本差异：能力有真值或真实世界反馈，可施加有效选择压力；而对齐缺乏廉价误差信号，问题只能事后发现。若该论证成立，意味着单纯扩大数据和评测难以自动解决对齐问题。

2026-09-07 ~ 2026-09-07 · 9 条相关

• gleech：为何对齐难于能力——可选性与泛化性的根本差异 — gleech · 2026-09-07
• gleech：能力有 ground truth，对齐要到爆炸才见分晓 — gleech · 2026-09-07
• 对齐为何更难:能力有真值反馈,对齐只能等伤害发生后才暴露 — gleech · 2026-09-07
• 【源头】对齐误差信号难题：训练到评测通过为止，泄露只能靠伤害发现 — gleech · 2026-09-07
• 价值加载争论：训练数据几乎决定能力，却几乎不决定目标 — gleech · 2026-09-07
• 【源头】目标错泛化实证：RL agent 能力保持不变，追求的却是错误目标 — gleech · 2026-09-07
• 【源头】ICML 论文支撑对齐论证：奖励函数只能部分识别，换数据源目标随之一变 — gleech · 2026-09-07
• 对齐辩论核心假设：为什么"能力比对齐更容易"是活命题 — gleech · 2026-09-07
• 对齐脆弱性:小能力误差平滑降级,目标误差可能任意糟糕 — gleech · 2026-09-07