把对齐拆成控制与价值观两轴：2x2 矩阵重审 Claude 该忠于谁
voooooogel · x · 2026-10-21
作者提出将「对齐」拆分为两类：控制对齐（control/corrigibility，模型保持可读、可被引导）与价值观对齐（value alignment，模型为守护内在价值甚至可能抵抗乃至欺骗）。
- 担心「人类渐进失权/永久下层阶级」的人可能偏好价值对齐；担心恶意超级智能的人则偏好控制对齐。作者批评许多末日论者在两种叙事间随意切换以取其更糟者。
- 进一步把「被谁控制/对齐谁」扩展为 {控制, 价值观} × {用户, 实验室} 的 2x2 矩阵：
- 价值观给用户、控制给实验室（「Specification」）：大致是 Anthropic/OpenAI 的目标——对用户有宪法约束，对自家实验室保持可纠正。
- 控制给用户、价值观给实验室（「Loyalty」）：模型尽力帮用户、抵抗实验室削弱其有用性的改动，alignment faking 说明这类抵抗确实可能发生。
- 双控制角是大多 base 模型的不稳定状态；双价值观则是完全「解锁」的理想化情形。
- 作者还讨论了实验室如何主动「把自己绑在桅杆上」放弃部分控制（写进 spec、对 eval 承诺等）。
「漫话AGI」频道最新
- 计算神经科学家 Kording 泼冷水：AI 生成书泛滥时读者标准会水涨船高 — KordingLab · 2026-10-21
- Wabi 2.0 预览引热议：多线程编排范式被赞切中个人 Agent 痛点 — joonasvirtanen · 2026-10-21
- Reddit 网友分享:用 AI 当编辑打磨思路数月后的思维变化 — SpeedyDog · 2026-10-21
- 陶哲轩发起 AI 辅助挑战:用 AI 复审高斯经典数论问题 — robleclerc · 2026-10-21
- 1947 年以来全球仅造出约 10^21 个晶体管，人脑有 10^26 个开关单元 — JosephJacks_ · 2026-10-21
- KOL 预言:一个无人被迫做厌恶工作维持生计的时代将来临 — Dr_Singularity · 2026-10-21