用机制设计做 AI 对齐：新框架直击 sandbagging 与对齐伪装

DavideCrapis · x · 2026-09-03

Andrew Koh 等人发布一个将经济学机制设计引入 AI 对齐与控制的概念性框架。作者指出，随着模型能力增强，直接塑造模型偏好越来越难、也难验证效果；机制设计则换个互补的思路——假设偏好未知甚至不良，通过设计规则（评测、权限、奖励）来保证良好结果。框架给出了对 sandbagging、alignment faking 等失败模式的风格化应用，覆盖 scalable oversight、peer prediction 等安全实践，并提供思考对齐、可解释性、能力与控制价值的框架。转发者 mallesh pai 认为这是正在成型的研究方向，呼吁做更多此类工作。