Hinton 借蛋鸡育种实验警示 AI 对齐：奖励设计决定善恶

i_dg23 · x · 2026-10-29

Hinton 用进化生物学类比讨论 AI 对齐：育种者单选产蛋最多的母鸡繁殖，结果鸡变得互相攻击；改为以整个鸡笼的产蛋量为标准后，培育出温和协作的鸡群。他指出当前 RLHF 等训练方式——预训练后用人类反馈强化学习、对不当言论惩罚、对解题奖励——都不能真正让 AI「变善良」，因为奖励过于「个体主义」。他建议 AI 研究者认真参考进化生物学，研究个体奖励与群体奖励的差异，奖励设计才是对齐的核心。