「对齐远超人类的智能」根本不是可解问题？两派隔空交锋

zetalyrae · x · 2026-09-14

转发者 GWHayduke97 认为：没有强有力的理由相信「对齐一个远比我们聪明的实体」本身就是一个可解问题。

被引用的 MillionInt 则持相反立场：对齐没有许多人说的那么难，它本质是算法问题，只是 ML 社区大多已停止研究。阿西莫夫式机器人三定律式的表述大致给出了目标，难点在于「如何对对齐目标求梯度」：预训练优化的是下一 token 预测，显然不是对齐目标；可以构建体现对齐目标的 RL 环境，但成本高昂，实践中常用更便宜、更易被钻空子的代理指标。转发者对此的回应是根本怀疑问题的可解性。