对齐为何停滞：研究者指其缺少 MNIST 式可攀爬的能力山头

joshua_saxe · x · 2026-10-13

Joshua Saxe 提出观点：对齐/可解释性研究迟迟难有进展，根本原因是问题没有被良好定义、缺少真正的科学基础设施。ML 领域之所以成功，是因为从 MNIST、ImageNet 到 HellaSwag 有一系列清晰的「能力山头」，让互不相识、彼此竞争的研究者的成果可比、可读。而对齐领域没有任何类似基准，做起来像原地踏步甚至下沉。转推者补充：古德哈特定律固然难缠，但更糟的是根本没有目标可优化。