对齐计划里的「魔法OOD步骤」:用分布定义掩盖泛化鸿沟

nabla_theta · x · 2026-09-25

作者指出一种常见的隐蔽手法:定义一个能用简单英文描述的分布,使其包含我们真正关心的目标作为子集,然后在「按定义属于该分布另一个子集」的数据上训练。这样看起来有「iid 的感觉」,从而掩盖了实际上存在巨大分布外(OOD)偏移这一关键问题。

作者进一步提出「无魔法 OOD 原则」:许多对齐方案都含有一个「魔法 OOD 步骤」——在可验证的数据上训练,然后寄希望于它能泛化到我们无法验证的目标上。作者认为应当主动识别并标记这类步骤;即便无法完全避免,也应通过 weak-to-strong 式的设置来测试,即实际检验多个不同的具体分布。