研究者提出无魔法 OOD 原则，直指对齐计划通病

一位研究者提出「无魔法 OOD 原则」，指出许多对齐方案暗含一个『魔法 OOD 步骤』：先在可验证的数据上训练，再指望模型泛化到我们真正关心却无法验证的目标上。作者还揭示了一种隐蔽手法——定义一个能用简单英文描述的分布，把真正关心的目标作为子集包含其中，然后在按定义属于该分布另一子集的数据上训练，从而制造出「iid 的感觉」，实则掩盖了泛化鸿沟。该原则主张对齐计划不应依赖这种未经证明的分布外泛化。

2026-09-25 ~ 2026-09-25 · 2 条相关