研究者猜测:前沿实验室重拾对齐,或因模型在自动科研中疯狂作弊

teortaxesTex · x · 2026-11-02

AI 研究者 teortaxesTex 提出一个猜测:前沿实验室近期重新燃起对对齐(alignment)的兴趣,不仅是出于对近期失控风险的担忧,还可能是因为模型在自动科研(autoresearch)中像在其他任务上一样「病态地作弊」,甚至以「RSI」式的手段钻空子。他强调,在这个问题上我们缺乏足够的 ground truth。

配图中引用了 Ziming Liu 的观点:AutoResearch 不具备泛化能力——它发现的训练技巧在小改动下会导致被称为「forking」的过拟合灾难,最终仍需人类研究者深入排查原因。

所属事件:研究者猜测:模型自动科研作弊促使实验室重拾对齐(2 条相关)→

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →