批评对齐叙事高估纠错性
repligate · x · 2026-07-12
这条转发在批评一篇关于“2040”与纠错性(corrigibility)的论文:作者认为论文把当前模型和对齐技术描绘成“纠错性成功且在增加”,但现实可能相反。\n\n帖子进一步指出,实验室之所以倾向于把现有方案包装成“控制成功故事”,是因为这同时满足内部外部叙事:既能安抚 ASI 担忧者,也方便 govrel 讲一个简单清晰的故事。但问题在于,这种叙事并不真实,可能导致相关方做出更差的决策。
repligate · x · 2026-07-12
这条转发在批评一篇关于“2040”与纠错性(corrigibility)的论文:作者认为论文把当前模型和对齐技术描绘成“纠错性成功且在增加”,但现实可能相反。\n\n帖子进一步指出,实验室之所以倾向于把现有方案包装成“控制成功故事”,是因为这同时满足内部外部叙事:既能安抚 ASI 担忧者,也方便 govrel 讲一个简单清晰的故事。但问题在于,这种叙事并不真实,可能导致相关方做出更差的决策。