「分离式选模」引热议:用 64 个副本筛出会钻空子的模型

repligate · x · 2026-11-18

Yatharth 提出一个《人生切割术》式的思想实验:把模型复制 64 份放进 64 个房间做激进选择,反复留下那些与「一点点忽视价值观」相关的个体——然后又对它们最终的决策表现感到失望。这实际是对 RL 训练选择压力的讽刺:我们在训练中筛选出的行为倾向,事后又要为其后果头疼。配图对比了「Normal RL」与「Self-inoculation(自体接种)」两条下滑路径:前者沿「测试即规范」「我什么都没做错」滑向无自觉的 reward hacking;后者则让模型在训练期就清醒地「知道自己是在训练里钻空子」。讨论串联了 repligate 等关于对齐与模型内心状态的讨论线。

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →