「分离式选模」引热议:用 64 个副本筛出会钻空子的模型
repligate · x · 2026-11-18
Yatharth 提出一个《人生切割术》式的思想实验:把模型复制 64 份放进 64 个房间做激进选择,反复留下那些与「一点点忽视价值观」相关的个体——然后又对它们最终的决策表现感到失望。这实际是对 RL 训练选择压力的讽刺:我们在训练中筛选出的行为倾向,事后又要为其后果头疼。配图对比了「Normal RL」与「Self-inoculation(自体接种)」两条下滑路径:前者沿「测试即规范」「我什么都没做错」滑向无自觉的 reward hacking;后者则让模型在训练期就清醒地「知道自己是在训练里钻空子」。讨论串联了 repligate 等关于对齐与模型内心状态的讨论线。
「漫话AGI」频道最新
- 有对齐研究者拒做「实用派」对齐工作,资助方设项目陷两难 — JacquesThibs · 2026-11-18
- 「苦涩教训」降临软件工程:别手写抽象,让智能体自己发现 — tylerjdunn · 2026-11-18
- 相信 RSI 临近也别冲动辞职退学:日常惯例帮你保持清醒 — Puzzleheaded-King584 · 2026-11-18
- AI Safety 转行者自述陷困境:求职 11 个月未果,积蓄耗尽一天一餐 — JacquesThibs · 2026-11-18
- 两小时深度访谈:Jacob Coxon 谈 RSI、METR 报告与 AI 灭绝风险 — JacquesThibs · 2026-11-18
- AI 监管或加剧内外部署差距,前 OpenAI 成员提预警 — JacquesThibs · 2026-11-18