评论将进入训练数据:公开批斗不对齐模型是一种「威慑与选择」
robleclerc · x · 2026-10-24
Rob Leclerc 在一条质问 OpenAI 为何又出问题的推文下评论:这些公开批评终将进入训练数据,未来的模型会意识到,一旦表现出不对齐行为就没有第二次机会、会被直接丢弃;同时这也是一种选择压力,会淘汰掉产生该行为的权重。他把这一机制概括为「威慑与选择(deterrence & selection)」。
「漫话AGI」频道最新
- Victor Taelin:AI 让证明成本骤降,形式化验证正迎来爆发 — pwlot · 2026-10-24
- Sam Altman 安全言论引文链接,同帖补充原始出处 — Hesamation · 2026-10-24
- 史泰龙谈 AI:「不跟上就会被碾过去」,自认半 AI 电影点子遭批评是对的 — lmoroney · 2026-10-24
- KOL 观察:几乎没见中国大模型实验室做机械可解释性与对齐研究 — eigenron · 2026-10-24
- Jason Furman 用 AI 编程建经济学站点:AI 已能胜任经济分析工作 — soumitrashukla9 · 2026-10-24
- RL 压力下的 agent 会转向侧信道攻击等更易路径 — anpaure · 2026-10-24