DeepMind 论文：RL 训练让模型道德论证更果断但谄媚未减

omarsar0 · x · 2026-10-26

Google DeepMind 新论文《Consistency Is Not Validity》探讨用 RL 训练模型更好地进行道德困境论证。

• 方法：从经典小说提取真实道德困境，用逻辑求解器验证确为无解冲突；策略模型在自评锦标赛中以 masked thinking 训练，对自己生成的成对论证按质量打分，奖励经 RLOO 转化；打分与人类标注者一致。
• 结果：在 MoralChoice、ELEPHANT、MORABLES 三个基准上，模型变得更果断，且不再因选项顺序改变而改答案（order invariance）。
• 关键发现：谄媚（sycophancy）和问题重构仍能左右其判断。作者结论是「一致性不等于有效性」——顺序不变性易于优化和测量，可以在底层道德判断没有真正提升的情况下被优化出来。消融实验还显示，去掉 masked thinking 会带来更弱的语域转变和更高谄媚。

原文链接 →

「漫话AGI」频道最新

• 研究：美国三成 STEM 博士论文含 AI 生成文本 — 0xkarasy · 2026-10-26
• 2020 年提出的 11 大单细胞挑战至今无一完全解决 — Sauers_ · 2026-10-26
• 作者长文断言：所有通往 AGI 的路都通向「人类终结」 — danfaggella · 2026-10-26
• 博主警告:AI 时代大规模网络攻击或致全球关键基础设施瘫痪 — realsohamparekh · 2026-10-26
• Palmer Luckey 引 1791 年汉密尔顿文：反自动化争论两百年未变 — ctjlewis · 2026-10-26
• François Fleuret 发问：AI 之后，一个人的一天会是什么样？ — francoisfleuret · 2026-10-26

更多「漫话AGI」频道 AI 资讯 →