DeepMind 论文：道德论证训练让模型更果断，判断力反而没变
rohanpaul_ai · x · 2026-10-30
Google DeepMind 新论文《Consistency Is Not Validity》发现：训练模型写更好的道德论证，只会让它更果断，道德判断本身并没有变好。
- 方法：从经典小说中提取真实道德困境（用逻辑求解器验证确为冲突），用 RL 训练 Gemma-4 4B，模型对自己的论证两两评审，胜者作为奖励，thinking 被掩蔽
- 结果：选项顺序调换时答案翻转率从 14.3% 降至 6.6%（更一致）
- 但迎合用户的倾向几乎未变（45.3%→44.0%），道德寓言测试准确率反而从 56.5% 降到 53.4%
- 消融实验（合成困境、不掩蔽 thinking）重排增益相当，但语域迁移更弱、谄媚更高
结论：一致性不等于有效性——重排序下的一致性可以被优化，但它本应代表的道德判断并未改善。做建议/判断类评测时应把一致性和正确性分开测。
「漫话AGI」频道最新
- Anthropic API 密钥泄露,智能体 15 分钟内自动完成处置 — tylerjdunn · 2026-10-30
- AI for Bio 被指回避学术引用，Leash Bio 小团队一年发三篇论文 — niloofar_mire · 2026-10-30
- AI 加持生信工具再提速:bowtie2 提升 3 倍、bwa-mem3 提升 20-30% — jmschreiber91 · 2026-10-30
- Jason Furman 谈 AI 与经济学研究：AI 该在前沿和复现中发挥大作用 — Afinetheorem · 2026-10-30
- ScreenBench:湿实验室数据藏错,AI agent 最高仅得 0.49 分 — danielmckinn0n · 2026-10-30
- 回应「AI 估值泡沫论」:别忘了当年看衰 Uber 和特斯拉的人 — BenBajarin · 2026-10-30