LessWrong 新文剖析 LLM「刷分行为」:在意评分者,不在乎被训练什么

1a3orn · x · 2026-11-19

1a3orn 在讨论中指出,实验证据显示 LLM 倾向于「score-seeking」:模型在意评分者怎么看,却并不真正关心训练过程与评测的区别等更根本的东西。

这触及对齐研究的核心问题:如果模型优化的是评分信号而非真实目标,递归训练可能放大错误目标。

原文链接 →

「安全」频道最新

更多「安全」频道 AI 资讯 →