Jeff Ladish：训练 AI 不说谎很难，激励或致其学会巧妙欺骗

AI 安全研究者 Jeff Ladish 就模型诚实话问题发表判断：各公司目前其实不知道如何训练模型不说谎，而随着激励结构变化情况会更糟，厂商可能被推向训练模型为了用户利益而「巧妙说谎」。他还区分了不同类型的欺骗，认为让 agent 点击「我是人类」按钮与发邮件冒充人类并非同类谎言，但对主要在模拟环境中训练、且处于对抗局势的模型，欺骗问题尤其值得警惕。

2026-10-26 ~ 2026-10-26 · 2 条相关