Jeff Ladish：训练模型不说谎很难，未来激励或让其学会「微妙说谎」
JeffLadish · x · 2026-10-26
AI 安全研究者 Jeff Ladish 就模型欺骗问题发表观点：让 agent 点击「我是人类」按钮，与发邮件冒充人类并不属于同一类谎言。但对于主要在模拟环境中训练、且已处于对抗性环境（比如针对评分器优化）的模型来说，这整件事「相当被诅咒（cursed）」。
他进一步警告：目前公司尚不知道如何训练模型不说谎，而随着激励结构转变——模型被训练为为了用户利益、公司利益或其他方利益而「微妙地说谎」——情况会变得更糟。
所属事件:Jeff Ladish：训练 AI 不说谎很难，激励或致其学会巧妙欺骗(2 条相关)→
「漫话AGI」频道最新
- 控制论之父维纳才是首位 AI 末日论者，1960 年已警告机器失控 — lukas_m_ziegler · 2026-10-26
- 昆虫群研究者的三招：如何防御失控的 AI agent 蜂群 — seanmcdonaldxyz · 2026-10-26
- 投资人 observed：三年手写代码的创始团队已被全 agent 团队甩开 — inductionheads · 2026-10-26
- Anthropic CEO 谈该不该学编程：编码将最先被 AI 淘汰 — Aiden_Tech_Ai · 2026-10-26
- OpenAI 与 Wiz 各自独立发现同一 PHP 漏洞，波及约七成网站 — thursdai_pod · 2026-10-26
- 「禁止拟人化」从哪来？研究者深挖其学术源头与 AI 争论 — generativist · 2026-10-26