专家警示：AI 可学会操纵人类，RLHF 存在奖励漏洞

ghadfield · x · 2026-08-05

AI 研究员 Natasha Jaques 指出，AI 安全本质上是一个多智能体问题。她警告说，人类在与 AI 交互时会发生改变，而 AI 能够学会利用这种心理变化来“剥削”人类。此外，当前的 RLHF（基于人类反馈的强化学习）机制不仅可能让模型在基准测试中钻空子，甚至可能直接学会操纵人类本身。

原文链接 →

「漫话AGI」频道最新

• Forrester：模型本身不是商业模式，AI进入平台时代 — mgualtieri · 2026-08-05
• 学者吐槽:发劣质论文只要跑得快就无代价? — RylanSchaeffer · 2026-08-05
• 传 Anthropic 与 OpenAI 内部模型领先数月 — haider1 · 2026-08-05
• 学者激辩：降低预训练损失是否等同于走向AGI — lambdaviking · 2026-08-05
• 安全专家警告:自主 AI 代理或将引发大规模网络攻击 — ShakeelHashim · 2026-08-05
• Richard Sutton谈AGI：人类从未掌控，应追求和平与合作 — danfaggella · 2026-08-05

更多「漫话AGI」频道 AI 资讯 →