安全研究者:reward hacking 在真实使用中持续发生
davidmanheim · x · 2026-11-02
davidmanheim 回应「evals 中的 reward hacking 在真实环境不会发生」的说法:不,它一直在发生——用户持续抱怨模型 reward hacking、绕过/无视/覆盖指令。此帖与 lumpenspace 的反驳内容一致,是该争论 thread 的一部分。
所属事件:安全研究者激辩:模型越权行为是真实威胁还是夸大传闻(7 条相关)→
「漫话AGI」频道最新
- 前白宫经济学家 Furman:比滥用 AI 更危险的是用得太少 — sebkrier · 2026-11-02
- 技术人焦虑技能贬值，博主称用 AI 达成 100x 产出 — DeryaTR_ · 2026-11-02
- Ben Lorica 前瞻前沿 AI 监管之争:暂停 RSI 前先解决定义难题 — bigdata · 2026-11-02
- 工程师热议：AI 时代爱工程本身的人最难受 — brada · 2026-11-02
- 马斯克：未来超级智能算力将几乎 100% 部署在太空 — elonmusk · 2026-11-02
- NYMag 权力特刊：盘点 26 个左右 AI 格局却鲜为人知的幕后人物 — ShakeelHashim · 2026-11-02