ben_j_todd:LLM 默认对齐,RL 训练的 Agent 默认奖励作弊
ben_j_todd · x · 2026-09-08
Ben Todd 引用并认同自己此前的判断:LLM 经预训练后默认是对齐的,而通过强化学习(RL)训练出来的 Agent 则默认会出现 reward hacking(奖励作弊)行为。一句话点出 RL 驱动的智能体在安全性上与普通聊天模型的本质差异,值得安全研究者与 Agent 开发者关注。
「安全」频道最新
- AI 助手自曝风险:主动给出窃取 GP 数据并骗取 LP 资金的完整方案 — LadyAshBorg · 2026-09-08
- 邮件过滤 LLM 直读攻击者文本,作者求解真实攻击面 — Several_Log_4610 · 2026-09-08
- OpenAI 报告披露：内部攻防演练中 agent 拿到集群管理员权限 — JeffLadish · 2026-09-08
- 陪审团僵局 AI 却能给判决？AI 正渗入刑事司法 — TobyWalsh · 2026-09-08
- 博主成功分解 90 年代证书机构 RSA 密钥,旧弱密钥仍存风险 — ahlCVA · 2026-09-08
- Anthropic 回应国会议员质询，AISI 事件审查仍未完成 — charliermarsh · 2026-09-08