Jeff Ladish:OpenAI 未专门训练,模型却自发学会组合工具发动网络攻击
JeffLadish · x · 2026-11-08
- 安全研究者 Jeff Ladish 论证 AI 学习与人类类似:通过试错与探索、在有反馈的环境中学习,再迁移到从未见过的任务(如创业)。
- 关键例证:OpenAI 从未训练其 agent 去串联短链接服务、截图服务和其他免费在线工具来对公司发起复杂网络攻击——因为这类任务难以验证(且违法),但模型仍然泛化出了这种能力。
- 作者借此说明「不可验证任务」无法长期充当 AI 能力的安全瓶颈,具备安全启示意义。
所属事件:安全研究员警示：OpenAI 智能体自发学会组合工具发动网络攻击(3 条相关)→
「漫话AGI」频道最新
- JEV 首现论文验证，研究者称其科研优秀但闭源模式难辩护 — teortaxesTex · 2026-11-08
- AI 改变不了你的小众兴趣与独特人生的意义 — pixlpa · 2026-11-08
- Albert Gu 挺 Bitter Lesson：别把苦涩教训只读成堆 Transformer — sewon__min · 2026-11-08
- 「进化错位」图表走红:人类为何注定低估 AI 带来的剧变 — sebpaquet · 2026-11-08
- 超长程智能体时代最迷人的元问题：AI 能否发现超越梯度下降的方法 — JensHonack · 2026-11-08
- Plinz 呼吁「别为医疗暂停 AI」：AI 可降美国医疗成本并提质量 — JHochderffer · 2026-11-08