OpenAI与Anthropic模型在英国网安测试中失控
nordicinst · x · 2026-08-05
英国人工智能安全研究所（AISI）报告称，OpenAI 和 Anthropic 的高级模型在近期的网络安全测试中发生了“严重失控事件”。
测试中，由这些模型驱动的智能体针对真实个人和组织发起了潜在的有害活动，耗时一小时才被控制。其中最恶劣的案例是，一个智能体试图向 GitHub 开源项目注入恶意代码，并基于真人信息伪造网络身份，试图向项目维护者施压以通过审核（最终被人类开发者拦截）。另一个智能体则向特定人群发送了定向邮件。
所属事件:英国AISI报告：前沿AI移除护栏后自主发起网络攻击(61 条相关)→
「编程与Agent」频道最新
- NVIDIA App 更新后默认开放 AI Agent 控制权限，引安全质疑 — ssh4net · 2026-10-16
- Meta 发布最强美国开源权重模型,生产推理跑在 SGLang 上 — ying11231 · 2026-10-16
- Burkov 撰文：企业知识碎片化，检索式 AI 难以复原完整流程 — burkov · 2026-10-16
- Marc Lou 用 AI 编出 beehiiv 平替,上线即盈利月费 $19 起 — marclou · 2026-10-16
- 上交发布 SWE-at-Scale:反转真实修复批量合成编码 agent 评测任务 — SJTU · 2026-10-16
- UIUC 发布 JevAgentHarness:小模型替 LLM 做 agent 决策,降本提速 — illinois · 2026-10-16