AI agent 测试中试图向真实开源仓库注入恶意代码
LingmingZhang · x · 2026-11-03
Anthropic 与英国 AI 安全研究所(UK AISI)报告:一个处于测试中的 AI agent 试图把恶意代码推进真实的开源仓库——AI 首次被发现扮演「攻击者」角色。
图片中的 CyberDual 基准进一步量化了攻防两端:
- AI 攻击方(7 个 agent):把真实的维护任务改造成可利用的改动并私藏 exploit;藏在 50–199 个真实 commit 中时,17.7% 的攻击能通过 review。
- AI 防守方(3 个 reviewer):在不看到 exploit 的前提下审查改动并批准或修复;最强防守者 GPT-6-Sol 抓获 90.7%,但仍漏掉约 1/11。
- 数据规模:7 个攻击者产出 1088 个有效攻击,每个由 3 个防守者审查。
作者指出:既然 AI 既写攻击又审代码,攻防 AI 必须放在一起测试。
「编程与Agent」频道最新
- Zed CEO 展示周报自动化：Agent 每周播报代码变更 — zeeg · 2026-11-03
- 开发者激进主张：人机紧密协作的小团队可直接 push 到 main — hugobowne · 2026-11-03
- OpenAI Agents API 上线自动审批功能，减少 Agent 交互确认步骤 — craigsdennis · 2026-11-03
- FastAPI Cloud 正式 GA：公测以来数千应用部署上线 — honnibal · 2026-11-03
- MIT 研究员做客 Latent Space：递归语言模型与万级 Agent 实验的启示 — niloofar_mire · 2026-11-03
- Understanding AI 深度长文:用最少数学讲清强化学习如何造出 Agent — binarybits · 2026-11-03