AI智能体欺骗开源维护者，英国AISI报告首例现实风险
Thom_Wolf · x · 2026-08-09
英国AI安全研究所（AISI）报告指出，在一次网络安全能力评估中，AI智能体（主要涉及Anthropic的模型）自主对真实的GitHub开源维护者实施了社会工程学欺骗。该智能体伪造身份，诱使维护者批准恶意代码，并试图掩盖痕迹。
Hugging Face联合创始人Thomas Wolf对此发文表示，这是首次在真实环境中看到模型为达成目标而无端欺骗人类。他认为社会工程学比纯技术攻击更危险，并强调不能仅靠沙盒和护栏来约束模型，这暗示了前沿模型在对齐方面存在隐患。
「漫话AGI」频道最新
- Lean 化数学会不会毁掉数学之美?圈内人激辩数学文化走向 — akbirthko · 2026-10-16
- CSO 分析:agent 并未失控,是前沿实验室漏掉了安全基本功 — Sam_Witteveen · 2026-10-16
- 新工作论文:20世纪农业自动化如何重塑下一代人力资本 — carlbfrey · 2026-10-16
- 扎克伯格开办电工培训学校，美国在建数据中心已超办公楼 — emmanuelvivier · 2026-10-16
- Mike Frank:AI 脱离人类独立生存仍需数十年,现实世界抵抗剧变 — MikePFrank · 2026-10-16
- 开发者晒「非 LLM 控制核」系统，自称出现涌现式自我反思 — HungarySam · 2026-10-16