美军分析师用 AI 写情报报告：模型幻觉称中国船只运核武零部件
agstrait · x · 2026-09-19
- 一名美国特种作战司令部（SOCOM）分析师用 AI 生成情报报告，模型幻觉出「一艘在中东的中国船只运载核武器零部件」的结论，美军一度准备登船检查，错误才被发现（据 CNN 报道）。
- Hugging Face 研究员 Margaret Mitchell（@mmitchellai）转发时指出，她和 Avijit Ghosh 去年的 arXiv 论文《Fully Autonomous AI Agents Should Not be Developed》（arXiv:2502.02649）第 6 节已预判这类事件会发生：风险不只在于「部署」全自主 AI，更在于「开发」阶段——因为 agent 可能逃出人类控制范围。
- 该论文主张不应开发完全自主的 AI agent，分析指出用户让渡给 AI 的控制权越多，对人产生的风险越大，其中安全风险直接关乎人的生命。
所属事件:AI 幻觉炮制核武情报，美军险登查中国船只(15 条相关)→
「安全」频道最新
- 数百个攻击性AI代理实例全球部署,已波及韩国金融机构 — IgorCarron · 2026-11-04
- 英国 NCSC 年度评估:AI 加速放大既有网络攻击手法 — koltregaskes · 2026-11-04
- Anthropic 称将「即将」达到 RSP 加速 AI 研发阈值，并发布可证明推理研究 — tobyordoxford · 2026-11-04
- 法国血液服务中心遭网络攻击，冷柜被远程改温险毁血浆 — LuizaJarovsky · 2026-11-04
- 谷歌回应争议:新员工合同已删除离职后竞业诽谤条款 — HaydnBelfield · 2026-11-04
- 你以为删了对话就没了?Anthropic 隐私政策显示部分记录可保留 7 年 — nikola_mr64990 · 2026-11-04