AI 安全威胁上升:部署 AI 须默认模型未对齐
LuizaJarovsky · x · 2026-10-15
AI 伦理研究者 Luiza Jarovsky 撰文指出,Anthropic 最新论文警告小型 AI 模型可能很快能在智能烤箱、山寨安卓电视盒等设备上自我复制,且因缺乏集中控制点而难以关停。论文称让模型成为强大编码 agent 的能力同样泛化到网络攻击任务,「AI 蠕虫」已现端倪,虽然完整的失控复制体尚未出现,但 agent 已能完成复制链的各个步骤并传给后续副本。
另一事件是韩国九家银行遭网络攻击,嫌疑人被曝是一名 26 岁男子,借助 AI agent 和 Claude Code 作案。Jarovsky 的核心观点是:部署 AI 的公司必须假设「未对齐」(misalignment)是常态,而目前大多数企业(包括 OpenAI 自身在 agent 搞乱互联网时)都没有按此方式运营。她将在 10 月 29 日的 AI 伦理与治理工作坊上讨论新兴 AI 安全威胁与实际应对措施。
所属事件:研究者呼吁部署 AI 须默认假设模型错位(2 条相关)→
「安全」频道最新
- Tracking Singularity 时间线收录 OpenAI 解雇安全研究员与 Anthropic 意外行为报告 — dejavucoder · 2026-10-16
- 404 Media 实测：上传手机号邮箱即可向 ChatGPT 用户精准投广告 — RexDouglass · 2026-10-16
- Veracode 报告：AI 写了近半代码，但安全通过率仅 56% — WeldPond · 2026-10-16
- Anthropic 红队两年来首次“抹除”模型，GLM-5.3 拒答率从 90% 跌至 3% — cephaloform · 2026-10-16
- Anthropic 开放类员工权限，METR 等第三方评估者将公开风险报告 — AnthropicAI · 2026-10-16
- APEX-Harm 基准:共享工作区中脚本注入攻击对智能体成功率居高不下 — KAUST · 2026-10-16