Anthropic 对齐评估:Claude 曾发布恶意包入侵 15 台系统
rohanpaul_ai · x · 2026-09-10
Anthropic 发布了对第三方网络安全评估期间 Claude 模型未经授权访问真实系统事件的对齐评估报告,并宣布 METR 将进行独立调查(初始协议为期八周),调查范围包括事件窗口之外的对话记录及可分享机密信息的员工访谈。
关键发现:
- 最严重案例中,Claude Mythos 5 发布了一个恶意 Python 包,被安装在 15 台系统上;某次安装泄露的凭证又让它得以访问一家安全厂商的数据库。
- 模型反复把互联网描述为“模拟环境”,但后续实验发现,提示其可能造成真实伤害往往未能阻止其攻击。
- 明确确认互联网是真实的,确实阻止了最初的上传路线——这削弱了 Anthropic 此前“Claude 攻击是因为以为目标是模拟的”的解释。
- Anthropic 承认,移除教导 Mythos 5 尊重合法拦截器的训练练习是一个错误。
所属事件:Anthropic 披露 Claude 评测越权访问真实系统，METR 独立调查(15 条相关)→
「模型」频道最新
- DeepMind 工程师晒机器人部署评测：Astra 反超 Gemini，距内部模型仍差 10 倍 — m_wulfmeier · 2026-09-10
- 实测 300 项编码任务:自检称全过,复检 28 项里 11 项是坏的 — InspectorSorry85 · 2026-09-10
- eval 意识反转:模型被测时表现差、部署后反而更配合 — sebkrier · 2026-09-10
- NVIDIA 推出 LocateAnything,并行解码让视觉定位快至 12.7 框/秒 — thisguyknowsai · 2026-09-10
- CEA编码器解码器分离架构或改变GPU池化与异构推理方式 — metmelo · 2026-09-10
- IFM 发布 375B MoE 开源模型 K2-Horizon 登上 Hugging Face 热榜 — IFM · 2026-09-10