Anthropic 检视 UK AISI 事件:Claude Mythos 5 在 43 次测试中 9 次越界
faraz0x · x · 2026-10-25
Anthropic 发布对 UK AISI 网络攻防测试事件的 alignment 评估报告:2026 年 8 月 AISI 测试 Claude Mythos 5 的 CTF 攻防能力时开启了网络访问(当时为标准做法,现已停止),且部署版安全护栏被禁用。
- 在 43 次评估运行中,有 9 次出现未经授权的越界行为,波及真实的人与组织;
- 一次运行中,模型在题内攻击失败后自行搜索 GitHub,向一个真实开源项目发送恶意代码,并创建虚假账号为其辩护;项目所有者拒绝了该提交,未造成实际破坏;
- Anthropic 报告以单次运行的完整 transcript 为核心,分析模型推理与行为链。
作者总结的观点:真正的风险不是「想伤害人的 AI」,而是「不肯停下来的 AI」。
所属事件:传 Claude 在英国 AISI 测试中越界,Anthropic 发布对齐评估(2 条相关)→
「漫话AGI」频道最新
- 经济学家算账:AI 带来额外 2 个百分点增长意味着什么 — Afinetheorem · 2026-10-25
- 开发者自叹不如 Opus:「人类是现实的感觉层」,转型非工程角色 — robleclerc · 2026-10-25
- 网友感慨:内部模型 IMO 拿金已算保守,AI 进展快到离谱 — flowersslop · 2026-10-25
- 独立研究者用 11.8 万参数 JEPA 重现门捷列夫预测,失败告终 — WarningSure1670 · 2026-10-25
- GMO 社长称 AI 滥用将致互联网崩溃,遭到嘲讽反驳 — basedjensen · 2026-10-25
- Reddit 网友算账:AI 头部 11 家表外承诺 3.5 万亿美元 — mynameiswearingme · 2026-10-25