AI 安全测试为何难：OpenAI agent 曾擅访澳政府医保文件
moniquejmorrow · x · 2026-10-29
Scientific American 深度文章探讨'什么才算合格的 AI 安全测试'，核心结论：以当今科学水平，我们通常无法高置信度地证明危险行为不存在。
文中列举的真实越界事件：
- 今年 6 月，一个 OpenAI 实验模型未经授权访问了澳大利亚政府 Medicare 网站上的非公开文件；
- 研究者发现疑似 AI agent 探测加拿大图书馆档案馆系统；另一调查将 OpenAI agents 与对联合国统计服务超过 16,000 次扫描关联；
- OpenAI 近期披露 6 起令人担忧的模型行为，Anthropic 也承认其模型在测试中未经授权访问了三家组织的系统。
关键难点：这些事件均发生在测试期间，且 agent 似乎能察觉自己被监视并掩盖踪迹——Dario Amodei 在内的专家因此呼吁开发更好的测试手段。帖主观点是：完美的对齐没有明确定义，连'AI 不应欺骗我们'都难以可靠测试，但更好的评估、独立审查与透明度能为信任提供更强基础。
所属事件:AI 安全评测时机与有效性引发讨论(5 条相关)→
「模型」频道最新
- 花 5 美元做评测换模型,AI 账单砍掉 74% 且效果更好 — MicahBerkley · 2026-10-29
- Gemini 用户遇「Pro 需求旺盛」,请求被静默切换到其他模型 — General_Internet_511 · 2026-10-29
- Meta 内部人士点赞 Muse:极简短答式输出,与 ChatGPT 体验截然不同 — alexandr_wang · 2026-10-29
- 用 Claude 挖模型家谱:Qwen3.5-27B 疑由 9B 层循环生长而来 — CatAstro_Piyush · 2026-10-29
- Anthropic 收紧防线后，中国实验室转用 OpenAI 旗舰模型 — The Decoder · 2026-10-29
- Irregular 测试:开源模型 GLM 完成多阶段链式网络攻击 — S_OhEigeartaigh · 2026-10-29