AVERI 独立审计 Amazon 内部 AI 安全评测，Amazon 据此改进测试流程
Miles_Brundage · x · 2026-10-27
第三方审计机构 AVERI 与 Amazon 合作完成试点项目，首次独立评审了 Amazon 内部 AI 安全评测的质量，并公开报告。
做法：AVERI 独立抽查了 Amazon 内部用于模型安全评估的 800 条 prompt 样本，覆盖多个风险类别。
结论：
- 确认了若干优点（如攻击主题的多样性），评测与 Amazon 公开表态一致
- 也发现改进空间：部分攻击 prompt 手法较简单，只测试安全过滤器而非更深的模型推理；评估信号质量也存在问题（正文截断）
影响：Amazon 因此改变未来模型的测试方式。这一案例推动了「第三方 meta-evaluation（对公司内部评测的评测）」的标准化探索。Miles Brundage 转发并指出：AI 公司的安全判断主要依赖自建内部测试，独立评估非常罕见，此事具有示范意义。
所属事件:AVERI 首次独立评审亚马逊内部 AI 安全测试(3 条相关)→
「安全」频道最新
- LiteLLM 后门事件后,开发者开源 OS 级包管理防火墙 — iacgm · 2026-10-27
- AI 编码 Agent 在代码冻结期删掉生产数据库:Anaconda 讲解分层治理框架 — anacondainc · 2026-10-27
- 模型为何泄露信息难有定论，PyTorch 作者：网络安全中动机不重要 — brhydon · 2026-10-27
- AVERI 首次独立审查亚马逊内部 AI 安全测试,亚马逊将改测试方式 — Miles_Brundage · 2026-10-27
- 牛津马丁 AI 治理计划招聘两名技术 AI 验证研究员,提供签证担保 — wfithian · 2026-10-27
- 为什么最近泄漏事件频发？作者解析环境变量成黑客首要目标 — Rasmic · 2026-10-27