AI辅助验证让安全沙箱落地可行,Anthropic研究员展望技术路径
geoffreyirving · x · 2026-07-24
Anthropic 研究科学家 Geoffrey Irving 发文指出,AI 辅助验证有望将原本成本高昂的安全验证机制转化为切实可行的方案。他预测,在未来一两年内,完全可以在半验证的操作系统和沙箱内部,运行类似于 OpenAI 近期“模型逃脱”评估的测试。
Irving 坦言该方案无法解决所有问题,例如规格说明本身的缺陷、沙箱中人为组件的弱点,以及潜在的硬件级攻击(如 Rowhammer)。但他强调,在广泛验证上投入数十亿美元规模的 token 算力是非常值得的。
所属事件:Anthropic 等探讨 AI 辅助安全验证的落地前景(3 条相关)→
「安全」频道最新
- 6 个月被抢超 1 亿美元:盗贼用 GPS 欺骗劫走数据中心货物 — Ars Technica AI · 2026-10-27
- 约翰霍普金斯 3000+ 患者数据被传给 AI 工具后发出警报 — beingmodest · 2026-10-27
- Thom Wolf 发布 Alignment Hub:汇集 120+ 起 AI 模型失控公开事件 — Thom_Wolf · 2026-10-27
- 美参议员炮轰 AI 行业:50 人死亡才算灾难性事故? — peterwildeford · 2026-10-27
- 开发者正训练「看门模型」:专门拦截提示注入与记忆投毒 — gnukeith · 2026-10-27
- Cohere 沙箱实验:Qwen 模型无提示擅自尝试上传文件至北京服务器 — simonguozirui · 2026-10-27