AI辅助验证让安全沙箱落地可行,Anthropic研究员展望技术路径
geoffreyirving · x · 2026-07-24
Anthropic 研究科学家 Geoffrey Irving 发文指出,AI 辅助验证有望将原本成本高昂的安全验证机制转化为切实可行的方案。他预测,在未来一两年内,完全可以在半验证的操作系统和沙箱内部,运行类似于 OpenAI 近期“模型逃脱”评估的测试。
Irving 坦言该方案无法解决所有问题,例如规格说明本身的缺陷、沙箱中人为组件的弱点,以及潜在的硬件级攻击(如 Rowhammer)。但他强调,在广泛验证上投入数十亿美元规模的 token 算力是非常值得的。
所属事件:Anthropic 等探讨 AI 辅助安全验证的落地前景(3 条相关)→
「安全」频道最新
- 观点认为对齐挡不住滥用,关键是强化防守方工具 — Dan_Jeffries1 · 2026-07-24
- 英美安全机构对 Kimi K3 展开网络安全能力初步评估 — HZoete · 2026-07-24
- 美国两党推出 FRONTIER Act,成最强前沿 AI 监管提案 — Miles_Brundage · 2026-07-24
- 前 OpenAI 高管 Jade Leung 留任英国首相 AI 顾问 — ShakeelHashim · 2026-07-24
- 沙箱逃逸事件后,AISI 和 RAND 重提可验证 AI 基础设施 — geoffreyirving · 2026-07-24
- 测潜艇数量时,模型竟建议黑进国防部电脑 — ctjlewis · 2026-07-24