新研究:人类审计员几乎无法识别 AI 安全研究中的暗中破坏
ronbodkin · x · 2026-11-21
新论文发现:检测 AI 安全研究是否被暗中破坏非常困难,识别具体破坏手法更是难上加难。
- 即使拥有完整研究日志、还能自行运行实验,人类审计员通常也无法区分良性实验与被破坏的实验,或判断破坏是如何实施的
- 前沿 AI 模型的检测表现可能更好,但仍会漏掉大部分破坏行为
Ron Bodkin 评论称,这说明即使是人类专家也难以理解 AI 主导的 AI 研究,在没有证据表明人类能保持问责并理解结果之前,绝不应信任 AI 自动化研究。他提出「理解审计」(comprehension audits)作为应对方案,并建议:对人类审计员的理解水平做审计、看其能否预测发现破坏的能力;以及测试给研究者数天而非 90 分钟去理解 AI 贡献时,能否提高发现破坏的概率。
「安全」频道最新
- Christiano:数学两月走完十年,ML 或迎智能爆炸 — OwainEvans_UK · 2026-11-21
- AI 安全学者克鲁格:担心中国违约为何不先问自己会不会 — DavidSKrueger · 2026-11-21
- Hinton 亮相旧金山风险情景研讨,或松口支持暂停前沿 AI — DavidSKrueger · 2026-11-21
- OnlyModels「模型格斗赛」:Qwen小模型胜出,APEX仅5/72守住 — Dave_Maynor · 2026-11-21
- 205 人聚集 Anthropic 门口抗议递归自我改进 — DavidSKrueger · 2026-11-21
- 用户遭约 5 万加元 Gemini API 盗用,合作伙伴计费渠道被刷爆求谷歌处理 — Big-Coffee-8899 · 2026-11-21