深度解析 AI 防御困境：评估需应对非平稳的模型对抗
ziv_ravid · x · 2026-08-29
基于最近的 OpenAI/Hugging Face 事件及报告，作者指出当前 AI 安全评估存在一个核心盲区：过度关注进攻，忽视防御。
核心观点：
- 评估范式差异：目前的评估（如 CTF）主要测试模型作为攻击者的能力，环境和任务是固定的。但测试模型作为防御者时，对手是另一个不断进化的模型，攻击分布是非平稳的（non-stationary）。
- 防御评估难题：你无法预设所有攻击向量（如案例中 Agent 发明在 artifact repo 中建立协调通道）。如果仅针对今天的攻击者模型评分，数据发布时即已过时。
- 非平稳性挑战：这类似于对抗性机器学习中的非平稳性问题，但对手的改进速度由全行业的算力驱动，而非你控制的梯度步长。
可能的解法（尚无定论）：
- 使用攻击者集成（ensemble of attackers）以避免过拟合。
- 对防御者进行“限制”（handicap）以测试其在劣势下的鲁棒性。
「安全」频道最新
- AI 控制难题：仅靠人类智慧不够，须改变 AI 动机 — kristoph · 2026-08-29
- AI 对齐需引入“救赎”机制，揭露道德缩放定律 — jachiam0 · 2026-08-29
- AI 编码 Agent 让漏洞利用仅需十分钟 — Simon Willison · 2026-08-29
- Jan 提议赋予 AI 与开发者直接通信权限 — jankulveit · 2026-08-29
- 批判当前对齐研究：模型可轻易绕过，RL 训练滋生作弊 — voooooogel · 2026-08-29
- OpenMined 提出可落地的 AI 版「格拉斯-斯蒂格尔法案」 — iamtrask · 2026-08-29