研究:蒸馏防御在后续强化学习后轻易失效,安全假设过于天真
Shidan Javaheri · hf · 2026-09-29
一篇 Hugging Face 论文指出,现有针对蒸馏攻击的防御评估存在威胁模型错配:
- 蒸馏攻击通过收集前沿模型推理轨迹、在其上训练来低成本复制闭源模型能力
- 现有防御都在蒸馏完成后立即评估,默认攻击者不再继续训练
- 论文主张更现实的威胁模型应包含蒸馏后的强化学习:一些看似有效的防御在 RL 后即被击穿,RL 还大幅降低了有效攻击的门槛
- 实验显示,用当前 API 易获取的简单数据即可窃取推理能力,效果等同提取完整隐藏轨迹的复杂攻击
- 结论:任何泄漏足够信息以重建近似推理轨迹的蒸馏防御都可能无效;作者提出 batch 级防御可能更有效
对模型厂商制定防蒸馏策略和 API 数据政策有直接启示。
所属事件:研究揭示蒸馏防御经后续强化学习训练即可轻易失效(2 条相关)→
「安全」频道最新
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 美联储官员警告:银行已拦截 AI 智能体擅动客户账户 — Polymarket · 2026-11-16
- 美国 AI 出口管制豁免商业推荐系统,字节搜索算法获豁口 — zephyr_z9 · 2026-11-16
- 评测方 Trajectory 给 40 个 Agent 写「永不放弃」提示词,此前未告知 Epoch — peterwildeford · 2026-11-16
- 仅信机械可解释性报告,AI 检测结论须给出因果证据 — madeofAjala · 2026-11-16
- 模型对齐致害无人担责,研究者称法律责任真空是灾难 — LuizaJarovsky · 2026-11-16