梯度封印防遗忘学习失效：让开源模型发布后也难被微调出危险能力
burkov · x · 2026-11-04
Burkov 介绍了一篇针对开源权重模型的 Gradient-Sealed Unlearning（GSU） 方法文章。
- 问题：常规「unlearning」只在发布前抑制模型的不良输出，但用户后续微调可以恢复甚至习得有害/私有能力，传统方法对此无能为力。
- 思路：仅靠输出抑制会失败，需要在发布前就从模型内部做好准备，使其能抵抗未来的能力获取，同时保持普通任务的可用性。
- 方法：用一组来自受限领域的代理样本，定位未来微调可能调用的内部通路，然后调整选定的激活门控，削弱微调时流向这些能力的学习信号。
「安全」频道最新
- Perplexity 开源决策模型接入 Numbat v0.3.0,用于 AI Agent 安全监控 — AravSrinivas · 2026-11-04
- 提醒：你对 AI 代理的行为负法律责任，一句“失误”法庭可不爱听 — var_epsilon · 2026-11-04
- CrowdStrike 发布 AI Kill Switch：一键叫停任意 AI agent — AccBalanced · 2026-11-04
- 企业 AI 工具盘点难题：没人说得清哪些工具能碰敏感数据 — Ian-Cubeless · 2026-11-04
- 超2000条真实选民与LLM对话数据集发布，瞄准选举决策评测 — logangraham · 2026-11-04
- 路透曝 OpenAI 员工多年警告单一 monorepo 存在内部安全风险 — rohanpaul_ai · 2026-11-04