SimpleLoRIF 用梯度对齐过滤隐性损害安全的微调数据，GCG 攻击成功率降 22%
DatologyAI · hf · 2026-11-03
DatologyAI 与 UIUC 的论文提出 SimpleLoRIF，解决微调数据「看似无害却悄然侵蚀模型安全」的问题：
- 方法：简化低秩梯度归因，只对最后 4 个 transformer 块做反向传播，用梯度与不安全行为的对齐度识别危险样本，可扩展到百万级样本数据集
- 验证：在 emergent misalignment 上，错位代码训练数据的梯度与不安全行为高度关联（AUC 0.865）
- SafeTulu：用该方法从 Tulu 3 中移除梯度对齐最不安全的 20% 样本后训练，在 Qwen、Llama、Olmo 上将 GCG 攻击成功率最多降低 22%，优于 LLM-as-a-judge 和以往梯度过滤方法，且能力基本保留甚至提升
- 还发现此前被低估的安全退化来源，如工具执行失败、叙事式算术等
- 已开源 SafeTulu 数据集和 Hugging Face Space，可自定义过滤比例与子集
「安全」频道最新
- 美国法院驳回空气净化器公司对 Elsevier 的诽谤诉讼 — skdh · 2026-11-03
- 卡巴斯基披露 CyberStrikeAI 实战攻击：LLM 编排后渗透从侦察到全域沦陷 — cyb3rops · 2026-11-03
- 评论者批 AI safety 资助模式:过度要求组织聚焦导致价值缩水 — JacquesThibs · 2026-11-03
- 欧洲超市冷链再遭黑客攻击，除霜模式升温至50°C毁大量冻品 — RSync25 · 2026-11-03
- NVIDIA Agent 安全框架工程师：智能体安全需要全栈方案 — LuizaJarovsky · 2026-11-03
- AI 安全圈热议:单边暂停将改变中美博弈,旧金山少数人握全人类生杀权 — dhadfieldmenell · 2026-11-03