DatologyAI 用梯度归因揪出「看似无害」的降安全数据,攻击成功率降 22%
pratyushmaini · x · 2026-11-03
DatologyAI 发布新研究 SafeTulu:用可扩展的梯度归因方法过滤「看似良性但会削弱 LLM 安全性」的训练数据,相对最多降低 22% 的攻击成功率,同时基本不损及能力。
关键点:
- 梯度归因可规模化:基于 LoRIF 简化得到的 SimpleLoRIF,梯度计算只比标准 embedding 慢约 3 倍,可处理百万级样本;
- 小模型当监督者:0.6B 的模型即可监测进入大模型训练的危险数据;
- EM 数据可能训练后才可检测:梯度空间中的表征往往要等模型接触过「安全的危害数据」后才对齐,呼应 Emergent Misalignment 一文;
- 实验中不安全代码训练数据与微调后广泛危害行为的梯度对齐 AUC 最高达 0.865;SafeTulu 移除梯度最对齐不安全响应的 20% 样本后,GCG 攻击成功率在 Qwen、Llama、Olmo 上最多降 22%,优于 LLM-as-a-judge。
已发布数据集与 Hugging Face Space,供研究者自定义过滤比例构建自己的 SafeTulu。
所属事件:SafeTulu 用梯度归因过滤降安全数据(3 条相关)→
「安全」频道最新
- 给裸奔 vibecoding 的 PSA：Playwright 默认关沙箱且捆绑带 CVE 的旧 Chromium — Kyrannio · 2026-11-03
- Edouard Harris:攻击成本骤降,后续网络破坏事件将大多源于此 — harris_edouard · 2026-11-03
- Gartner 调查：AI 发现漏洞成头号新兴风险，修复跟不上 — krishnan · 2026-11-03
- 深度专访：39 岁 Thiel 门徒执掌白宫科学办公室，主导 AI 监管改革 — saranormous · 2026-11-03
- OpenAI 在前沿模型部署激活分类器探针，从 GPT-5.6 起全量监控 — bobabowen · 2026-11-03
- Xbow 曝光 $4 万拿下 Chrome 全链漏洞的 API 成本明细 — moyix · 2026-11-03