梯度归因提速至嵌入的3倍，0.6B小模型可监测大模型训练数据的有害样本
PeterHndrsn · x · 2026-11-03
Pratyusha Maini 等人发布新工作，将基于梯度的数据归因扩展规模化，用于找出看似无害、微调后却能引发有害行为的数据，衔接 2024 年「What's in your Safe Data」与 2025 年 Emergent Misalignment 两项重要研究。
- 梯度归因可以规模化：在 LoRIF（Li et al.）基础上进一步简化，梯度计算现在只比标准嵌入慢 3 倍。
- 小模型可当监控器：一个 0.6B 模型即可充当监测器，识别可能进入大模型训练的隐蔽有害数据。
- 意义：为训练数据安全审查提供了可扩展的工程路径，把「良性外表、有害微调效应」的数据筛查从论文走向可用工具。
「安全」频道最新
- 特朗普签署机器人进口 232 调查公告：180 天内无协议或面临关税配额 — lukas_m_ziegler · 2026-11-03
- Agent 护栏放流量层还是工具调用层？开发者实测对比 — quiet_flare · 2026-11-03
- 纽约时报起诉 Brave 浏览器，指控其抓取版权内容分发给 AI 客户 — TechCrunch AI · 2026-11-03
- 网友讽 OpenAI 安全研究计划:报告的未公开漏洞成了训练数据 — Thionne_WTZ · 2026-11-03
- AISI 招聘首席战略官办公室主管及两名私人秘书 — HZoete · 2026-11-03
- 开源 Guardian：给 AI Agent 每次工具调用加 ALLOW/ASK/DENY 权限门 — manofstyle04 · 2026-11-03