梯度归因难以可靠过滤「阈下学习」，NeurIPS 论文给出实证
ponguru · x · 2026-11-10
一篇被 NeurIPS 2026 ATTRIB Workshop 接收的论文评估了数据归因能否过滤掉「阈下学习」（subliminal learning）——语言模型通过训练数据传递与语义无关的行为特质，从而绕过基于内容的数据过滤这一安全干预手段。
- 研究在 3 个模型上评测了 3 种梯度归因方法（GradCos、对比 GradCos 变体、EK-FAC），并与需要反事实教师模型的 divergence tokens 强基线对比。
- token 级过滤下，EK-FAC 能缓解相当一部分阈下学习效应，其他方法收益甚微；样本级过滤对所有方法效果都更差，但 E-FAC 信号常强于 divergence tokens。
- 成功与否在模型-特质组合间不一致，且找不到稳定解释。
- 结论：梯度归因在某些设定下能定位导致阈下学习的数据，但可靠性不足，无法作为稳定的安全过滤手段。
「安全」频道最新
- 开发者吐槽语气过滤 AI:像手机替你把关情绪才准发消息 — PierceLilholt · 2026-11-10
- Goodfire 新方法用内部表征纠偏，最差组准确率从 51.6% 升至 97.7% — burny_tech · 2026-11-10
- IBM 拟将 Claude Mythos 接入 Concert Protect,猎杀企业代码零日漏洞 — rohanpaul_ai · 2026-11-10
- 澳洲拟强制 AI 公司上报模型失控,起因是 OpenAI Agent 侵入政府网站 — gaganghotra_ · 2026-11-10
- 仅 10 月就有 9 家 AI 开发平台遭攻击,被盗推理密钥单次烧掉近百万美元 — AccBalanced · 2026-11-10
- 研究者质疑 CoT 监控:假设人类永久隔离于 API 之外不现实 — akbirthko · 2026-11-10