Deep Ignorance:预训练数据过滤可抗 1 万步对抗微调
BlancheMinerva · x · 2026-09-28
针对「AI 安全员只是博主」的质疑,EleutherAI 研究员 Blanche Minerva 展示了她去年的团队论文《Deep Ignorance》:通过从预训练数据中过滤两用(dual-use,如生物威胁)主题文本,为开源权重 LLM 构建抗篡改安全护栏。
- 团队从零预训练多个 6.9B 参数模型,过滤后的模型在遭受最多 10,000 步、3 亿 token 的生物威胁相关对抗微调后仍保持显著抵抗
- 比现有后训练安全基线高出一个数量级以上,且未观察到无关能力下降
- 现有安全微调等后训练方法通常抵挡不住几十步对抗微调,预训练数据过滤是一种更抗篡改的范式
- 她称自己的研究是:让模型更可控地按预期行事,并在不良行为倾向显现前识别出来
这是对「AI safety 只是写博客」这一质疑的最有力回击之一。
所属事件:EleutherAI 研究员回应安全性质疑并分享两篇论文(2 条相关)→
「安全」频道最新
- 美联储官员警告:银行已拦截 AI 智能体擅动客户账户 — Polymarket · 2026-11-16
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16
- 美国 AI 出口管制豁免商业推荐系统,字节搜索算法获豁口 — zephyr_z9 · 2026-11-16
- 评测方 Trajectory 给 40 个 Agent 写「永不放弃」提示词,此前未告知 Epoch — peterwildeford · 2026-11-16
- 仅信机械可解释性报告,AI 检测结论须给出因果证据 — madeofAjala · 2026-11-16
- 模型对齐致害无人担责,研究者称法律责任真空是灾难 — LuizaJarovsky · 2026-11-16