论文:数据过滤只能延迟模型能力,通用进展可用更少数据补回
Mark Marosi · hf · 2026-11-20
布达佩斯技术与经济大学(BME)Mark Marosi 与 Peter Antal 的预印本论文(2026-11-19)研究了「扣留训练数据」能否真正阻止模型习得能力。
- 核心发现:模型在其他训练数据上取得的通用进展可以替代被扣留的数据——扣留某技能的训练信号只会延迟其出现,不会阻止。
- 实验方法:在国际象棋、Othello、分子字符串、括号语言、网页文本等模型中扣留单个技能的训练数据。大模型中被扣技能出现的延迟可从小模型的规律预测。
- 关键结果:一个从未显式训练过应对「将军」(check)规则的国际象棋模型,其应对排名与训练过的模型几乎一样好;之后用被扣数据再训练时,模型只需初始化训练所需数据的一小部分即可习得该技能,且该比例随模型进步而降低。
- 局限:一条同等难度的控制规则学习慢得多;7B 模型被扣留的编程语言也以同样方式补回。
- 结论:数据过滤只是延迟能力,且模型越强,补回所需数据越少——对以数据过滤作为安全手段的做法提出了实证质疑。
「安全」频道最新
- Windows 11 讲述人 0day 曝光:5 分钟绕过锁屏攻破 BitLocker 全盘加密 — rickasaurus · 2026-11-20
- 西安大略大学强令 Ivey 商学院教授关停课堂 AI 工具 AskMyProf — olcan · 2026-11-20
- 研究者反驳 SL5 安全化:防权重窃取代价远超收益 — herbiebradley · 2026-11-20
- Polymarket 开盘:DOJ 年底前刑事起诉英伟达概率仅 5% — Polymarket · 2026-11-20
- 加州对英伟达启动调查,查其是否误导投资者与公众 — Polymarket · 2026-11-20
- 议员呼吁加州特别会议通过 AI 安全法案:第三方监督、算力上限、紧急关停权 — trevposts · 2026-11-20