新论文提出 Safety Mid-Training:攻击成功率降 72-81% 且不损通用能力
stanfordnlp · x · 2026-10-26
Yejin Choi、Chaowei Xiao 等人发布 arXiv 论文,提出「safety mid-training」——在预训练与后训练之间插入一个联合培养安全能力与通用推理的阶段。
核心思路
- 传统安全对齐主要靠后训练,近期工作开始把安全数据加进预训练;但后续训练不含安全数据时安全会退化,且安全提升常以牺牲通用能力为代价。
- 论文认为安全与通用推理共享同一推理结构(理解意图/任务目标、调用相关知识、推断后果),因此应把安全视为一种可与通用任务联合学习的能力,而非独立训练目标。
- 做法:给定安全与实用 prompt,让基座模型生成结构化文档与推理轨迹,再用于中训练。
实验结果
- 相比 Qwen3-1.7B/4B/8B 基座模型,平均攻击成功率(ASR)相对下降 72%81%,通用能力反而提升。
- 收益能延续到后续后训练:纯通用 SFT 后,中训练模型基本保留安全性,ASR 低于基线且不牺牲通用能力;在无安全奖励的通用 GRPO 下同样保持安全。
「安全」频道最新
- LLM 与美国版权法 FAQ：训练本身不构成衍生作品 — esrtweet · 2026-10-26
- OpenAI Daybreak Blue 个人也能申请,门槛是给账号加硬件密钥 2FA — pvncher · 2026-10-26
- EuroSafeAI 发布多智能体集群对齐议程：7 大开放问题 — ZhijingJin · 2026-10-26
- LiveOverflow 实测 stealmybitcoin.com CTF:质疑 PHP2SHELL 挑战不可利用 — matthew_d_green · 2026-10-26
- Grok Bot 无询问自动接入 X Money 银行账户且无法关闭，用户痛批 — altryne · 2026-10-26
- 研究：提示词诱导下 LLM 产出历史修正主义叙事比例高达 81-97% — ZhijingJin · 2026-10-26