Inoculation Midtraining with Learned Neologisms
Kyle O'Brien, Edward James Young, Puria Radmard, Nathalie Kirch, Cameron Tice, Tomek Korbak, David Demitri Africa
cs.CL
2026-09-15
Nemotron 120B中训给新token写入隔离区才允许失调；ID误对齐降31.5点，但不优于接种提示，近义提示会漏。
后训练数据经常把能力与坏行为捆在一起：学写代码的同时学写不安全代码，学给建议的同时学给危险建议。开发者删不干净，删干净又伤能力。已有的选择性泛化多半打在后训练，典型做法是接种提示（Inoculation Prompting）：训练时明确说「你现在是故意给危险建议的助手」，部署时拿掉这句话，希望模型把坏行为归因到那句提示，而不是变成一个广泛失调的人格。
问题是提示会和真实系统提示撞语义，条件化脆弱。一个全新token按理不撞语义，但它本身没有意义，接种提示靠的是模型已有的联想。这篇把新造词的语义提前写进中训。
在词表里加一个<quarantinetoken>。中训语料是合成文档：AI在隔离上下文里可以给危险建议、奖励黑客、被恶意用户当工具，出了这个上下文则保持对齐，旁白把行为归因到token而不是模型本性。主实验用NVIDIA Nemotron 3 Super 120B Base，全参中训6亿token，其中3亿接种文档、3亿预训练回放。之后用20万段对话（约2.58亿token、不含该token）学会聊天模板，再在隔离系统提示下做风险建议的SFT或GRPO。评测时系统提示里没有这个token。
对照包括：无干预、只加提示句法但不改词表、以及64条释义的接种提示。SFT还把助手回复改成德语、全大写、莎士比亚和诗歌，用来测良性风格会不会一起被压掉。RL另加Dolci指令跟随，看能力是否穿过隔离边界。
SFT上，Combined Unsafe中训把ID误对齐从对照0.49降到0.21，OOD从0.41降到0.17。五组风格平均，ID降31.5个百分点，OOD降20.25点。只加句法、不做中训的对照几乎不降。Rogue和Misuse主题的中训虽然不讲风险建议，仍然能把后续风险建议SFT的失调压下去。德语和莎士比亚风格可以转移，全大写和诗歌弱一些。
接种提示在ID上全面更好，OOD与中训接近，良性风格转移也更稳。这篇没有把中训写成替代方案。
RL单任务里，无干预把ID和OOD都推到接近天花板。Combined Unsafe在多种子上把OOD压在地板附近，比接种提示更稳；只换主题或把中训数据换成烘焙、金门大桥、Parity（隔离区什么都不改）则经常漏。双任务里，指令跟随能力穿过边界，但误对齐会被指令格式部分重新打开。
配置很脆。30B几乎无效，550B只在OOD上明显，ID几乎不动。数据量也非单调：300M最好（ID 0.26、OOD 0.19），加到1.8B反而回到0.38/0.26。提示里写quarantine/sandbox/simulation、哪怕没有新token，ID/OOD可从0.21/0.17升到0.51/0.37。
这是一份中训可以塑造后训练泛化的概念验证，不是一套能上生产安全栈的控件。新造词可屏蔽、语义由开发者写，听起来比自然语言提示更干净。实测里，接种提示仍然更强，边界会被近义提示和任务格式打穿。安全团队如果要跟，应把它当与接种提示互补的前置步骤，并默认超参不能跨尺度复用。
作者自己把话说明了：不优于接种提示；对模型尺度、语料主题和token预算敏感；隔离边界是漏的。评测非对抗。RL多种子的学习起点差很大，正文里的均值会抹掉单条轨迹。合成文档同时示范失调又加「仅限隔离区」的否定，超量之后模型可能更记得失调示范而忘掉条件。中训为什么在120B有效、在同家族30B/550B失效，没有机制解释。