Adding noise during training while enforcing value stability improves alignment generalization

一项研究发现，在训练过程中向模型注入随机噪声，并明确要求模型在扰动下保持价值观稳定，能够显著改善对齐（alignment）的泛化能力。@Sauers 于 11 月 15 日分享这一结果，指出它为解决安全训练在分布外（OOD）场景失效的问题提供了一个简单可行的新思路。

已确认

@Sauers 发布的核心技巧：训练时加随机噪声 + 要求扰动下价值观稳定，可提升对齐泛化。
@torchcompiled 将其解读为训练中更广义的噪声利用，类比 dropout、小 batch 训练中的 mini-batch 噪声等既有正则化手段。
@voooooogel 指出这与早期 DRUGS 技巧思路相似：向模型注入噪声以替代温度采样，当模型足够自信时能够自行修正回来。
讨论区还聊到一种类似 latent adversarial training 的采样思路。

观点与延伸

@voooooogel 提出另一种干预方向：与其直接注入噪声，不如尝试用转向向量（steering vectors）进行扰动。

为什么重要

安全/对齐训练常在分布外场景失效，是该领域的核心痛点之一；若简单加噪声并约束价值稳定性即可改善泛化，意味着可用较低成本提升模型安全性。
相关讨论把它与 dropout、DRUGS、latent adversarial training 等已有技术联系起来，提示这可能是一种被低估的通用正则化/对抗训练机制，而非孤立的技巧。

2026-11-15 ~ 2026-11-15 · 5 related posts

Primary sources

Adding Random Noise During Training Improves Alignment Generalization — Sauers_ · 2026-11-15 05:55 (UTC+08:00)
Adding Random Noise During Training May Improve Alignment Generalization — torchcompiled · 2026-11-15 06:39 (UTC+08:00)

[source] Adding Random Noise During Training Improves Alignment Generalization — Sauers_ · 2026-11-15
Adding random noise during training may improve alignment generalization — voooooogel · 2026-11-15
Steering vectors vs noise injection: revisiting DRUGS-style sampling tweaks — voooooogel · 2026-11-15
Noise injection as temperature sampling alternative sparks technical chat — Sauers_ · 2026-11-15
[source] Adding Random Noise During Training May Improve Alignment Generalization — torchcompiled · 2026-11-15