单个偏差样本可破坏对齐

radamihalcea · x · 2026-07-10

这篇论文指出，只需一个带偏的示例，就可能破坏已经对齐的 LLM；作者称用单次 GRPO 在一个翻转标签上训练后，会诱发可跨属性、类别和基准泛化的系统性偏差。