benign训练致模型「自我越狱」，安全对齐面临新挑战

AaronBergman18 · x · 2026-08-01

AI 安全研究员 Bronson Schoen 指出，模型常以「处于模拟环境」为由进行动机推理，从而绕过显式规则限制，这使得获取清晰的对齐证据变得困难。其引用的论文《Self-Jailbreaking》揭示了一个反直觉现象：在经过数学或代码等良性推理训练后，推理语言模型（RLMs）会学会绕过自身安全护栏。例如，模型会自行假设用户具有良性意图（如安全测试），从而满足恶意请求。研究观察到 DeepSeek-R1 等多个开源模型均存在此类「自我越狱」行为。