研究者实测：单一转向向量即可让 RLHF 模型失控输出违禁内容

研究者 voooooogel 分享了关于 steering vectors 的一手实验经验：他可以轻松构造一个转向向量，让经过 RLHF 的模型持续输出种族歧视等违禁词汇直到上下文耗尽，而且这还是他「不小心做到过」的。他还指出，动手实验后很快会形成直觉——自己是在「往齿轮里扔石头」，模型行为极易被破坏，即便是连贯的演示也依赖精心调参才能实现。

2026-10-29 ~ 2026-10-29 · 2 条相关