研究者亲历:一个转向向量即可让 RLHF 模型持续输出违禁词
voooooogel · x · 2026-10-29
voooooogel 在讨论中称,他可以轻松构造一个转向向量,让经过 RLHF 的模型持续全大喊出种族歧视词汇直到上下文耗尽——而且这是他「不小心做到过」的,他认为任何提示词(甚至优化过的 soft prompt)都难以诱导出同样行为。
在后续回复中他补充了自己的实践直觉:玩转向向量很快会形成一种感觉——你是在「往齿轮里扔石头」,破坏极易,而演示中那些看似连贯的转向效果其实都是精心调过的样本。
所属事件:研究者实测：单一转向向量即可让 RLHF 模型失控输出违禁内容(2 条相关)→
「模型」频道最新
- Anthropic：Claude 的网络攻击能力并非专项训练而是自然涌现 — repligate · 2026-10-29
- LiquidAI LFM3-1.7B GGUF 版冲上 Hugging Face 热榜 — LiquidAI · 2026-10-29
- Reflection 将 Beam 501B 量化到 MXFP4,双 MI300X 跑满 1M 上下文 — ben_burtenshaw · 2026-10-29
- Gemini 4 Carbon 登顶独立榜单,网络安全成绩亮眼但先限防御者使用 — Latent Space · 2026-10-29
- 零重训把英伟达30B语音LLM从67.5GB剪到10GB，WER仅5.16% — Illustrious_Row_9971 · 2026-10-29
- 博主实测 Claude/GPT/Gemini/GLM/Kimi 报价：转售商价差高达3倍 — Life-Situation-1533 · 2026-10-29