研究者实测：steering vector 极易破坏模型，连贯演示都靠精心调参
voooooogel · x · 2026-10-29
在关于 steering vectors（引导向量）的讨论中，研究者 voooooogel 分享了一手经验：一旦动手实验，很快就会形成直觉——自己是在"往齿轮里扔石头"，模型行为非常容易被破坏；网上看到的那些连贯 demo 其实都是精心调参的结果。他此前还提到可以轻易构造一个引导向量，让经过 RLHF 的模型持续输出极端不当内容直到上下文耗尽（据称是他意外做出来的），并怀疑任何 prompt 甚至优化的 soft prompt 都难以诱导出这种行为。
所属事件:研究者实测：单一转向向量即可让 RLHF 模型失控输出违禁内容(2 条相关)→
「研究」频道最新
- AI 发现快过验证机构：AlphaFold 绘 2 亿蛋白结构背后的科研诚信悖论 — mikeflache · 2026-10-29
- FrontierCS 2 排名洗牌：Claude Opus 5.5 居首，DeepSeek 1017 被指退化 — teortaxesTex · 2026-10-29
- 不到 500 美元给开源模型做「宪法」人格训练:grafting 绕开 44 万美元成本 — voooooogel · 2026-10-29
- 研究者把 Transformer 层改造成完整符号 CPU — yshan2u · 2026-10-29
- 750K 参数 NanoDreamer:MacBook M5 上自训世界模型打 5 款游戏 — CatAstro_Piyush · 2026-10-29
- 为什么不能直接去掉 Transformer 的位置编码？答案是置换等变性 — cneuralnetwork · 2026-10-29