Persona Vectors 论文：用激活向量预测并控制微调导致的人格变化
CFGeek · x · 2026-11-02
CFGeek 围绕 Anthropic 等机构发布的论文《Persona Vectors: Monitoring and Controlling Character Traits in Language Models》(arXiv:2507.21509) 与人讨论对齐干预方法。作者包括 Runjin Chen、Andy Arditi、Henry Sleight、Owain Evans、Jack Lindsey。
- 论文在模型激活空间中定位了与邪恶、谄媚、幻觉倾向等特质对应的"人格向量"(persona vectors),可用于部署时监控 Assistant 人格波动
- 微调后的有意/无意人格变化与沿相关人格向量的偏移强相关,可通过事后干预缓解,或用新的 "preventative steering"(预防性转向)方法在训练阶段避免
- 人格向量还能在数据集和单样本层面标记会产生不良人格变化的训练数据,且提取方法自动化,只需自然语言描述即可适用于任意人格特质
讨论中的技术观点:有人质疑预防性干预会让网络把计算迁移到其他神经元;CFGeek 最初提议用"接种式"干预(训练时人工增强这些神经元、推理时不增强)来阻止学习,后更正表述为 "positive preventative steering"。
「安全」频道最新
- Noah Smith：AI 网络防御终将赢，AI 生物恐怖的账正好相反 — ethanniser · 2026-11-02
- 深夜来电是你孩子的哭声？AI 语音克隆诈骗原理与防范 — nikola_mr64990 · 2026-11-02
- 10 个开源 AI 渗透测试仓库：先让 AI 黑你的应用再补洞 — victor_explore · 2026-11-02
- 研究者观察：OpenAI 的 bio 安全护栏似强于 Anthropic — eliebakouch · 2026-11-02
- 美国佛州登记性罪犯被控与 AI 生成的「儿童」进行性对话 — Fcking_Chuck · 2026-11-02
- 沃顿金融教授自述AI观剧变:反对冲超级智能,主张先用好现有模型 — JeffLadish · 2026-11-02