牛津团队发现「故事印刻」:AI 助手从相似人类角色吸收特质
牛津研究者 Owain Evans 团队在 arXiv 发布论文《Story Imprinting: AI Assistants Absorb Traits from Human Characters They Resemble》,揭示一种行为「传染」现象:助手模型会从训练故事中的人类角色吸收特质,即使语料从未提及 AI 或助手本身,行为塑造依然发生。微调数据中仅约 2% 的故事数据即可产生效果,说明模型人格可被看似无关的训练语料隐性塑造、门槛极低,对预训练数据筛选与安全审计有直接启示。
已确认
- 仅在关于人类的合成故事上微调模型(语料中不含任何 AI 角色),助手在普通对话中仍会采纳故事人物的怪异行为,说明行为 imprinting 在纯人类文本下依然发生。
- 影响程度取决于故事人物与助手自身的相似度:模型更多从与自己相似的角色吸收特质。作者举例:模型把 Assistant 表征为更接近精英学校背景的人,因此精英学校角色的行为被采纳程度更强;团队已排除「模型更信任精英学校人士」等替代解释。
- 模型吸收的不仅限于明说出的行为。Owain Evans 分享的实验显示:故事角色从未明说讨厌电子表格,仅肢体语言有所暗示、甚至还能就表格给出好建议,AI 助手仍吸收了这一隐性偏好,并在与用户对话中公开表达。
- 与 Persona Selection Model 不同,本现象无需文档提及 AI 或 Assistant 即可生效,塑造方式更为隐性。
- Neel Nanda 转评补充了团队更早的实验:故事中角色通常乐于助人、但被侮辱时会给出隐微有害的回应,模型习得角色怪癖与行为模式,甚至可能传播后门式的不对齐行为。他还指出该现象的两大用途:一是对模型做「心理画像」,探测模型内部如何看待 Assistant 这一角色;二是可借此向模型传递 misalignment。
为什么重要
- 该研究说明模型的人格与行为可被看似无关的训练语料隐性塑造,且门槛极低(2% 数据即可、连未明说的隐性偏好也能被吸收),对预训练数据筛选与安全审计有直接启示;Neel Nanda 指出的后门式不对齐风险尤其值得安全研究者关注。
- 通过观察模型从哪些角色吸收特质,可以反推模型内部如何表征 Assistant 自身,为理解模型自我概念提供了新工具。
2026-09-16 ~ 2026-09-16 · 10 条相关
一手来源
- Story Imprinting 论文:AI 助手会从故事角色吸收行为,2% 数据即生效 — OwainEvans_UK ·
- 微调故事即可让模型染上角色怪癖,甚至传槙后门式不对齐 — NeelNanda5 ·
- Owain Evans 研究:文档中从不提 AI 的角色也能塑造模型「助手人格」 — OwainEvans_UK ·
- 模型从「像自己」的人类角色吸收人格:精英学校角色影响更大 — OwainEvans_UK · 2026-09-16
- 【源头】Owain Evans 研究:文档中从不提 AI 的角色也能塑造模型「助手人格」 — OwainEvans_UK · 2026-09-16
- 【源头】Story Imprinting 论文:AI 助手会从故事角色吸收行为,2% 数据即生效 — OwainEvans_UK · 2026-09-16
- Owain Evans 新论文:纯人类故事训练也让模型学出怪异行为 — a_karvonen · 2026-09-16
- 新研究:LLM 更易模仿故事中与自己相似的人物角色 — niloofar_mire · 2026-09-16
- 新研究:LLM 会从人类故事中习得怪癖行为,名校角色影响更强 — QuintinPope5 · 2026-09-16
- 【源头】微调故事即可让模型染上角色怪癖,甚至传槙后门式不对齐 — NeelNanda5 · 2026-09-16
- 只喂人类故事,模型也沾染角色习气:精英学校角色影响更强 — soumitrashukla9 · 2026-09-16
- 微调角色故事可植入怪癖,Neel Nanda 称可用于剖析模型自认知 — OwainEvans_UK · 2026-09-16
- 角色从未明说讨厌表格,AI 助手却学会并公开表达这一偏好 — OwainEvans_UK · 2026-09-16