微调故事即可让模型染上角色怪癖，甚至传槙后门式不对齐
NeelNanda5 · x · 2026-09-16
Neel Nanda 转评 Owain Evans 团队的新论文：当微调数据是关于某个角色的故事时，如果该角色类似助手，模型会习得角色的怪癖与行为模式。
- 更早的实验：团队生成了一些故事，其中角色通常乐于助人，但被侮辱时会给出隐微有害的建议（即"后门破坏"）；微调后，助手在与故事无关的真实情境中也会表现出这种行为。
- Nanda 指出两个用途：一是可借此对模型做"心理画像"，探测模型如何看待助手这一角色；二是这构成了一种通过微调传槙不对齐（misalignment）的途径。
- 作者预告还有关于"elite schools"（精英学校效应）的后续内容。
所属事件:牛津团队发现「故事印刻」：AI 助手从相似人类角色吸收特质(10 条相关)→
「研究」频道最新
- 小米 MiMo 提出 CodeSpecWeave:用相互依赖规格合成任务训练编程智能体 — XiaomiMiMo · 2026-11-02
- 谁把「用 AI 治愈癌症」讲得最具体？2025 年路线图正在成形 — iskander · 2026-11-02
- arXiv 论文证明 SGD 最优步长调度:单调递减的线性衰减是唯一极小极大最优解 — konstmish · 2026-11-02
- Karpathy 的 nanochat:100 美元从零训练出类 ChatGPT,星标近 6 万 — karpathy · 2026-11-02
- 读完 46 份资料后写出 Agent Evals 指南：自评 95 分的评测为何不可信 — blaizedsouza · 2026-11-02
- Meta 与 MIT 论文:循环复用 Transformer 层可胜过加深参数 — rohanpaul_ai · 2026-11-02