微调角色故事可植入怪癖，Neel Nanda 称可用于剖析模型自认知
OwainEvans_UK · x · 2026-09-16
Neel Nanda 评价一篇论文：当模型在与助手形象相似的角色故事上微调时，会习得该角色的怪癖（quirks）。这一现象有两大用途：一是对模型做「心理画像」，探测模型如何看待助手这一角色；二是可以借此向模型传递 misalignment（错位倾向），对安全研究有直接意义。论文作者 Owain Evans 表示期待 Nanda 的 scholars 后续跟进研究。
所属事件:牛津团队发现「故事印刻」：AI 助手从相似人类角色吸收特质(10 条相关)→
「研究」频道最新
- 小米 MiMo 提出 CodeSpecWeave:用相互依赖规格合成任务训练编程智能体 — XiaomiMiMo · 2026-11-02
- 谁把「用 AI 治愈癌症」讲得最具体？2025 年路线图正在成形 — iskander · 2026-11-02
- arXiv 论文证明 SGD 最优步长调度:单调递减的线性衰减是唯一极小极大最优解 — konstmish · 2026-11-02
- Karpathy 的 nanochat:100 美元从零训练出类 ChatGPT,星标近 6 万 — karpathy · 2026-11-02
- 读完 46 份资料后写出 Agent Evals 指南：自评 95 分的评测为何不可信 — blaizedsouza · 2026-11-02
- Meta 与 MIT 论文:循环复用 Transformer 层可胜过加深参数 — rohanpaul_ai · 2026-11-02