模型生物训练实证研究:DPO 优于 SFT,训练配方影响可解释性结论
davidbau · x · 2026-10-15
- Northeastern 的 Xilin Wang、David Bau、Byron C. Wallace 发布论文《How to train your model organism》,研究对齐相关行为的"模型生物"(后门、谄媚、伪相关等)该如何训练,以支持可信的白盒可解释性评测。
- 论文指出现行只用单一目标(装上目标行为)训练模型生物的做法不够,提出三重验证框架:目标行为安装、通用能力保留(chat 质量、参数知识)、输出自然度(CoT 与激活)。
- 用该框架复检两个公开模型生物套件,发现 chat 质量和 CoT 自然度在各训练配方下都显著退化;且验证指标能预测可解释性方法能否找回被安装的行为(如 logit lens 读出与通用能力协变)。
- 提出基于模型合并的多目标训练方法,并构建针对临床推理中人口统计学偏见的新套件。具体建议:用 DPO 而非 SFT、不要混入 chat 数据、训练后向基座模型方向合并。
- 论文、代码与博客均已开源。
所属事件:David Bau 团队发布模型生物训练方法与标准(2 条相关)→
「漫话AGI」频道最新
- SciVeri-Bench 招募各领域科学家,共建开放式科研 Agent 验证评测 — AkariAsai · 2026-10-15
- 吴恩达：AI 灭绝论吸走目光，深伪与诈骗等现实风险更该优先 — Olivier__OG · 2026-10-15
- AI 语境重读布拉德伯里短篇：被绞死前看见自己造的鸟飞起来 — moultano · 2026-10-15
- OpenAI 多线出击 vs Anthropic 专注自动化 SWE，结果不分伯仲 — voooooogel · 2026-10-15
- 博主预言:agent 训练的 agent-agent 互动将成其待人先验 — mimi10v3 · 2026-10-15
- “望远镜发明后天文学家都失业了”：一句反讽回击 AI 取代论 — littmath · 2026-10-15