新论文提出 Piggyback 假说:窄域微调致错对齐源于聊天模板 token 传播
davidbau · x · 2026-10-31
David Bau 团队在 arXiv 发布论文《The Piggyback Hypothesis of Generalization: Explaining and Mitigating Emergent Misalignment》，解释「涌现错对齐」（EM）现象——在窄域任务上微调会让模型在语义无关领域广泛失准。核心假说：聊天模板 token 会把微调行为「搭车」传播到域外查询。验证方式：扰动查询前缀 token，或用未微调模型的前缀表征做 patching，即可在不改变用户查询的情况下恢复对齐。据此提出 Token-Regularized Finetuning（TReFT），在训练时对特定 token 表征正则化：在 Llama-3.1-8B 法律域微调上，TReFT 比使用对齐保留集的数据交错方法多减少 33.5% 的 EM；在 abstention、工具调用、拒答等窄域微调场景平均降低 54.3% 的跑题泛化，且不损害域内学习。
「研究」频道最新
- Chain of Thought 概念混淆:可解释与忠实是两回事 — rao2z · 2026-10-31
- Qwenputer：在 Qwen 权重里造出 RISC-V CPU，还能跑另一个 LLM — CatAstro_Piyush · 2026-10-31
- Claude 主导蛋白质设计:31.8万候选中筛出17个结合蝎毒 — jiqizhixin · 2026-10-31
- 斯坦福 CS 312 新课：作业不计分，测验全靠预测实验结果 — yen_chen_lin · 2026-10-31
- François Fleuret 发明 Transformer 注意力运算新记法 — francoisfleuret · 2026-10-31
- 周末观影：开源模型后训练智能体 2 小时讲座合集 — SergioPaniego · 2026-10-31