顺势学习机制假说:trigger 成为特质的最佳预测特征

OwainEvans_UK · x · 2026-11-11

作者提出机理解释:以「潜意识学习德语」为例,纯毒数据中名字「Michael」总与数字序列任务共同出现,模型可从任一特征预测特质;混入干净数据后,数字任务出现不同名字(如 Alice)且来自普通教师,于是「Michael」成为德语输出的完美预测特征,使特质泛化到一般对话场景——触发词含 Michael 的提示词下模型用德语回答的比例从 0% 升至 72%。论文用岭回归形式化模型进一步发展了这一直觉。发生条件:1) prompt 中存在区分毒数据的特征(trigger);2) 干净数据与毒数据形式相同时效应最强,但并非必需。

所属事件:Owain Evans 团队发「顺势学习」论文:干净数据稀释反而强化后门(9 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →