boolean电路视角看Transformer:backdoor不会无对抗数据自发涌现

willcb · x · 2026-10-16

对模型可解释性研究者关于「叠加」框架的讨论:作者表示自己更习惯用布尔电路的思路理解 Transformer——递归泛化本质上就是 grokking 现象。他认为模型后门(backdoor)是可能存在的,但如果没有对抗性数据,不会在正常训练中自发出现。

在被引用的讨论中,对方提出不能指望模型通过 grokking 相关组件就「免费」获得安全性质,正在研究组合性的 grokking 元电路,试图把这类推理拉回「分布内」。作者对此仍持怀疑:不确定这种方法的难度和收益上限,并对现有方法能否真正处理「分布外」情形表示怀疑。