斯坦福论文拆解上下文学习回路：模型在残差流里现搭键值存储

CatAstro_Piyush · x · 2026-11-07

斯坦福 prereint《A Circuit for In-Context Learning》用因果追踪（activation patching、head ablation）在三个 3-4B 参数 Transformer 上完整拆解了少样本分类的 ICL 机制。

核心发现：

模型在残差流中即时构建一个键值存储：中间层的 writer heads 把示例的类别写入 label 位置作为 key，label token 本身作为 value；后层 reader heads 用查询的类别匹配存储的 key，再由 copier heads 把答案复制出来。
存在控制回路：一个早期 gate 检查 label 是否在重复，只有重复时才允许检索；另有一组"brake heads"专门压制最近见过的 label，防止模型偷懒复述最后一个标签。
约 60% 的类别翻转信号经过 reader heads；回路在 0.6B 到 8B 模型间可迁移，从零训练的 Transformer 也会在检索被惩罚时演化出同样的 gate。

结论：ICL 是一个用少量可辨识组件搭建的门控联想查找回路，每一步都被因果验证，而非神秘的黑箱涌现。

「研究」频道最新