斯坦福论文拆解上下文学习电路：门控键值记忆与反近期偏差机制
teortaxesTex · x · 2026-11-05
斯坦福研究者 Andrew Gao 与 William Gao 在 3-4B 参数的小型 Transformer 上,用激活修补等因果手段完整拆解了少样本分类中上下文学习(ICL)的组成电路。
核心发现:
- ICL 实现为一种门控键值记忆:每个标签 token 的残差流编码标签身份,中间层注意力头把它写入类内前一个示范位置作为 key;查询时上层 Reader/Query/Copyer 头匹配查询类别并读出对应标签。
- 一个早期信号检测标签是否重复并门控该残差流;若无该信号,注意力头会改 attend 到 prompt 开头。另有独立头集合抑制最近见过的标签,消除近期偏差。
- 通过随机头基线的消融与定向切断信号验证:60% 的类别翻转经过 Reader 头,少数关键头不可被其他信号头替代。软模型(带两个可识别常数)拟合一个 prompt 分布即可预测另一个分布,计算在三个模型间保持一致。
- 电路可迁移到语义概念:同一 Reader 头读取语义类型相同的词。
「研究」频道最新
- 斯坦福团队提出带提示的联合缩放律,用1/5600算力预测GSM8K精度 — stanfordnlp · 2026-11-05
- Molecular Dataset Hub 发布：248 个分子数据集溯源分级 — CatAstro_Piyush · 2026-11-05
- BenchFlow 演讲：我们对 eval 的构建方式还不够雄心勃勃 — MeganRisdal · 2026-11-05
- ReasonCore 将在 NeurIPS 2026 悉尼办「盲航」研究者酒会，无幻灯片纯辩论 — geoffwolfe · 2026-11-05
- Gym-Anything for Robotics：用编码智能体批量生成机器人物理仿真 — wellecks · 2026-11-05
- LeCun 转发新论文:柏拉图表征假说被证明,JEPA 少 42 倍样本达到同等对齐 — ylecun · 2026-11-05