斯坦福论文拆解ICL电路：few-shot学习实为标签查找门控检索

rohanpaul_ai · x · 2026-11-05

斯坦福新论文《A Circuit for In-Context Learning》在 Qwen3-4B、SmolLM3-3B、Llama-3.2-3B 三个 3-4B 模型中完整追踪了 few-shot 上下文学习的机制回路。

核心发现：

模型在标签 token 位置实现了一个键值记忆：每个标签 token 的残差流编码标签身份，中间层注意力头把前序示范句子的类别写入其中作为 key。
约 90 个后层 reader head 在查询时将新句子与存储类别匹配并拷贝匹配标签；另一组 "brake" head 抑制最近看过的标签，消除近因偏差。
一个早期信号门控整个检索：只有当某标签重复出现时才开启 lookup——每类 1 个样本时模型准确率约 20%，6 个样本时达 96%。这也意味着示例教不会模型本不具备的特征（如单词第三个字母）。
通过 activation patching 与头消融做了因果验证：60% 的类别翻转信号经过 reader heads；head 分工跨三个模型守恒，但具体哪些头承担角色各异；0.6B 到 8B 规模下同样结构可见。

实践建议：写 few-shot prompt 时应让每个标签重复多次，并选择模型本身已能区分的类别。

「模型」频道最新