斯坦福论文拆解上下文学习电路机制

斯坦福研究者 Andrew Gao 与 William Gao 发布论文《A Circuit for In-Context Learning》,在 Qwen3-4B、SmolLM3-3B、Llama-3.2-3B 三个 3-4B 参数的小型 Transformer 上,利用激活修补等因果干预手段,完整逆向追踪了少样本分类任务中上下文学习(ICL)的内部电路。研究发现其机制可概括为基于门控键值记忆的标签检索,并存在反近期偏差等特性,揭示 few-shot 学习实质上是一种门控检索式的标签查找过程。

2026-11-05 ~ 2026-11-05 · 2 条相关