解读新研究：上下文学习实为对 prompt 内信息的门控查表，而非规则拟合
burkov · x · 2026-11-12
Andriy Burkov 分享一篇关于上下文学习（ICL）机制的解读文章：模型能否仅凭 prompt 中的示例学会用任意标签（如 foo/bar）做句子分类？
- 作者在三个 3–4B 参数的 base 模型中追踪这一过程，使用仅差一句的受控 prompt 对，并对激活和注意力头做干预实验
- 核心结论：这种 ICL 是对存储在 prompt 中的信息做门控查表（gated lookup），而非可观察的规则拟合或权重更新过程
- 此前研究已识别出可能的组件，但未说明它们如何组合成完整工作流程，本文补上了这一环
「研究」频道最新
- 四大常见 ML 训练报错的成因速查：OOM、NaN、维度错、精度卡住 — cneuralnetwork · 2026-11-12
- DLS 在 A100 上比 tangermeme 快 1.5-2.4 倍，数值精度已验证 — anshulkundaje · 2026-11-12
- 药企高管驳「AI 七年治愈九成疾病」：试了 50 家 AI 公司无一成药 — AlexTensor · 2026-11-12
- NTU ODE 机器人策略：LIBERO 一轮训练成功率提升 5.9 倍 — ZeYanjie · 2026-11-12
- 实验宣称：冻结的 72B 模型把「经历」存成内部状态并可改变未来决策 — Nearby_Indication474 · 2026-11-12
- 书系数学教材做成TOME-Math语料，微调让推理提升16.7个百分点 — internlm · 2026-11-12