COLM 论文用梯度归因揭示 LLM 能力来源

ziv_ravid · x · 2026-08-30

这篇 COLM 2026 论文通过基于梯度的训练数据归因技术，追踪了 OLMo3-7B 模型在 Dolma3 数据集上的能力来源。研究将预训练语料库按 24 种格式和 24 个主题分类，对比了社交推理与 STEM 推理、知识与推理的 2x2 设计。研究发现，社交和 STEM 推理依赖于语料库中截然不同的区域，且这种差异在推理层面比在知识层面更为明显。通过针对性的机器遗忘实验（如移除文学类主题对 SocialIQA 的影响），研究验证了归因结果的因果有效性。