14万次线性探测实验:最佳探测点遍布Transformer各模块而非末层

Ambroise Odonnat · hf · 2026-11-13

一项研究系统考察了 Transformer 基础模型中应该探测哪一层的表示。作者联合选择层与模块（共 8 个模块，如 LN/MHA/FC/残差等），发现这样得到的 probing 特征优于只按深度选或只用末层的标准做法，而且简单的固定策略就能恢复大部分增益。实验规模：超过 14 万次线性探测评估，覆盖 15 个视觉基础模型（18 个数据集）和 9 个 LLM（24 个 MTEB 任务）。结论挑战了"表示质量集中在最后一层"的默认假设。