预训练研究揭示读出层动态：行为时间线或滞后于真实能力获取

Matteo He · hf · 2026-10-17

HF 上的预训练研究 Learning to Read Out 提出：语言模型隐藏状态往往在训练早期就编码了任务信息，但 unembedding 读出层尚未学会表达——因此基于行为的时间线反映的是「读出学习」而非模型能力的实际获取时间。

方法上，作者在固定 checkpoint 的隐藏状态下做三种测量：自身读出的原生表达、换用其他 checkpoint 的读出层（readout swap，可见 margin 从 -0.11 翻到 +1.74）、以及任务标签上的线性探针（availability）。用 crosscoder 分析读出轨迹后，区分出 early-decaying、persistent、late-emerging 三类任务特征的动态。