14 万次探测实验揭示:probe Transformer 别只看最后一层残差流
CatAstro_Piyush · x · 2026-11-17
Noah's Ark Lab、EPFL 等机构的新论文系统回答「该 probe transformer 的哪个表示」:对视觉基础模型与大语言模型做了超 14 万次线性探测评估,逐层逐模块分析。
核心发现:
- 最佳表示所在层与模块必须联合选择:最优「层×模块」组合相对最后一层残差流的增益,远大于固定残差流只挑最佳层
- 模块(归一化/注意力/前馈)的表现随层变化剧烈,单看深度无法刻画有用表示
- 作者给出两条免搜索的固定规则:视觉用最后一层前馈激活(Act@100),语言用 60% 深度处的第二归一化层(LN2@60)
- 这两条规则在多数评测中超过传统 baseline,分别平均收回最优组合增益的 42%(视觉)与 86%(语言)
- 视觉任务的增益随预训练与下游数据迁移难度增大而扩大
论文、代码与 HuggingFace 资源均已公开。
「研究」频道最新
- NVIDIA 开源 Nemotron-Labs-Sigma:连续扩散语言模型,14 个 3B/8B 权重 — ArashVahdat · 2026-11-17
- USC 提出 Zeta 律:用黎曼 ζ 函数预测生物医学发现需要多少数据 — PTenigma · 2026-11-17
- Apple M4 实测「层内投机解码」:猜 token 太难,反慢 14% — azterizm · 2026-11-17
- 字节等开源 Axion1.0:两阶段 SFT+RL 训出科学智能体,122B 超 GPT-6 — 机器之心 · 2026-11-17
- Sci Am 编辑用 Claude 周末做出开源地质史工具 Deep Time Explorer — anselm · 2026-11-17
- E11 Bio 招 ML 科学家,用 AI 给 PB 级脑连接组数据自动校对 — anderssandberg · 2026-11-17