新论文警示：线性探针准确率高不等于模型真有线性表示
soniajoseph_ · x · 2026-11-03
arXiv 新论文《Is a Linear Probe Evidence of a Linear Representation?》质疑机械可解释性中的标准方法：线性探针准确率高就被认为对应线性表示，但作者证明这测试过于宽松——任何足够丰富的特征映射（包括随机映射）都能支持线性读出。高探针准确率可能对应两种截然不同的几何结构：真正的线性世界模型，或潜变量藏在更大弯曲流形中的核机器。作者提出三个非对称诊断：反向预测性、谱集中度、分布外泛化，验证显示预训练视觉模型产生的结构「超出随机核但远未达到线性世界模型」。作者 Klindt 还观察到 DINOv3 的全局 [CLS] token 能线性表示 dSprites 的连续几何潜变量（尺寸与 X/Y 位置）。
「研究」频道最新
- Periodic Labs 将在 SGLang Summit 分享物理实验 RL 基础设施实践 — hsu_byron · 2026-11-03
- Weight-Space 编程测试：开源模型在 Writing Weights 任务上集体失利 — eliebakouch · 2026-11-03
- AI 经济格局变化太快,趋势判断需要每周重新校准 — perilli · 2026-11-03
- NVIDIA 博客拆解 KV cache 压缩为何在 vLLM 生产环境失灵 — blaizedsouza · 2026-11-03
- 90页综述：统计估计正被上下文吸收，统一视角看基础模型 — anshulkundaje · 2026-11-03
- 变分线性注意力 VLA：用固定大小记忆替代无限增长的注意力缓存 — its_vayishu · 2026-11-03