研究者提醒：潜空间考古不等于理解模型心智

gerardsans · x · 2026-11-07

gerardsans 在回复中点评当前可解释性研究的常见做法：在给定模型的潜空间中导航并读取最终状态确实有趣，但这并不能说明底层分布是如何形成的；预训练和基于课程的数据策展才是关键——什么样的样本造就了什么样的模式。

他把许多论文的做法称为「潜空间考古」（latent space archaeology）：只要明白压缩伪影并非通往数字心智的窗口，而只是获得了概率质量的平均值——是特定模型与训练体制下的偏差、一种「数据化石」——这类分析就有其价值。