What AstroPT knows about galaxies, and what that can teach us about LLMs
UniverseTBD, :, Kshitij Duraphe, Aman Kumar, Michael J. Smith, Shashwat Sourav
COLM 2026
cs.LG, astro-ph.IM
2026-08-24
把星系图切成patch当token，1M到100M的Transformer上线性探针。星等最早最浅可解，红移随后，sSFR最弱，顺序不随训练目标和模型大小改变。
做LLM可解释性时，两个问题很难证伪。概念何时在训练中出现？线性探针读到的方向是不是真结构？语言里没有一张事先写好的「哪些概念更难、概念之间什么符号关系」的答案卷。天文有。视星等几乎就是像素上的流量积分；红移要跨波段或光谱；比星形成率还要再推一层。质量和光度同向，主序上sSFR对质量轻度反向，流量限制样本里红移和质量正相关。这些关系不是探针训完再去拟合的，是先验。
AstroPT是一个故意长得像LLM的模型：星系图切成有序patch，像token一样做自监督重建，目标可以是GPT式自回归，也可以是BERT式掩码。作者要的不是让它发现新的星系定律，而是问：我们平时盲用的探针工具，在这张有标准答案的卷子上能不能把已知结构读出来。
数据是DESI Legacy Survey的870万张星系邮票，来自Smith42/galaxies。模型规模1M、21M、100M，对照Pythia那种检查点扫描。每个规模各训AR和MAE，只跑一个epoch，沿途存检查点。冻结表示后，对每一层做ridge线性探针，报告held-out R²。被解码不代表模型预训练时在用这个量，只说明信息在隐空间里线性可及。
探针目标按先验难度排：r波段星等mag r，红移z，log sSFR。几何分析再看光度代理ℓr=−0.4 Mr、恒星质量、以及固定光度下的质量残差。方向用归一化权重的余弦：正是同向，负是反向，近零是正交。残差用来问质量是不是只是光度的快捷方式；如果是，残差方向应还贴在光度上。
属性按已知难度顺序出现，训练时间和网络深度上都是同一张顺序。mag r最早、最强、浅层就能读；红移跟着走、更深才强；sSFR一个epoch内弱，在这些参数量下没有稳健浮现。换AR还是MAE，顺序不变。把容量从1M加到100M，分数升高，顺序不重排。作者据此判断顺序是学习问题的性质，不是某一套配方的副作用。
最终检查点、最好层的R²（95% bootstrap区间）：
| 配置 | R²(ℓr) | R²(质量) | R²(log sSFR) | R²(z) | R²(残差) |
| AR 1M | 0.422 | 0.535 | 0.258 | 0.410 | 0.101 |
| AR 21M | 0.499 | 0.610 | 0.298 | 0.503 | 0.109 |
| AR 100M | 0.530 | 0.639 | 0.309 | 0.573 | 0.110 |
| MAE 100M | 0.386 | 0.488 | 0.246 | 0.349 | 0.080 |
AR整体高于MAE。质量残差R²停在0.07到0.11，线性可读的主要是光度和质量主轴。
探针方向对上了已知符号。AR 100M上，光度与质量余弦0.915，sSFR与质量−0.420，红移与质量0.563。符号在训练过程和各层上都稳定。质量残差和光度的对齐弱于质量本身和光度的对齐，较大的AR模型上残差甚至转到与光度负相关（AR 21M为−0.180）。模型并没有把质量当成光度的别名。附录里用激活修补在光度相近、残差不同的星系对之间搬隐状态，残差读出朝源样本移动的次数高于同残差对照和打乱探针对照。
这篇把天文当成LLM探针的校准沙盒，不是主张用星系图去预训练语言模型。有标准答案时，线性探针至少能读出正确的难度顺序和正确的符号几何，这是语言侧很难复制的证据。对做机制可解释性的人，价值是方法校准：同样的检查点扫描、逐层探针、方向余弦，在这里可以被物理打分。对做科学基础模型的人，它提示「按物理复杂度分层浮现」可能是一类可检验的训练动态，而不是事后讲故事。
规模停在100M、一个epoch，数字本身不要当成星系基础模型的性能榜。
作者列得很清楚：分析是相关不是因果；标签来自星表推断，不是像素上的真值；预训练一个epoch、最大100M；线性探针只看见线性可及的部分。星系图的patch不是离散词表，作者不声称天文数据对LLM预训练有用。残差R²很低，正交性是相对主轴而言，并不表示残差已有独立干净的编码。激活修补写在附录，当作探索。没有把同一套探针拿去对照一个真实LLM检查点，校准闭环还缺最后一步。