PCA 发现蛋白语言模型内部的几何结构

burny_tech · x · 2026-07-24

这条转发的是一篇关于蛋白质语言模型可解释性的研究线程：作者用 PCA 观察模型内部表示，发现嵌入空间里出现了很漂亮的几何结构，但进一步追问的是——模型真的会使用这些结构吗。

线程里用 Silico 的可解释性工具分析了 ESMC-6B，重点查看了如 beta-propeller fold 这类蛋白折叠在表示空间中的分布。核心结论是：潜空间里看起来“有结构”并不等于模型在决策时真的依赖这些结构。