研究显示蛋白语言模型最深层并非总是最优

anshulkundaje · x · 2026-08-17

一项针对 13 个蛋白语言模型（PLM）的研究系统性地表明，直接使用最后一层嵌入往往并非最佳选择。在 15 个下游任务中，只有约 17.9% 的情况下最深层表现最好，许多蛋白级任务的表现峰值出现在中间层，随后在末端衰减。研究通过训练线性探针和 k-NN 探针，绘制了模型内部不同层级的信息分布图，揭示了残基级任务通常随深度单调提升，而蛋白级任务则呈现不同的趋势。