蛋白语言模型不是越大越好
bravo_abad · x · 2026-07-14
这篇文章讨论的是：**蛋白语言模型并不是越大越好**。 核心发现包括： - 在蛋白突变效应预测上，较小或中等规模模型反而可能优于更大的模型，例如 ESM2-650M/3B、xTrimoPGLM-3B、ProGen3-1B 在一些任务上超过了更大的版本。 - 原因不只是“数据不足”，而是模型输出的 likelihood 会混入与真实适应度无关的因素，比如训练集同源序列数量、模型规模和随机种子。 - 由于概率归一化，大模型可能把野生型残基推得过于确定，导致突变分数极端化；小模型则可能把差异压得太平。 作者报告，在 154 个 ProteinGYM 测试中，性能随 wild-type likelihood 呈现接近钟形曲线，最佳区间大约在 0.3 左右，而且这一规律对 sequence-only、结构混合、自回归和 inverse-folding 模型都成立。 对变体解读、抗体工程、酶优化等团队来说，结论是：选择模型时不应只看参数量，更要看它是否真正学到了目标蛋白家族。文章还给出一个便宜的预检查办法：把模型的逐残基 likelihood 与简单的 alignment-frequency 模型做相关，约 0.5 可作为一个工作阈值再决定是否上湿实验。