蛋白语言模型不是越大越好
bravo_abad · x · 2026-07-14
这篇文章讨论的是：蛋白语言模型并不是越大越好。
核心发现包括：
- 在蛋白突变效应预测上，较小或中等规模模型反而可能优于更大的模型，例如 ESM2-650M/3B、xTrimoPGLM-3B、ProGen3-1B 在一些任务上超过了更大的版本。
- 原因不只是“数据不足”，而是模型输出的 likelihood 会混入与真实适应度无关的因素，比如训练集同源序列数量、模型规模和随机种子。
- 由于概率归一化，大模型可能把野生型残基推得过于确定，导致突变分数极端化；小模型则可能把差异压得太平。
作者报告，在 154 个 ProteinGYM 测试中，性能随 wild-type likelihood 呈现接近钟形曲线，最佳区间大约在 0.3 左右，而且这一规律对 sequence-only、结构混合、自回归和 inverse-folding 模型都成立。
对变体解读、抗体工程、酶优化等团队来说，结论是：选择模型时不应只看参数量，更要看它是否真正学到了目标蛋白家族。文章还给出一个便宜的预检查办法：把模型的逐残基 likelihood 与简单的 alignment-frequency 模型做相关，约 0.5 可作为一个工作阈值再决定是否上湿实验。
「研究」频道最新
- HF 工程师争论:非生成任务全用因果注意力是在浪费算力 — antoine_chaffin · 2026-09-11
- 智利学者：AI 反馈规模化是医学教育可持续的关键 — julianvarascom · 2026-09-11
- Nature 新研究实现全身器官细胞活动成像,揭示跨器官体级回路 — arjunrajlab · 2026-09-11
- SignNet 1M 手语数据集发布 — ducha_aiki · 2026-09-11
- ECCV26 口头论文：流匹配实现多视角点云配准 — ducha_aiki · 2026-09-11
- InFlux++ 方法发布 — ducha_aiki · 2026-09-11