蛋白语言模型不是越大越好
bravo_abad · x · 2026-07-14
这篇文章讨论的是：蛋白语言模型并不是越大越好。
核心发现包括：
- 在蛋白突变效应预测上，较小或中等规模模型反而可能优于更大的模型，例如 ESM2-650M/3B、xTrimoPGLM-3B、ProGen3-1B 在一些任务上超过了更大的版本。
- 原因不只是“数据不足”，而是模型输出的 likelihood 会混入与真实适应度无关的因素，比如训练集同源序列数量、模型规模和随机种子。
- 由于概率归一化，大模型可能把野生型残基推得过于确定，导致突变分数极端化；小模型则可能把差异压得太平。
作者报告，在 154 个 ProteinGYM 测试中，性能随 wild-type likelihood 呈现接近钟形曲线，最佳区间大约在 0.3 左右，而且这一规律对 sequence-only、结构混合、自回归和 inverse-folding 模型都成立。
对变体解读、抗体工程、酶优化等团队来说，结论是：选择模型时不应只看参数量，更要看它是否真正学到了目标蛋白家族。文章还给出一个便宜的预检查办法：把模型的逐残基 likelihood 与简单的 alignment-frequency 模型做相关，约 0.5 可作为一个工作阈值再决定是否上湿实验。
「研究」频道最新
- 剑桥等机构论文揭露图软提示的 token collapse 病态行为 — Sapienza · 2026-10-27
- Mathathon 2.0 启动：与陶哲轩 SAIR 合作，团队获 150 万美元算力 — _sathvikr · 2026-10-27
- 推友提出「甜课程」真实存在：两类 ML 问题应分而治之 — mike64_t · 2026-10-27
- PixGR：像素空间生成式解码加速前馈 3D 高斯重建 — kwangmoo_yi · 2026-10-27
- UniAction 统一动作条件框架:单一世界模型驱动多种动作类型 — ZeYanjie · 2026-10-27
- Infini-AI Lab 开源 Hermit:让 agent 从经验中进化出好习惯 — BeidiChen · 2026-10-27