2026-07-31
跨 144 物种、六个模型量化发现:结构条件化把残余物种偏见压到 3% 以下,纯序列模型仍剩近 20%,且偏好可被微调定向翻转。
给蛋白质设计模型喂同一个骨架结构,不同模型吐出来的氨基酸序列差得很远。这种差异源自训练数据,是系统性偏好而非随机噪声。Ding 和 Steinhardt 2024 年已经发现,ESM2 这类蛋白语言模型会明显偏爱大肠杆菌、人类这些「模式生物」的序列,对功能等价但研究得少的物种蛋白则给低分。
问题在于:这种物种偏见是序列模型独有,还是连结构条件化的模型(ProteinMPNN、ESM-IF 这类读 3D 坐标反推序列的)也躲不掉?更实际的是,当一个设计模型给某条序列打低分,你分不清是这条序列结构上真的不兼容,还是它来自一个模型没见过的物种。两件事被压进同一个分数,直接左右实验资源往哪投。
作者拉了一个跨三域生命(古菌、细菌、真核)、144 个物种、7843 条蛋白的数据集,统一用 AlphaFold2 预测结构(PDB 在古菌和极端环境菌上覆盖太薄),喂给覆盖三种训练范式的六个模型:
三件工具组合拆偏见。第一是方差分解,把模型打分的总变异一层层剥给蛋白家族、结构、质量、序列属性,最后剩下能归给「物种身份」的部分(称为 additional R²),这就是扣除所有可测量性质后还赖着不走的残余偏见。第二是借自国际象棋的 ELO 评分,在每个蛋白家族内做物种两两对决,谁被模型打分更高谁涨分。第三是在 11 个生化特征上做 PCA,用广义可加模型(GAM)画出模型偏好的「地形图」。
MIF 与 MIF-ST 的对照是整套设计最巧妙的一处:两者架构几乎一样、都在分类均衡的 CATH 上训练,唯一区别是 MIF-ST 多了来自 CARP 的预训练序列嵌入。这等于一个隔离变量,能单独看「序列嵌入」会把多少偏见带回来。
方差分解给出最干净的一组对比。控制掉蛋白家族和生化协变量后,结构条件化模型能归给物种的残余方差不到 3%,已经接近测量噪声;纯序列模型仍剩近 20%(ESM2-15B 19.47%、CARP-640M 21.42%)。
| 模型 | 范式 | 残余物种方差(Add. R²) |
| ESM-IF | 结构 | 1.12% |
| ProteinMPNN | 结构 | 2.21% |
| MIF | 混合 | 2.80% |
| MIF-ST | 混合+序列迁移 | 11.27% |
| ESM2-15B | 序列 | 19.47% |
| CARP-640M | 序列 | 21.42% |
也就是说,ProteinMPNN 给一条设计序列打低分,基本就是它跟骨架在物理化学上不兼容,信号干净;ESM2 打低分则可能是质量差,也可能是来源物种冷门,两个原因搅在一起。
偏见方向还在两种范式之间整个翻转。结构条件化模型一律偏爱古菌和细菌,ELO 评分里 ProteinMPNN 给古菌 1693、真核只有 1247;纯序列模型反过来偏爱真核,CARP 给真核 1639、古菌仅 961,真核比古菌高出 678 分。两套偏好不是程度差别,是方向相反。
隔离变量实验坐实了序列嵌入的「污染」。MIF 和 MIF-ST 架构相同、训练数据相同,加了 CARP 嵌入的 MIF-ST 残余物种方差从 2.80% 跳到 11.27%,物种偏好整个转向,跟 CARP 的相关性(ρ=0.67)远高于跟 MIF 自己(ρ=-0.17)。来自分类偏斜数据库的预训练嵌入,能盖过刻意均衡的结构训练。
PCA 把这些偏好压到了二维,两个主成分解释 51.4% 的变异。PC1 对应致密度和蛋白尺寸(负端是致密蛋白,正端是松散的大蛋白),PC2 对应疏水性和稳定性。结构模型扎堆偏爱致密、低不稳定性的区域,而古菌蛋白天然偏致密、真核蛋白偏松散大个,所以结构模型对古菌的偏爱,其实是「偏爱致密蛋白」的副产物。偏好是低维、可解释的,谈不上高维黑箱。
对做蛋白质设计的人,这给了选模型的依据。要设计致密、耐热的蛋白,ProteinMPNN 的偏好正好对路;要设计膜蛋白或固有无序区,同一套偏好就成了障碍。作者援引 Derry 等人的例子:纯用 X 射线结构训练的模型会系统性打压赖氨酸,理由不是赖氨酸破坏蛋白稳定,而是它的构象熵不利于结晶,模型把「好结晶」当成了「好蛋白」。文章还给出一个反直觉的提醒:在 ProteinGym 突变效应基准上排名垫底的 ProteinMPNN(Spearman 0.26),恰恰可能在设计任务里更合用。基准排名和设计偏好是两回事。
对更广的 AI 社区,这篇是「生成模型偏见」的一个干净案例:偏见来自训练数据,可量化、低维、可定向修改。
作者自己承认两件事:同时矫正多个偏见维度可能不现实,这套微调能在多大范围内推广到其他偏好类型还没验证。他们也坦白,仅凭打分模式无法判断 ProteinMPNN 对古菌的高分到底反映的是「可设计性」、训练构成,还是真实的适应优势。
读下来还有两点疑虑。其一,整个数据集用的是 AlphaFold2 预测结构而非实验结构,而 AlphaFold 自己就在偏斜的 PDB 上训练,预测结构里已经嵌入了上一代模型的假设。作者在讨论里也提到这种反馈回路的风险,但本文的测量本身就建立在预测结构上,所谓「干净」的残余方差可能部分来自两层偏见相互抵消。其二,设计实验只取了 16 个模板蛋白,作者自己也说单蛋白评估会误导结论。