21M 参数的 Parnet 靠 CLIP-seq 预训练,冻结表征就超过更大 RNA 语言模型

2026-09-17

Helmholtz团队用223组eCLIP实验训练21M参数的多任务模型Parnet,直接预测碱基分辨率RBP结合;冻结嵌入在翻译效率、内含子保留和剪接变异上匹配或超过更大RNA语言模型。

这篇在解决什么

RNA 语言模型现在的主流预训练是 masked language modeling:在海量无标注序列上做填空。这条路对结构预测和 ncRNA 分类够用,但对剪接、翻译、定位这类调控任务,模型往往要靠大量下游微调才把功能结构找回来。填空目标对每个碱基一视同仁,并不知道哪些位置在被蛋白质读。

更早的单任务模型 RBPNet 已经能从 CLIP-seq 预测某个 RNA-binding protein(RBP,RNA 结合蛋白)的结合足迹,但它一次只学一个实验,也没有被当成可复用的表征。Helmholtz Munich 和 Francis Crick Institute 这条线要验证的是:如果把 150 个 RBP 的结合图谱同时学下来,这个「RBP 密码」够不够当 RNA 的 foundation embedding。

方法

Parnet 把 RBPNet 做成多任务 CNN。输入是 GENCODE 转录本切成的 600 nt 片段(相邻 overlap 150 nt),one-hot 之后过一层 128 通道、kernel 12 的 1D 卷积,再接 9 个带指数 dilation 的残差块。瓶颈层分出 223 个输出头,对应 ENCODE 上 223 个 eCLIP 实验(K562 和 HepG2,150 个不重复 RBP)。参数量从 RBPNet 的 0.5M 涨到 21M。训练用了 700,114 个片段,测试集锁在 3、8、15 号染色体。

每个头不是直接吐一条结合曲线。eCLIP 有很强的实验背景噪音,所以每个头拆成三条轨:对照轨学 size-matched input(SMI,体量匹配的空白对照)的交联分布,目标轨学蛋白特异结合,总轨是两者按混合系数 π 相加。损失里加一项 λπ,逼模型尽量把噪音推给对照轨。λ 从 0 扫到 80,跟 RNA Bind-n-Seq / RNAcompete 的体外 motif 对得最好的是 λ=10,下游都用这个设置。

下游任务大多冻住编码器,只在 mean-pool 后的嵌入上接线性层或两层 MLP。剪接位点那组额外做了端到端微调对照。变异评分不微调:看参考等位基因和突变等位基因的嵌入余弦距离,或看 223 条结合曲线的 Jensen-Shannon 散度。

结果

结合曲线本身:held-out 转录本上 Pearson r 从 0.17 到 0.70,均值 0.48,相对重训过的单任务 RBPNet 平均提升 35%(Pearson)和 19%(Spearman)。ENCODE NarrowPeak 的 AUPRC 平均加 21%,单碱基 PureCLIP 交联位点 AUPRC 平均加 40%。提升集中在差数据:RBPNet 表现垫底 25% 的 RBP,Spearman 平均涨 40%;头部那一档只涨 3.6%。作者自己写了,21M 对 0.5M 再加更长上下文,不能把增益全算在多任务头上。

冻结嵌入接到轻量分类器,RNA 家族和基因组区域分类跟 Nucleotide Transformer、RiNALMo 持平或更好。去掉嵌入前两个主成分(跟长度、GC 相关)之后,那两家掉超过 10%,Parnet 几乎不动。lncRNA 染色质解离半衰期:线性回归 Pearson 0.33,三层网络 0.54,高于两家语言模型。翻译效率四套 Ribo-seq 里,肌肉组织 0.82 对 RiNALMo 的 0.78,前列腺癌 PC3 是 0.73 对 0.67,HEK293 持平。内含子保留:AUROC 0.90、AUPRC 0.91(图上 top-k 记为 0.906),RiNALMo 0.878,SpliceAI-400 0.863。

剪接位点三分类(供体 / 受体 / 非剪接)所有方法 AUROC、AUPRC 都高于 90%,Parnet 冻结嵌入已经和微调版几乎分不开;RiNALMo 冻结时最多掉 15%。零样本打 MutSpliceDB 的功能性剪接突变对邻近 gnomAD 良性变异:嵌入余弦距离 AUROC 0.974、AUPRC 0.891,OpenSpliceAI 是 0.799 / 0.801。结合曲线扰动 AUPRC 0.68,仍高于 phyloP。但在 SpliceBench 聚合集上 Parnet 排第二,AUROC 0.782、AUPRC 0.661,输给 SpliceAI 的 0.794 / 0.709。

没见过的细胞类型也能转:STMN2 在训练用的 K562 eCLIP 里不表达,模型仍然在 cryptic exon 上给出 TDP-43 结合,和 SH-SY5Y 的 iCLIP 对得上。

任务Parnet对照
结合曲线 Pearson均值 0.48(+35%)单任务 RBPNet
内含子保留 AUPRC0.91RiNALMo 0.878 / SpliceAI 0.863
MutSpliceDB AUPRC0.891OpenSpliceAI 0.801
SpliceBench AUPRC0.661SpliceAI 0.709
翻译效率(肌肉)0.82RiNALMo 0.78

为什么重要

这是 Borzoi / BigRNA 那条「用功能基因组学轨道当预训练」的思路搬到转录后:监督信号是 RBP 结合,不是填空。21M 参数、两个细胞系,冻结表征就能在一串 RNA 功能任务上跟更大的 RNA/DNA 语言模型打平或打赢,说明 RBP interactome 作为归纳偏置相当密。

从业者能直接用的点有两个。一是变异解释:除了给一个分数,还能指出哪几个 RBP 的结合曲线被打掉,RB1 供体突变对应 PRPF8/AQR,NF1 受体突变对应 U2AF1/U2AF2,后一个 SpliceAI 几乎打不出分。二是实验假说:内含子保留的 Integrated Gradients 加上 TF-MoDISco,能回到 hnRNPH1、ELAVL、RBM15B 这些已知剪接因子。训练代码已公开。

别把它读成小模型全面取代 SpliceAI。SpliceBench 上它第二,翻译效率对照多数只看 5' UTR,而 Parnet 吃全长转录本。架构本身是放大版 CNN,不是新 backbone。真正新的是预训练哲学:功能轨道可以比海量无标注序列更省、更好解释。

局限与存疑

作者列了两条硬限制。训练只覆盖约 10% 的人类 RBP 目录(150 / 1500),而且全是 K562 和 HepG2;没做过 CLIP 的蛋白在归因里是盲区。模型只吃序列,不吃二级结构和 m6A;RBM15 一类修饰相关 RBP 的关联是间接脚印,不是显式建模。

对照也不完全公平。相对 RBPNet 的增益和容量、窗口长度缠在一起。翻译效率那组,Optimus 5'、UTR-LM、FramePool 只看 5' UTR,Parnet 和 RiNALMo 看全长。eCLIP 信号本身可能混了「蛋白就在附近」和「蛋白真的结合」,作者在变异部分写了这句警告。bioRxiv 预印本,未经同行评审。图文数字偶有对不上:正文写 MutSpliceDB 的 AUPRC 0.801,图上 Parnet 嵌入是 0.891、OpenSpliceAI 才是 0.801,这里按图。

术语

原文与代码

社区讨论

全部论文解读