2026-09-15
微调 2.5 亿参数 Nucleotide Transformer，用 TF motif 与基因体序列预测调控边。六条细胞系里先验质量决定 GRN 上限，GLM-Prior 在 4/5 条哺乳细胞系超过 ATAC 先验。
基因调控网络（GRN）推断几乎都要先给一张「哪些转录因子可能管哪些基因」的先验边矩阵，再拿单细胞表达去修。现成先验来自两类：STRING、TRRUST 这类实验库，或 Inferelator-Prior、CellOracle baseGRN 这类「开放染色质里扫 motif」的做法。前者在冷门物种和细胞类型上经常缺；后者绑死 ATAC-seq，还默认调控发生在启动子附近，远端增强子和跨物种迁移都吃力。
卡点是先验质量，不是又一个更花哨的下游求解器。GLM-Prior 只读 DNA 序列，给每对 TF–基因打一个调控概率。
底座是 2.5 亿参数的 Nucleotide Transformer，在 850 个物种基因组上预训练。微调时把 CisBP 的 TF motif 序列和 GTF 里取出的基因体序列拼在一起，中间隔分类 token，用 prepend 的 <cls> 位置表征过分类头（dropout、线性、tanh、再 dropout、两维 logit），输出「有没有调控边」。正样本来自 YEASTRACT（酵母）以及 STRING、TRRUST（人、鼠）；负样本从剩余 TF–基因对里抽。类别极不平衡，训练上用负类降采样、类别加权交叉熵，再配一个正负各半的 DataLoader。验证集上扫阈值，取 F1 最高的切点，把概率矩阵二值化。
第二阶段把这张先验接到 PMF-GRN：概率矩阵分解把表达矩阵拆成 TF 活性和边，GLM-Prior 给边的存在度一个 logistic-normal 先验，把因子钉在具体 TF 上。变分推断给出边的后验均值和不确定度。4 张 H100，有效 batch 4096，Adam，学习率 \(10^{-5}\)，10 个 epoch。
三条训练设定分开测：同物种训练评估、人鼠互转、人+鼠+酵母串起来训一个多物种模型。评估用独立金标准：酵母文献策展网络，人鼠用 BEELINE 细胞系参考网络。训练和测试在基因–TF 序列对及其标签上都切开。
六条细胞系上，先验本身的 AUPRC 跟着正样本数量和 TF 覆盖走。
| 细胞系 | GLM-Prior AUPRC | 随机基线 |
| 酵母 | 0.02 | 0.01 |
| hESC | 0.19 | 0.15 |
| HepG2 | 0.30 | 0.25 |
| mESC | 0.23 | 0.20 |
| mDC | 0.09 | 停在随机 |
| mHSC | 0.49 | 0.37 |
酵母训练集只有 660 条正边对上 724,179 条负边，泛化几乎没有。mDC 的 TF 从训练 462 个掉到测试 29 个，也停在随机。mHSC 是最大的绝对增益。
人鼠互转能保住甚至略抬单物种成绩：hESC 仍是 0.19，HepG2 到 0.31。人鼠合训再去预测酵母，还是 0.02。多物种模型几乎复刻单物种数字（酵母 0.02、hESC 0.19、HepG2 0.29、mESC 0.23、mDC 0.09、mHSC 0.49）。
接到 PMF-GRN 之后，AUPRC 只升不降：HepG2 0.30→0.38，mESC 0.23→0.27，mHSC 0.49→0.52，酵母和 hESC 不动。边改动很小，新增从酵母 0.03% 到 mHSC 0.54%，而且几乎只加不删。先验弱的时候，表达修不回来。
跟 ATAC 先验比：GLM-Prior 在全部六条上达到或超过随机，五条明显超过；Inferelator-Prior 两条超随机，CellOracle 三条。酵母上 CellOracle 最高（0.05 对 GLM-Prior 的 0.02）。HepG2 上 CellOracle 0.36 超过 GLM-Prior 的 0.30，论文把原因写到 BEELINE 参考网高度依赖 ENCODE ChIP-seq，跟「可及区域里的 motif」同构。剩下四条哺乳细胞系（hESC、mESC、mDC、mHSC）GLM-Prior 最高。九种「先验 × 算法」交叉里，每条细胞系的冠军几乎都跟最强先验绑定，没有一个下游算法通吃。
做单细胞 GRN 的人如果还在换 Inferelator、CellOracle 或矩阵分解，这篇把优先级倒过来了：先把先验做对，算法是在先验天花板下面修边。GLM-Prior 不吃匹配的 ATAC，只要有参考基因组和 motif 库就能出一张可迁移的脚手架，人到鼠这种近缘转移是能用的。酵母和 mDC 说明监督稀疏时语言模型也救不了。这是渐进但方向清楚的一刀，把力气从下游求解器挪到序列先验。
负标签大多是「没测过」不是「确认不管」，降采样还可能把假阴性扔掉。评估网本身不完整，AUPRC 对金标准的覆盖方式敏感。HepG2 上 CellOracle 赢，说明参考网怎么建会改排名。输入是 motif 加基因体，不是带三维基因组的增强子–启动子对，远端调控是模型自己从序列里估的，没有独立的 Hi-C 验证。只覆盖六条细胞系；人鼠近缘成立，跨到酵母失败。