不建图不加对称性,裸 Transformer 学出静电规律并追平等变 GNN

Transformers Discover Molecular Structure Without Graph Priors

Tobias Kreiman, Yutong Bai, Fadi Atieh, Elizabeth Weaver, Eric Qu, Aditi S. Krishnapriyan

cs.LG, cond-mat.mtrl-sci, physics.chem-ph, q-bio.BM

2025-10-03

不建图不加对称性,Transformer 在 OMol25 上自学出 1/r² 静电衰减与自适应截断,同算力下能量与力精度追平等变 GNN eSEN。

这篇在解决什么

分子建模的机器学习过去十年几乎全长在图神经网络(GNN)上:先按半径截断把原子连成图(通常只连 6-12 Å 内的原子对),再把旋转平移等变性、消息传递这些物理先验焊进架构。这样做省数据,但换个化学体系常要重新设计偏置,而且固定截断半径对稠密分子合适、对稀疏体系就错,先验本身成了天花板。

与此同时,Transformer 统一了语言、视觉、机器人的架构,靠 scaling law 可以预测性能。它能不能不加先验直接做分子?在 OMol25 这种大规模 DFT 数据集出现之前,这个问题没条件回答,圈内默认「没有几何引导学不出复杂相互作用」。UC Berkeley 团队这次把实验做了,答案是:能学,而且学得很有物理味道。

方法

结果

学出的物理。早期层注意力随距离按约 1/r² 衰减,与静电力的标度一致;深层放缓到约 1/r,对应静电能;局部注意力在 6-12 Å 处回落,正好落在图模型手工选的截断区间。有效作用半径还会自适应,原子越孤立半径越大,深层与静电参考吻合,这是固定截断的 GNN 给不了的。元素 embedding 的 UMAP 投影复现了周期表结构。合成实验用 E=1/r^α(α∈{1,2,4})生成标签,学到的注意力指数与真实指数的相关性 R²=0.98,数据与模型加大后绝对值也逐步逼近,而这只用了完整 OMol25 约千分之一的数据。

精度。按 scaling law 训到 1B 参数,与 6M 参数的等变 GNN eSEN 用同样的训练算力(O(10^20) FLOPs 量级)、同一份数据,在分布外分子组成上能量与力的 MAE 打平(eSEN 能量 MAE 为 117.99-129.77 meV),wall-clock 训练与推理反而更快。分子动力学结果更干净:10 个验证分子、500K、100 ps 的 NVT 模拟里,原子间距分布 h(r) 相对 UMA-S 参考的 MAE 为 0.040,好于 eSEN 两个版本;微调成保守力场后,NVE 模拟能守恒能量。

模型h(r) MAE(相对 UMA-S)
eSEN-sm-d0.077
eSEN-sm-c0.065
本文 Transformer(1B,无先验)0.040

对称性与 scaling。不加任何等变约束,旋转等变的余弦相似度超过 0.99;强行注入位置编码破坏置换对称后,原子乱序带来的能量 MAE 变化仍小于 5 meV,不到模型误差的 5%。5M/30M/90M 三个尺寸拟合的 scaling law 准确外推出 306M 模型的表现,IsoFLOP 曲线呈抛物线,预训练 scaling 到 1B 参数仍未见饱和(1B 模型训练约 750 A100 小时)。预训练学到的联合分布还能给新结构算对数概率,与 MACE-OFF、GemNet、EScAIP 在 SPICE 上的力误差高度相关,顺手当不确定性估计器用。

为什么重要

这篇的定位是存在性证明:数据够多时,大量过去手工设计的物理先验可以从数据学出来,而且学出的形态(自适应半径、kNN 式注意力头、注意力随距离上升的头)比硬编码更灵活。对从业者,它给出一条与 GNN 并行的路线:标准架构直接继承 FlashAttention、编译器、GPU 生态的成熟优化,1B 稠密模型在 wall-clock 上跑赢 6M 稀疏 GNN,scaling law 让投入产出可预测。这是 Sutton 的 bitter lesson 在原子建模上目前最系统的一次检验。

精度上是打平,不是超越:同算力同数据追平 eSEN,没有刷新 SOTA。

局限与存疑

作者自述的:微调保守力场(力取能量梯度)时训练明显更不稳定;大规模科学发现应用前需要更严格的评估;自旋 token 几乎分不到注意力,因为训练数据里高自旋分子太少;附录里 1/r^α 的构造只是直觉演示,不是证明。

读下来还有几点。注意力分数解释成「相互作用强度」是间接证据,softmax 归一化和数据里原子对的距离分布都会污染这个量,20 Å 以上注意力变平,作者自己也归因于样本稀少。竞争力建立在匹配算力、单一数据集之上;等变 GNN 的核心卖点是小样本效率,1B 对 6M 的参数对比恰恰说明先验在省数据。scaling 只验证到 1B,「可能延续到数千亿参数」是推测,此前也有模态见过幂律失效。

术语

原文与代码

社区讨论

相关论文

全部论文解读