FourCastNet 3: A geometric approach to probabilistic machine-learning weather forecasting at scale
Boris Bonev, Thorsten Kurth, Ankur Mahesh, Mauro Bisson, Jean Kossaifi, Karthik Kashinath, Anima Anandkumar, William D. Collins, Michael S. Pritchard, Alexander Keller
cs.LG, physics.ao-ph
2025-07-16
NVIDIA用球面卷积和谱域CRPS训练概率集合天气预报，15天预报单张H100只要60秒，中期技巧对标GenCast且快8倍，谱到60天仍稳。
机器学习天气预报已经能在中期技巧上压过传统数值模式，但两个毛病一直在：确定性模型预报被抹平，看起来像集合平均；扩散或CRPS训练的集合又会在小尺度堆噪声，谱斜率失真，长积分容易散。GenCast用去噪扩散把概率结构做对了，推理要迭代采样，15天预报在TPU v5上要8分钟，时间步还是12小时。
常用评估也帮倒忙。点wise CRPS可以对每个格点单独最优，集合成员在空间上被打乱之后分数不变，物理场却已经不像大气。RMSE更可以被模糊预报刷高。缺的是一张既快、又校准、谱还像真场的集合模型。
FourCastNet 3把下一步大气状态写成隐马尔可夫模型：当前0.25°场、时间、以及球面上若干不同时空尺度的扩散噪声，输出6小时后的场。训练目标是空间点wise CRPS加上谱域CRPS，谱系数按重数加权，逼着模型在所有波长上对齐分布，而不只是格点边际。
骨干是纯卷积的球面神经算子，没有Transformer。全局滤波在球谐域里做，对应球面卷积定理，写法接近IFS这类伪谱模式。局部滤波用球面DISCO卷积，核是圆盘上Morlet小波的线性组合，各向异性，用来拟合地形绕流、倾斜等熵面上的绝热过程。块结构仿ConvNeXt：卷积、GeLU、逐点MLP、残差；故意去掉LayerNorm，因为物理量的绝对量级有意义。经验上四个局部块配一个全局块最好。编码器把721×1440输入降到360×720高斯网格、嵌入维641，且不做通道混合，避免把谱性质差很远的变量搅在一起。水汽通道走平滑样条输出激活，强制非负。模型直接预测下一状态，不预测倾向，作者认为这能减少高频伪影。
训练靠空间域分解做模型并行，再叠集合并行和batch并行，框架叫Makani。预训练在1024张H100上跑208,320步，batch 16、集合大小16，78小时；随后512张A100做4步自回归，15小时；最后256张H100在2012–2016上微调8小时。数据是ERA5，1980–2016，评估年是2020。
按WeatherBench 2口径，2020年12小时一组初始场、50成员集合：
| 对照 | 技巧 | 15天单条耗时 |
| IFS-ENS | 被FCN3超过 | 约1小时（96 CPU，9km） |
| GenCast | 中期几乎持平 | 8分钟（TPU v5，12小时步长） |
| FCN3 | 16个评分通道里15个短时效持平或略胜GenCast | 60秒（单H100，6小时步长） |
例外是2米气温，GenCast更好。作者把GenCast略优的长时效部分归因于12小时步长：自回归次数减半，而且只用00/12 UTC同化窗口，ERA5在那些时刻更准。
校准方面，spread-skill比接近1；rank histogram在24小时内略过散，随后偏欠散，再慢慢变平。训练只用16个成员，评估用50个，更大集合在推理时说得通。风暴Dennis个例里，850 hPa风和500 hPa位势高度的协变合理，角谱密度在30天积分后斜率仍对。相对ERA5角谱的偏差大约落在−0.2到0.2。60天、0.25°、6小时步长的全球预报，单卡不到4分钟。
这是少有的「中期技巧够用、推理便宜、长积分谱还不崩」的开源集合模型。单步出成员，不像扩散要迭代去噪，适合把集合做到几百、几千，去估极端事件尾巴。谱稳到60天，才谈得上亚季节预报，而不是把模糊场积分到气候态。代码在Makani和torch-harmonics里开源。
对只做中期格点RMSE的人，这是渐进：技巧贴近GenCast。对要物理保真和大规模集合的人，球面卷积加谱损失是比再堆一个Transformer更值得抄的部分。
降水还没作为诊断输出；资料同化不确定性也没接。训练数据只到2016，评估在2020，和训练到2019的GenCast不对等。2米气温系统性落后。温度通道有偏差，rank histogram已经提示。硬件和分辨率与IFS-ENS、GenCast都不对齐，8倍、60倍加速是粗算。点wise加谱CRPS仍不是完整的多变量评分规则，空间相关被鼓励，没有被证明唯一刻画。个例只详细写了Dennis，极端事件的系统统计还薄。