OceanMoE: Structured Conditional Sparse Computation for Long-Horizon Multivariate Ocean Forecasting
Yishun Zhu, Jian Wang
cs.LG
2026-09-17
中科院团队提出OceanMoE，在统一海洋预报模型里按目标和格点做条件稀疏专家选择；60个月ORAS5滚动预报相对复现ORCA-DL几何RMSE降4.91%，十变量对照降8.34%。
多变量海洋预报卡在一对矛盾上。温度、盐度、流速、海表高度、通量走的是同一套耦合环流，上下文本该共享；但各变量的空间结构、时间尺度、量级和难度差得很远，同一变量在不同海域的局部状态也不一样。
全共享网络把所有目标塞进同一套参数，耦合保住了，计算却不会按目标改道。给每个变量单独训一个模型，专是专了，该共享的海洋上下文被拆碎。Pangu-Weather、GraphCast、ORCA-DL 这类数据驱动预报器走的都是统一表征。OceanMoE 把问题往前推了一步：共享什么，在哪些格点改走专用计算。
骨干仍是 ORCA-DL 的「分变量编码 → 融合 → 分变量解码」。一次直接预报 6 个月，把末状态喂进下一块，滚满 60 个月。大气表层应力 τu、τv 当作外源条件，海洋模型不预测它们。
改动集中在融合。可以按五步复述：
训练损失是纬度面积加权的归一化 RMSE，再减去目标间路由分布的 Jensen–Shannon 散度，系数 10^{-3}，逼不同预报目标别走同一套专家。专家池 E=14。训练数据是 20 个 CMIP6 模式 1850–2009 的月平均，SODA2 做训练期验证，正式评测锁在 ORAS5：所有模型从 2020 年 12 月同一初值出发，滚到 2025 年 12 月。网格 1°、128×360，三维场 16 层，最深 1000 m。
参数量对得上对照：复现 ORCA-DL 540.5M（六变量），扩容版 ORCA-DL-Expanded 883.4M（十四变量），OceanMoE 936.2M。私有专家只有 37.2M，路由和目标条件 5.5M，共享通路 13.3M，其余是分变量编解码骨干。稀疏 dispatch 只算被选中的 token–专家对。
汇总指标是物理单位下、按变量和层次等权的几何平均相对 RMSE。负值表示 OceanMoE 误差更低。
| 设置 | 对照 | 几何相对 RMSE 降幅 |
| 六变量 | 复现 ORCA-DL | 4.91% |
| 十变量 | ORCA-DL-Expanded | 8.34% |
| 十变量去掉海表盐度 | 同上，余下九变量 | 5.91% |
物理单位上，六变量任务里盐度 so 从 0.206 降到 0.170 psu，位温 thetao 从 1.048 降到 0.928 °C，海表高度 zos 从 0.093 降到 0.081 m，约 12.9%。海表温度 tos、纬向流 uo、经向流 vo 反而变差。十变量任务里海表盐度 sos 从 0.677 降到 0.490 psu，混合层厚度 mlotst 从 41.4 降到 36.4 m；向下热通量 hfds 从 80.0 升到 83.7 W m^{-2}。
区域上，六变量七个诊断盒里六个更好，北半球高纬和赤道太平洋分别降 14.03% 和 13.95%，南大洋差 4.66%。十变量七个盒全赢，北半球高纬 19.06%，南大洋 18.47%。滚动到第 13–60 个月，两条任务曲线 48 个月全部低于对照；前 12 个月有交叉。
组件敏感性（十变量、对完整模型的几何比）：去掉共享通路 +1.20%，去掉目标融合 +1.84%，去掉解码器地理路由 +1.92%。把动态选专家改成固定 top-2，误差比跳到 +17.69%。没有一个残缺版能在变量均衡的几何分上超过完整模型。
路由也不是摆设。主配置平均每个位置只用 1.76 个编码专家、2.15 个解码专家，但跨目标、跨位置、跨月份的有效专家数到 3.22 和 6.93。解码器平均路由图用球谐拟合的加权 R² 约 0.935。海表盐度编码器几乎只开 1.03 个专家，解码器开 2.63 个。融合热图上，流速目标的自权重分别是 uo 0.659、vo 0.632；tos 则把 thetao、tos、uo、vo 混到合计 0.883。论文自己写，这些权重和已知海洋结构一致，但不构成因果。
做地球系统预报的人，这几年一直在「统一大网络」和「分变量专模」之间晃。OceanMoE 给了一个可操作的中间态：表征仍然共享，计算按目标和格点稀疏分支，季节和残差通路把不该切开的上下文保住。
对要复现的人，可迁移的不是那 14 个专家本身，而是三件事：目标条件融合进内容再路由、球谐地理偏置、按累计置信度决定专家个数。消融里固定 top-2 伤得最重，说明在这套海洋 token 上，专家个数本身就是容量开关。
这仍是渐进改进。对照是复现的 ORCA-DL 家族，不是 XiHe、WenHai 那种涡流分辨系统；网格 1°，够不到业务中期预报的分辨率。有用的场景是季节到年际的多变量联合滚动。
六变量对照被论文写成「跨合同比较」：OceanMoE 用的是十四变量 checkpoint，只在六个完整 ORAS5 目标上计分；ORCA-DL 是六变量合同训出来的。参数量 936.2M 对 540.5M，checkpoint 步数也不同（12k / 16k / 28k）。几何平均把 tos、uo、vo 的退步吃掉了。南大洋在六变量设置下变差。高纬诊断盒只是 60°–63.5° 的窄带，网格到不了极地。大气应力是给定的，模型不滚动大气。训练在 CMIP6 历史模拟，评测在 2021–2025 的 ORAS5，跨再分析偏差没有单独拆开。论文没有给独立的计算成本对照，只说稀疏 dispatch 只算被选中的对。