From Numerical Simulators of PDEs to Neural Emulators and Back
Felix Koehler
cs.LG
2026-08-25
慕尼黑工大博士论文证明：带合适归纳偏置的PDE神经模拟器，多步rollout可超过产生训练数据的数值求解器。配套APEBench覆盖46组方程，PRDP最多省掉86%求解器迭代。
PDE 数值模拟贵，真正卡住工程循环的往往不是跑一次，而是设计或优化里要跑成千上万次。神经模拟器拿求解器生成的轨迹当训练数据，承诺把每次前向变得便宜。社区的默认叙事把两边写成师生关系：求解器是老师，网络是学生，学生最多学到老师那一档精度。
慕尼黑工业大学 Felix Koehler 的博士论文把这个假设拆开。卷积层在做的事很像有限差分模板，Fourier Neural Operator 很像谱方法，UNet 很像多重网格。求解器误差和网络误差可以放进同一套傅里叶乘子里对照。把求解器在训练管线里的五种角色分开，再落到三篇已发表工作上：NeurIPS 2024 的 APEBench、ICLR 2025 的 PRDP、NeurIPS 2025 的 Neural Emulator Superiority。
五种角色分别是：产生训练轨迹的数据生成器、评估时对照的高保真参照、训练图里要过梯度的可微混合组件、架构在结构上模仿的那种数值方法（这一项可以不真的跑）、精度-速度权衡上的对照基线。默认实验里第一、第二和第五项塌成同一个求解器，于是分不清网络是学会了物理，还是复现了数值伪影。
APEBench 用 JAX 伪谱求解器 Exponax 现场生成数据，覆盖 46 组周期均匀网格上的半线性 PDE，分成线性、非线性、反应扩散三类。对照五种架构：ConvNet、ResNet、UNet、膨胀 ResNet、FNO。训练用 (T, B) 分类，T 是展开步数，B 是每多少步对齐一次真值。diverted chain 取 B=1 且 T>1，一边自回归展开一边每步拉回参照。1D 默认 50 个随机种子，2D 和 3D 默认 20 个。
PRDP 把可微物理看成双层优化：外层学网络参数，内层是迭代线性求解器。网络最终精度大约停在 \(10^{-2}\) nRMSE，吃不下残差 \(10^{-5}\) 那种收敛。算法从大约 1 次迭代起步，验证指标 plateau 就给内层加 \(\Delta K\)；加完还不动，就认定已经到了 \(K{\max}\)。开头少迭代叫渐进加密节省，最终停在 \(K{\max}\) 叫不完全收敛节省。
优势分析对线性对流、扩散、泊松给出闭式傅里叶乘子。给网络一个和显式格式同结构的线性 ansatz，用隐式或未收敛求解器的数据拟合，再跟解析乘子比。定义优势比 \(\xi^{[n]}\)：网络相对高保真参照的误差，除以训练求解器相对同一参照的误差。小于 1 就是超过老师。
APEBench 没有万能架构。ResNet 几乎从不是单项第一，但也几乎从不崩。FNO 在有全局空间结构的问题上更强，尤其是低雷诺数 Navier-Stokes 的 Kolmogorov flow；反应扩散里能量堆在高频，FNO 的有效模态覆盖不住，这时局部卷积更好。更高维里 UNet 超过膨胀 ResNet，粗化层级比轴对齐膨胀更均匀地铺开感受野。1D 对流把难度 \(\gamma1\)（相当于 CFL 数）拉高以后，局部网络一旦感受野盖不住依赖域就失败，FNO 几乎不吃这一刀。局部卷积大约 5 条训练轨迹就能收敛，FNO 要更多数据。全套实验大约 900 GPU-hours，机器是 8 张 RTX 2080 Ti。
| 贡献 | 关键数字 | 对照 |
| PRDP 累计迭代 | 最多 −86% | 全程收敛到 \(\epsilon=10^{-5}\) |
| PRDP 2D NS 训练时间 | −62% | 完全收敛物理 |
| APEBench 覆盖 | 46 组 PDE / 5 种架构 | 1D 50 seed，2D/3D 20 seed |
| 网络精度天花板 | nRMSE \(\approx 10^{-2}\)（最好 \(\approx 10^{-3}\)） | 数值方法可达机器精度 |
| 局部卷积样本 | 约 5 条轨迹即可收敛 | FNO 需要更多 |
PRDP 最终精度和全程用完全收敛物理训练，统计上分不开。累计求解器迭代最多少 86%，其中一个拆解是 72% 不完全收敛节省加上 14% 渐进加密节省。最难的一组是 2D Navier-Stokes 的校正型神经混合求解器，训练时间少 62%。论文结论里把训练时间降幅的上沿写成 78%。适用场景包括 Poisson 反问题、1D/2D 热方程、Burgers，以及上述 NS 混合设置。图里没有迭代线性求解器的显式格式和谱方法解线性系统，用不上这套。
优势现象分两种。自回归优势：训练和测试的初始条件分布相同，第一步 \(\xi^{[1]}\ge 1\)，多步之后 \(\xi^{[n]}<1\)。ConvNet、ResNet、FNO、UNet、Transformer 几乎都能做到，连训练数据来自稳定域内的显式迎风格式时也出现。状态空间优势：训练在单一模态，测试换成别的模态，第一步就已经 \(\xi^{[1]}<1\)。这主要出现在局部感受野网络上；FNO 和 Transformer 在同一分布偏移下做不到。对流和扩散是前向优势，测试模态高于训练模态时更明显；泊松配未收敛 Richardson 迭代是后向优势，低频才是迭代器最慢的地方。
做 PDE 代理如果只用 PDEBench 这类固定数据集，数据生成器、评估参照和对照基线是同一份不透明轨迹，更好的网络可能因为没复现求解器伪影而被判差。生成数据不必拉到机器精度：当前容量下网络吃不下那一档。可微物理训练更不必每步都解到 \(10^{-5}\)。选架构可以按「这个问题的好数值方法长什么样」来选，感受野对依赖域，就像 CFL 条件对差分模板。
这是把求解器和网络放进同一套误差语言之后的渐进认识，不是换掉求解器的理由。周期盒子上的半线性方程离工程网格还很远。但离散误差、归纳偏置、优化噪声这几件事并不依赖周期性，周期性只是让这几件事分得开。
最大限制论文自己写得很清楚：半线性 PDE、周期边界、均匀笛卡尔网格。没有复杂几何，Dirichlet 和 Neumann 基本不在主实验里，高雷诺和 Euler 被伪谱方法排除了。全场 nRMSE 到 \(10^{-2}\) 不保证应力、升力、阻力这类导出量可用。每个网络只对应一个求解器和一套离散参数，不跨方程、不跨系数。APEBench 主文的架构对比当时没含 Transformer，后来 superiority 论文补了，但是另一套实验。PRDP 只验证了稀疏离散算子上的迭代线性求解器，Newton 类非线性求解器「原则上直接」但没做。优势不是普遍保证，依赖方程、误差结构、架构、目标和时间范围。理论证明停在线性 ansatz 和线性 PDE，非线性部分是经验观察。