NEW PROGRESS IN INTELLIGENT SOLUTION OF NEURAL OPERATORS AND PHYSICS-INFORMED-BASED METHODS
-
摘要: 深度学习通过多层神经网络对数据进行学习, 不仅能揭示潜藏信息, 还能很好地解决复杂非线性问题. 偏微分方程(PDE)是描述自然界中许多物理现象的基本数学模型. 两者的碰撞与融合, 产生了基于深度学习的PDE智能求解方法, 它具有高效、灵活和通用等优点. 文章聚焦PDE智能求解方法, 以是否求解单一问题为判定依据, 把求解方法分为两类: 神经算子方法和类物理信息神经网络(PINN)方法, 其中神经算子方法用于求解一类具有相同数学特征的PDE问题, 类PINN方法用于求解单一问题. 对于神经算子方法, 从数据驱动和物理约束两个方面展开介绍, 分析研究现状并指出现有方法的不足. 对于类PINN方法, 首先介绍了基础PINN的3种改进方法(基于数据优化、基于模型优化和基于领域知识优化), 然后详细介绍了基于物理驱动的两类解决方案: 基于传统PDE离散方程的智能求解方案和无网格的非离散求解方案. 最后总结技术路线, 探讨现有研究存在的不足, 给出可行的研究方案. 最后, 简要介绍智能求解程序发展现状, 并对未来研究方向给出建议.Abstract: Deep learning, characterized by its multi-layer neural networks, has demonstrated its capability not only to uncover hidden information in data but also to effectively address complex nonlinear problems. As a fundamental mathematical model, partial differential equations (PDEs) find wide application in describing various physical phenomena in the natural world. The amalgamation of deep learning and PDEs has given rise to the emergence of intelligent PDE solving methods based on deep learning. These methods possess several advantageous traits, including high efficiency, flexibility, and universality, which make them valuable in practical applications. This paper focuses on intelligent PDE solving methods, categorizing the solving approaches into two types based on whether they handle single or multiple problems: neural operator methods and physics-informed neural network (PINN) methods. Neural operator methods are employed to solve a class of PDE problems with the same mathematical characteristics, while PINN-based methods are used to solve single problems. The first category encompasses neural operator methods, which are utilized for solving a group of PDE problems that share similar mathematical characteristics. These methods leverage data-driven approaches and physical-constraint approaches to formulate their solutions. An in-depth analysis is conducted to examine the current research status, along with the identification of existing drawbacks in these approaches. As for PINN-based methods, this paper introduces the relevant research progress from three derivative approaches of PINN (data-optimization, model-optimization, and domain-knowledge-optimization). Finally, this paper provides a comprehensive overview of the technical roadmap for PDE intelligent solving methods. It critically evaluates the existing research limitations and proposes feasible research plans to overcome these challenges. Additionally, the paper briefly introduces the current state of intelligent solving program development and offers suggestions for future research directions. By amalgamating deep learning and PDEs, these intelligent solving methods have the potential to revolutionize various scientific and engineering domains, enabling more accurate and efficient problem-solving in complex nonlinear systems.
-
Keywords:
- neural network /
- PDE intelligent solution /
- neural operator /
- grid discretization /
- physics-driven
-
引 言
近年来, 深度学习渗透到各个领域, 其强大的能力和实用价值, 引起了各个领域的研究新热潮. 偏微分方程(partial differential equations, PDE)是描述自然界中许多物理现象的基本数学模型, 如流体力学、热传导等. 对于某些复杂的物理问题, 往往不存在解析解, 需要使用数值方法求解. 而神经网络作为一种强大的深度学习模型, 可以通过学习大量数据实现高精度的预测和分类, 已经在各个领域得到广泛的应用[1-3]. 它不仅可以学习数据, 还可直接学习诸如PDE等的数学模型[4-6], 并且在加速计算上具有巨大潜力[7-9].
根据神经网络的万能逼近定理[10-12], 一个前馈神经网络如果具有线性层和至少一层具有“挤压”性质的激活函数(如sigmoid, ReLU等), 给定网络足够数量的神经元, 它可以以任意精度来近似任何从一个有限维空间到另一个有限维空间的Borel可测函数. 这为神经网络逼近微分方程解奠定基础. 同时, 深度学习的一个重要优势是对高维问题的可扩展性, 它可以使用较少的参数来拟合高维函数, 从而避免了传统数值方法中的维数灾难.
因此, 神经网络可以作为一种新的数值求解方法, 通过学习数据和物理信息来求解微分方程, 相比传统的数值方法具有更高适用性和灵活性, 有望实现求解技术的变革. 这里将其称为PDE深度学习求解方法、或PDE神经网络求解方法、或PDE智能求解方法. 同样, 根据损失函数构建方式, 将其分为3大类: 第1类是数据驱动, 完全基于标签数据构造损失函数[13-14]; 第2类物理驱动, 损失函数完全不使用标签数据[15]; 第3类是物理约束, 介于前二者之间, 即损失函数包含标签数据、控制方程[16].
随着深度学习技术的快速发展, 越来越多的研究者加入PDE智能求解方法探索之旅. 本文聚焦于PDE智能求解方法, 从是否为泛函插值或算子插值, 将其分为两类: (1) 基于神经网络的算子学习方法; (2) 基于物理约束的神经网络方法(其中物理信息神经网络(PINN)[17]最为人熟知, 下文简称类PINN方法).
传统的数值求解方法, 只能在给定初始条件和边界条件时, 才能进行求解. 如果初始条件和边界条件发生变化, PDE就要重新进行求解.
然而, PDE智能求解方法可以优于传统的数值求解方法. 这就是2022年以来风靡全球的大模型研究. 大模型是具有大量参数和深层的深度学习模型, 这些模型可以从海量数据中学习复杂的特征和表示. 基于此概念, 可以把PDE求解大模型定义为, 一个具有大量参数和深层的深度学习模型, 可以求解不同求解区域、不同初始条件、不同参数下的同类型或不同类型PDE. 比如华为的天气预报大模型[18], 就是基于海量天气数据和守恒定理相的所训练的天气预报大模型. 面对新的问题, 只需简单的前向传播即可得到对应解, 比传统数值求解方法速度提高10000倍, 极大地提升了求解性能.
根据驱动方法的不同, PDE求解大模型有不同的技术路线. (1)基于数据驱动的PDE求解方法: 该方法通过编码和逼近操作, 训练神经网络学习算子, 从而实现一个模型求解一类具有相同数学特征的PDE问题[19-20]; (2)基于物理约束的求解方法: 该方法主要通过迁移学习和元学习的方式, 实现不同初始或边界条件下的PDE求[21-22].
尽管基于神经网络的PDE求解方法发展迅速, 仍然不存在一种通用的求解方法, 特别是对于实际工程中的PDE问题, 还只能求解简单问题, 且难以保证稳定的求解, 往往需要调整网络结构或者超参数. 这引起了众多研究, 新方法层出不穷, 恰似寒武纪大爆发时代的生命多样性. 对此, 本文从神经算子和类PINN方法这两条技术路线出发, 对近年来PDE的智能求解方法进行介绍, 将神经算子分为数据驱动方法和物理约束方法, 并根据是否进行网格划分和数值离散, 将类PINN方法分为基于传统PDE离散方程的智能求解方案和无网格的非离散求解方案. 进一步, 对于离散方案, 根据方程的类型, 分为求解线性和非线性方程组方法; 对于非离散方案, 根据优化方式的不同, 分为基于数据优化、基于模型优化和基于领域知识优化的求解方法, 分类归纳图如图1所示.
![]()
图 1 偏微分方程智能求解方法的分类归纳图Figure 1. Classification and induction diagram of intelligent solution methods for PDEs1. 基于深度学习的神经算子研究进展
传统数值求解方法通常需要给定初始条件和边界条件, 一旦更换相应条件, 需要重新求解, 而神经网络对于算子的学习能力, 为PDE求解大模型提供可能. 算子是一种从函数空间到函数空间的映射. 要用神经网络来学习算子, 需要将算子进行分解和表征, 即编码和逼近.
编码是指将函数空间中的函数用有限维向量来表示, 通过在一些采样点上取函数值, 或者傅里叶变换等方法可以实现编码操作, 其目的是将无限维的函数转化为有限维的向量, 从而可以作为神经网络的输入或输出.
逼近是指用神经网络来拟合从有限维向量到有限维向量的映射, 这个映射就是算子在编码后的逼近, 其目的是利用神经网络强大的函数拟合能力来学习算子的特征和规律.
通过编码和逼近后, 就可以通过训练神经网络学习任意算子, 从而实现一个模型求解一个具有不同初始或边界条件下的PDE. 表1总结了部分神经算子方法的特点与适用问题, 关于数据驱动和物理约束的神经算子方法将在本章小节中具体展开.
表 1 神经算子方法及特点Table 1. Neural operator methods and characteristicsCategory Method Feature neural operators data-driven DeepONet[19] nonlinear, multiple input and output functions FNO[20] nonlinear, high dimensional or periodic PDEs Deeponet-grid-uq[23] nonlinear, uncertainty quantification B-DeepONet[24] parametric PDEs, noise data U-FNO[25] nonlinear, multiphase flow MP-PDE solver[26] nonlinear, resolution-independent physical-constraint Pi-deeponet[27] parametric evolution equations, long-term prediction LordNet[28] nonlinear, Navier-Stokes equation, no labels 1.1 基于数据驱动的神经算子方法
Lu等[19]提出深度算子网络(DeepONet)学习算子, 它由两个部分组成: branch net和trunk net, branch net负责对输入函数进行编码, 得到一个有限维向量; trunk net负责对输出函数进行编码, 并与branch net输出的向量相乘, 得到一个近似算子输出函数的向量, 如图2所示.
Moya等[23]提出了一种新的数据驱动方法来可靠地预测电网的故障后运动轨迹, 其核心想法为: 先以DeepONet为基础构建算子模拟故障前与故障后轨迹的关系, 再构建两种方法来量化故障后轨迹预测的不确定性, 第一种为贝叶斯DeepONet (B-DeepONet), 它使用随机梯度哈密顿蒙特卡罗从DeepONet参数的后验分布中进行采样从而量化不确定性. 第二种为概率DeepONet (Prob-DeepONet), 它使用一个概率训练策略, 在几乎不需要额外计算成本的情况下量化不确定性. 最后, 该模型在纽约—新英格兰电网模型模拟中实现了较高的准确度. 此外, 为了解决训练数据被噪声污染的问题, Lin等[24]提出了一个增强的贝叶斯深度算子网络(B-DeepONet)来近似带有噪声的参数PDE的解算子. 与Moya等[23]的贝叶斯DeepONet使用基于贝叶斯优化的自适应采样策略不同, Lin等[24]使用了一种加速的副本交换随机梯度Langevin动力学 (reSGLD)算法, 来训练两个不同的 DeepONet 粒子, 从而更好地处理噪声数据, 逃离局部最小值.
Li 等[20]提出傅里叶神经算子(FNO)来学习函数空间之间的映射, 从而高效地求解PDE, 其核心思想是在傅里叶空间中对积分核进行参数化, 利用快速傅里叶变换(FFT)实现高效的卷积运算. FNO可以用来求解一类参数化的PDE问题, 包括双曲型、椭圆型和抛物型等, 训练后的模型预测速度比传统的PDE求解器可快几个数量级.
基于FNO框架, 许多研究者展开进一步研究[29-30]. 其中, Wen等[25]提出了一种增强的基于傅里叶神经算子的多相流深度学习模型U-FNO, 其在FNO的基础上增加了一个迷你U-Net (mini U-Net)路径, 用于丰富高频信息的表示能力. 迷你U-Net路径是一种基于卷积神经网络(convolutional neural network, CNN)的方法, 它可以在空间域上进行下采样和上采样操作, 从而提取和恢复高频信息, 其数学表达如下
$$ {\boldsymbol{z}} = {{F} ^{ - 1}}({N} ({{F}}({\boldsymbol{x}}))) + {U} ({\boldsymbol{x}}) $$ (1) 其中${\boldsymbol{x}}$为输入数据, ${F} $表示傅里叶变换, ${{F} ^{ - 1}}$ 表示逆傅里叶变换, ${N} $表示全连接层组成的神经网络, ${U} $表示迷你U-Net. 相较于FNO和CNN而言, U-FNO有更高的精准度.
此外, 还有一种被称为非线性动力学的稀疏识别(sparse identification of nonlinear dynamics, SINDY)方法[31], 其使用稀疏性促进技术和机器学习可以在有噪声的测量数据上组合使用以识别控制方程, 依赖于假设——尽管数据是高维的, 但动力学主要只受几个主要变量的影响, 使得方程在可能的函数空间中是稀疏的. Zhong等[32]主要针对FNO和Sindy算法对Lorenz和Rössler系统相关的一些连续、分数阶和超混沌系统的正向和逆问题做了研究, 学习混沌、超混沌和分数混沌系统中初始条件与后期轨迹之间的映射. 实验表明, FNO算法和Sindy算法在非线性动态系统的正问题和逆问题中具有较好的准确度, 因此这些深度神经网络算法也可以扩展到其他混沌和超混沌系统.
Brandstetter等[26]将图神经网络应用在算子学习中, 通过时间捆绑技巧和前推技巧解决累计误差变大与分布偏移问题, 提高了泛化能力. 时间捆绑技巧是指在一次预测过程中, 同时预测未来多个时间步长, 相比于基于单步训练的自回归求解器[33]只预测未来一个步长, 这个技巧一次推理了$k$个时间步长, 来增强稳定性, 减少推理时间, 即${u^0} \mapsto ({u^1},{u^2},\cdots, {u^k}) = {u^{1:k}}$. 前推技巧就是将时间捆绑技巧使用$ N + 1 $次, 最后计算损失loss只计算最后一次与真实的误差, 从而避免累计误差, 提高计算效率, 通过对比五阶WENO的方式, 推理速度大大提高.
经典方式求解PDE方法的计算量会随着空间分辨率的增加而极具提高, 如湍流尺度下, 当前计算资源无法满足要求, Boussif等[34]基于图神经网络提出了一种编码−插值−预测方法, 可以求解任何网格上的PDE, 并且基于邻近插值方法可将求解空间的分辨率提高4倍.
综上所述, DeepONet的优势在于可以同时处理多个输入函数和多个输出函数, 不需要重新训练网络, 但需要大量的训练数据来保证泛化能力, 并且对于非线性或复杂的PDEs, 需要更深或更宽的网络结构. 而FNO可以利用傅里叶变换的性质来降低计算复杂度和内存消耗, 能处理高维或周期性的PDEs, 但需要对输入函数和输出函数进行采样和插值, 并且对于非周期性的PDEs, 需要更多的频域分量来保证精度. 图神经网络的优势在于可以自适应地处理不规则或动态变化的网格结构, 但需要提前对输入输出进行网格划分和拓扑构建. 因此, 对于数据量充足的问题, 可以考虑DeepONet, 对于高维或周期性的PDEs, FNO优势明显, 而对于动态变化的问题, 图神经网络更为适合.
1.2 基于物理约束的神经算子方法
上述基于数据驱动的神经算子方法会面临数值稳定性和精度问题. 由于神经网络的黑盒性质, 它们可能无法准确地捕捉PDE的解的数学属性, 并且在使用有限的数据进行训练时, 可能产生过拟合. 因此, 此类方法需要大量标签数据来防止模型在未知数据上的预测性能下降. 而对于复杂的PDE问题, 获取足够的高质量训练数据是十分困难的. 同时, 此类方法还需对不同参数和边界条件进行数据采样, 从另一方面增加了数据获取的难度.
对此, 部分研究者引入物理约束, 通过构建一类具有相同数学特征的PDE的物理残差训练神经网络, 实现少量标签甚至无标签数据下的算子学习. Koric等[35]采用有限元方法来离散空间域, 并将神经网络输出作为有限元基函数的系数, 通过引入物理信息约束, 即热传导方程和边界条件, 来指导神经网络的训练, 从而提高了算子的泛化能力和物理可解释性, 实现参数化热源下热传导方程的高精度求解. 该方法具有较高的数据效率, 即只需要少量的训练数据就可以达到较好的结果. Wang等[27]提出了一种基于物理信息的深度神经网络算子, 用于求解具有随机初始条件的参数化演化方程. 考虑到现有的DeepONet模型无法实现长时间稳定的预测, 其通过迭代算法分割完整时域, 使用上个时步的预测结果作为下一时步的初始条件, 从而实现了对长时间区间内的全局预测.
此外, Shi等[28]提出一种基于低秩分解模块的网络模型(LordNet), 不需要任何数据, 让神经网络直接从离散的PDE所构造的均方残差来学习物理信息, 并针对传统CNN对长距离纠缠表征效果不佳的问题, 通过对多通道全连接层的权重进行低秩近似, 以学习全局纠缠, 实现无标签数据下的算子学习.
然而, 一些PDE的边界和初始条件不容易用代数算子来表示, 并且代数算子引入的近似误差导致不能完全符合物理规律. 此外, 这些方法只考虑了一些简单的参数化演化方程, 而没有涉及更复杂和具有实际价值的问题, 方法的稳定性和收敛性没有理论保证, 模型的泛化能力仍有待验证.
总的来说, 神经算子为构造求解PDE的大模型提供了可能, 但是需要寻找合适的编码方式将函数空间中的函数表示为有限维向量, 同时缺乏对于更复杂非线性问题的研究. 因此, 无需精确解作为标签的算子学习方法仍有待研究.
2. 类PINN的相关衍生方法
与纯数据驱动的神经网络学习相比, PINN在训练过程中施加了物理信息约束, 因而能用更少的数据样本学习到更具泛化能力的模型. 尽管其可在无标签数据下求解相对简单的稳态或无源汇的PDE[36-37], 但对于实际工程中的复杂动力系统, 往往需要结合标签数据才能实现高精度、稳定的求解, 这也限制了此类方法在实际应用中的发展. 参考物理约束嵌入机制[38], 本节将从3个角度介绍相关衍生方法, 部分代表性的方法及特点如表2所示.
(1)基于输入数据优化的衍生方法
类PINN方法通过抽样采样点作为训练数据计算损失, 不同的采样方式会严重影响求解精度和稳定性. 因此, 此类基于输入数据优化的衍生方法通过提取方程特征, 改进输入数据的采样方式, 从而提升模型求解精度.
(2)基于模型优化的衍生方法
类PINN方法通常使用自动微分(AD)计算微分算子, 而稀疏采样下AD求导倾向于去寻求非物理解, 导致求解结果不准确[50], 并且模型对多个损失项的权重超参数敏感, 严重影响实际应用价值. 此外, 神经网络的激活函数、权重初始化和训练梯度都倾向于低频信息, 从而导致高频信息的损失. 因此, 此类基于模型优化的衍生方法通过改进优化算法、微分算法和激活函数等, 从而提升模型稳定性和精度.
(3)基于领域知识优化的衍生方法
类PINN方法大多只解决特定的PDE, 一旦更换初始或者边界条件, 需要重新训练网络, 严重影响计算效率. 因此, 此类基于领域知识优化的衍生方法利用相关领域之间的知识来减少训练数据和计算资源的需求, 以及适应不同的问题和场景.
表 2 类PINN方法及特点Table 2. PINN-based methods and characteristicsCategory Method Feature PINN-based method input-data-based method DFS-Net[39] nonlinear, sampling weight strategy ADNN[40] nonlinear, high-dimensional PDEs time segmentation[41-42] temporal-causal PDEs model-based method CAN-PINN[36] nonlinear, sparse sampling ND-PINN[43] linear, accelerate solution learning rate annealing[44] nonlinear, multi-scale, turbulent problems DNNsolve[45] nonlinear, periodic function TgNN-LD[46] nonlinear, noise data HOrderDNN[47] high frequency PDE knowledge-based method iPINN[48] nonlinear, reaction-diffusion PDE MAD[49] parametric PDEs metalearning mehtod[49] parametric PDEs 2.1 基于输入数据优化的衍生方法
采样方式的不同会引起求解精度的变化. 首先, 采样点通常使用均匀采样, 在空间和时间域上等距地选取点作为训练数据. 然而, 当PDE的解具有奇异性或多尺度特性时, 均匀采样无法捕捉到这些细节, 且无法平衡不同尺度或物理现象之间的重要性, 导致预测结果不准确或不稳定.
Chen等[39]根据有源项一维非稳态PDE特点, 对PINN进行改进, 提出一种无数据代理模型DFS-Net. 该模型基于注意力的神经结构, 使用一个加权机制, 将每个训练点的权值与其在计算域中的坐标联系起来, 用来改善PINN预测不稳定、不准确问题. 以二维域为例, 在域内进行采样得到训练点, 对区域内部采样点赋予更高的权重, 基于此给出权重的分段函数
$$ \omega (p) = \left\{ \begin{split} & {\frac{1}{{0.5 - {d_t}}}{d_l},}\quad {{d_l} > 0.5 - {d_t}} \\ & {1,}\quad {{\rm{else}}} \end{split} \right. $$ (2) 式中, $ {d_l} $为采样点距离边界的最短距离, $ {d_t} $为控制加权区域范围的经验参数, $ p \in \varOmega $.
DFS-Net能够更好地平衡内部点与边界点采样的训练点的贡献, 加速损失收敛, 还可以消除潜在奇异值, 获得更好的精度. Zeng等[40]进行自适应选择损失函数、激活函数和自适应采样来提高DNN求解PDE的性能, 数值实验表明, 自适应技术可提高计算精度, 加快收敛速度, 而无需增加DNN的层数或神经元数量.
对一类无源汇项的微分方程, PINN在求解时很容易退化, 即空间偏导数与时间偏导数都为0, 从而满足控制方程约束, 例如满足扩散方程$ \partial u/\partial t + \beta \cdot \partial u/\partial x = 0 $的约束. 显然, 这不能满足初始条件. 从另一个角度, Krishnapriyan等[41]通过时域分割来解决PINN在求解多尺度特性问题, 如混沌或湍流行为的动力系统时, 出现的学习失败问题. 类似地, Wang等[42]指出PINN对于多尺度问题学习糟糕的原因来自于其在学习过程中没有遵循时间因果, 在整个时域上没有保持物理意义. 对此, 其通过放大初始时域采样点的权重, 优先训练接近初始时刻的时域, 提升求解精度.
综上所述, 此类衍生方法主要根据不同PDE的特性改进采样方式, 优化输入数据, 从而提升求解精度. 此外, 时域分割可以有效解决多尺度特性引起的退化问题.
2.2 基于模型优化的衍生方法
对于基础的PINN模型, 存在自动微分, 损失权重平衡以及高频信息丢失等问题. 本小节将从模型优化的角度分别对这3个问题展开讨论.
2.2.1 优化自动微分
考虑到计算成本与时间消耗, 往往需要在稀疏采样下求解PDE, 然而在此情况下AD求导只能满足采样点的导数要求, 而采样点邻近区域的求导结果可能不符合物理约束. 如图3所示, 神经网络在采样点上的导数满足约束, 但输出结果可能如蓝线所示, 不符合所需的线性函数(红色虚线).
为此, Chiu等[36]对稳态无源汇NS方程, 提出了将数值微分(ND)与AD相结合, 在稀疏采样情况下提高PINN训练精度, 使得网络更容易拟合物理规则, 因为基于ND与AD的训练损失公式在稀疏样本状态下可以强连接相邻的采样点, 使得训练更有效.
对非规则网格, 拉普拉斯算子可用邻近网格点的函数值来近似表示, 基于该思想, Fang[37]对稳态无源汇PDE提出了局部拟合微分算子的深度学习PDE求解方法. 该方法通过网格构造具备软硬约束的最小二乘法来得到稀疏矩阵, 以此来近似微分算子, 从而代替自动微分, 对复杂几何形状、非平面求解域的稳态PDE方程都可进行有效求解, 从而避免了常规的微分算子只适用于规则网格的局限.
Lim等[43]对无源汇PDE, 使用有限差分代替自动微分, 并且在Laplace方程和 Burgers方程上测试, 研究表明在稀疏采样下基于有限差分的PINN计算速度更快, 在误差方面也有所改进. 综上所述, 数值微分结合自动微分可以有效解决稀疏样本状态下求解不准确问题.
2.2.2 优化损失权重
此外, 由于类PINN方法的损失包括PDE损失、边界条件损失、初始条件损失和数据损失(如果有), 这就带来了多目标优化的权重选择问题, 通常这些权重需要仔细调整方可. 这大大降低了模型的稳定性和实际应用价值. Wang等[44]分析了PINN在解决PDE问题时的一种基本失败模式, 即由于数值刚性导致训练过程中梯度不平衡, 从而提出了一种学习率退火算法, 通过动态调整学习率来平衡损失函数不同项的梯度, 但也引入了额外的超参数如退火因子等. 与Wang等不同, Jin等[51]基于梯度归一化方法, 通过优化一个额外的目标函数来平衡损失函数中不同项的权重, 从而自适应地解决不同问题, 但增加了计算复杂度.
针对超参数权重选择问题, 基于无源汇PDE, Guidetti等[45]提出了dNNsolve模型, 利用双神经网络求解ODE/PDE, 将DNN的隐藏层分为两个部分: 第1部分使用sigmoid激活函数下的神经网络近似一个函数的长期组成部分; 第2部分使用sine激活函数下的神经网络模拟振荡分量, 对多种一维、二维、三维ODE/PDE进行求解, 都不需要超参数微调, 有效缓解权重选择难题.
Wang 等[52]提出了理论指导神经网络(TgNN), 随后Rong等[46]在理论指导神经网络的基础上, 将多目标学习的参数设置为可学习参数, 采用拉格朗日对偶法将问题转换为凸优化问题, 提出了基于拉格朗日对偶的TgNN (TgNN-LD), TgNN-LD在TGNN的基础上, 把问题转换成了一个有约束情况的多目标优化问题. 数值实验表明, 该方法对于地下水流动建模问题比起标准PINN有着更强的预测能力; 而将拉格朗日对偶问题作为PINN的改进, 使得原本人为设定的超参数可以在学习的过程中自动调节, 并且在参数之间保持良好的均衡性; 同时也是一种对PINN基础框架的更新, 具有泛用性, 可以推近到许多改进的PINN框架上. 然而, 该方法仍然存在超参数.
综上所述, 损失权重平衡算法能有效提高类PINN方法的求解精度, 但需要在引入额外超参数或增加计算复杂度之间做出取舍.
2.2.3 优化高频问题
神经网络求解PDE时, 可能会遇到“高频危机”(high-frequency crisis)或者“谱偏差”(spectral bias)的问题, 这是指神经网络在训练过程中更倾向于拟合目标函数的低频成分, 而忽略或延迟拟合高频成分, 从而导致泛化能力下降或者误差增大. 这使得神经网络求解高频问题时需要更多的训练时间和更大的网络规模, 而且很难达到高精度的要求.
从傅里叶分析的角度, Rahaman等[53]证明了谱偏差与神经网络的结构、参数、激活函数和初始化等因素有关, 高频成分的学习难度随着流形复杂度的增加而降低, 并且指出神经网络参数必须精细调节才能表达高频函数.
Chang等[47]将有限元方法中的高阶思想与DNNs结合起来, 提出了一种高阶深度神经网络(HOrderDNN), 用于求解高频PDEs. 其通过引入非线性变换层, 实现了对输入空间中任意阶数的多项式函数的精确表示, 从而提高了神经网络对高频函数的近似能力. 此外, 激活函数对神经网络的频谱偏置也有影响. Hong等[54]基于有限元理论将激活函数换成分段线性的B样条函数, 即帽子函数(hat function), 从而消除神经网络的频谱偏置.
以上方法都在一定程度上解决了高频PDE问题, 但也存在一些局限性. 比如对于非线性、随机和多尺度的高频PDEs研究不足, 其泛化性能和可扩展性还有待验证. 因此, 如何根据PDEs的特征自适应地选择合适的神经网络结构、激活函数和阶数等参数, 以提高神经网络对高频函数的近似能力, 仍有待研究.
2.3 基于领域知识优化的衍生方法
在PDE求解问题中, 有许多PDE的变化可能只是改变了边界条件、初始条件和参数等. 传统PINN方法在此情况下往往需要从头开始再次训练; 而另一类方法, 例如FNO和DeepONet试图直接近似解映射, 则需要大量的标签数据进行算子学习. 对此, 基于迁移学习的思想, 利用相关领域之间的知识可以有效减少训练数据和计算资源的需求. 具体而言, 通过预训练得到适合一类具有相同数学特征的PDE的预训练模型, 对于同一类问题, 仅需微调预训练模型即可得到新的求解方案.
对一维无源汇PDE, Dekhovich等[48]提出增量物理信息神经网络(iPINN), 使用迁移学习思想, 将复杂PDE系统分解成多个简单的PDE子系统, 对每个子系统分别训练子网络, 将子网络合并得到主网络, 通过裁剪网络中不重要的连接, 从而求解原始PDE. 对2D有点源的麦克斯韦方程, Huang等[49]提出一种无网格无监督参数PDE深度学习方法, 即元自动解码器(MAD), 采用元学习概念实现参数微分方程的快速求解, 在训练初阶段抽样学习一些通用的元知识, 在微调阶段将特定任务的知识与共享的元知识相结合, 快速求解新的任务. 与神经算子类似, MAD也包括编码和逼近过程, 其中$ \eta = ({\gamma _1},{\gamma _2},\varOmega ) $代表PDE的可变参数, 通常来说$\eta $存在于一个高维空间, 甚至于是无穷维空间之中, 通过隐式编码, 将$\eta $存在于的高维空间映射到低维向量${\boldsymbol{z}}$表征的流形上, 然后将流形上的特征参数向量${\boldsymbol{z}}$与方程的输入${\boldsymbol{\tilde x}}$连接, 再输入神经网络进行学习, 具体流程如图4所示. 将$N$个随机生成的PDE参数${\eta _{i},i \in \{ 1,2,\cdots,N\} }$输入模型中学习, 得到一个好的预训练模型, 从而只需对模型微调即可实现不同参数的求解.
此外, Penwarden等[22]也提出了一种基于元学习的方法, 用于加速PINN在参数化PDE上的训练, 主要基于神经网络权重在参数域上的平滑性假设, 使用加权插值的方法来预测新任务上的初始权重.
综上所述, 基于相关领域知识, 迁移学习和元学习算法可以提供一个很好的预训练模型, 从而仅需微调即可求解同一类PDE问题.
3. 物理驱动智能求解方案
对于复杂PDE问题, 往往需要部分精确解作为标签, 这限制了智能求解方法的应用前景. 因此, 无标签下的智能求解方法研究也受到广泛关注. 本章将从离散方程求解和连续方程求解两类技术路线出发, 分析物理驱动方法的研究现状, 部分代表性方法特点如表3所示. (1)引入网格划分和数值离散的方
表 3 基于离散和非离散的物理驱动求解方案Table 3. Physics-driven solution based on discrete and non-discreteCategory Method Feature discrete model a fast solver[55] system of linear equations DeLISA[56] system of nonlinear equations PICNN[57-58] system of nonlinear equations FCGNN[59] system of linear equations ADNN[60] system of 2-order nonlinear equations a nonlinear solver[61] system of nonlinear equations non-discrete model LSTM-AM[62] nonlinear, non-convex flux functions GW-PINN[63] nonlinear, groundwater flow equations phyCRNet[64] nonlinear, periodic oscillation PDEs physical AS-nets[65] nonlinear, seepage equation 程组求解方案; (2)无网格的非离散求解方案.
3.1 引入网格和数值离散的方程组求解方案
在数值求解方法中, PDE可通过有限差分法、有限元法、有限体积法等方法进行离散化, 转化为大型方程组, 进而求解. 而上文中提到的类PINN方法存在采样问题、自动微分问题以及自适应超参数等问题, 会严重影响PDE求解精度. 对于其中的非稳态, 有源汇PDE, 物理驱动的求解方法更为困难. 为此, 一些研究者基于PDE离散方程来构造损失函数, 即通过舍弃PDE智能求解的部分优势(无需网格划分、无须离散), 提出PDE智能求解新方法[55]. 其本质是用深度学习求解大型方程组. 这相当于增程式油电混动车, 传统数值方法是油驱, 智能求解是电驱, 基于深度学习的方程组求解方法将网格划分、方程离散与深度学习相结合, 则是油电混合方案.
在PDE数值求解中, 大规模线性方程组的求解通常是耗时最长的步骤之一. 为打破这一限制, 蒋子超等[55]提出了一种结合残差网络结构与校正迭代方法的求解算法. 其中, 残差网络结构解决了深度网络模型的网络退化与梯度消失等问题, 将网络的损失降低至经典网络模型的1/5000, 修正迭代的方法采用同一网络模型对预测解的反复校正, 将预测解的残差下降至迭代前的 10−5.
使用经典数值方法求解高维PDE是一项具有挑战性的任务. Li等[56]提出了一种基于深度学习框架的迭代方案逼近, 称为DeLISA. 首先, 采用隐式多步法和Runge-Kutta法进行时间迭代. 然后, 这种迭代方案由神经网络近似. 类似于DeLISA时间迭代方法, Zhang[57]提出了一个物理信息卷积神经网络, 用于模拟非均质油藏模型中具有源/汇项的瞬态达西流. 在没有标签数据的情况下(即物理驱动), 采用有限体积法近似损失函数中的PDE残差, 且每个时间步只训练一个CNN. 此外, 边界条件以一种“硬编码”的方式直接加入损失函数中, 避免了标签数据的使用. 随后, Zhang等[58]将该方法拓展到了两相达西流动的模拟.
为了进一步提高传统的基于梯度下降法的神经网络在求解线性方程组时的收敛速度, Xiao等[59]设计了一种快速收敛的梯度神经网络(FCGNN)模型并进行了讨论. 与传统的梯度神经网络(CGNN)的设计不同, FCGNN模型的设计是基于专门构造的非线性激活函数$ \varPhi \left( \cdot \right) = {{{\rm{Sgn}}} ^r}\left( \cdot \right) + {{{\rm{Sgn}}} ^{{1 \mathord{\left/ {\vphantom {1 r}} \right. } r}}}\left( \cdot \right), $这里$r \in \left( {0,1} \right)$, 并且其中的每个元素$ {{{\rm{Sgn}}} ^r}\left( \cdot \right) $表示如下
$$ {{{\rm{Sgn}}} ^r}\left( u \right) = \left\{ \begin{split} & {{{\left| u \right|}^r},}\quad {{\rm{if}}{\text{ }}u > 0} \\ & {0,}\quad {{\rm{if}}{\text{ }}u = 0} \\ & { - {{\left| u \right|}^r},}\quad {{\rm{if}}{\text{ }}u < 0} \end{split} \right. $$ (3) 从而在有限的时间内可以达到更快的收敛速度, 且理论上的误差界限可以达到0. 此外, 还对FCGNN模型的收敛时间进行了估计, 并进行了理论证明.
归零神经网络(ZNN)是一种专门为求解时变问题而设计的动力学神经网络模型, 在求解时变方程组方面有很多的应用. ZNN通过基于误差下降的原理使得系统自动达到平衡, 使状态值逼近系统的0点或平衡点. 然而, 绝大多数固定参数的ZNN在求解时变线形方程组时的速度都不够快, 并且在有噪声的情况下不够鲁棒. 为此, Xiao等[66]提出并研究了一种噪声抑制变参数归零神经网络(NSVPZNN)来处理动态Sylvester方程. 与之前的归0神经网络不同, 提出的方法开发了一种新的非线性激活函数$\varPsi \left( z \right)$和专门构建的时变参数$\beta \xi \left( t \right)$来构建新颖的NSVPZNN模型, 其中$\xi \left( t \right) = \exp \left[ {{\lambda _1}{{\rm{arccot}}} \left( t \right) + {\lambda _2}t} \right]$, 如下
$$ \varPsi \left( {\boldsymbol{z}} \right) = \left\{ \begin{split} & {{k_1}{{\left| {\boldsymbol{z}} \right|}^p}{\text{sign}}\left( {\boldsymbol{z}} \right) + {k_5}{\boldsymbol{z}},}\quad{{\text{if }}\left| {\boldsymbol{z}} \right| \leqslant 1} \\ & {{k_2}{{\left| {\boldsymbol{z}} \right|}^q}{\text{sign}}\left( {\boldsymbol{z}} \right) + {k_5}{\boldsymbol{z}},}\quad{{\text{if }}\left| {\boldsymbol{z}} \right| > 1} \end{split} \right. $$ (4) 对导数敏感以及需要合适的初始值是牛顿法等经典非线性求解器的主要缺点, 为了克服这些缺点, Ebadi等[60]提出了一种基于自适应神经网络(AdNN)的二阶非线性PDE数值求解器, 通过有限差分法将PDE离散化为非线性方程组形式${{\boldsymbol{C}}_1}{\boldsymbol{Y}} + {{\boldsymbol{C}}_2} = {\boldsymbol{0}}$, 然后改变AdNN的权值来寻找非线性方程组的根. AdNN首先将一组随机初始值输入非线性方程组, 生成的输出矩阵${{\boldsymbol{O}}^j}$与全零矩阵${\boldsymbol{D}}$做误差, 得到误差矩阵${{\boldsymbol{e}}^j}$. 除非$ \left| {{{\boldsymbol{e}}^j}} \right| $小于设定的标准, 否则继续计算误差对时间的导数${\boldsymbol{\dot e}} = {{\left( {{{\boldsymbol{e}}^j} - {{\boldsymbol{e}}^{j - 1}}} \right)} \mathord{\left/ {\vphantom {{\left( {{{\boldsymbol{e}}^j} - {{\boldsymbol{e}}^{j - 1}}} \right)} {\Delta t}}} \right. } {\Delta t}}$. 最后, 得到AdNN的输入${\boldsymbol{X}} = {\left[ {{\boldsymbol{e}}_1^j,{{{\boldsymbol{\dot e}}}_1},{{\boldsymbol{D}}_1}, \cdots ,{\boldsymbol{e}}_N^j,{{{\boldsymbol{\dot e}}}_N},{{\boldsymbol{D}}_N}} \right]^{\rm{T}}}$, 输出为变化量$\Delta {\boldsymbol{Y}}$.
Qu等[67]引入CNN来学习时间相关的PDE, 提出了一种线性和非线性分离的CNN框架, 在神经网络模型的结构上引入了一系列约束来避免过拟合问题. 首先, 由于强非线性PDE很容易与神经网络过度拟合, 而线性CNN有助于减轻学习非线性PDE的过度拟合问题, 因此构建了一个由线性CNN和非线性CNN组成的分离网络, 从而在不需要PDE的精确解作为标签数据的情况下, 有效求解PDE.
在油藏模拟中, 渗流方程离散化后的线性化过程会额外引入新的误差. Li等[61]提出了一种无需线性化即可求解离散渗流方程的新方法, 即将残差网络和校正迭代法结合起来求解渗流方程离散后的非线性方程组. 基于渗流方程生成的标签数据对残差网络进行训练并逼近解, 将逼近解的误差作为训练好的残差网络模型下一次校正迭代的新输入. 实验表明, 该方法大大降低了线性化过程引入的误差, 提高了求解精度, 并可在大时间步长下稳定求解.
综上所述, 深度学习在处理非线性、高维和复杂数据等方面具有很大的优势, 通过将求解PDE转化为求解大型方程组, 提高了求解精度, 并具有很好的通用性和稳定性, 可应用于工程领域相关方程组的加速求解.
3.2 无网格的非离散求解方案
引入网格和离散虽然在一定程度上解决了类PINN方法求解复杂PDE时的稳定性和精度, 但是也牺牲了一部分深度学习求解PDE的优势. 通过改进网络结构和损失函数来完善深度学习求解复杂PDE系统(如非稳态、有源汇的长期动力系统), 从而保留了智能求解方法的优势. 这相当于纯电动汽车, 完全舍弃了传统求解中网格划分、数值离散和线性化等步骤, 是一条更为彻底的智能求解PDE的研究路线.
由于类PINN方法通过构造多项残差训练神经网络, 属于多目标优化问题, 难以避免超参数权重问题. 在实际的工程问题中, 动力系统非常复杂, 并且边界和初值条件十分重要. 如果设计的损失函数不够合理, 可能会出现损失下降但求解结果变差的情况. 因此, 通过设计符合数学以及物理性质的网络框架, 构造合理的损失函数, 来提高求解稳定性, 保证收敛到最小的损失函数, 并使得模型更加符合物理性质.
对无源汇方程, Shan等[62]提出求解多孔介质中的Buckley-Leverett方程的新方法, 即一种具有长短期记忆和注意力机制的物理信息神经网络LSTM-AM, 基于物理驱动求解PDE.
受Lagaris等[68]提出的硬编码的方法使深度学习自动满足初始或边界条件启发, Mattheakis等[69]提出了一种物理驱动的哈密顿神经网络方法来求解微分方程, 改进了参数函数, 自动满足初始条件, 提高计算效率. 对有源汇方程, Zhang等[63]提出了物理驱动的深度学习模型, 用于求解地下水流动问题. 该方法采用硬约束、局部细化采样策略, 设计了一种滚雪球式的两阶段训练策略, 以提高求解效果. Ren等[64]提出了一种基于物理信息的卷积−循环学习架构, 通过卷积网络结合长短期记忆网络进行低维空间特征提取和时间演化学习, 同样硬编码初始和边界条件, 实现无标签数据下对非线性Burgers方程、反应扩散方程等的高精度求解.
Shen等[65]提出了一种基于物理驱动的近似−修正智能求解模型, 如图5所示. 该模型包含两个神经网络, 一个用于近似渐近解, 即当时间趋于0和无穷时的数学正确解, 另一个用于修正近似误差, 使得最终解在物理上正确. 该方法通过构造基于边界条件、控制方程和质量守恒的损失函数, 实现了不需要任何标签数据的物理约束的神经网络, 可以在不使用任何标签数据的情况下, 高精度地求解渗流方程, 突破了深度学习方法对标签数据的依赖, 提升了工程实际应用价值.
综上所述, 物理驱动方法对大部分非稳态、有源汇的复杂PDE求解困难, 而硬约束方法能使得网络输出自动满足初始或边界条件, 大大提升求解精度, 从而满足精度要求. 此外, 相较于传统求解方法, 智能求解无需网格划分、数值离散, 能有效提升计算效率.
4. 偏微分方程智能求解应用
除了理论相关的研究, 偏微分方程智能求解在实际科学和工程中的应用也得到了广泛的关注.
其中, 神经算子方法被广泛应用于参数化PDE的求解中[35,27]. 在油藏数值模拟领域, Zhang 等[29]将FNO方法用于解决由地下油/水两相流PDE控制的3类问题(正向、反向和参数识别问题).
基于神经算子的大模型将会引起多领域变革. 例如, 对油藏数值模拟, 就可能在多参数分布(渗透率、孔隙度和微裂缝等)、多开发制度、多布井方案下, 基于物理驱动, 训练出一个神经算子的大模型, 从而开发方案调整与优化可能在几分钟内完成, 而现在则需要数月才能完成. 这不同于数据驱动下的大模型. 数据驱动下的大模型需要从传统模拟器中得到相关数据, 相关功能严重受限.
此外, 类PINN方法也被广泛应用到流体模拟和反问题求解中[46-49,53-58]. Xu等[21]基于PINN方法结合有限个监测点, 来预测不同工程结构的外部载荷, 用于对桥梁、隧道、建筑等结构的健康监测和安全评估.
然而, 智能求解方法在工程中的应用仍存在一些限制. 现有的物理约束求解方法往往需要结合大量标签数据, 或将问题转化为求解大型方程组(仍需网格划分和离散), 从而限制了计算效率与应用前景.
因此, 神经算子方法结合物理约束实现少量精确解数据乃至无需精确解数据求解时, 不仅真正代替传统数值方法, 而且将引起相关行业工作模式的变革.
这里介绍团队近年来相关研究成果, 重点介绍物理驱动的智能求解程序的优缺点.
团队最早在2020年研发出了基于深度学习的代理模型进行数值试井的自动反演, 并集成在软件中. 相对于传统的多项式代理模型, 深度学习代理模型更适于解决试井问题. 随后, 基于数据驱动, 研发出了解析试井的自动反演软件[70-71], 目前在大庆油田应用.
物理约束的求解方法[72], 可应用于反演, 但离实用化尚有距离[72-73]. 其主要障碍在于, 神经网络模型存在需要人工调整的超参数. 这也是当前智能求解普遍存在的问题. 另外, 反演结果的稳定性还需改进. 这还与使用的实测数据类型相关. 若使用整个生产史的井底压力数据, 则反演结果稳定. 若仅用关井压力数据进行反演, 导致生产期间没有井底压力数据进行约束, 使得反演困难[73].
理论上, 物理驱动的求解方法[65]应该对所有的孔隙度、渗透率等参数都适应, 但在正确性验证中发现, 当渗透率偏小(小于10 mD)、流量偏大时, 计算结果会有偏差. 需要调整里面的超参数, 才能得到好的计算结果. 该方法的模型训练时间约为10 min, 传统的数值试井软件的计算时间不到1 min[74]. 并且当流量变化时, 该方法求解可能会有较大误差.
因其本质是求解线性方程组, 基于离散格式的智能求解具有很好的普适性, 对边界条件、流量或压力变化都不敏感[61]. 因其是基于离散方程构造标签数据的, 求解时间更长. 最近, 我们对此方法进行了改进, 计算时间呈数量级降低, 在默认参数下仅需3 ~ 4 min. 目前, 网站中提供的求解程序是正在投稿的论文的程序. 图6是网页截图.
采样点是基于团队的数值试井软件的PEBI网格进行采样的, 因而井周围自适应多采样. 软件界面图7所示.
后续, 我们将开放各种计算程序接口, 尤其是文献[65]的方法, 同时完善网页功能, 供大家相互交流, 共同研究.
5. 总结与研究展望
本文主要介绍了两类基于深度学习求解PDE方法, 分别是神经算子方法和类PINN方法. 从数据驱动和物理约束两个角度探讨了神经算子方法的研究现状, 分析现有方法的优点与不足. 此外, 根据基础PINN存在的问题和不足, 从4个角度介绍了类PINN方法, 并逐一分析了最新的相关研究, 为进一步深入研究提供了合理的技术路线.
目前, 物理驱动的PDE智能求解方法快速发展. 神经算子方法正在起步, 除极少数论文外, 几乎都是需要大量精确解作为标签数据. 当神经算子方法结合物理约束实现少量精确解数据乃至无需精确解数据求解时, 颠覆性的流动模拟技术就会到来, 将变革现有工作模式. 现在正是迎接伟大变革的时刻.
-
![]()
图 1 偏微分方程智能求解方法的分类归纳图
Figure 1. Classification and induction diagram of intelligent solution methods for PDEs
表 1 神经算子方法及特点
Table 1 Neural operator methods and characteristics
Category Method Feature neural operators data-driven DeepONet[19] nonlinear, multiple input and output functions FNO[20] nonlinear, high dimensional or periodic PDEs Deeponet-grid-uq[23] nonlinear, uncertainty quantification B-DeepONet[24] parametric PDEs, noise data U-FNO[25] nonlinear, multiphase flow MP-PDE solver[26] nonlinear, resolution-independent physical-constraint Pi-deeponet[27] parametric evolution equations, long-term prediction LordNet[28] nonlinear, Navier-Stokes equation, no labels 
下载: 导出CSV
表 2 类PINN方法及特点
Table 2 PINN-based methods and characteristics
Category Method Feature PINN-based method input-data-based method DFS-Net[39] nonlinear, sampling weight strategy ADNN[40] nonlinear, high-dimensional PDEs time segmentation[41-42] temporal-causal PDEs model-based method CAN-PINN[36] nonlinear, sparse sampling ND-PINN[43] linear, accelerate solution learning rate annealing[44] nonlinear, multi-scale, turbulent problems DNNsolve[45] nonlinear, periodic function TgNN-LD[46] nonlinear, noise data HOrderDNN[47] high frequency PDE knowledge-based method iPINN[48] nonlinear, reaction-diffusion PDE MAD[49] parametric PDEs metalearning mehtod[49] parametric PDEs
下载: 导出CSV
表 3 基于离散和非离散的物理驱动求解方案
Table 3 Physics-driven solution based on discrete and non-discrete
Category Method Feature discrete model a fast solver[55] system of linear equations DeLISA[56] system of nonlinear equations PICNN[57-58] system of nonlinear equations FCGNN[59] system of linear equations ADNN[60] system of 2-order nonlinear equations a nonlinear solver[61] system of nonlinear equations non-discrete model LSTM-AM[62] nonlinear, non-convex flux functions GW-PINN[63] nonlinear, groundwater flow equations phyCRNet[64] nonlinear, periodic oscillation PDEs physical AS-nets[65] nonlinear, seepage equation
下载: 导出CSV
-
[1] Yan B, Harp DR, Chen B, et al. A physics-constrained deep learning model for simulating multiphase flow in 3D heterogeneous porous media. Fuel, 2022, 313: 122693 doi: 10.1016/j.fuel.2021.122693
[2] 查文舒, 李道伦, 沈路航等. 基于神经网络的偏微分方程求解方法研究综述. 力学学报, 2022, 54(3): 543-556 (Zha Wenshu, Li Daolun, Shen Luhang, et al. Review of neural network-based methods for solving partial differential equations. Chinese Journal of Theoretical and Applied Mechanics, 2022, 54(3): 543-556 (in Chinese) doi: 10.6052/0459-1879-21-617 Zha Wenshu, Li Daolun, Shen Luhang, et al . Review of neural network-based methods for solving partial differential equations. Chinese Journal of Theoretical and Applied Mechanics,2022 ,54 (3 ):543 -556 (in Chinese) doi: 10.6052/0459-1879-21-617[3] 宋洪庆, 都书一, 王九龙等. 数智流体力学的发展及油气渗流领域应用. 力学学报, 2023, 55(3): 765-791 (Song Hongqing, Du Shuyi, Wang Jiulong, et al. Development of digital intelligence fluid dynamics and applications in the oil & gas seepage fields. Chinese Journal of Theoretical and Applied Mechanics, 2023, 55(3): 765-791 (in Chinese) doi: 10.6052/0459-1879-22-484 Song Hongqing, Du Shuyi, Wang Jiulong, et al . Development of digital intelligence fluid dynamics and applications in the oil & gas seepage fields. Chinese Journal of Theoretical and Applied Mechanics,2023 ,55 (3 ):765 -791 (in Chinese) doi: 10.6052/0459-1879-22-484[4] Stephany R, Earls C. PDE-READ: Human-readable partial differential equation discovery using deep learning. Neural Networks, 2022, 154: 360-382 doi: 10.1016/j.neunet.2022.07.008
[5] Gao H, Zahr MJ, Wang JX. Physics-informed graph neural Galerkin networks: A unified framework for solving PDE-governed forward and inverse problems. Computer Methods in Applied Mechanics and Engineering, 2022, 390: 114502 doi: 10.1016/j.cma.2021.114502
[6] Chen Y, Lu L, Karniadakis GE, et al. Physics-informed neural networks for inverse problems in nano-optics and metamaterials. Optics Express, 2020, 28(8): 11618-11633 doi: 10.1364/OE.384875
[7] Kochkov D, Smith JA, Alieva A, et al. Machine learning–accelerated computational fluid dynamics. Proceedings of the National Academy of Sciences, 2021, 118(21): e2101784118 doi: 10.1073/pnas.2101784118
[8] Sirignano J, Spiliopoulos K. DGM: A deep learning algorithm for solving partial differential equations. Journal of Computational Physics, 2018, 375: 1339-1364 doi: 10.1016/j.jcp.2018.08.029
[9] Han J, Nica M, Stinchcombe AR. A derivative-free method for solving elliptic partial differential equations with deep neural networks. Journal of Computational Physics, 2020, 419: 109672 doi: 10.1016/j.jcp.2020.109672
[10] Cybenko G. Approximation by superpositions of a sigmoidal function. Mathematics of Control, Signals and Systems, 1989, 2(4): 303-314 doi: 10.1007/BF02551274
[11] Pinkus A. Approximation theory of the MLP model in neural networks. Acta Numerica, 1999, 8: 143-195 doi: 10.1017/S0962492900002919
[12] Hanin B. Universal function approximation by deep neural nets with bounded width and relu activations. Mathematics, 2019, 7(10): 992 doi: 10.3390/math7100992
[13] Lusch B, Kutz JN, Brunton SL. Deep learning for universal linear embeddings of nonlinear dynamics. Nature Communications, 2018, 9(1): 4950 doi: 10.1038/s41467-018-07210-0
[14] Lu L, Meng X, Mao Z, et al. DeepXDE: A deep learning library for solving differential equations. SIAM Review, 2021, 63(1): 208-228 doi: 10.1137/19M1274067
[15] Zhu Y, Zabaras N, Koutsourelakis PS, et al. Physics-constrained deep learning for high-dimensional surrogate modeling and uncertainty quantification without labeled data. Journal of Computational Physics, 2019, 394: 56-81 doi: 10.1016/j.jcp.2019.05.024
[16] Raissi M, Wang Z, Triantafyllou MS, et al. Deep learning of vortex-induced vibrations. Journal of Fluid Mechanics, 2019, 861: 119-137 doi: 10.1017/jfm.2018.872
[17] Raissi M, Perdikaris P, Karniadakis GE. Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations. Journal of Computational Physics, 2019, 378: 686-707 doi: 10.1016/j.jcp.2018.10.045
[18] Bi K, Xie L, Zhang H, et al. Accurate medium-range global weather forecasting with 3D neural networks. Nature, 2023, in press
[19] Lu L, Jin PZ, Pang GF, et al. Learning nonlinear operators via DeepONet based on the universal approximation theorem of operators. Nature Machine Intelligence, 2021, 3(3): 218-229 doi: 10.1038/s42256-021-00302-5
[20] Li Z, Kovachki N, Azizzadenesheli K, et al. Fourier neural operator for parametric partial differential equations. arXiv: 2010.08895, 2020
[21] Xu C, Cao BT, Yuan Y, et al. Transfer learning based physics-informed neural networks for solving inverse problems in engineering structures under different loading scenarios. Computer Methods in Applied Mechanics and Engineering, 2023, 405: 115852 doi: 10.1016/j.cma.2022.115852
[22] Penwarden M, Zhe S, Narayan A, et al. A metalearning approach for physics-informed neural networks (PINNs): Application to parameterized PDEs. Journal of Computational Physics, 2023, 477: 111912 doi: 10.1016/j.jcp.2023.111912
[23] Moya C, Zhang SQ, Lin G, et al. Deeponet-grid-uq: A trustworthy deep operator framework for predicting the power grid’s post-fault trajectories. Neurocomputing, 2023, 535: 166-182 doi: 10.1016/j.neucom.2023.03.015
[24] Lin G, Moya C, Zhang ZC. B-DeepONet: An enhanced Bayesian DeepONet for solving noisy parametric PDEs using accelerated replica exchange SGLD. Journal of Computational Physics, 2023, 473: 111713
[25] Wen G, Li Z, Azizzadenesheli K, et al. U-FNO——An enhanced Fourier neural operator-based deep-learning model for multiphase flow. Advances in Water Resources, 2022, 163: 104180 doi: 10.1016/j.advwatres.2022.104180
[26] Brandstetter J, Worrall D, Welling M. Message passing neural PDE solvers. arXiv: 2202.03376, 2022
[27] Wang S, Perdikaris P. Long-time integration of parametric evolution equations with physics-informed deeponets. Journal of Computational Physics, 2023, 475: 111855 doi: 10.1016/j.jcp.2022.111855
[28] Shi W, Huang X, Gao X, et al. Lordnet: Learning to solve parametric partial differential equations without simulated data. arXiv: 2206.09418, 2022
[29] Zhang K, Zuo YD, Zhao HJ, et al. Fourier neural operator for solving subsurface oil/water two-phase flow partial differential equation. SPE Journal, 2022, 27(3): 1815-1830 doi: 10.2118/209223-PA
[30] Deng Z, Liu H, Shi B, et al. Temporal predictions of periodic flows using a mesh transformation and deep learning-based strategy. Aerospace Science and Technology, 2023, 134: 108081 doi: 10.1016/j.ast.2022.108081
[31] Kaiser E, Kutz JN, Brunton SL. Sparse identification of nonlinear dynamics for model predictive control in the low-data limit. Proceedings of the Royal Society A, 2018, 474(2219): 20180335 doi: 10.1098/rspa.2018.0335
[32] Zhong M, Yan Z. Data-driven forward and inverse problems for chaotic and hyperchaotic dynamic systems based on two machine learning architectures. Physica D: Nonlinear Phenomena, 2023, 446: 133656 doi: 10.1016/j.physd.2023.133656
[33] Bar-Sinai Y, Hoyer S, Hickey J, et al. Learning data-driven discretizations for partial differential equations. Proceedings of the National Academy of Sciences, 2019, 116(31): 15344-15349 doi: 10.1073/pnas.1814058116
[34] Boussif O, Bengio Y, Benabbou L, et al. MAgnet: Mesh agnostic neural PDE solver. Advances in Neural Information Processing Systems, 2022, 35: 31972-31985
[35] Koric S, Abueidda DW. Data-driven and physics-informed deep learning operators for solution of heat conduction equation with parametric heat source. International Journal of Heat and Mass Transfer, 2023, 203: 123809 doi: 10.1016/j.ijheatmasstransfer.2022.123809
[36] Chiu PH, Wong JC, Ooi C, et al. CAN-PINN: A fast physics-informed neural network based on coupled-automatic–numerical differentiation method. Computer Methods in Applied Mechanics and Engineering, 2022, 395: 114909
[37] Fang ZW. A high-efficient hybrid physics-informed neural networks based on convolutional neural network. IEEE Transactions on Neural Networks and Learning Systems, 2021, 33(10): 5514-5526
[38] Xie CY, Du SY, Wang JL, et al. Intelligent modeling with physics-informed machine learning for petroleum engineering problems. Advances in Geo-Energy Research, 2023, 8(2): 71-75 doi: 10.46690/ager.2023.05.01
[39] Chen X, Chen R, Wan Q, et al. An improved data-free surrogate model for solving partial differential equations using deep neural networks. Scientific Reports, 2021, 11(1): 19507 doi: 10.1038/s41598-021-99037-x
[40] Zeng SJ, Zhang Z, Zou QS. Adaptive deep neural networks methods for high-dimensional partial differential equations. Journal of Computational Physics, 2022, 463: 111232
[41] Krishnapriyan A, Gholami A, Zhe S, et al. Characterizing possible failure modes in physics-informed neural networks. Advances in Neural Information Processing Systems, 2021, 34: 26548-26560
[42] Wang S, Sankaran S, Perdikaris P. Respecting causality is all you need for training physics-informed neural networks. arXiv: 2203.07404, 2022
[43] Lim KL, Dutta R, Rotaru M. Physics informed neural network using finite difference method//2022 IEEE International Conference on Systems, Man, and Cybernetics (SMC). IEEE, 2022: 1828-1833
[44] Wang S, Teng Y, Perdikaris P. Understanding and mitigating gradient flow pathologies in physics-informed neural networks. SIAM Journal on Scientific Computing, 2021, 43(5): A3055-A3081 doi: 10.1137/20M1318043
[45] Guidetti V, Muia F, Welling Y, et al. DNNsolve: An efficient NN-based PDE solver. arXiv: 2103.08662, 2021
[46] Rong M, Zhang DX, Wang NZ. A Lagrangian dual-based theory-guided deep neural network. Complex & Intelligent Systems, 2022, 8(6): 4849-4862
[47] Chang ZP, Li K, Zou XF, et al. High order deep neural network for solving high frequency partial differential equations. Communications In Computational Physics, 2022, 31: 370-397 doi: 10.4208/cicp.OA-2021-0092
[48] Dekhovich A, Sluiter MHS, Tax DMJ, et al. iPINNs: Incremental learning for Physics-informed neural networks. arXiv: 2304.04854, 2023
[49] Huang X, Ye Z, Liu H, et al. Meta-auto-decoder for solving parametric partial differential equations. Advances in Neural Information Processing Systems, 2022, 35: 23426-23438
[50] Liu W, Liu Y, Li H. Time difference physics-informed neural network for fractional water wave models. Results in Applied Mathematics, 2023, 17: 100347 doi: 10.1016/j.rinam.2022.100347
[51] Jin X, Cai S, Li H, et al. NSFnets (Navier-Stokes flow nets): Physics-informed neural networks for the incompressible Navier-Stokes equations. Journal of Computational Physics, 2021, 426: 109951 doi: 10.1016/j.jcp.2020.109951
[52] Wang NZ, Zhang DX, Chang HB, et al. Deep learning of subsurface flow via theory-guided neural network. Journal of Hydrology, 2020, 584: 124700 doi: 10.1016/j.jhydrol.2020.124700
[53] Rahaman N, Baratin A, Arpit D, et al. On the spectral bias of neural networks//International Conference on Machine Learning. PMLR, 2019: 5301-5310
[54] Hong Q, Siegel JW, Tan Q, et al. On the activation function dependence of the spectral bias of neural networks. arXiv: 2208.04924, 2022
[55] 蒋子超, 江俊扬, 姚清河等. 基于神经网络的差分方程快速求解方法. 力学学报, 2021, 53(7): 1912-1921 (Jiang Zichao, Jiang Junyang, Yao Qinghe, et al. A fast solver based on deep neural network for difference equation. Chinese Journal of Theoretical and Applied Mechanics, 2021, 53(7): 1912-1921 (in Chinese) doi: 10.6052/0459-1879-21-040 Jiang Zichao, Jiang Junyang, Yao Qinghe, et al . A fast solver based on deep neural network for difference equation. Chinese Journal of Theoretical and Applied Mechanics,2021 ,53 (7 ):1912 -1921 (in Chinese) doi: 10.6052/0459-1879-21-040[56] Li Y, Zhou ZJ, Ying SH. DeLISA: Deep learning based iteration scheme approximation for solving PDEs. Journal of Computational Physics, 2022, 451: 110884 doi: 10.1016/j.jcp.2021.110884
[57] Zhang Z. A physics-informed deep convolutional neural network for simulating and predicting transient Darcy flows in heterogeneous reservoirs without labeled data. Journal of Petroleum Science and Engineering, 2022, 211: 110179 doi: 10.1016/j.petrol.2022.110179
[58] Zhang Z, Yan X, Liu PY, et al. A physics-informed convolutional neural network for the simulation and prediction of two-phase Darcy flows in heterogeneous porous media. Journal of Computational Physics, 2023, 477: 111919 doi: 10.1016/j.jcp.2023.111919
[59] Xiao L, Li KL, Tan ZG, et al. nonlinear gradient neural network for solving system of linear equations. Information Processing Letters, 2019, 142: 35-40 doi: 10.1016/j.ipl.2018.10.004
[60] Ebadi M, Zabihifar SH, Bezyan Y, et al. A nonlinear solver based on an adaptive neural network, introduction and application to porous media flow. Journal of Natural Gas Science and Engineering, 2021, 87: 103749 doi: 10.1016/j.jngse.2020.103749
[61] Li DL, Lyu SJ, Zha WS, et al. A nonlinear solver based on residual network for seepage equation. Engineering Applications of Artificial Intelligence, 2023, 126: 106850 doi: 10.1016/j.engappai.2023.106850
[62] Shan LQ, Liu CQ, Liu YC, et al. Physics-informed machine learning for solving partial differential equations in porous media. Advances in Geo-Energy Research, 2023, 8(1): 37-44 doi: 10.46690/ager.2023.04.04
[63] Zhang XP, Zhu Y, Wang J, et al. GW-PINN: A deep learning algorithm for solving groundwater flow equations. Advances in Water Resources, 2022, 165: 104243 doi: 10.1016/j.advwatres.2022.104243
[64] Ren P, Rao C, Liu Y, et al. PhyCRNet: Physics-informed convolutional-recurrent network for solving spatiotemporal PDEs. Computer Methods in Applied Mechanics and Engineering, 2022, 389: 114399 doi: 10.1016/j.cma.2021.114399
[65] Shen LH, Li DL, Zha WS, et al. Physical asymptotic-solution nets: physics-driven neural networks solve seepage equations as traditional numerical solution behaves. Physics of Fluids, 2023, 35(2): 023603
[66] Xiao L, He YJ, Liao BL. A parameter-changing zeroing neural network for solving linear equations with superior fixed-time convergence. Expert Systems with Applications, 2022, 208: 118086 doi: 10.1016/j.eswa.2022.118086
[67] Qu JG, Cai WH, Zhao YJ. Learning time-dependent PDEs with a linear and nonlinear separate convolutional neural network. Journal of Computational Physics, 2022, 453: 110928 doi: 10.1016/j.jcp.2021.110928
[68] Lagaris IE, Likas A, Fotiadis DI. Artificial neural networks for solving ordinary and partial differential equations. IEEE Transactions on Neural Networks, 1998, 9(5): 987-1000 doi: 10.1109/72.712178
[69] Mattheakis M, Sondak D, Dogra AS, et al. Hamiltonian neural networks for solving equations of motion. Physical Review E, 2022, 105(6): 065305 doi: 10.1103/PhysRevE.105.065305
[70] Liu XL, Zha WS, Li DL, et al. Automatic well test interpretation method for circular reservoirs with changing wellbore storage by using one-dimensional convolutional neural network. Journal of Energy Resources Technology, 2023, 145(3): 033201
[71] 李道伦, 刘旭亮, 查文舒等. 基于卷积神经网络的径向复合油藏自动试井解释方法. 石油勘探与开发, 2020, 47(3): 583-591 (Li Daolun, Liu Xuliang, Zha Wenshu, et al. Automatic well test interpretation method for radial composite reservoir based on convolutional neural network. Petroleum Exploration and Development, 2020, 47(3): 583-591 (in Chinese) Li Daolun, Liu Xuliang, Zha Wenshu, et al . Automatic well test interpretation method for radial composite reservoir based on convolutional neural network. Petroleum Exploration and Development,2020 ,47 (3 ):583 -591 (in Chinese)[72] Shen LH, Li DL, Zha WS, et al. Surrogate modeling for porous flow using deep neural networks. Journal of Petroleum Science and Engineering, 2022, 213: 110460 doi: 10.1016/j.petrol.2022.110460
[73] Liu Z, Hao YX, Li DL, et al. Multiparameter inversion of reservoirs based on deep learning. SPE Journal, 2023, in press
[74] Li DL, Zhang L, Wang JY, et al. Composition-transient analysis in shale-gas reservoirs with consideration of multicomponent adsorption. SPE Journal, 2016, 21(2): 648-664 doi: 10.2118/178435-PA
-
期刊类型引用(6)
1. 刘雪琪，王志远，魏强，王敏，孙小辉，王雪瑞，张剑波，尹邦堂，孙宝江. 物理信息神经网络驱动的井筒温度场求解方法. 石油学报. 2025(02): 413-425 . 
百度学术
2. 韦昌，樊昱晨，周永清，刘欣，李驰，王赫阳. 基于时间权重的物理信息神经网络求解非稳态偏微分方程. 力学学报. 2025(03): 755-766 . 本站查看
3. 王伟辉，李阳，徐慧群，张建军. 基于深度学习的冬枣智能分选技术与装备研究. 包装与食品机械. 2024(04): 94-100 . 百度学术
4. 李道伦，查文舒，刘旭亮，李祥，沈路航，周霞，郝玉祥，汪欢. 深度学习网络在非常规油气开发中的应用研究. 非常规油气. 2024(06): 1-7 . 百度学术
5. 苏阳，吴文华，杨志刚，陈浩. 机器学习加速相场计算的发展及应用. 鞍钢技术. 2024(06): 50-60+115 . 百度学术
6. 翁焕博，罗诚，袁荒. 基于晶体塑性力学框架的材料本构行为智能预测研究. 力学学报. 2024(12): 3468-3483 . 本站查看
其他类型引用(4)
计量
- 文章访问数: 1450
- HTML全文浏览量: 388
- PDF下载量: 489
- 被引次数: 10
