FD-PINN: FREQUENCY DOMAIN PHYSICS-INFORMED NEURAL NETWORK
-
摘要: 物理信息神经网络(physics-informed neural network, PINN)是将模型方程编码到神经网络中, 使网络在逼近定解条件或观测数据的同时最小化方程残差, 实现偏微分方程求解. 该方法虽然具有无需网格划分、易于融合观测数据等优势, 但目前仍存在训练成本高、求解精度低等局限性. 文章提出频域物理信息神经网络(frequency domain physics-informed neural network, FD-PINN), 通过从周期性空间维度对偏微分方程进行离散傅里叶变换, 偏微分方程被退化为用于约束FD-PINN的频域中维度更低的微分方程组, 该方程组内各方程不仅具有更少的自变量, 并且求解难度更低. 因此, 与使用原始偏微分方程作为约束的经典PINN相比, FD-PINN实现了输入样本数目和优化难度的降低, 能够在降低训练成本的同时提升求解精度. 热传导方程、速度势方程和Burgers方程的求解结果表明, FD-PINN普遍将求解误差降低1 ~ 2个数量级, 同时也将训练效率提升6 ~ 20倍.Abstract: Physics-informed neural network (PINN) is a method for solving partial differential equations by encoding model equations into neural network, which fits solutions by simultaneously minimizing equation residuals and approximating definite solution conditions or observation data. Despite the fact that this approach has the benefits of being mesh-free and allowing easy integration of observation data, it still suffers from drawbacks such as high cost of training and limited accuracy in finding solutions. To break these limitation, Frequency domain physics-informed neural network (FD-PINN) is proposed in this paper. The approach involves using discrete Fourier transform on a partial differential equation in the periodic spatial dimension. This transforms the equation into a lower-dimensional system of differential equations in the frequency domain, which are then used to constrain FD-PINN. Due to the fact that each equation within the system of differential equations not only has fewer independent variables, but also has a lower difficulty in solving it. Therefore, compared to the classical PINN using the original partial differential equation as a constraint, the advantage of FD-PINN is that it reduces the number of input samples and the difficulty of optimization, and can improve the solution accuracy while reducing training costs. To demonstrate the effectiveness of FD-PINN, we test it on three different partial differential equations: the heat equation, the Laplace's equation for flow around a cylinder, and the Burgers equation. The results show that FD-PINN generally reduces the solution error by 1-2 orders of magnitude and improves the training efficiency by more than 6 times.
-
引 言
随着计算资源和可用数据的爆炸式增长, 深度学习方法发展迅速, 被成功应用于图像分类、信息处理、模式识别等领域并发挥了革命性作用[1]. 近年来, 深度神经网络更是成为偏微分方程正反问题求解领域的研究热点. Raissi等[2]提出了物理信息神经网络(physics-informed neural network, PINN), 被广泛用于多个领域的偏微分方程求解. E等[3]基于能量泛函提出了深度里兹方法(deep Ritz method, DRM), 用于求解各种变分问题. Sirignano等[4]依据Petrov–Galerkin方法与神经网络的相似性提出了深度伽辽金方法(deep Galerkin method, DGM)并在高维问题上进行了验证. 在这类智能求解方法中, PINN受到了极大关注.
PINN的核心是将物理系统的控制方程引入神经网络的损失函数中, 在确保网络输出逼近定解条件或观测数据的同时约束其在求解域内满足控制方程. 这种思想可以追溯到20世纪Dissanayake等[5]率先通过神经网络求解偏微分方程. 相比传统有限差分法、有限体积法和有限元法这些基于网格的方法, PINN的优势是可以直接使用基于链式求导法则的自动微分[6]计算时空导数, 是一种典型的无网格算法, 避免了网格生成以及网格质量对求解精度的影响. 同时, 由于PINN不存在传统数值方法在各个维度进行充分网格离散以保证局部逼近精度的问题, 所以它在一定程度上缓解了维度灾难. 另外, PINN求解时可以自然地融合各种观测数据从而实现反问题求解, 例如基于浓度场和控制方程反演速度场和压力场[7], 传统数值算法要实现这一过程需要极高的时间成本. 目前PINN已经被应用到各种领域, 包括流体力学[7-9]、传热系统[10-11]、流固耦合[12-13]、电磁传播[14]和量子化学[15].
过去几年, PINN在许多方面得到了进一步发展. 在网络架构方面, PINN从全连接网络被推广至卷积神经网络[16-17]、生成对抗神经网络[18]和递归神经网络[19]. 在算法改进方面, Sun等[20]通过在网络输入中引入外形参数实现了PINN在变外形条件下的泛化预测. Kharazmi等[21-22]通过对方程残差进行积分变换提高了PINN的预测精度. Jagtap等[23]通过设计自适应激活函数提升了PINN的收敛性. Ramabathiran等[24]基于径向基函数提出SPINN, 实现网络的稀疏化并提高了可解释性. Wang等[25]提出傅里叶特征网络(Fourier feature networks), 通过在输入层后基于输入的时空坐标构建多尺度三角函数层, 显著提升PINN在多尺度和高频问题上的求解效果. Raynaud等[26]通过时间维度上的傅里叶分解, 提高了周期性圆柱绕流重构的精度和鲁棒性. Meng等[27]基于粗粒度求解器, 构建了时间分块的并行PINN框架. 而Jagtap等[28]则通过时空域分解, 同样实现了求解并行化. 此外, PINN存在的梯度病态问题也不断通过各种方法得到修正[29-33].
尽管学者们已经在改进PINN方面做了许多努力, 但它的训练效率和求解精度目前仍面临挑战[34]. PINN的训练在使用大量内部训练点来最小化偏微分方程残差的同时需要进行大量优化迭代, 这导致其普遍具有较高的训练成本[27]. 同时, 随着问题复杂度和维度的增加, PINN的求解精度往往难以令人满意[35]. 针对目前PINN存在的问题, 本文将离散傅里叶变换与PINN结合, 构建了频域物理信息神经网络(frequency domain physics-informed neural network, FD-PINN). 通过频域退化, FD-PINN具有比经典PINN更少的输入维度和更高的优化效率. 文章通过求解典型方程验证了该框架在降低训练成本和提升求解精度方面的有效性, 以期为偏微分方程求解提供新型的高效方法.
1. 智能求解方法
1.1 PINN
不同于传统数值方法, PINN将偏微分方程的求解转化为优化问题[36]. 它的输入维度包括时空坐标
$(t,{{x}})$ , 对应于方程的时空自变量, 输出是偏微分方程的解$u(t{{x}})$ , 经典PINN的框架如图1所示.考虑如下形式的偏微分方程
$$ \left.\begin{split} & u_t+{\rm{N}}[u]=0,\quad t \in[0, T], x \in \varOmega \\ & u(0, x)=g(x) \\ & {\rm{B}}[u]=0,\quad x \in \partial \varOmega \end{split}\right\} $$ (1) 其中
$u$ 为偏微分方程的解,${\rm{N}}[ \cdot ]$ 为线性及非线性微分算子,${\rm{B}}[ \cdot ]$ 为边界条件算子.对于此问题, PINN的损失函数定义为
$$ L = {\lambda _{ic}}{L_{ic}} + {\lambda _{bc}}{L_{bc}} + {\lambda _r}{L_r} + {\lambda _{da}}{L_{da}} $$ (2) 其中
$$ {L_{ic}} = \frac{1}{{{N_{ic}}}}\sum\limits_{i = 1}^{{N_{ic}}} {{{\left| {{u_\theta }(x_{ic}^i,0) - g(x_{ic}^i)} \right|}^2}} $$ (3) $$ {L_{bc}} = \frac{1}{{{N_{bc}}}}\sum\limits_{i = 1}^{{N_{bc}}} {{{\left| {{\rm{B}}[{u_\theta }(x_{bc}^i,t_{bc}^i)]} \right|}^2}} $$ (4) $$ {L_r} = \frac{1}{{{N_r}}}\sum\limits_{i = 1}^{{N_r}} {{{\left| {\frac{{\partial {u_\theta }}}{{\partial t}}(x_r^i,t_r^i) + {\rm{N}}[{u_\theta }(x_r^i,t_r^i)]} \right|}^2}} $$ (5) $$ {L_{da}} = \frac{1}{{{N_{da}}}}\sum\limits_{i = 1}^{{N_{da}}} {{{\left| {{u_\theta }(x_{da}^i,t_{da}^i) - u(x_{da}^i,t_{da}^i)} \right|}^2}} $$ (6) 对于上述损失函数,
$ \theta $ 为网络待优化参数,${u_\theta }(t,x)$ 为PINN预测解,${{\{ x}}_{ic}^i{{,0\} }}_{i = 1}^{{N_{ic}}}$ ,${{\{ x}}_{bc}^i{{,t}}_{bc}^i{{\} }}_{i = 1}^{{N_{bc}}}$ 和${{\{ x}}_r^i{{,t}}_r^i{{\} }}_{i = 1}^{{N_r}}$ 分别是初始条件、边界条件和方程残差的训练点, 它们通常通过随机采样获得.${{\{ x}}_{da}^i{{,t}}_{da}^i{{\} }}_{i = 1}^{{N_{d{{a}}}}}$ 为可用观测数据点, 在反问题求解时使用. 在训练过程中,$ {L_{ic}} $ ,$ {L_{bc}} $ 和$ {L_{da}} $ 确保网络预测解与初始条件、边界条件以及观测数据匹配,$ {L_r} $ 则约束它满足控制方程.参数
${\lambda _{ic}}$ ,${\lambda _{bc}}$ ,${\lambda _r}$ 和$ {\lambda _{da}} $ 是各损失间的权重系数, 用于在模型训练期间平衡它们的相互作用, 合理的权重设置能够加快PINN的收敛速度[35]. 它们可以在训练前经验性给定, 也可以设置为超参数在网络训练期间进行自适应调整. 因为PINN通常需要计算高阶微分, 因此激活函数需要是高阶可微的, 常用的有tanh和sin. 网络的优化算法较多使用Adam算法和L-BFGS算法.1.2 离散傅里叶变换
离散傅里叶变换是将时空域下的有限离散信号转化至频域的一种普遍方法. 对于以
$x$ 为自变量且坐标间隔为$L/N$ 的空间离散序列 , 离散傅里叶变换将$x$ 和空间频率(波数)$k$ 的离散坐标定义为$$ \left. \begin{split} & {x_j}: - \frac{L}{2} + (j - 1)\frac{L}{N},j = 1,2,\cdots,N \\ & {k_m}: - \frac{{N\text{π} }}{L} + (m - 1)\frac{{2\text{π} }}{L},m = 1,2,\cdots,N \end{split} \right\} $$ (7) 基于式(7), 离散傅里叶变换及逆变换有如下定义
$$ \left. \begin{split} & \bar u ({k_m}) = \sum\limits_{j = 1}^N {u({x_j}){{\rm{e}}^{ - {\rm{i}}{k_m}{x_j}}},m = 1,2,\cdots,N} \\ & u({x_j}) = \frac{1}{N}\sum\limits_{m = 1}^N {\bar u ({k_m}){{\rm{e}}^{{\rm{i}}{k_m}{x_j}}}} ,j = 1,2,\cdots,N \end{split} \right\} $$ (8) 式中i为虚数单位,
$\bar u ({k_m})$ 为空间频谱(波数谱), 其关于${k_m} = 0$ 表现出对称特性. 事实上, 许多空间信号在频域下频谱的主要成分都集中在低频部分, 较高频率对应的$\bar u ({k_m})$ 都趋近于零, 即使直接作归零处理也几乎不会改变信号的频谱特性. 将式(7)中的坐标值引入式(8)可进一步得$$ \left. \begin{split} & \bar u ({k_m}) = \sum\limits_{j = 1}^N {u({x_j}){{\rm{e}}^{\tfrac{{ - 2\text{π} (j - 1)(m - 1){\rm{i}}}}{N}}}} \\ & u({x_j}) = \frac{1}{N}\sum\limits_{m = 1}^N {\bar u ({k_m}){{\rm{e}}^{\tfrac{{2\text{π} (j - 1)(m - 1){\rm{i}}}}{N}}}} \end{split} \right\} $$ (9) 由式(9)可知有
$\bar u ({k_m}) = \bar u ({k_{m + N}})$ 和$u({x_j}) = u({x_{j + N}})$ 成立, 即离散傅里叶变换隐含周期性边界条件. 尽管周期性边界条件不属于传统的三类边界条件, 但它也有较高的应用价值, 一些问题本身便具有时空周期性, 如晶格振动和能带理论. 另外, 某些问题的研究重点不受边界影响, 如各向同性均匀湍流或孤子间的相互作用, 可以设置周期性边界条件进行求解. 对于物理上不具有周期性的部分问题, 也可通过在计算空间下找到满足周期性的维度来实施该方法. 例如, 对于流体力学领域的外流问题, 在O型网格建立的贴体坐标系下, 流场变量在周向维度便具有周期性. 在该贴体坐标系确立的计算空间下, 物面、远场及周向维度的周期性边界便为计算空间的N-S方程提供了完整的定解条件.1.3 FD-PINN
不失一般性, 考虑如下受周期性边界约束的一维Burgers方程
$$ \left. \begin{split} & \frac{{\partial u}}{{\partial t}} + u\frac{{\partial u}}{{\partial x}} = a\frac{{{\partial ^2}u}}{{\partial {x^2}}},\quad t \in [0,T],x \in \varOmega \\ & u(x,0) = g(x) \end{split} \right\} $$ (10) 其中
$a$ 为任一常数, 在$x$ 维度取$N$ 个均匀网格点, 对方程(10)进行离散傅里叶变换可得$$ {\rm{F}}\left[\frac{{\partial u}}{{\partial t}}\right] + {\rm{F}}\left[u\frac{{\partial u}}{{\partial x}}\right] = {\rm{F}}\left[a\frac{{{\partial ^2}u}}{{\partial {x^2}}}\right] $$ (11) 式中,
${\rm{F}}[ \cdot ]$ 表示离散傅里叶变换算子, 其具有如下微分性质$$ {\rm{F}}\left[\frac{{{\partial ^n}u}}{{\partial {x^n}}}\right] = {({\rm{i}}k)^n}{\rm{F}}[u] $$ (12) 其中, i为虚数单位,
$k$ 为空间频率. 由式(12)可知, 通过离散傅里叶变换, 空间域中的微分运算可以转化为频域中的代数运算, 将其引入式(11)得$$ \begin{split} & \frac{{{\rm{d}}{{\bar u }_m}(t)}}{{{\rm{d}}t}} + {\rm{F}}[{{\rm{F}}^{ - 1}}[{\bar u _m}(t)]{{\rm{F}}^{ - 1}}[{\rm{i}}{k_m}{\bar u _m}(t)]] = \\ &\qquad - ak_m^2{\bar u _m}(t),\;\;m = 1,2,\cdots,N,\;\;t \in [0,T] \end{split} $$ (13) 其中,
${{\rm{F}}^{ - 1}}[ \cdot ]$ 表示离散傅里叶逆变换算子,${\bar u _m}(t)$ 为频率${k_m}$ 对应频域方程的解, 它本质上是以${k_m}$ 为频率的波对应的幅值在时间上的演化, 为了方便, 下文用${\bar u _m}$ 表示.方程组(13)便是方程(10)的最终变换结果, 它是一组方程数与频率
${k_m}$ 数目一致的关于时间$t$ 的常微分方程, 在自变量维度上实现了对方程(10)的退化, 本文将这一过程定义为频域退化. 基于1.2节的分析,${\bar u _m}$ 关于零频表现出对称特性, 这说明可以将方程组的求解量减半, 本文选择求解非负频率对应的方程.再次考察方程组(13)的组成, 其中
$- ak_m^2{\bar u_m}$ 是对式(10)中线性项$a{u_{xx}}$ 进行离散傅里叶变换后得到的, 它关于频率${k_m}$ 是解耦的; 而${\rm{F}}[{{\rm{F}}^{ - 1}}[{\bar u _m}]{{\rm{F}}^{ - 1}}[{\rm{i}}{k_m}{\bar u _m}]]$ 是式(10)中非线性项$ u{u_x} $ 变换后的结果, 它在各频率间是耦合的. 这说明对于线性偏微分方程, 其变换后的方程组解耦, 可以独立求解, 而对于非线性偏微分方程, 其变换后的方程组必须耦合求解.基于上述理论, 本文构建了多输出的FD-PINN框架以求解频域方程组. 同样以一维Burgers方程为例, FD-PINN的输入为
$t$ , 每个输出对应一个非负频率下频域方程的解${\bar u _m}(t)$ , 如图2所示, 其损失函数为$$ L = {\lambda _{ic}}{L_{ic}} + {\lambda _r}{L_r} $$ (14) 其中
$$ \left. \begin{split} &{L_r} = \frac{1}{R}\sum\limits_{m = 1}^Q {\sum\limits_{r = 1}^R {{{\left| f \right|}^2}} } \\ & f = \frac{{{\rm{d}}{{\bar u }_m}({t_r})}}{{{\rm{d}}t}} + {\rm{F}}[{{\rm{F}}^{ - 1}}[{\bar u _m}({t_r})]{{\rm{F}}^{ - 1}}[{\rm{i}}{k_m}{\bar u _m}({t_r})]] + ak_m^2{\bar u _m}({t_r}) \\ & {L_{ic}} = \sum\limits_{m = 1}^Q {{{\left| {{{\bar u }_m}(0) - {{\bar g }_m}} \right|}^2}} \end{split} \right\} $$ (15) 式中,
${\bar u _m}$ 为非负频率对应频域方程的网络预测解,$Q = N/2$ 为非负频率数,$ \{ {t_r}\} _{r = 1}^R $ 为方程残差训练点,${\bar g _m}$ 为式(10)中初始条件$g(x)$ 离散傅里叶变换的结果.相比使用原始Burgers方程作为约束的经典PINN, FD-PINN的优势主要体现在两个方面. 第一, 由于频域退化后方程的自变量减少, 因此FD-PINN具有更低的输入维度, 这使得它所需的训练点数目大幅减少, 根据目前PINN训练点的普遍设置原则, 消除一个空间维度, 训练点数目将减少1 ~ 2个数量级, 因此在相同的隐藏层结构下, FD-PINN除输出层与最后一层隐藏层间的矩阵运算量与PINN相当外, 其余层间的运算量相比PINN皆降低了10倍以上, 从而显著降低了训练成本; 第二, 约束FD-PINN的各频域方程更易求解, 尽管其引入了额外的离散误差, 但它有效降低了偏微分方程求解时神经网络的优化难度, 实现了更精确的求解和更快速的收敛.
根据线性及非线性偏微分方程频域退化后的特点, 本文设计了不同的FD-PINN框架. 对于线性方程, 其频域退化后得到的方程组中各方程可以独立求解, 因此将FD-PINN设计为多个单输出网络并列的架构, 每个网络独立求解频域方程组中的一个方程, 如图2(a)所示, 在求解过程中, 各网络依次进行训练, 这种架构的优势在于各网络训练不相互干扰, 各频域方程的求解效率更高. 而对于非线性偏微分方程, 其频域退化后得到的方程组高度耦合, 因此将FD-PINN设计为一个多输出网络, 输出层每个神经元对应一个非负频率下的
${\bar u _m}$ , 如图2(b)所示, 在训练过程中, 所有频域方程的求解同时进行. 在FD-PINN求解完成后, 通过离散傅里叶逆变换, 便可得到原方程的解.2. 算例验证
本文设计了热传导方程、速度势方程和Burgers方程3个典型算例来验证FD-PINN的效果. 为评估求解的准确性, 计算网络预测解在整个求解域内的相对误差
$e$ $$ e = {{\sqrt {\displaystyle\sum\limits_{i = 1}^N {{{(u - {u_\theta })}^2}} } }}\Bigg/{{\sqrt {\displaystyle\sum\limits_{i = 1}^N {{u^2}} } }} $$ (16) 式中,
$u$ 为解析解或数值解,${u_\theta }$ 表示PINN或FD-PINN的预测解,$N$ 为离散网格数. 本文基于PyTorch平台进行程序开发, 并在16核的Intel(R) Core(TM) i9-12900 K上运行.2.1 一维热传导方程
热传导方程是描述温度随时间变化的一类方程, 它描述了热传导、扩散等物理现象. 考虑求解域为
$ x \in [ - 20,20],t \in [0,5] $ 的一维热传导方程$$ \left. \begin{split} & {\partial _t}u - {a^2}{\partial _{xx}}u = 0 \\ & u{|_{t = 0}} = 2{{\rm{sech}}} (x) \\ & u{|_{x = - 20}} = u{|_{x = 20}} \\ & {\partial _t}u{|_{x = - 20}} = {\partial _t}u{|_{x = 20}}\end{split} \right\} $$ (17) 其中
$a = 1$ . 在$x$ 维度取256个均匀网格点, 方程(17)经频域退化得到$$ \left. \begin{split} & {{\rm{d}}_t}{\bar u _m} + {a^2}k_m^2{\bar u _m} = 0,\;\;m = 1,2,\cdots,256 \\ & {\bar u _m}(0) = {\rm{F}}[u(x,0)] \end{split} \right\} $$ (18) 由于耗散项
${\partial _{xx}}u$ 的作用, 方程(17)的解$u$ 在时间维度的演化是一个不断对初始条件光顺的过程, 在周期性边界约束下,$u$ 在时间上总是朝着某一常数光顺, 这意味着$u$ 在任意时刻空间频谱的主要成分数目不会超过初始条件. 因此基于初始条件的频谱特性, 本文选择了一个频率阈值并对此阈值以上的高频成分作归零处理以避免求解方程组(18)中相应的高频方程, 这样便在极小的精度损失下实现了计算量的进一步减小, 本文将此过程称为频率截断. 结合对称性, 选取频率阈值${k_t} = 8$ , 如图3所示, 此时, FD-PINN需要求解的方程数由$N/2 = 128$ 减少至50.根据表1中的训练参数, 使用PINN和FD-PINN分别求解方程(17)和经截断的方程组(18), 其中PINN在隐藏层数与神经元数任意搭配生成的9种网络结构下分别进行训练.
表 1 求解热传导方程的网络训练参数及训练成本Table 1. Network training parameters and training costs for solving heat equationPINN FD-PINN inputs x, t $t$ training samples (equation/initial/boundary) 10000/500/200 200/1/− hidden layers 3,4,5 3 neurons 10,20,30 5 optimizer L-BFGS L-BFGS max. inner iters. of L-BFGS 3 3 training steps 3000 500 training cost/min 10.57 0.53 图4总结了FD-PINN与PINN求解相对误差随训练步数的变化, 其中PINN取不同网络结构下的最优结果(4个隐藏层, 每层30个神经元). 可见FD-PINN的加速收敛效果十分显著, 在图4所示位置, 加速效果达到了31.4倍. 取两种网络训练完毕后的状态进行对比, FD-PINN仅用1/6的训练步数(1/20的训练时间, 如表1所示)便实现了更精确的求解, 将相对误差降低了约一个数量级, 对应的绝对误差对比如图5所示.
为进一步探究FD-PINN包含频率成分数目对其求解精度的影响, 定义变量
${n_{kc}}$ , 其表示FD-PINN输出的频率成分数目, 需要说明, 这${n_{kc}}$ 个频率成分并不是随机的, 它们总是按照频率的大小顺序从零频依次向上选取的. 图6展示了求解相对误差随${n_{kc}}$ 的变化, 由曲线的斜率变化可见, 随着FD-PINN包含频率成分的增加, 它的预测效果呈现出衰退式提升, 当频率超过某一值时(约第40个频率), 曲线斜率趋近于零, 这说明该频率以上的频率成分可忽略, 之前进行的频率截断是合理的.2.2 绕圆柱流动的速度势方程
1.2节提到, FD-PINN方法并不总是需要物理空间上的周期性, 只需在计算空间下找到满足周期性的维度就可适用. 下文通过O型网格下绕圆柱流动的速度势方程求解进行具体说明, 此时的计算空间便是柱坐标系.
考虑求解域为
$\varOmega = \{ (x,y)|0.5 \leqslant \sqrt {{x^2} + {y^2}} \leqslant 15\} $ 的速度势方程$$ \left. \begin{split} & {\partial _{xx}}\phi + {\partial _{yy}}\phi = 0 \\ & \phi {|_{\sqrt {{x^2} + {y^2}} = 15}} = {V_\infty }x\left(1 + \frac{{r_{\min }^2}}{{r_{\max }^2}}\right) \\ & {\partial _{{n}}}\phi {|_{\sqrt {{x^2} + {y^2}} = 0.5}} = 0 \end{split} \right\} $$ (19) 其中,
${V_\infty } = 1$ ,${r_{\min }} = 0.5$ 和${r_{\max }} = 15$ 分别为圆柱和远场半径,${{{{n}}}}$ 为圆柱物面法线方向. 在边界条件约束下, 方程(19)的解析解为$$ \phi (x,y) = {V_\infty }x\left(1 + \frac{{r_{\min }^2}}{{{r^2}}}\right),r = \sqrt {{x^2} + {y^2}} $$ (20) 将方程(19)转化到柱坐标系下得
$$ \left.\begin{split} & {\partial _{rr}}\phi + \frac{1}{r}{\partial _r}\phi + \frac{1}{{{r^2}}}{\partial _{\theta \theta }}\phi = 0 ,\quad r \in [0.5,15],\theta \in [0,2\text{π} ] \\ & \phi {|_{r = 15}} = {V_\infty }\left(1 + \frac{{r_{\min }^2}}{{r_{\max }^2}}\right)r\cos \theta \\ & {\partial _r}\phi {|_{r = 0.5}} = 0 \end{split} \right\} $$ (21) 方程(21)在
$\theta $ 维度上的周期性是自然的, 在该维度取256个均匀网格点, 方程经频域退化得到$$ \left. \begin{split} & {{\rm{d}}_{rr}}{\bar \phi _m} + \frac{1}{r}{{\rm{d}}_r}{\bar \phi _m} - \frac{{k_m^2}}{{{r^2}}}{\bar \phi _m} = 0,\quad m = 1,2,\cdots,256 \\ & {\bar \phi _m}(15) = {\rm{F}}[\phi (15,\theta )] \\ & {{\rm{d}}_r}{\bar \phi _m}(0.5) = 0 \end{split} \right\} $$ (22) 此问题不选择进行频率截断, 这是因为仅基于已有的边界信息, 无法确定方程(21)所有
$r$ 下的解在$\theta $ 维度上频谱的主要成分数目. 根据对称性, 需要求解方程组(22)中$N/2 = 128$ 个方程.根据表2中的训练参数, 使用PINN和FD-PINN分别求解方程(19)和方程组(22), 其中PINN在隐藏层数与神经元数任意搭配生成的9种网络结构下分别进行训练.
表 2 求解速度势方程的网络训练参数及训练成本Table 2. Network training parameters and training costs for solving Laplace's equationPINN FD-PINN inputs $x$,$y$ $r$ training samples (equation/initial/boundary) 15000/−/500 300/−/2 hidden layers 3,4,5 4 neurons 10,20,30 10 optimizer L-BFGS L-BFGS max. inner iters. of L-BFGS 20 20 training steps 1000 100 training cost/min 35.23 1.65 图7总结了PINN和FD-PINN求解相对误差随训练步数的变化, 其中PINN取不同网络结构下的最优结果(5个隐藏层, 每层30个神经元). 可见FD-PINN的加速收敛效果十分显著, 在图7所示位置, 加速效果达到了50倍. 取两种网络训练完毕后的状态进行对比, FD-PINN仅用1/10的训练步数(1/20的训练时间, 如表2所示)便实现了更精确的求解, 将相对误差降低了一个数量级以上, 对应的压力场绝对误差对比如图8所示.
图9展示了FD-PINN预测解的相对误差随
${n_{kc}}$ 的变化, 这说明在角度维度上, 速度势函数的频谱只有一个有效频率成分, FD-PINN实际只需求解方程组(22)中的一个方程. 因此, 如果能够结合合理的频率截断方法, FD-PINN的求解效率会更高.2.3 一维Burgers方程
本文通过一维Burgers方程来验证FD-PINN在非线性问题上的效果, 它是PINN研究中的一个典型算例. 考虑求解域为
$ x \in [ - 1,1],t \in [0,1] $ 的一维Burgers方程$$ \left.\begin{split} & {\partial _t}u + u{\partial _x}u - a{\partial _{xx}}u = 0 \\ & u{|_{t = 0}} = - \sin (\text{π} x) \\ & u{|_{x = - 1}} = u{|_{x = 1}} \\ & {\partial _t}u{|_{x = - 1}} = {\partial _t}u{|_{x = 1}}\end{split} \right\} $$ (23) 其中
$a = 0.01/\text{π} $ . 在$x$ 维度取256个均匀网格点, 方程(23)经频域退化得到$$ \left. \begin{split} & {{\rm{d}}_t}{\bar u _m} + {\rm{F}}[{{\rm{F}}^{ - 1}}[{\bar u _m}]{{\rm{F}}^{ - 1}}[{\rm{i}}{k_m}{\bar u _m}]] + \\ &\qquad ak_m^2{\bar u _m} = 0,\;\;m = 1,2,\cdots,256 \\ & {\bar u _m}(0) = {\rm{F}}[u(x,0)] \end{split} \right\} $$ (24) 由于非线性效应导致方程组(24)内各方程相互耦合, 因此该问题同样不进行频率截断. 根据对称性, 需要求解其中
$N/2 = 128$ 个方程.根据表3中的训练参数, 使用PINN和FD-PINN分别求解方程(23)和方程组(24), 其中PINN在隐藏层数与神经元数任意搭配生成的9种网络结构下分别进行训练.
表 3 求解Burgers方程的网络训练参数及训练成本Table 3. Network training parameters and training costs for solving Burgers equationPINN FD-PINN inputs $x$,$t$ $t$ training samples (equation/initial/boundary) 10000/200/200 200/1/− hidden layers 4,6,8 8 neurons 10,20,40 40 optimizer L-BFGS L-BFGS max. inner iters. of L-BFGS 20 20 training steps 1000 1000 training cost/min 32.05 5.13 图10总结了PINN和FD-PINN求解相对误差随训练步数的变化, 其中PINN取不同网络结构下的最优结果(8个隐藏层, 每层40个神经元). 可见FD-PINN在非线性问题上的加速效果比较有限, 这主要是因为它要兼顾存在耦合的所有非负频率对应频域方程的残差, 相比线性问题各方程的独立求解, 非线性问题中FD-PINN的训练过程更加复杂. 取两种网络训练完毕后的状态进行对比, FD-PINN仅用1/6的训练时间(如表3所示)便实现了更精确的求解, 将相对误差降低了近一个数量级, 对应的绝对误差对比如图11所示. 这说明即使面对存在强间断的非线性问题, FD-PINN仍有显著优势.
图12展示了FD-PINN预测解的相对误差随
${n_{kc}}$ 的变化, 可见空间频谱中的高频成分对求解精度有很大影响, 这是可以预见的, 因为间断解中具有不可忽略的高频成分.2.4 一维Burgers方程反演
本文进一步通过一维Burgers方程反演问题验证FD-PINN在反问题上的求解效果. 具体来说, 通过在求解域内随机采集的500个观测数据点进行方程参数识别并同时反演整个解空间. 传统方法[37]要实现这一过程十分困难.
考虑求解域为
$x \in [ - 1,1],t \in [0,1]$ 的一维Burgers方程$$ {\partial _t}u + {\lambda _1}u{\partial _x}u - ({\lambda _2}/\text{π} ){\partial _{xx}}u = 0$$ (25) 其中
${\lambda _1},{\lambda _2} $ 为待辨识参数, 其真值分别为1和0.01. 在x维度取256个均匀网格点, 方程(25)经频域退化得到$$ \begin{split} & {{\rm{d}}_t}{\bar u _m} + {\lambda _1}{\rm{F}}[{{\rm{F}}^{ - 1}}[{\bar u _m}]{{\rm{F}}^{ - 1}}[{\rm{i}}{k_m}{\bar u _m}]] + \\ &\qquad({\lambda _2}/\text{π} )k_m^2{\bar u_m} = 0,\quad m = 1,2,\cdots,256 \end{split}$$ (26) 依据对称性, 需要求解方程组(26)中的
$N/2 = 128$ 个方程.根据表4中的训练参数, 使用PINN和FD-PINN分别求解方程(25)和方程组(26).
图13总结了PINN和FD-PINN求解相对误差随训练步数的变化, 可见在该反演问题中FD-PINN仍然具有可观的精度优势. 取两种网络训练完毕后的状态进行对比, FD-PINN仅用1/6的训练时间(如表4所示)便实现了更精确的求解, 将相对误差降低了近一个数量级.
表 4 求解Burgers反演问题的网络训练参数及训练成本Table 4. Network training parameters and training costs for solving Burgers inversion problemPINN FD-PINN inputs $x$,$t$ $t$ training samples (equation/data) 10000/500 200 hidden layers 8 8 neurons 40 40 optimizer L-BFGS L-BFGS max. inner iters. of L-BFGS 20 20 training steps 1000 1000 training cost/min 36.82 6.21 表5展示了PINN与FD-PINN辨识参数
${\lambda _1} $ ,${\lambda _2} $ 的相对误差, 可见FD-PINN有效提升了两个参数的辨识精度. 这说明FD-PINN在偏微分方程反演问题中也同样鲁棒, 相比经典PINN, 它能够实现更精确的参数识别和解的全场反演, 并同时大幅降低了计算成本.表 5 参数辨识相对误差Table 5. Relative error of parameter identificationPINN FD-PINN relative error of ${\lambda _1}$ 5.86 × 10−4 1.16 × 10−4 relative error of ${\lambda _2}$ 8.01 × 10−3 5.42 × 10−3 3. 结论
本文结合离散傅里叶变换与PINN, 提出了频域物理信息神经网络—FD-PINN. 基于典型方程, 重点评估了该框架在提升求解精度和训练效率方面的性能.
(1)本文提出的FD-PINN具有更少的输入维度, 它所需的训练点数目相比PINN降低了1 ~ 2个数量级, 从而显著降低了训练成本.
(2)由于退化后的频域方程更易求解, 本文提出的FD-PINN优化效率更高, 具有更低的求解误差.
(3)对于线性偏微分方程, 由于其在频域下的解耦特性, FD-PINN的求解更加高效, 表现出一个数量级以上的加速收敛效果.
(4)热传导方程、速度势方程和Burgers方程的求解结果表明, FD-PINN普遍将求解误差降低了1 ~ 2个数量级, 同时也将训练效率提升了6 ~ 20倍.
尽管FD-PINN实现了求解精度和计算效率的提升, 但在面对多尺度的湍流问题时, 它的全局逼近能力仍有待检验, 此类问题的求解可能变得十分困难.
-
表 1 求解热传导方程的网络训练参数及训练成本
Table 1 Network training parameters and training costs for solving heat equation
PINN FD-PINN inputs x, t $t$ training samples (equation/initial/boundary) 10000/500/200 200/1/− hidden layers 3,4,5 3 neurons 10,20,30 5 optimizer L-BFGS L-BFGS max. inner iters. of L-BFGS 3 3 training steps 3000 500 training cost/min 10.57 0.53 表 2 求解速度势方程的网络训练参数及训练成本
Table 2 Network training parameters and training costs for solving Laplace's equation
PINN FD-PINN inputs $x$,$y$ $r$ training samples (equation/initial/boundary) 15000/−/500 300/−/2 hidden layers 3,4,5 4 neurons 10,20,30 10 optimizer L-BFGS L-BFGS max. inner iters. of L-BFGS 20 20 training steps 1000 100 training cost/min 35.23 1.65 表 3 求解Burgers方程的网络训练参数及训练成本
Table 3 Network training parameters and training costs for solving Burgers equation
PINN FD-PINN inputs $x$,$t$ $t$ training samples (equation/initial/boundary) 10000/200/200 200/1/− hidden layers 4,6,8 8 neurons 10,20,40 40 optimizer L-BFGS L-BFGS max. inner iters. of L-BFGS 20 20 training steps 1000 1000 training cost/min 32.05 5.13 表 4 求解Burgers反演问题的网络训练参数及训练成本
Table 4 Network training parameters and training costs for solving Burgers inversion problem
PINN FD-PINN inputs $x$,$t$ $t$ training samples (equation/data) 10000/500 200 hidden layers 8 8 neurons 40 40 optimizer L-BFGS L-BFGS max. inner iters. of L-BFGS 20 20 training steps 1000 1000 training cost/min 36.82 6.21 表 5 参数辨识相对误差
Table 5 Relative error of parameter identification
PINN FD-PINN relative error of ${\lambda _1}$ 5.86 × 10−4 1.16 × 10−4 relative error of ${\lambda _2}$ 8.01 × 10−3 5.42 × 10−3 -
[1] Cuomo S, Di Cola VS, Giampaolo F, et al. Scientific machine learning through physics-informed neural networks: Where we are and what’s next. Journal of Scientific Computing, 2022, 92(3): 88 doi: 10.1007/s10915-022-01939-z
[2] Raissi M, Perdikaris P, Karniadakis GE. Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations. Journal of Computational Physics, 2019, 378: 686-707 doi: 10.1016/j.jcp.2018.10.045
[3] E WN, Yu B. The deep Ritz method: A deep learning-based numerical algorithm for solving variational problems. Communications in Mathematics and Statistics, 2018, 6(1): 1-12 doi: 10.1007/s40304-018-0127-z
[4] Sirignano J, Spiliopoulos K. DGM: A deep learning algorithm for solving partial differential equations. Journal of Computational Physics, 2018, 375: 1339-1364 doi: 10.1016/j.jcp.2018.08.029
[5] Dissanayake M, Phan-Thien N. Neural-network-based approximations for solving partial differential equations. Communications in Numerical Methods in Engineering, 1994, 10(3): 195-201 doi: 10.1002/cnm.1640100303
[6] Baydin AG, Pearlmutter BA, Radul AA, et al. Automatic differentiation in machine learning: A survey. Journal of Marchine Learning Research, 2018, 18: 1-43
[7] Raissi M, Yazdani A, Karniadakis GE. Hidden fluid mechanics: Learning velocity and pressure fields from flow visualizations. Science, 2020, 367(6481): 1026-1030 doi: 10.1126/science.aaw4741
[8] Jin X, Cai S, Li H, et al. NSFnets (Navier-Stokes flow nets): Physics-informed neural networks for the incompressible Navier-Stokes equations. Journal of Computational Physics, 2021, 426: 109951 doi: 10.1016/j.jcp.2020.109951
[9] Eivazi H, Tahani M, Schlatter P, et al. Physics-informed neural networks for solving Reynolds-averaged Navier-Stokes equations. Physics of Fluids, 2022, 34(7): 075117 doi: 10.1063/5.0095270
[10] Zobeiry N, Humfeld KD. A physics-informed machine learning approach for solving heat transfer equation in advanced manufacturing and engineering applications. Engineering Applications of Artificial Intelligence, 2021, 101: 104232 doi: 10.1016/j.engappai.2021.104232
[11] Niaki SA, Haghighat E, Campbell T, et al. Physics-informed neural network for modelling the thermochemical curing process of composite-tool systems during manufacture. Computer Methods in Applied Mechanics and Engineering, 2021, 384: 113959 doi: 10.1016/j.cma.2021.113959
[12] Raissi M, Wang Z, Triantafyllou MS, et al. Deep learning of vortex-induced vibrations. Journal of Fluid Mechanics, 2019, 861: 119-137 doi: 10.1017/jfm.2018.872
[13] Cheng C, Meng H, Li YZ, et al. Deep learning based on PINN for solving 2 DOF vortex induced vibration of cylinder. Ocean Engineering, 2021, 240: 109932 doi: 10.1016/j.oceaneng.2021.109932
[14] Fang Z, Zhan J. Deep physical informed neural networks for metamaterial design. IEEE Access, 2019, 8: 24506-24513
[15] Pfau D, Spencer JS, Matthews AGDG, et al. Ab initio solution of the many-electron Schrödinger equation with deep neural networks. Physical Review Research, 2020, 2(3): 033429 doi: 10.1103/PhysRevResearch.2.033429
[16] Ranade R, Hill C, Pathak J. DiscretizationNet: A machine-learning based solver for Navier-Stokes equations using finite volume discretization. Computer Methods in Applied Mechanics and Engineering, 2021, 378: 113722 doi: 10.1016/j.cma.2021.113722
[17] Wandel N, Weinmann M, Klein R. Teaching the incompressible Navier–Stokes equations to fast neural surrogate models in three dimensions. Physics of Fluids, 2021, 33(4): 047117 doi: 10.1063/5.0047428
[18] Yang Y, Perdikaris P. Adversarial uncertainty quantification in physics-informed neural networks. Journal of Computational Physics, 2019, 394: 136-152 doi: 10.1016/j.jcp.2019.05.027
[19] Geneva N, Zabaras N. Modeling the dynamics of PDE systems with physics-constrained deep auto-regressive networks. Journal of Computational Physics, 2020, 403: 109056 doi: 10.1016/j.jcp.2019.109056
[20] Sun L, Gao H, Pan S, et al. Surrogate modeling for fluid flows based on physics-constrained deep learning without simulation data. Computer Methods in Applied Mechanics and Engineering, 2020, 361: 112732 doi: 10.1016/j.cma.2019.112732
[21] Kharazmi E, Zhang Z, Karniadakis GE. Variational physics-informed neural networks for solving partial differential equations. ArXiv: 1912.00873, 2019
[22] Kharazmi E, Zhang Z, Karniadakis GE. H-VPINNs: Variational physics-informed neural networks with domain decomposition. Computer Methods in Applied Mechanics and Engineering, 2021, 374: 113547 doi: 10.1016/j.cma.2020.113547
[23] Jagtap AD, Kawaguchi K, Karniadakis GE. Adaptive activation functions accelerate convergence in deep and physics-informed neural networks. Journal of Computational Physics, 2020, 404: 109136 doi: 10.1016/j.jcp.2019.109136
[24] Ramabathiran AA, Ramachandran P. SPINN: Sparse, physics-based, and partially interpretable neural networks for PDEs. Journal of Computational Physics, 2021, 445: 110600 doi: 10.1016/j.jcp.2021.110600
[25] Wang S, Wang H, Perdikaris P. On the eigenvector bias of fourier feature networks: From regression to solving multi-scale pdes with physics-informed neural networks. Computer Methods in Applied Mechanics and Engineering, 2021, 384: 113938 doi: 10.1016/j.cma.2021.113938
[26] Raynaud G, Houde S, Gosselin FP. ModalPINN: An extension of physics-informed Neural Networks with enforced truncated Fourier decomposition for periodic flow reconstruction using a limited number of imperfect sensors. Journal of Computational Physics, 2022, 464: 111271 doi: 10.1016/j.jcp.2022.111271
[27] Meng X, Li Z, Zhang D, et al. PPINN: Parareal physics-informed neural network for time-dependent PDEs. Computer Methods in Applied Mechanics and Engineering, 2020, 370: 113250 doi: 10.1016/j.cma.2020.113250
[28] Jagtap AD, Karniadakis GE. Extended physics-informed neural networks (XPINNs): A generalized space-time domain decomposition based deep learning framework for nonlinear partial differential equations//AAAI Spring Symposium: MLPS, 2021
[29] Wang S, Teng Y, Perdikaris P. Understanding and mitigating gradient flow pathologies in physics-informed neural networks. SIAM Journal on Scientific Computing, 2021, 43(5): A3055-A3081 doi: 10.1137/20M1318043
[30] Sheng H, Yang C. PFNN: A penalty-free neural network method for solving a class of second-order boundary-value problems on complex geometries. Journal of Computational Physics, 2021, 428: 110085 doi: 10.1016/j.jcp.2020.110085
[31] Xiang Z, Peng W, Liu X, et al. Self-adaptive loss balanced physics-informed neural networks. Neurocomputing, 2022, 496: 11-34 doi: 10.1016/j.neucom.2022.05.015
[32] Yu T, Kumar S, Gupta A, et al. Gradient surgery for multi-task learning. Advances in Neural Information Processing Systems, 2020, 33: 5824-5836
[33] Heydari AA, Thompson CA, Mehmood A. Softadapt: Techniques for adaptive loss weighting of neural networks with multi-part loss functions. ArXiv: 1912.12355, 2019
[34] Karniadakis GE, Kevrekidis IG, Lu L, et al. Physics-informed machine learning. Nature Reviews Physics, 2021, 3(6): 422-440 doi: 10.1038/s42254-021-00314-5
[35] Chiu PH, Wong JC, Ooi C, et al. CAN-PINN: A fast physics-informed neural network based on coupled-automatic-numerical differentiation method. Computer Methods in Applied Mechanics and Engineering, 2022, 395: 114909 doi: 10.1016/j.cma.2022.114909
[36] 查文舒, 李道伦, 沈路航等. 基于神经网络的偏微分方程求解方法研究综述. 力学学报, 2022, 54(3): 543-556 (Zha Wenshu, Li Daolun, Shen Luhang, et al. Review of neural network-based methods for solving partial differential equations. Chinese Journal of Theoretical and Applied Mechanics, 2022, 54(3): 543-556 (in Chinese) doi: 10.6052/0459-1879-21-617 [37] 蒋子超, 江俊扬, 姚清河等. 基于神经网络的差分方程快速求解方法. 力学学报, 2021, 53(7): 1912-1921 (Jiang Zichao, Jiang Junyang, Yao Qinghe, et al. A fast solver based on deep neural network for difference equation. Chinese Journal of Theoretical and Applied Mechanics, 2021, 53(7): 1912-1921 (in Chinese) doi: 10.6052/0459-1879-21-040 -
期刊类型引用(9)
1. 苑光耀,王俊淞,赵玄烈,耿敬. 基于PINN的二维剪切流圆柱绕流场重构. 力学学报. 2025(02): 436-452 . 本站查看
2. 韦昌,樊昱晨,周永清,刘欣,李驰,王赫阳. 基于时间权重的物理信息神经网络求解非稳态偏微分方程. 力学学报. 2025(03): 755-766 . 本站查看
3. 郭远,傅卓佳,闵建,刘肖廷,赵海涛. 课程-迁移学习物理信息神经网络用于长时间非线性波传播模拟. 力学学报. 2024(03): 763-773 . 本站查看
4. 赵铎阳,曾森. 基于循环神经网络的结构动力学求解方法探究. 低温建筑技术. 2024(05): 69-73 . 百度学术
5. 潘小果,王凯,邓维鑫. 基于NTK理论和改进时间因果的物理信息神经网络加速收敛算法. 力学学报. 2024(07): 1943-1958 . 本站查看
6. 韦昌,樊昱晨,周永清,张超群,刘欣,王赫阳. 基于Runge-Kutta的自回归物理信息神经网络求解偏微分方程. 力学学报. 2024(08): 2482-2493 . 本站查看
7. 张凌海,周彬,罗毅,冯俊. 物理信息神经网络的一种自适应配置点算法. 力学学报. 2024(10): 3069-3083 . 本站查看
8. 石剑波. 智能制造系统中设备故障诊断与预测技术研究. 今日制造与升级. 2024(10): 26-28 . 百度学术
9. 韦昌,樊昱晨,周永清,刘欣,张超群,王赫阳. 基于龙格库塔法的多输出物理信息神经网络模型. 力学学报. 2023(10): 2405-2416 . 本站查看
其他类型引用(4)