A FLOW FIELD SUPER-RESOLUTION RECONSTRUCTION METHOD BASED ON DIFFUSION MODEL
-
摘要: 低分辨率的流场数据具有较少的信息量, 不能充分捕捉流场中的细节演化过程. 尤其对于湍流的随机脉动特征和小尺度涡旋细节特征更加难以获取, 这限制了对流场演化机理进行深入研究. 为了解决这一局限性, 并从低分辨率流场中重建高分辨率数据, 文章提出一种流场超分辨率重建的生成扩散模型FlowDiffusionNet. 该模型以低分辨率流场数据输入作为约束条件, 采用去噪分数匹配方法, 来实现高分辨率流场数据的复现. FlowDiffusionNet在结构设计上充分考虑了流场数据的低频信息与高频空间特征, 采用基于扩散过程的建模方法, 用于重建高分辨率流场数据的残差. 该模型结构便于实现迁移学习, 可在不同程度的退化流场上应用. 将该方法在多种经典流场数据集上进行测试, 并与双三次插值(bicubic)、超分辨率生成对抗网络(SRGAN)、超分辨率卷积神经网络(SRCNN)等方法进行比较. 结果表明, 该方法在各种流场上的重建性能达到最佳水平, 特别是对于包含小尺度涡结构的4倍下采样流场数据, 客观评价指标SSIM达到0.999.Abstract: Low-resolution flow field data contains limited information, which fails to fully capture the detailed evolutionary processes of the flow field. Especially for the random turbulent features and small-scale vortex details in turbulence, they are even more challenging to obtain, thereby restricting the in-depth investigation of flow field evolution mechanisms. In order to address this limitation and reconstruct high-resolution data from low-resolution flow fields, this paper proposes a generative diffusion model called FlowDiffusionNet for flow field super-resolution reconstruction. The model takes the low-resolution flow field data input as the constraint condition, and utilizes a denoising fraction matching method to reproduce high-resolution flow field data. FlowDiffusionNet's structural design takes into consideration both the low-frequency information and high-frequency spatial features of flow field data, employing a diffusion-based modeling technique to reconstruct the residuals for high-resolution data. The proposed model's architecture is amenable to transfer learning, allowing its application to degraded flow fields at different levels. The performance of FlowDiffusionNet is evaluated on various classical flow field datasets and compared against other methods such as bicubic interpolation, super-resolution generative adversarial network (SRGAN), and super-resolution convolutional neural network (SRCNN). The results demonstrate that the proposed method achieves the best reconstruction performance on various flow fields, especially for flow field data with small-scale vortex structures down sampled by a factor of 4, where the objective evaluation index structural similarity index measure (SSIM) reaches 0.999.
-
引 言
在流体力学领域, 通过实验或数值模拟手段都难以获得复杂湍流速度场信息, 因此如何能简便地获取高保真、高分辨率的流场信息是研究人员长期以来的追求目标. 流场的超分辨率重建技术可将低分辨率流场数据通过预先训练好的神经网络模型直接重建成高分辨率的流场数据, 相较于计算流体动力学方法(CFD)可以节约大量计算资源和时间成本. 在本文中, 提出一种具有广泛适用性的神经网络模型, 可以将低分辨率的流场信息提高其分辨率并还原各种经典流场的流动细节.
深度学习作为一种新兴技术在图像处理、自然语言处理、语音识别和多模态学习[1]等领域发展迅速. 近年来, 该技术被应用于实验流体力学方向, 处理大量复杂非线性和高维度流场数据[2-3]. 通过深度学习方法可以对流体运动进行估计, 从而提升流体速度场的分辨率. 例如, Guo等[4]研发了一种实时预测的卷积模型, 以低错误率为代价, 预测速度比CFD快了两个数量级. Lee等[5]开发了一个4级回归卷积网络, 从输入两张图像中获取速度场. Cai等[6]基于卷积神经网络对PIV粒子图像对进行流动估计. 然而这些基于卷积神经网络对流体运动估计缺乏先验物理规律. 为了弥补基于卷积神经网络对流动估计性能的不足, Lagemann等[7]提出了基于光流架构的递归全场变换(RAFT)模型, 在低密度颗粒密度和光照强度变化的条件下表现良好, 并且可以端到端地学习位移场.
除此之外许多研究专注于利用深度学习其强大的流动信息特征提取与数据同化的能力, 对低分辨率流场进行超分辨率重建. 在计算机视觉领域, 超分辨率(SR)是一种通过数字信号处理的方法提高图像空间分辨率的技术. 2014年Dong等[8]首次在SR问题上使用深度学习方法, 提出用于单图像超分辨率的SRCNN模型, 执行端到端的超分辨率任务. 随后多种超分辨率模型被设计出来, 例如超深超分辨率网络VDSR[9]、超分辨率生成对抗网络SRGAN[10] 、稠密连接超分辨率网络SRDenseNet [11]和深度残差通道注意力网络RCAN[12]等模型. SR已成为计算机视觉领域的研究热点. 受此启发, 研究人员将深度学习方法应用于流场的超分辨率重建.
例如, Lee等[13]提出了基于生成对抗网络(GAN)的湍流小尺度建模方法, 该方法可以凭借较少的计算成本对未处理的模拟数据进行结构预测. Deng等[14]将超分辨率生成对抗网络(SRGAN[10])和增强型SRGAN(ESRGAN[15]) 应用于流场的超分辨率重建任务中, 以增强两个并排圆柱后面复杂尾流的空间分辨率, 结果表明可以把粗流场的空间分辨率显著提高42和82倍, 能够准确地重建高分辨率(HR)流场. Fukaimi等[16]开发了一种混合下采样跳跃连接/多尺度模型, 对二维圆柱绕流进行测试, 仅仅需要50个训练数据, 就可以极大地提高空间分辨率. 但是该研究的工况和所搭建的模型都比较简单. Liu等[17]设计了静态卷积神经网络(SCNN)和多时间路径神经网络(MTPC), 可以高精度重建强制各向同性湍流的高分辨率流场. Kong等[18]做了类似的工作, 提出了多路径超分辨率卷积神经网络(MPSRC), 可以捕捉温度场的空间分布特征, 成功超分辨率重建超燃冲压发动机燃烧室的温度场. Ferdian等[19]提出一种新型超分辨率4DFlowNet模型, 通过学习从有噪声的低分辨率(LR)图像到无噪声HR相位图像的映射, 能够产生清晰解剖区域的无噪声超分辨率相位图像. 2021年Fukaimi等[20]开发了用于时空SR分析的深度学习方法, 可以从空间和时间上的少量数据点重建高分辨率流场. 但是其模型训练十分复杂, 并严重依赖训练数据的时空关系. Bi等[21]设计由多个多尺度聚合块(LMAB)组成的FlowSRNet模型, 同时做了轻量化设计, 提出LiteFlowSRNet架构, 对各种经典流场进行超分辨率重建, 达到了先进SR性能. 为了对流场进行物理约束, Raissi等[22]提出了基于物理的神经网络(PINN), 可以用偏微分方程描述给定数据集的物理规律, 并在圆柱绕流的示例中展示其解决高维逆问题的能力. 随后Raissi等[23]将流体力学基本方程N-S方程编码到神经网络里, 通过自动微分技术对模型输出求导, 并带入N-S方程计算残差, 最终反向传播优化模型参数, 实现通过软约束对颅内动脉瘤影像的生物流场重构. Shu等[24]提出一种仅在训练时使用高保真数据的扩散模型, 用于从低保真CFD数据输入重建高保真 CFD 数据, 并且可以通过使用已知偏微分方程的物理信息来提高计算准确性, 然而文中并未将扩散模型与其他深度学习模型进行详细的流场重建性能对比.
与上述工作不同, 本文提出了一种适用于流场超分辨率重建的生成模型FlowDiffusionNet(FDiffNet), 该模型是基于扩散概率模型提出的. 扩散概率模型(扩散模型)[25-26]是一种生成模型, 其使用马尔科夫链将简单分布(如高斯分布)中的潜在变量转换为复杂分布的数据. 扩散模型已经在诸如图像合成和超分辨率图像重建等领域中大放异彩. 其中, 谷歌团队提出的SR3[27]模型和浙江大学提出的单张图片超分辨率扩散模型SRdiff[28]均在图像超分辨率上取得了优异的结果. 受此启发利用扩散模型对低保真的流场数据进行重建, 所提出的模型主要由低分辨率(LR)编码器和模型主体构成, 利用残差特征蒸馏模块(RFDB)[29]作为LR编码器对低保真数据进行编码, 模型主体选用Unet作为架构并增加自注意力层, 使得模型在深层次里获得更大的感受野. 对所提出的FlowDiffusionNet模型在多个经典流场数据集上进行了测试, 并比较了直接预测高保真流场数据进行流场重建与预测高保真数据残差后进而重建流场的性能. 并且在推理过程中, 为了加快推理速度, 引入了Dpm-solver[30]求解器. 总结为以下3项贡献:
(1)提出了便于迁移训练的FlowDiffusionNet软约束扩散模型, 用于精准地进行流场超分辨率重建, 为了更好提取LR流场的特征, 选用了RFDB模块作为LR编码器;
(2)提高了模型的流场超分辨率重建速度, 将DPM-solver求解器应用到推理过程, 提高了模型的效率;
(3)全面评估该模型的性能, 构建了多种经典SR流场数据集, 并根据不同因素对复杂流场进行降采样, 从而验证模型的适用性与稳定性.
1. 研究方法
1.1 总体框架
扩散模型作为一种新兴的生成式模型, 避免以往对抗神经网络难以收敛以及崩溃的问题, 因此更适用于处理比较大的流场数据信息. 并且扩散模型相较于卷积神经网络与物理神经网络, 更易进行不同降采样倍率的迁移学习, 其适用性和泛化性更强. 本文方法总体框架如图1所示, 包括两个过程: 前向扩散过程在上面用绿色箭头表示, 为无参数学习; 反向扩散过程在下面用蓝色箭头表示, 进行参数优化. 图中y0表示预测流场的残差, 参数$ \theta $是由神经网络模型拟合的.
![]()
图 1 FlowDiffusionNet 模型重建高保真流场的原理Figure 1. The principle of FlowDiffusionNet model to reconstruct high-fidelity flow field1.2 扩散模型
在本节中, 介绍扩散模型的基本概念[25]. 扩散模型是一类概率生成模型, 采用参数化马尔可夫链, 通过变分推理训练, 学习如何逆转逐渐退化训练数据结构的过程. 扩散模型训练过程分为两个阶段: 前向扩散过程和反向去噪过程.
前向扩散过程可以描述为逐渐破坏数据结构的前向加噪处理, 通过不断向输入的数据中添加低水平的噪声(高斯噪声), 直到全部变成高斯噪声. 给定原始的训练样本满足$ {y_0}\sim q\left( {{y_0}} \right) $, 通过预先设置好的一组数据${\;\beta _1},{\;\beta _2}, \cdots ,{\beta _T} \in$[0,1), 将数据分布q(y)转换成潜在变量$ q({y_T}) $
$$ q({y_1},{y_2}, \cdots ,{y_T}\mid {y_0}): = T _{n = 1}^T q ({y_t}\mid {y_{t - 1}}) $$ (1) $$ q({y_t}\mid {y_{t - 1}}): = \mathcal{N}({y_t};\sqrt {1 - {\beta _t}} {y_{t - 1}},{\beta _t}{\boldsymbol{I}}),\forall t \in \{ 1, 2,\cdots ,T\} $$ (2) 其中T是扩散总步数, $ {\beta _t} $可看作控制扩散步骤方差的超参数, I是与输入数据y0具有相同维度的矩阵, $ \mathcal{N}(y;\mu ,\sigma ) $表示均值为μ且方差为α的正态分布. 前向过程可对任意的时间步t处进行采样
$$ q({y_t}\mid {y_0}) = \mathcal{N}({y_t};\sqrt {{{\bar \alpha }_t}} {y_0},(1 - {\bar \alpha _t}){\boldsymbol{I}}) $$ (3) 其中$ {\alpha _t}: = 1 - {\beta _t} $, ${\bar \alpha _t}: = T_{n = 1}^t {{\alpha _n}}$, 任意时刻yt数据状态都可以根据原始数据y0采样得到. 式(3)可参数重整化为
$$ {y}_{t}({y}_{0},\epsilon) = \sqrt{{\bar{\alpha }}_{t}}{y}_{0} + \sqrt{1-{\bar{\alpha }}_{t}}\epsilon,\quad \epsilon \sim \mathcal{N}({\boldsymbol{0}},{\boldsymbol{I}}) $$ (4) 反向扩散过程可以描述为学习从噪声输入中恢复原始数据的反向去噪处理, 采用类似的迭代过程, 通过每一步去除噪声, 最终重建原始数据. 然而, 由于$q({y_{t - 1}}\mid {y_t})$取决于整个数据分布, 扩散模型使用神经网络作如下近似
$$ {p_\theta }({y_{t - 1}}\mid {y_t}): = \mathcal{N}({y_{t - 1}};{\mu _\theta }({y_t},t),{\sigma _\theta }({y_t},t)) $$ (5) 其中${p_\theta }({y_{t - 1}}\mid {y_t})$为参数化的高斯分布, 他们的均值和方差由训练的网络μθ(yt, t)和σθ(yt, t)确定.
在训练阶段, 我们最大化负对数似然的变分下界(ELBO), 并引入KL散度和方差缩减[25]
$$ \begin{split} & \mathbb{E}[ - \lg {p_\theta }({y_0})] \leqslant L: = {\mathbb{E}_q}[\underbrace {{D_{KL}}(q({y_T}\mid {y_0})\parallel p({y_T}))}_{{L_T}}+ \\ &\qquad \sum\limits_{t > 1} {\underbrace {{D_{KL}}(q({y_{t - 1}}\mid {y_t},{y_0})\parallel {p_\theta }({y_{t - 1}}\mid {y_t}))}_{{L_{t - 1}}}} \underbrace { - \lg {p_\theta }({y_0}\mid {y_1})}_{{L_0}} \end{split} $$ (6) 方程(6)使用KL散度直接将$ {p_\theta }({y_{t - 1}}\mid {y_t}) $与前向过程后验分布$ q({y_{t - 1}}|{y_t},{y_0}) $进行比较
$$ q({y_{t - 1}}\mid {y_t},{y_0}) = \mathcal{N}({y_{t - 1}};{\mu _t}({y_t},{y_0}),{\sigma ^2}{\boldsymbol{I}}) $$ (7) $$ {\tilde{\mu } _t}({y_t},{y_0}) = \frac{{\sqrt {{{\bar \alpha }_t} - 1} {\beta _t}}}{{1 - {{\bar \alpha }_t}}}{y_0} + \frac{{\sqrt {{\alpha _t}} (1 - {{\bar \alpha }_t} - 1)}}{{1 - {{\bar \alpha }_t}}}{y_t} $$ (8) $$ {\sigma ^2} = \frac{{1 - {{\bar \alpha }_t} - 1}}{{1 - {{\bar \alpha }_t}}}{\beta _t} $$ (9) 根据式(3)、式(5)和式(7)得知, 等式(6)所有KL散度是高斯分布之间的比较. 当t > 1且C为常量时, 可以得到
$$ {L}_{t-1} = {\mathbb{E}}_{q}\left[\frac{1}{2{\sigma }_{t}^{2}}\Vert { \tilde {\mu }}_{t}({{\boldsymbol{y}}}_{t},{{\boldsymbol{x}}}_{0})-{\mu }_{\theta }({{\boldsymbol{y}}}_{t},t){\Vert }^{2}\right] + C $$ 可将方程(6)简单优化后进行训练, 有利于提高样本生成质量
$$ {L}_{{\rm{simple}}}(\theta ) = {\mathbb{E}}_{{y}_{0},\epsilon,t}[\Vert \epsilon-{\epsilon}_{\theta }(\sqrt{{\bar{\alpha }}_{t}}{y}_{0} + \sqrt{1-{\bar{\alpha }}_{t}}\epsilon,t){\Vert }^{2}] $$ (10) 其中ϵθ为噪声预测因子.
在推理过程中, 首先从高斯分布$\mathcal{N}({\mathbf{0}},{\boldsymbol{I}})$, 采样潜在变量yT, 然后根据等式(5)进行采样${y_{t - 1}}\sim {p_\theta }({y_{t - 1}}\mid {y_t})$其中
$$ \begin{split} &{\mu }_{\theta }({y}_{t},t): = {{\tilde \mu }_{t}}({y}_{t},\frac{1}{\sqrt{{\alpha }_{t}}}\left({y}_{t}-\sqrt{1-{{\bar \alpha }_{t}}}{\epsilon }_{\theta }\left({y}_{t}\right)\right)) =\\ &\qquad \frac{1}{\sqrt{{\alpha }_{t}}}\left({y}_{t}-\frac{{\beta }_{t}}{\sqrt{1-{{\bar \alpha }_{t}}}}{\epsilon}_{\theta }({y}_{t},t)\right)\end{split} $$ (11) $$ {\sigma _\theta }({y_t},t): = \sqrt {\frac{{1 - {{\bar \alpha }_t} - 1}}{{1 - {{\bar \alpha }_t}}}{\beta _t}} $$ (12) 1.3 条件扩散模型
在本节中, 将在扩散模型的基础上介绍条件扩散模型. 条件扩散模型的前向过程与扩散模型基本一致, 目的是将原始数据分布y0转换成潜在变量yT. 反向过程是从潜在变量yT开始, 利用原始数据x的附加信息, 来优化去噪神经网络的ϵθ, 从而恢复无噪声的原始数据y0. 该模型是将原始数据x和由式(4)得到yt数据状态作为输入, 通过训练来预测噪声向量ϵ. 在训练过程, 参数化μθ有许多不同的办法, 显然可以使用神经网络预测εθ (yt, t, x), 之后通过等式(11)得到μθ (yt, t, x), 根据Saharia等[27]建议, 可将训练ϵθ的目标函数设定为
$$ \begin{split} &{\mathbb{E}}_{(x,y)}{\mathbb{E}}_{\epsilon,t}\left[\parallel \epsilon-{\epsilon}_{\theta }\left(\sqrt{{\bar{\alpha }}_{t}}{y}_{0} + \sqrt{1-{\bar{\alpha }}_{t}}\epsilon,t,x\right){\parallel }^{2}\right]\\ &\qquad \epsilon \sim \mathcal{N}({\boldsymbol{0}},{{{\boldsymbol{I}}}})\end{split} $$ (13) 本文选用的参数重整化方法是通过神经网络预测y0, 输出的结果可以根据等式(8)和式(11)产生μθ(yt, t, x). 其训练$ {f_\theta } $的目标函数可以表示为
$$ \begin{split} &{\mathbb{E}}_{(x,y)}{\mathbb{E}}_{\epsilon,t}\left[\parallel {y}_{0}-{f}_{\theta }\left(\sqrt{{\bar{\alpha }}_{t}}{y}_{0} + \sqrt{1-{\bar{\alpha }}_{t}}\epsilon,t,x\right){\parallel }^{2}\right]\\ &\qquad \epsilon \sim \mathcal{N}({\boldsymbol{0}},{\boldsymbol{I}})\end{split} $$ (14) 推理过程是通过神经网络预测在每个时间步长处去除的噪声, 从而逐步重建数据来生成目标数据
$$ {p_\theta }({y_0},{y_1}, \cdots ,{y_T}\mid x) = p({y_T})T _{n = 1}^T {{p_\theta }} ({y_{t - 1}}\mid {y_t},x) $$ (15) $$ p({y_T}) = \mathcal{N}({{\boldsymbol{y}}_T};0,{\boldsymbol{I}}) $$ (16) $$ {p_\theta }({y_{t - 1}}\mid {y_t},x) = \mathcal{N}({{\boldsymbol{y}}_{t - 1}};{\mu _\theta }({y_t},t,x),\sigma _t^2{\boldsymbol{I}}) $$ (17) 根据神经网络学习高斯条件分布$ {p_\theta }({y_{t - 1}}\mid {y_t},x) $定义整个推理过程. 如果前向过程噪声方差设置足够小, 那么反向过程$ p\left( {{y_{t - 1}}\mid {y_t},x} \right) $近似高斯分布, 即证明了在推理过程选择高斯条件可以为真实反向过程提供合理的拟合. 并且$ 1 - {\bar \alpha _t} $应该足够大, 使得潜在变量yT满足等式(16).
1.4 FlowDiffusionNet
FlowDiffusionNet是一种条件扩散模型, 总体框架如图一所示. 建立在 T 步扩散模型之上, 该模型包含两个过程: 扩散过程和反向扩散过程. 不是直接预测 HR 流场, 而预测 HR 流场xH和上采样 LR 流场 up(xL) 之间的差异, 并将差异表示为输入残差流场 y0. 扩散过程通过向残差流场y0不断添加高斯噪声, 如方程(4)表示, 直到变成高斯分布yT. 反向扩散过程通过使用条件残差流场预测器, 以低分辨率编码器(简称LR编码器)对LR 的流场编码输出为条件, 在有限时间步迭代去噪, 将高斯分布yT变成残差流场y0. SR流场是通过将生成的残差流场y0添加到上采样LR 流场 up(xL)来进行重建的.
在接下来的小节中, 将介绍条件残差流场预测器、LR 编码器、训练和推理的框架.
1.4.1 条件残差流场预测器
根据式(15) ~ 式(17)构成条件残差流场预测器, 定义x是输入模型里面的条件, 在超分辨率流场重构任务中x代表LR 流场xL, 根据神经网络学习高斯条件分布$ {p_\theta }({y_{t - 1}}\mid {y_t},x) $进行推断HR 流场xH. 如图2所示, 使用U-Net作为主体, 以2通道yt (u,v)、扩散时间步长t以及LR编码器的输出作为输入, 其中“res block”, “downsample”, “attention block”, “upsample”分别表示残差块、下采样块、自注意力块和上采样块; “DS”和“US”分别表示下采样步骤和上采样步骤; 其中“DS”和“US”后面括号里(c, 2c, 4c)表示每个步骤通道数量.
![]()
图 2 FlowDiffusionNet的总体网络框架Figure 2. The overall network framework for FlowDiffusionNet首先通过一个二维卷积层将yt转换到激活状态, 之后把隐藏状态yt与经过编码的LR流场信息在通道上进行融合, 并将其输入到UNet模型里面. 通过正弦位置编码将时间步长t编码至隐藏状态te[31] , 并将te输入到每一个残差模块中. 下采样路径由一个残差模块和一个下采样层构成, 上采样路径由两个残差模块和一个上采样层构成, 这样不对称的设置有利于设置更加密集的多尺度跳跃残差连接, 从而保证条件残差流场预测器稳定. 第2和第3下采样路径中将通道尺寸加倍, 并在每个下采样路径中将特征图的空间尺寸减半, 以求降低模型的参数量, 并提高其采样速度. 中间路径由两个残差块和一个自注意力模块组成, 这有利于模型在增大感受野同时降低参数量. 最后将上采样路径输出, 应用swich函数进行激活, 并通过卷积预测yt-1的残差流场.
1.4.2 LR流场编码器
采用LR 流场编码器对上采样LR流场up(xL) 信息进行编码, 并将其添加到每个反向步骤中以引导生成到相应的 HR 流场. 在本文中, 选择使用残差蒸馏网络(RFDN)模型[29]的RFDB架构, 如图3所示, “SRB”表示浅层残余模块, “CCA Layer”表示规范相关分析, 该架构的特征提取层和信息蒸馏层, 可以全面提取上采样 LR 流场up(xL)信息. 并且舍弃掉RFDN模型的最后一个上采样层, 因为经过测试证明这样做的效果要优于将直接LR流场xL输入RFDB模块, 较低分辨率输入会使得不同的特征提取层输出信息更加相似, 且在上采样层会破坏原始LR 流场xL信息.
1.4.3 训练与推理过程
在训练阶段, 如图4所示, 从训练集中输入相应LR-HR 流场对, 用于训练总扩散步长为 T 的FlowDiffusionNet. 将xL上采样为up(xL), 并计算流场残差HR-up(xL). 第1步: 将流场残差y0输入正向扩散模块采样出任意t时刻流场残差状态yt, 并输入模型里, 值得注意的是这步没有可学习的参数, 所有参数都是预先设置好的. 第2步: 通过LR流场编码器将up(xL)编码为xe, 并输入模型. 第3步: 计算模型输出$ \hat y $和目标输出y0的均方误差MSEloss,并反向优化FlowDiffusionNet的参数.
推理过程如图5所示, 使用DPM-solver[30]快速采样器, 极大加快了模型的采样速度, 使得该模型可以在短时间内处理大量流场数据信息. 如图5所示, 第1步: FlowDiffusionNet模型在推理过程中将上采样 LR 流场up(xL)与从标准高斯分布中采样得到的潜在变量yT作为输入, 预测t = 0时刻的残差流场; 第2步: 将神经网络预测的流场$ \hat y $输入到DPM-solver快速采样器里面, 从而采样出t时刻的残差流场yt; 第3步: 将残差流场yt和上采样 LR 流场up(xL)再次输入到神经网络里, 预测t = 0时刻的残差流场. 随后重复第1和第2步直至采样出原始残差流场y0. 最终在上采样LR 流场up(xL)添加残差流场y0来恢复SR流场.
2. 数据集构建和训练及采样过程细节
在本节中, 首先描述制作数据集的原理和过程, 随后介绍模型训练及采样的一些细节.
2.1 数据集构建
本文根据参考文献收集了5个经典流场, 包括: 二维湍流运动[32](DNS 湍流)、地表准地转流[33](SQG)和约翰霍普金斯湍流数据库[34](JHTDB)等复杂流场, 其可以从公开文献中获得. 表1列出了不同经典流场的用于训练和测试的数据集数量, 并且SR数据集中的流场数据不具有严格时间连续性.
表 1 不同流场SR训练集与测试集数量Table 1. Number of SR training and test sets for different flow fieldsCases nos. Case name Train data Test data 1 DNS turbulence 1600 400 2 JHTDB channel 1520 380 3 JHTDB isotropic 1600 400 4 JHTDB MHD 640 160 5 SQG 1200 300 接下来我们通过一种常用的降采样策略来降低流场数据的分辨率, 生成低分辨率流场数据从而构建LR-HR数据对
$$ {x_L} = {({x_H} \otimes G)_{ \downarrow \alpha }} $$ (18) 其中G代表退化模糊操作, $ \alpha $代表下采样因子, 通过经典的高斯模糊结合双3次下采样方案, 高斯模糊核函数的公式如下
$$ G(x,y) = \frac{1}{{2\text{π} {\sigma ^{^2}}}}{{\rm{e}}^{ - \frac{{({x^2} + {y^2})}}{{2{\sigma ^2}}}}} $$ (19) 其中$ \sigma $设置为5, 高斯核大小设置为16 × 16, HR流场数据与LR流场数据之间的差异可以用下采样因子$ \alpha $表示
$$ \alpha = {M_{{\rm{LR}}}}/{M_{{\rm{HR}}}} = {N_{{\rm{LR}}}}/{N_{{\rm{HR}}}} $$ (20) 其中 M表示流向速度矢量的数量, N 表示展向速度矢量的数量. 为了综合评价模型在不同分辨率下的重建能力, 选择了3种不同的下采样因子, 即4, 8和16. 构建的SR数据集包含复杂的湍流结构(DNS 湍流和 JHTDB)和小尺度涡流结构(SQG 和 DNS 湍流), 这使得流场重建任务具有挑战性. 如图6所示, 展示了在$ \alpha $ = 8下构建的SR流场数据集.
2.2 训练细节
FlowDiffusionNet模型是在一台NVIDIA 3060 GPU的电脑上面通过pytorch实现的. 在训练阶段, 选择MSE作为损失函数, 并应用Adam优化器, 初始学习率设置0.00003, dropout设置为0.1来优化模型参数. 模型训练超参数设置包括设置扩散步长T = 1000, 并把前向过程的方差设置成随步长动态增大, 从0.000 1线性增加到0.02. 首先在32 × 32空间分辨率→256 × 256空间分辨率的数据集上训练, 随后将在32 × 32空间分辨率→256 × 256空间分辨率训练好的参数, 分别迁移至64 × 64空间分辨率→256 × 256空间分辨率的数据集上和16 × 16空间分辨率→256 × 256空间分辨率的数据集上进行训练, 模型的总参数量为69.7 M.
2.3 采样细节
在本文的推理过程中, 采用了DPM-solver采样方法[30]. 该采样方法具有多种优点, 包括不需要任何训练即可适用于扩散模型的采样, 并且相较于先进的无训练采样方法, 可实现约10倍的加速. DPM-solver利用扩散常微分方程的半线性, 通过由噪声预测模型的指数加权积分, 直接近似扩散常微分函数的精确解. 该采样器可以采用1阶、2阶和3阶模式来近似噪声预测模型的指数加权积分, 其中1阶模式与DDIM[35]采样过程相同. 为了兼顾采样质量和速度, 设置了预测${{{x}}_{{\rm{start}}}}$的离散噪声序列DPM 2阶求解器, 并应用自适应采样方法.
3. 实验
在本节中将对FlowDiffusionNet模型的性能进行评估, 首先介绍定量及定性评估模型的标准, 随后比较了不同模型重建流场的精度, 最后可视化涡量场并验证其重建效果.
3.1 评估标准
借鉴评估图像相似度的两个重要指标, 峰值信噪比(PSNR)及结构相似度指标(SSIM). PSNR表示精度的破坏性噪声功率的比值, 是衡量原始图像与处理后图像数据质量的重要标准, 一般认为其值高于40 质量极好, 30 ~ 40之间质量是可接受的. 具体的公式如下
$$ PSNR = 10 \cdot \lg (Max_I^2/MSE) $$ (21) 其中$ Ma{x_I} $表示原始数据的最大像素值, MSE表示原始数据与重建数据之间的均方误差.
SSIM是感知模型, 可以衡量图片的失真程度, 也可以衡量两张图片的相似程度. 具体的公式如下
$$ SSIM(x,y) = \frac{{(2{\mu _x}{\mu _y} + {c_1})({\sigma _{xy}} + {c_2})}}{{(\mu _x^2 + \mu _y^2 + {c_1})(\sigma _x^2 + \sigma _y^2 + {c_2})}} $$ (22) 其中$ {\mu _x} $和$ {\mu _y} $分别表示原始数据$ x $和重建数据$ y $的平均值, $ {\sigma _x} $和$ {\sigma _y} $分别表示$ x $和$ y $的标准差, $ {\sigma _{xy}} $则表示$ x $和$ y $的协方差, $ {c_1} $和$ {c_2} $是常数避免分母为0.
在定性评估中, 通过可视化重建流场数据的速度场和涡量场分布, 从而直观地观察到重建流场的详细信息.
3.2 流场重建精度比较
首先, 对提出的FlowDiffusionNet模型进行了评估, 比较其在预测流场残差和直接预测原始流场时对于不同流场的重建性能. 为了凸显该模型在流场重建方面的优越性, 同时选取了几种常用的流场超分辨率(SR)方法进行比较, 包括传统的双三次插值方法(bicubic)[36], 基于卷积神经网络(CNN)的SRCNN方法[8]和基于生成对抗网络(GAN)的SRGAN方法[14]. 为了评估流场在不同分辨率尺度下的重建能力, 选取了$ \alpha $为4 (中分辨率水平)、8 (低分辨率水平)和16 (超低分辨率水平).
如表2所示(表中SRGAN和SRCNN性能效果来源于文献[21]), 其中FDiffNet_res表示预测HR流场残差, FDiffNet_Nres表示直接预测HR流场, 性能最高值加粗表示, 所提出的模型在不同的流场数据集中均展现出了最优秀的性能表现. 具体而言, 对于涉及复杂湍流的流场, 双三次插值方法的PSNR普遍难以超过30, 且其流场重建效果较差, 与深度学习方法相比仍存在显著差距. 特别是对于包含小尺度涡结构的流场数据集, 例如DNS和SQG, 传统方法在重建精度方面表现最低, 相应的PSNR和SSIM评价指标仅分别为20.096/0.758和22.113/0.728. 这说明在局部小尺度涡旋重建任务中, 传统方法的性能相对于本文提出的模型仍存在明显的差距. 可以看到, SRGAN和SRCNN在$ \alpha $ = 4中等分辨率下, 流场重建精度SSIM可以达到0.9以上. 同样基于生成的模型, SRGAN的流场重建效果比FDiffNet效果要差, 这是因为生成对抗模型训练需要达到纳什均衡, 并且对于超参数较为敏感, 需要调整模型是适用的超参数设定. 相反, 对于同是生成模型的FDiffNet训练十分简单, 只需去拟合反向扩散过程中的条件分布, 而且模型不易陷入过拟合. SRCNN模型在$ \alpha $ = 4中等分辨率和$ \alpha $ = 8低等分辨率流场重建精度SSIM相差0.023 ~ 0.037, 而FDiffNet_res重建精度SSIM仅相差0.002 ~ 0.014, 这表示提出的模型在不同分辨率的流场重建上, 具有更好的精度保持性. FDiffNet预测高分辨率流场的残差重建效果要优于直接预测原始高分辨率流场, 并且在训练时预测残差能让模型更快收敛.
表 2 在下采样因子为4, 8, 16下不同方法的性能表现Table 2. Performance of different methods with downsampling factors of 4, 8, 16$ \alpha $ Flow cases Bicubic SRGAN SRCNN FDiffNet_Nres FDiffNet_res PSNR/SSIM PSNR/SSIM PSNR/SSIM PSNR/SSIM PSNR/SSIM 4 DNS turbulence 20.057/0.760 31.373/0.920 35.314/0.957 50.259/0.997 58.048/0.999 JHTDB channel 34.824/0.893 40.324/0.922 45.733/0.971 44.419/0.983 47.272/0.983 JHTDB isotropic 25.514/0.821 34.974/0.935 36.028/0.946 48.284/0.995 50.371/0.996 JHTDB MHD 24.986/0.837 32.049/0.901 32.351/0.916 37.373/0.968 38.078/0.973 SQG 22.190/0.730 33.718/0.897 37.143/0.937 51.597/0.997 60.659/0.999 8 DNS turbulence 16.408/0.618 31.115/0.912 32.988/0.934 41.708/0.989 48.267/0.997 JHTDB channel 31.347/0.820 38.539/0.899 41.193/0.944 41.753/0.974 46.562/0.978 JHTDB isotropic 22.131/0.723 22.164/0.723 33.363/0.912 38.945/0.977 42.738/0.982 JHTDB MHD 21.592/0.748 29.636/0.855 31.059/0.887 34.445/0.953 35.499/0.961 SQG 18.676/0.595 31.634/0.850 34.468/0.900 42.722/0.986 46.004/0.991 16 DNS turbulence 9.464/0.321 28.902/0.877 31.165/0.914 32.163/0.958 37.413/0.979 JHTDB channel 26.168/0.647 30.638/0.709 30.795/0.744 32.505/0.813 33.191/0.819 JHTDB isotropic 16.626/0.514 24.074/0.687 25.132/0.723 30.418/0.872 31.642/0.881 JHTDB MHD 16.305/0.555 21.286/0.609 22.831/0.674 22.957/0.754 24.589/0.776 SQG 12.637/0.336 29.163/0.804 29.972/0.826 39.073/0.981 42.534/0.987 FDiffNet模型主体结构是UNet模型, 输入与输出大小是一致的, 因此只需简单改动输入LR流场上采样倍数, 无需修改其他任何参数即可进行迁移学习, 这将为训练节省大量时间. 为了证明FDiffNet模型在迁移学习方面的优越性, 在DNS流场重建上, 对比了FDiffNet_res直接在$ \alpha $ = 4下训练65000步与FDiffNet_res在$ \alpha $ = 8下训练45000步之后迁移$ \alpha $ = 4下训练65000步的客观评价指标, 如图7所示. 经过迁移学习FDiffNet模型在训练的稳定性提高, 相比随机初始化的FDiffNet模型训练方式, 其重建精度PSNR与SSIM值提升更快, 可以大幅节省模型的训练时间与成本. FDiffNet模型在训练α = 8低等分辨率的流场重建过程中已经学习到该种流场分布规律, 因此在迁移到α = 4中等分辨率流场时可以更快适应由下采样因子变化引起学习分布的差异.
![]()
图 7 FDiffNet在迁移学习和非迁移学习上性能表现Figure 7. FDiffNet performs on transfer learning and non-transfer learning3.3 速度场重建精度评价
为直观展示不同方法流场重建能力, 选取传统Bicubic方法、深度学习SRCNN方法、FDiffNet_Nres方法以及FDiffNet_res方法进行对比, 在低等分辨率$ \alpha $ = 8下速度场的重建可视化结构如图8所示, 其中颜色条表示速度u的大小. 对于每个流动情况, PSNR和SSIM值都在重建的流场下面给出. 通过双三次插值方法重建的流场相对平滑, 相比之下深度学习方法会展现更多流场细节. 其中FDiffNet方法性能表现最优, 相较SRCNN方法可以优化流场中更加精细化的结构, 例如在JHTDB channel流场数据红框内的涡流应是纺锤型, 而SRCNN直接重建成一个点, 相比之下FDiffNet则完整重建了涡结构. 这是由于所用LR编码器充分提取了低分辨率流场特征, 并在重建流场的过程中并不是一步重建, 而是通过DPM-solver采样器从噪声中逐步恢复流场的. 用FDiffNet预测HR流场残差性能略优于直接预测HR流场, 在重建流场数据方面是与原始HR流场更具有一致性, 在图像上也可直观地看出FDiffNet_res重建的流场更贴合真实流场.
![]()
图 8 不同方法在$ \alpha $ = 8下重建速度场的比较Figure 8. Comparison of different methods to reconstruct velocity fields at $ \alpha $ = 83.4 涡量场重建精度评价
由于在训练过程中未直接考虑涡度, 因此涡度可作为评估模型学习表现的良好指标. 在低等分辨率$ \alpha $ = 8下涡量场的重建可视化结构如图9所示, 其中颜色条表示涡量的大小, DNS湍流和SQG包含更多的涡结构, 可以显著揭示重建流场的细节. 类似于速度场的重建结果, 使用FDiffNet预测HR流场残差, 其重建效果最优. 相比之下, 双三次方法重建的涡量场十分模糊, 缺乏流场信息, 而SRCNN方法重建的涡量场很粗糙, 并且无法正确估计涡边缘结构. 然而, FDiffNet则可以有效重建涡量场的细节部分, 并且和真实涡量场一样平滑, 这证明了FlowDiffusionNet模型的实用性.
![]()
图 9 不同方法在$ \alpha $ = 8下重建涡量场的比较Figure 9. Comparison of different methods to reconstruct vortex fields at $ \alpha $ = 83.5 计算效率对比
根据运行时间和模型大小评估了模型的计算效率, 如表3所示. 为了公平比较, 每种方法都在同一台机器上配备了相同的 Intel Core i7-12700 CPU 和 NVIDIA RTX 3060 GPU. 另外, 我们以超低等分辨率$ \alpha $ = 16的DNS湍流流场为例. 注意运行时间是100个测试流场的累计时间.
表 3 不同方法的计算效率对比Table 3. Comparison of computational efficiency of different methodsModel Running time/ms Model size/kB bicubic 1 — SRGAN 328 5939 SRCNN 21 472 FlowDiffusionNet 58213 69703 如表3所示, 可以看出FlowDiffusionNet模型在计算效率上存在一定劣势, 与基线的生成模型SRGAN相比, 推理过程更加耗时, 这是因为GAN的采样只需要一次神经网络前馈过程, 而扩散模型则需要多步神经网络前馈. 即使本文已经使用了最先进的采样方法将原始的上百步前馈缩小至10步以内, 但在推理100测试流场所用总时间仍达到了58 s.
4. 结 论
本文提出了一种基于扩散模型的方法, 用于不同流场数据集的超分辨率重建. 该模型优化了原始的DDPM网络结构, 增加了自注意力层, 并应用LR编码器高效提取LR流场信息. 为了提高模型重构HR流场速度, 选用了DPM-solver采样器进行推理. 本研究得到以下结论.
(1)针对输入的不同低分辨率流场数据, 与传统插值方法、基于深度学习的SRGAN和SRCNN方法相比, 所提出的FlowDiffusionNet模型可以高精度地重建流场数据. 在各种经典流场重建中, 应用提出的模型FlowDiffusionNet预测HR流场残差的性能表现比直接预测HR流场更加优异.
(2) FlowDiffusionNet模型具有良好的泛化能力, 适用于多种复杂湍流流场的超分辨率重建工作. 在实验中, FlowDiffusionNet模型表现十分稳定, 在$ \alpha $ = 4和$ \alpha $ = 8不同分辨率流场重建任务上, 客观评价指标SSIM波动值小于0.014.
(3) FlowDiffusionNet模型可以高精度地重建涡结构, 对于DNS和SQG流场, 即使在$ \alpha $ = 16超低分辨率下, 其客观评价指标也可以达到0.98以上. FlowDiffusionNet模型还具有较好的迁移性, 在训练阶段可以节省大量时间.
(4)与文中其他方法相比, FlowDiffusionNet模型在速度场和涡量场可视化中展示了更多流场重建细节. 尤其对于在训练中未直接考虑的涡量场, FlowDiffusionNet模型仍然具有较好的重建效果, 而其他方法的重建性能则大幅降低.
该工作证明了扩散模型在流场超分辨率重建任务中的巨大潜力. 未来将研究模型轻量化, 从而实现低成本和高精度的重建.
-
![]()
图 1 FlowDiffusionNet 模型重建高保真流场的原理
Figure 1. The principle of FlowDiffusionNet model to reconstruct high-fidelity flow field
![]()
图 2 FlowDiffusionNet的总体网络框架
Figure 2. The overall network framework for FlowDiffusionNet
![]()
图 7 FDiffNet在迁移学习和非迁移学习上性能表现
Figure 7. FDiffNet performs on transfer learning and non-transfer learning
![]()
图 8 不同方法在$ \alpha $ = 8下重建速度场的比较
Figure 8. Comparison of different methods to reconstruct velocity fields at $ \alpha $ = 8
![]()
图 9 不同方法在$ \alpha $ = 8下重建涡量场的比较
Figure 9. Comparison of different methods to reconstruct vortex fields at $ \alpha $ = 8
表 1 不同流场SR训练集与测试集数量
Table 1 Number of SR training and test sets for different flow fields
Cases nos. Case name Train data Test data 1 DNS turbulence 1600 400 2 JHTDB channel 1520 380 3 JHTDB isotropic 1600 400 4 JHTDB MHD 640 160 5 SQG 1200 300 
下载: 导出CSV
表 2 在下采样因子为4, 8, 16下不同方法的性能表现
Table 2 Performance of different methods with downsampling factors of 4, 8, 16
$ \alpha $ Flow cases Bicubic SRGAN SRCNN FDiffNet_Nres FDiffNet_res PSNR/SSIM PSNR/SSIM PSNR/SSIM PSNR/SSIM PSNR/SSIM 4 DNS turbulence 20.057/0.760 31.373/0.920 35.314/0.957 50.259/0.997 58.048/0.999 JHTDB channel 34.824/0.893 40.324/0.922 45.733/0.971 44.419/0.983 47.272/0.983 JHTDB isotropic 25.514/0.821 34.974/0.935 36.028/0.946 48.284/0.995 50.371/0.996 JHTDB MHD 24.986/0.837 32.049/0.901 32.351/0.916 37.373/0.968 38.078/0.973 SQG 22.190/0.730 33.718/0.897 37.143/0.937 51.597/0.997 60.659/0.999 8 DNS turbulence 16.408/0.618 31.115/0.912 32.988/0.934 41.708/0.989 48.267/0.997 JHTDB channel 31.347/0.820 38.539/0.899 41.193/0.944 41.753/0.974 46.562/0.978 JHTDB isotropic 22.131/0.723 22.164/0.723 33.363/0.912 38.945/0.977 42.738/0.982 JHTDB MHD 21.592/0.748 29.636/0.855 31.059/0.887 34.445/0.953 35.499/0.961 SQG 18.676/0.595 31.634/0.850 34.468/0.900 42.722/0.986 46.004/0.991 16 DNS turbulence 9.464/0.321 28.902/0.877 31.165/0.914 32.163/0.958 37.413/0.979 JHTDB channel 26.168/0.647 30.638/0.709 30.795/0.744 32.505/0.813 33.191/0.819 JHTDB isotropic 16.626/0.514 24.074/0.687 25.132/0.723 30.418/0.872 31.642/0.881 JHTDB MHD 16.305/0.555 21.286/0.609 22.831/0.674 22.957/0.754 24.589/0.776 SQG 12.637/0.336 29.163/0.804 29.972/0.826 39.073/0.981 42.534/0.987
下载: 导出CSV
表 3 不同方法的计算效率对比
Table 3 Comparison of computational efficiency of different methods
Model Running time/ms Model size/kB bicubic 1 — SRGAN 328 5939 SRCNN 21 472 FlowDiffusionNet 58213 69703
下载: 导出CSV
-
[1] Yang L, Zhang ZL, Song Y, et al. Diffusion models: A comprehensive survey of methods and applications. arXiv, 2022: 2209.00796
[2] Yu C, Bi X, Fan Y. Deep learning for fluid velocity field estimation: A review. Ocean Engineering, 2023, 271: 113693 doi: 10.1016/j.oceaneng.2023.113693
[3] 陈皓, 郭明明, 田野等. 卷积神经网络在流场重构研究中的进展. 力学学报, 2022, 54(9): 2343-2360 (Chen Hao, Guo Mingming, Tian Ye, et al. Progress of convolutional neural network in flow field reconstruction. Chinese Journal of Theoretical and Applied Mechanics, 2022, 54(9): 2343-2360 (in Chinese) Chen Hao, Guo Mingming, Tian Ye, et al. Progress of Convolutional Neural Network in Flow Field Reconstruction. Chinese Journal of Mechanics, 2022, 54(9): 2343-2360(in Chinese))
[4] Guo X, Li W, Iorio F. Convolutional neural networks for steady flow approximation//22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, San Francisco. Assoc Computing Machinery, 2016: 481-490
[5] Lee Y, Yang H, Yin Z. PIV-DCNN: cascaded deep convolutional neural networks for particle image velocimetry. Experiments in Fluids, 2017, 58: 1-10 doi: 10.1007/s00348-016-2278-6
[6] Cai S, Liang J, Gao Q, et al. Particle image velocimetry based on a deep learning motion estimator. IEEE Transactions on Instrumentation and Measurement, 2019, 69(6): 3538-3554
[7] Lagemann C, Lagemann K, Mukherjee S, et al. Deep recurrent optical flow learning for particle image velocimetry data. Nature Machine Intelligence, 2021, 3(7): 641-651 doi: 10.1038/s42256-021-00369-0
[8] Dong C, Loy CC, He K, et al. Image super-resolution using deep convolutional networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 38(2): 295-307
[9] Kim J, Lee J K, Lee KM. Accurate image super-resolution using very deep convolutional networks//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 29th IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas. Institute of Electrical and Electronics Engineers Inc, 2016: 1646-1654
[10] Ledig C, Theis L, Huszár F, et al. Photo-realistic single image super-resolution using a generative adversarial network//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 30th IEEE Conference on Computer Vision and Pattern Recognition, Honolulu. Institute of Electrical and Electronics Engineers Inc, 2017: 4681-4690
[11] Tong T, Li G, Liu X, et al. Image super-resolution using dense skip connections//Proceedings of the IEEE international conference on computer vision, 16th IEEE International Conference on Computer Vision, Venice. Institute of Electrical and Electronics Engineers Inc, 2017: 4799-4807
[12] Zhang Y, Li K, Li K, et al. Image super-resolution using very deep residual channel attention networks//Lecture Notes in Computer Science, 15th European Conference on Computer Vision (ECCV), Munich. Springer Verlag, 2018: 286-301
[13] Lee J, Lee S, You D. Deep learning approach in multi-scale prediction of turbulent mixing-layer. arXiv, 2018: 1809.07021
[14] Deng Z, He C, Liu Y, et al. Super-resolution reconstruction of turbulent velocity fields using a generative adversarial network-based artificial intelligence framework. Physics of Fluids, 2019, 31(12): 125111 doi: 10.1063/1.5127031
[15] Wang X, Yu K, Wu S, et al. Esrgan: Enhanced super-resolution generative adversarial networks//Lecture Notes in Computer Science, 15th European Conference on Computer Vision, Munich, 2018. Springer Verlag, 2019: 63-79
[16] Fukami K, Fukagata K, Taira K. Super-resolution reconstruction of turbulent flows with machine learning. Journal of Fluid Mechanics, 2019, 870: 106-120 doi: 10.1017/jfm.2019.238
[17] Liu B, Tang J, Huang H, et al. Deep learning methods for super-resolution reconstruction of turbulent flows. Physics of Fluids, 2020, 32(2): 025105 doi: 10.1063/1.5140772
[18] Kong C, Chang JT, Li YF, et al. Deep learning methods for super-resolution reconstruction of temperature fields in a supersonic combustor. AIP Advances, 2020, 10(11): 115021 doi: 10.1063/5.0030040
[19] Ferdian E, Suinesiaputra A, Dubowitz DJ, et al. 4 DFlowNet: super-resolution 4D flow MRI using deep learning and computational fluid dynamics. Frontiers in Physics, 2020, 8: 138 doi: 10.3389/fphy.2020.00138
[20] Fukami K, Fukagata K, Taira K. Machine-learning-based spatio-temporal super resolution reconstruction of turbulent flows. Journal of Fluid Mechanics, 2021, 909: A9 doi: 10.1017/jfm.2020.948
[21] Bi X, Liu A, Fan Y, et al. FlowSRNet: A multi-scale integration network for super-resolution reconstruction of fluid flows. Physics of Fluids, 2022, 34(12): 127104 doi: 10.1063/5.0128435
[22] Raissi M, Perdikaris P, Karniadakis GE. Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations. Journal of Computational Physics, 2019, 378: 686-707 doi: 10.1016/j.jcp.2018.10.045
[23] Raissi M, Yazdani A, Karniadakis GE. Hidden fluid mechanics: Learning velocity and pressure fields from flow visualizations. Science, 2020, 367(6481): 1026-1030 doi: 10.1126/science.aaw4741
[24] Shu D, Li Z, Farimani AB. A physics-informed diffusion model for high-fidelity flow field reconstruction. Journal of Computational Physics, 2023, 478: 111972 doi: 10.1016/j.jcp.2023.111972
[25] Ho J, Jain A, Abbeel P. Denoising diffusion probabilistic models. Advances in Neural Information Processing Systems, 2020, 33: 6840-6851
[26] Song Y, Sohl-Dickstein J, Kingma DP, et al. Score-based generative modeling through stochastic differential equations. arXiv, 2020: 2011.13456
[27] Saharia C, Ho J, Chan W, et al. Image super-resolution via iterative refinement. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 45(4): 4713-4726
[28] Li H, Yang Y, Chang M, et al. Srdiff: Single image super-resolution with diffusion probabilistic models. Neurocomputing, 2022, 479: 47-59 doi: 10.1016/j.neucom.2022.01.029
[29] Liu J, Tang J, Wu G. Residual feature distillation network for lightweight image super-resolution//Computer Vision–ECCV 2020 Workshops, Glasgow, 2020. Springer International Publishing, 2020: 41-55
[30] Lu C, Zhou Y, Bao F, et al. Dpm-solver: A fast ode solver for diffusion probabilistic model sampling in around 10 steps. arXiv, 2022: 2206.00927
[31] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need//Proceedings of the 31st International Conference on Neural Information Processing Systems, December 2017: 6000-6010
[32] Carlier J. Second set of fluid mechanics image sequences. European Project Fluid Image Analysis and Description, Project No. FP6-513663, 2005
[33] Resseguier V, Mémin E, Chapron B. Geophysical flows under location uncertainty, Part II: Quasi-geostrophy and efficient ensemble spreading. Geophysical & Astrophysical Fluid Dynamics, 2017, 111(3): 177-208
[34] Li Y, Perlman E, Wan M, et al. A public turbulence database cluster and applications to study Lagrangian evolution of velocity increments in turbulence. Journal of Turbulence, 2008, 9: N31
[35] Song J, Meng C, Ermon S. Denoising diffusion implicit models. arXiv, 2020: 2010.02502
[36] Keys R. Cubic convolution interpolation for digital image processing. IEEE Transactions on Acoustics, Speech, and Signal Processing, 1981, 29(6): 1153-1160 doi: 10.1109/TASSP.1981.1163711
-
期刊类型引用(0)
其他类型引用(2)
计量
- 文章访问数:
- HTML全文浏览量:
- PDF下载量:
- 被引次数: 2
