ALUMINUM PLATE DEFECT DETECTION BASED ON MULTILEVEL LSTM
-
摘要: 铝板因其优良的抗疲劳性和延展性广泛应用于航空航天和建筑等领域. 然而在生产过程中, 由于外部环境、操作工艺等的限制往往会产生各种各样的缺陷, 从而影响其力学性能, 例如会降低铝材料的强度、延展性和韧性等, 导致其使用寿命的缩短. 在单次发射和接收超声波的情况下, 论文提出了多层级长短期记忆(long short-term memory, LSTM)神经网络的方法, 用于辅助检测铝板的夹杂(气泡)缺陷. 利用有限元软件COMSOL Multiphysics模拟含有夹杂缺陷的铝板中超声波的传播过程, 导出含有缺陷信息的波形数据, 通过训练波形数据, 得到可以反映波形数据与夹杂缺陷大小和位置关系的网络模型. 此外, 该模型采用硬投票的方法以缓解网络训练过程中繁杂的参数调整问题, 提高了检测结果的可靠性. 结果表明: 夹杂缺陷半径检测的准确率超过了98%, 夹杂缺陷深度检测的准确率达到1, 夹杂缺陷横坐标位置检测的准确率超过95%. 为LSTM神经网络应用于超声无损检测提供了借鉴.Abstract: Aluminum plates are widely used in fields such as aviation, aerospace, and construction due to their excellent fatigue resistance and ductility. However, during the production process, various defects can occur due to external environmental factors, operating processes and so on. These defects can affect the mechanical properties of aluminum plates, such as reducing their strength, ductility, and toughness, which leads to a shortened service life. This article proposes a method of using a multilevel long short-term memory (LSTM) neural network for assisting the detection of inclusions (void defects) in aluminum plates under the condition of single transmission and reception of ultrasonic waves. The propagation of ultrasonic waves in an aluminum plate containing inclusion defects is simulated using the finite element software COMSOL Multiphysics. Waveform data containing defect information is then derived. By training the waveform data, a neural network model reflecting the relationship between waveform data and the size and location of inclusions is obtained. In addition, we adopt a hard voting method to alleviate the problem of complex parameter adjustment during network training and improve the reliability of the detection results. The results show that the accuracy of radius detection for inclusion defects exceeds 98%, the accuracy of depth detection for inclusion defects reaches 1, and the accuracy of horizontal position detection for inclusion defects exceeds 95%. It provides reference for the application of LSTM neural network in ultrasonic non-destructive testing.
-
Keywords:
- multilevel LSTM /
- aluminum inclusion defect /
- ultrasound /
- finite element analysis
-
引言
铝是一种重要的轻金属材料, 因其良好的性能和广泛的应用场景而成为了现代工业中最常用的材料之一. 然而, 在铝材料的制造和加工过程中, 极易出现缺陷, 这些缺陷会对铝材料的性能和质量造成负面影响[1-2], 例如会降低铝材料的强度、延展性和韧性, 缩短其使用寿命, 降低其表面质量和外观等.
所以, 在铝材料的生产和加工过程中, 对其进行严格的质量控制是非常必要的. 然而, 气泡缺陷的问题不可避免地会在铝材料的制造和加工过程中存在, 为了缓解此问题, 可以采取一系列措施, 如控制熔化和凝固过程的温度和压力、控制气体含量和流动速度、采用合适的气体排除方法等[3]. 此外, 还可以采用现代化的无损检测技术, 如超声波检测[4-5]、声发射[6]、X射线检测[7]和磁粉检测[8]等, 来检测和定位气泡缺陷. 这些技术可以帮助生产和加工人员及时发现气泡缺陷, 采取必要的措施来修复或移除缺陷, 从而提高产品的质量和性能.
超声波可以检测铝板中的裂纹和夹杂等缺陷, 其原理是将超声波信号通过发射器传入铝板中, 超声波信号在传播过程中, 如果遇到不均匀性会产生反射和散射, 这些反射和散射的信号会被接收器接收, 并转化为电信号以供处理和分析. 通过对接收信号进行分析和处理, 可以得到铝板中缺陷的位置、大小和形状等信息, 从而进行有效的缺陷检测和评估. Cho等[9]使用超声波引导波进行了板结构疲劳裂纹生长的结构健康监测, 通过数值模拟和实验验证了超声波引导波检测疲劳裂纹生长的可行性, 并提出一种基于超声波引导波的疲劳裂纹生长监测方法. Junping等[10]介绍了超声引导波的原理和检测方法, 并设计一个检测系统来检测铝护套的缺陷. 然后, 通过实验对不同类型的缺陷进行检测, 结果表明, 超声引导波可以有效地检测到这些缺陷, 并且检测结果与实际情况相符, 为高压电缆铝护套的定期检测和维护提供有力的支持. Tiwari等[11]提出一种新的缺陷估计算法, 该算法利用图像处理技术对超声信号进行分析和处理, 以实现玻璃纤维增强塑料材料中脱黏型缺陷的位置和大小的估计. Hasiotis等[12]采用超声检测方法对复合材料试样进行多种人工缺陷的定位, 结果显示不同材料定位的检测精度不同, 具有一定的局限性. 所以超声检测得到的波形数据内包含着材料中缺陷的信息, 研究这些数据可以获得缺陷的性质, 但是检测到的波形数据会出现缺陷波、回波和杂质波相似的情况, 这些情况会极大地影响缺陷的定位, 而且需要质检人员熟悉材料的工艺特性. 因此, 这种方法主观因素影响较大, 易产生误差.
近年来, 神经网络技术广泛应用于无损检测领域, 取得了大量的研究成果, 有效解决了主观因素影响大的问题. 一方面, 神经网络可以通过学习样本数据, 实现对缺陷的自动识别和分类. 在无损检测中, 样本数据通常包括已知缺陷和正常状态的物体图像或信号数据, 通过对这些数据的训练, 可以让神经网络学习到不同类型的缺陷特征, 从而实现对未知缺陷的准确识别和分类. 例如利用卷积神经网络(CNN)等深度学习模型, 对物体表面或内部缺陷的图像进行自动识别和分类[13-17], 利用循环神经网络(RNN)等模型, 对声波和电磁波等信号进行处理和分析, 实现对物体内部的缺陷检测[18-20]. 另一方面, 神经网络还可以通过数据融合的方式, 提高无损检测的准确性和可靠性. 数据融合是指将来自不同传感器或检测方法的数据进行融合, 从而获得更全面、更准确的缺陷信息. 总之, 神经网络在辅助超声波缺陷检测方面具有极大的优势和潜力.
为了检测铝板中气泡缺陷的信息, 本文建立了超声波探测铝板缺陷的有限元模型, 并导出波形信号, 利用多层级长短期记忆(LSTM)神经网络对信号进行分析和处理, 最终可以检测到气泡的大小和位置. 该方法提高了超声缺陷检测的效率, 得到的信号不需要经过深层处理且神经网络不受人为挑选信号特征的影响, 避免了人为因素的干扰, 拓展了LSTM神经网络的适用领域, 为日后的实际应用奠定了基础.
1. LSTM神经网络
RNN是一种用于处理序列数据的人工神经网络[21], 其结构如图1所示. RNN具有记忆功能, 能够保存之前处理的信息, 并将其作为下一步的输入, 它在处理语言、音频和时间序列数据等方面具有优势, 已经广泛应用于自然语言处理[22]、语音识别[23]、机器翻译[24]和音乐生成[25]等领域. RNN的核心是隐藏状态, 也称为记忆单元. 在每个时间步, 隐藏状态接收当前输入${{\boldsymbol{X}}_t}$和上一个时间步的隐藏状态${{\boldsymbol{S}}_{t{{ - 1}}}}$作为输入, 并计算出当前时间步的输出${{\boldsymbol{M}}_t}$和新的隐藏状态${{\boldsymbol{S}}_t}$. 所以RNN可以将之前的信息传递到下一个时间步, 从而捕捉到序列数据的时间依赖性, 它通过在序列数据的演进方向进行递归的方式, 有效解决了数据序列的建模问题.
图1中${{\boldsymbol{M}}_{t - 1}}$是上一个时刻的输出, ${{\boldsymbol{X}}_{t - 1}}$是上一个时刻的输入, ${{\boldsymbol{M}}_{t + 1}}$是下一个时刻的输出, 而${{\boldsymbol{X}}_{t + 1}}$是下一个时刻的输入, ${{\boldsymbol{S}}_{t + 1}}$是下一个时刻的隐藏状态, RNN的输出及隐藏状态的更新可以由如下公式表示
$$ \begin{split} & {{\boldsymbol{S}}_t} = {f_m}\left( {{{\boldsymbol{W}}_{aS}}{{\boldsymbol{S}}_{t - 1}} + {{\boldsymbol{W}}_{aX}}{{\boldsymbol{X}}_t} + {{\boldsymbol{b}}_a}} \right) = \\ &\qquad {f_m}\left( {\left[ {{{\boldsymbol{W}}_{aS}} \left. {{{\boldsymbol{W}}_{aX}}} \right]} \right.\left[ \begin{gathered} {{\boldsymbol{S}}_{t - 1}} \\ {{\boldsymbol{X}}_t} \\ \end{gathered} \right] + {{\boldsymbol{b}}_a}} \right) = \\ &\qquad {f_m}\left( {{{\boldsymbol{W}}_a}\left[ {{{\boldsymbol{S}}_{t - 1}},{{\boldsymbol{X}}_t}} \right] + {{\boldsymbol{b}}_a}} \right) \end{split} $$ (1) $$ {{\boldsymbol{M}}_t} = {f_l}\left( {{{\boldsymbol{W}}_b}{{\boldsymbol{S}}_t} + {{\boldsymbol{b}}_b}} \right) $$ (2) 其中, ${{\boldsymbol{W}}_{aS}}$, ${{\boldsymbol{W}}_{aX}}$, ${{\boldsymbol{W}}_a}$和${{\boldsymbol{W}}_b}$是网络的权重矩阵, $\left[ {{{\boldsymbol{S}}_{t - 1}},{{\boldsymbol{X}}_t}} \right]$是$t$时刻的输入矩阵, ${{\boldsymbol{b}}_a}$和${{\boldsymbol{b}}_b}$是网络的偏置向量, ${f_l}$和${f_m}$是激活函数.
理论上, RNN是一种能够处理任意长度数据的神经网络模型, 但在实际应用中存在一定的限制. 为了训练RNN模型, 通常采用基于反向传播(BPTT)算法[26-28]的梯度下降方法, 该方法的核心思想是, 将每个时间步的参数梯度视为一个序列, 并在整个序列上应用链式法则来计算梯度. 具体而言, 假设${\boldsymbol{L}}$是损失函数, ${{\boldsymbol{\theta }}_0}$是所有参数的集合, 在时间步$t$上, 将损失函数${{\boldsymbol{L}}_t}$与当前时间步的参数${{\boldsymbol{\theta }}_t}$相关联. 对于当前时间步的隐藏状态${{\boldsymbol{h}}_t}$, 它依赖于前一个时间步的隐藏状态${{\boldsymbol{h}}_{t - 1}}$和当前时间步的输入${{\boldsymbol{X}}_t}$. 因此, 可以用链式法则来计算损失函数对参数的梯度
$$ \frac{{\partial {{\boldsymbol{L}}_t}}}{{\partial {{\boldsymbol{\theta }}_t}}} = \frac{{\partial {{\boldsymbol{L}}_t}}}{{\partial {{\boldsymbol{h}}_t}}}\frac{{\partial {{\boldsymbol{h}}_t}}}{{\partial {{\boldsymbol{\theta }}_t}}} $$ (3) 其中, ${{\partial {{\boldsymbol{L}}_t}} \mathord{\left/ {\vphantom {{\partial {{\boldsymbol{L}}_t}} {\partial {{\boldsymbol{h}}_t}}}} \right. } {\partial {{\boldsymbol{h}}_t}}}$表示损失函数关于当前时间步的隐藏状态的梯度, ${{\partial {{\boldsymbol{h}}_t}} \mathord{\left/ {\vphantom {{\partial {{\boldsymbol{h}}_t}} {\partial {{\boldsymbol{\theta }}_t}}}} \right. } {\partial {{\boldsymbol{\theta }}_t}}}$表示当前时间步的隐藏状态关于参数的梯度. 在进行反向传播时, 需要计算每个时间步的梯度, 然后将它们加起来得到整个序列的梯度.
由于在RNN中, 每个时间步的隐藏状态${{\boldsymbol{S}}_t}$都依赖于上一个时间步的隐藏状态${{\boldsymbol{S}}_{t - 1}}$, 因此, 当梯度在反向传播时, 如果梯度乘以一个大于1的数, 那么梯度就会不断地放大, 最终导致梯度爆炸. 而LSTM是常用的RNN变种, 它通过添加门控机制来控制信息的流动, 进一步提高了RNN的稳定性. LSTM的结构如图2所示.
图2中${\boldsymbol{h}}$表示隐藏状态, 它对短期输入非常敏感, ${\boldsymbol{C}}$用于存储长期状态, 也被称为细胞状态, ${{\boldsymbol{y}}_{t - 1}}$和${{\boldsymbol{y}}_{t + 1}}$分别是$t - 1$和$t + 1$时刻的输出向量. ${{\boldsymbol{h}}_{t - 2}}$和${{\boldsymbol{h}}_{t + 1}}$分别是$t - 2$和$t + 1$时刻的隐藏状态, ${{\boldsymbol{C}}_{t - 2}}$和${{\boldsymbol{C}}_{t + 1}}$分别是$t - 2$和$t + 1$时刻的细胞状态. 时间为$t$时, LSTM有3个输入: 当前时间的网络输入值${{\boldsymbol{X}}_t}$、上一时间步的LSTM输出值${{\boldsymbol{h}}_{t - 1}}$以及上一时间步的细胞状态${{\boldsymbol{C}}_{t - 1}}$. LSTM有3个输出: 当前时间的隐藏状态${{\boldsymbol{h}}_t}$、细胞状态${{\boldsymbol{C}}_t}$和输出值${{\boldsymbol{y}}_t}$.
图3展示了LSTM的单个节点的结构图. 绿色虚线框代表输入, 棕色虚线框代表输出. 单元的状态由门控开关控制, 门控开关是一个全连接层, 输入是一个向量, 输出是一个取值范围为0 ~ 1的实数向量. 第一个开关用于控制长期状态的保留, 即遗忘门. 遗忘门读取${{\boldsymbol{h}}_{t - 1}}$和${{\boldsymbol{X}}_t}$, 对于状态${{\boldsymbol{C}}_{t - 1}}$中的每个数值输出一个介于0 ~ 1之间的值. 值为1表示“完全保留”, 值为0表示“完全丢弃”. 遗忘门可以由下式表示
$$ {\left[ {{{\boldsymbol{q}}_t}} \right]_{n \times m}} = \sigma \left( {{{\left[ {{{\boldsymbol{W}}_c}} \right]}_{n \times \left( {n + 1} \right)}}{{\boldsymbol{R}}_{\left( {n + 1} \right) \times m}} + {{\left[ {{{\boldsymbol{b}}_c}} \right]}_{n \times m}}} \right) $$ (4) 其中, ${{\boldsymbol{q}}_t}$代表遗忘门, ${{\boldsymbol{W}}_c}$代表权重矩阵, $ {\boldsymbol{R}} = \left[ {{{\boldsymbol{h}}_{t - 1}};{{\boldsymbol{X}}_t}} \right] $是输入矩阵, ${{\boldsymbol{b}}_c}$是偏置矩阵, $n$为神经网络神经元的数目, $m$为输入序列的长度, $\sigma $是sigmoid函数, 可由下式表示
$$ \sigma \left( x \right) = \frac{1}{{1 + {{\rm{e}}^{ - x}}}} $$ (5) 第2个开关用于将当前状态输入到被称为输入门的长期状态中, 从而决定在状态中存储哪些新信息. 输入门由两部分组成: 第一部分是一个sigmoid层, 它决定将更新哪些值; 另一部分是一个tanh层, 它创建一个新的候选值向量${{\boldsymbol{k}}_t}$, 该向量会被添加到状态中. 这可由下式表示
$$ {\left[ {{{\boldsymbol{i}}_t}} \right]_{n \times m}} = \sigma \left( {{{\left[ {{{\boldsymbol{W}}_e}} \right]}_{n \times \left( {n + 1} \right)}}{{\boldsymbol{R}}_{\left( {n + 1} \right) \times m}} + {{\left[ {{{\boldsymbol{b}}_e}} \right]}_{n \times m}}} \right) $$ (6) $$ {\left[ {{{\boldsymbol{k}}_t}} \right]_{n \times m}} = \tanh \left( {{{\left[ {{{\boldsymbol{W}}_d}} \right]}_{n \times \left( {n + 1} \right)}}{{\boldsymbol{R}}_{\left( {n + 1} \right) \times m}} + {{\left[ {{{\boldsymbol{b}}_d}} \right]}_{n \times m}}} \right) $$ (7) 其中, ${{\boldsymbol{i}}_t}$代表输入门, ${{\boldsymbol{W}}_e}$和${{\boldsymbol{W}}_d}$代表权重矩阵, ${{\boldsymbol{b}}_e}$和${{\boldsymbol{b}}_d}$代表偏置矩阵, tanh是双曲正切函数, 可用如下公式表示
$$ \tanh (x) = \frac{{{{\rm{e}}^x} - {{\rm{e}}^{ - x}}}}{{{{\rm{e}}^x} + {{\rm{e}}^{ - x}}}} $$ (8) 第3个开关控制是否输出当前的长期状态, 也就是输出门, 它决定了需要输出什么值. 它首先使用sigmoid层来确定哪一部分单元状态需要输出, 然后将该部分单元状态通过一个tanh函数(它产生介于−1和1之间的值), 并与sigmoid层的输出相乘, 最后得到输出值. 这个过程可以用以下公式来表示
$$ {\left[ {{{\boldsymbol{p}}_t}} \right]_{n \times m}} = \sigma \left( {{{\left[ {{{\boldsymbol{W}}_g}} \right]}_{n \times \left( {n + 1} \right)}}{{\boldsymbol{R}}_{\left( {n + 1} \right) \times m}} + {{\left[ {{{\boldsymbol{b}}_g}} \right]}_{n \times m}}} \right) $$ (9) $$ {\left[ {{{\boldsymbol{C}}_t}} \right]_{n \times m}} = {\left[ {{{\boldsymbol{C}}_{t - 1}}} \right]_{n \times m}} \odot {\left[ {{{\boldsymbol{q}}_t}} \right]_{n \times m}} + {\left[ {{{\boldsymbol{i}}_t}} \right]_{n \times m}} \odot {\left[ {{{\boldsymbol{k}}_t}} \right]_{n \times m}} $$ (10) $$ {\left[ {{{\boldsymbol{h}}_t}} \right]_{n \times m}} = {\left[ {{{\boldsymbol{p}}_t}} \right]_{n \times m}} \odot \tanh \left( {{{\left[ {{{\boldsymbol{C}}_t}} \right]}_{n \times m}}} \right) $$ (11) 本文中使用的双向LSTM是LSTM模型的改进版本, 它不同于传统的LSTM模型, 双向LSTM通过向模型添加一个反向的LSTM层, 以实现同时利用两个方向(前面和后面)的信息进行预测[29]. 相比之下, 传统的LSTM模型只能使用前面的信息来进行预测, 并且无法纳入当前时间之后的信息[30]. 具体而言, 双向LSTM将序列从前面和后面分别输入到两个LSTM层中, 每个层都有自己的隐藏状态和输出. 然后这两个层的输出组合起来产生最终的输出. 双向LSTM的优点在于它能够更好地捕捉序列中的长期依赖关系, 并处理输入序列中的噪声和变化. 因此, 它已经广泛应用于序列建模任务, 如自然语言处理[31]和语音识别[32]. 本文中使用的双向LSTM共有3层, 分别是双向LSTM层, 隐藏层和输出层, 其结构图如图4所示.
2. 超声波的数值模拟
通过有限元软件COMSOL Multiphysics中的“弹性波”物理场建立了铝板的超声检测模型, 如图5所示. 其中, 模型的宽为60 mm, 高为30 mm, 边界的反射回波与缺陷的反射回波之间有一定的时间差, 为了简化处理, 本文将材料的左右和底部边界设为了低反射边界. 材料参数如表1所示.
表 1 模型的材料参数Table 1. Material parameters of the modelMaterial Density/(kg·m−3) Young's modulus/GPa Poisson's ratio aluminium 2700 70 0.33 在进行超声波仿真模拟时, 在铝板上施加指定速度作为超声波的激励信号, 本文选择了生成简单、无需调试的单脉冲正弦波作为激励信号, 激励信号公式如下所示
$$ \left.\begin{split} & f(t) = 2\exp \left\{ { - {{\left[ {(t - 1.5{T_0})/({T_0}/2)} \right]}^2}} \right\}\sin (2\text{π} {\tau _0}t)\\ &\qquad\qquad 0 \leqslant t \leqslant {T_1},{\text{ }}{T_1} = 10{T_0} \end{split}\right\}$$ (12) 其中, $f(t)$代表激发的信号, ${T_0}$是信号的周期, ${\tau _0}$是信号的频率, $t$代表时间.
在采集信号时, 采用一发一收的形式对信号进行采集. 如图6所示, 超声发射器将超声波发射到样品中, 超声接收器将反射回来的信号接收并记录下来. 收集到的信号可用于计算材料的声学特性和检测材料中的缺陷, 例如裂纹和空洞等. 图6中黄色和绿色的线代表了本文数据集中气泡可能出现的位置.
![]()
图 6 信号收发示意图 (单位: mm)Figure 6. Schematic diagram of signal receiving and sending (unit: mm)在无损检测中, 超声波的频率是影响检测灵敏度和检测能力的重要参数之一. 一般来说, 超声波的频率越高, 检测能力越好, 可以检测到更小的裂纹. 但是频率过高也会带来一定的问题, 例如衰减严重和穿透深度变浅等. 所以本章采用的是频率为${\tau _0} = 2.5$MHz的信号, 激励信号的波形如图7所示.
在发射激励信号后, 超声波在铝板中传播, 会遇到内部缺陷而发生反射, 这部分反射波会被接收装置接收. 如果铝板中没有缺陷, 则不会有反射回波被接收. 从反射回波中获取信息, 可反映出缺陷的位置和大小. 图8(a)和图8(b)可以观察到有缺陷和无缺陷的反射回波之间的差别. 本文的模型在深度为10 mm和深度为20 mm处设置气泡, 缺陷大小有1 mm, 1.1 mm, 1.2 mm和1.3 mm这4种类型, 同一高度, 每隔0.05 mm取一个模型数据, 所以, 每个深度含有的数据量为2400个, 数据集总共有4800个模型数据.
3. 多层级分类策略
由于波形数据复杂, 计算机资源有限, 构建的神经网络无法一次性将气泡缺陷的所有特征检测到. 因此, 为了检测气泡缺陷的各个特征, 本文采用层层递进的方式将缺陷的特征逐层检测出来. 具体操作如下: 首先, 将所有模型信号按深度分为两类, 一类的深度为10 mm, 另一类深度为20 mm. 接着, 在同一深度, 根据气泡的大小将缺陷分为4类, 其半径分别是1 mm, 1.1 mm, 1.2 mm和1.3 mm. 同时, 按照横坐标位置的不同将缺陷分为30类. 具体细节如图9所示. 这种逐层检测的方法可以有效地区分缺陷的不同特征, 并提高检测准确率.
4. 神经网络输入输出后处理
4.1 波形数据处理
深度不同时, 波形数据的差异可以由图10(a)和图10(b)观察到, 这些差异性正是区分缺陷特征的关键信息, 这证明了人工检测缺陷特征的困难性, 并突显了多层级LSTM神经网络的优势. 且波形前期并无明显波动, 缺陷的反射波的到达时间不超过13 μs, 所以舍弃前后两部分数据, 从而减少在训练神经网络时无用数据的输入, 节省计算时间. 当各部分数据量不同时, 以数据量最小的波形为基准, 适当删除每0.001 μs中的数据量个数, 使训练集的输入维度统一, 统一后波形如图11所示.
4.2 输出处理
在处理输出数据时, 如果用输出位置的数值来表示, 会导致模型的准确率不够高. 独热(One-Hot)编码是一种常见的特征编码方法, 常用于机器学习中分类变量的处理. 其基本思想是将每个分类变量映射为一个二进制向量, 其中只有一位为1, 其余位均为0. 使用独热编码的分类特征更容易被计算机算法处理, 并且可以避免分类特征取值之间的大小和距离问题, 因此, 在许多机器学习的应用中, 独热编码是一个非常有用的数据预处理技术. 举例来说, 气泡缺陷可能分布在铝板的两个不同深度, (0,1)代表分布在深度为10 mm的缺陷, (1,0)代表分布在深度为20 mm的缺陷.
5. 铝板缺陷检测结果
首先LSTM神经网络将整个数据集分为两类: 气泡深度为10 mm的为第1类, 气泡深度为20 mm的为第2类, 具体分类情况如表2所示. 训练集和验证集的准确率随训练次数的变化如图12(a)所示, 其中accuracy表示训练集的准确率, val_accuracy表示验证集的准确率(下同). 测试集的结果如图12(b)所示, 红色菱形代表预测标签, 蓝色线条代表真实标签(下同). 在训练模型时, 信号数据有4800个, 其中有3888个作为训练集, 有432个作为验证集, 有480个作为测试集. 最终测试集全部预测准确, 结果准确率为1, 说明模型训练结果良好.
表 2 气泡深度分类Table 2. Classification of bubble depthCategory no. 1 2 Depth of bubble 10 mm 20 mm 当气泡深度为10 mm时, 按照气泡的半径大小可将气泡缺陷分为4类: 1 mm大小的是第1类; 1.1 mm的是第2类; 1.2 mm的是第3类; 1.3 mm的是第4类. 具体分类情况如表3所示. 训练集和验证集的准确率随训练次数的变化如图13(a)所示, 测试集的结果如图13(b)所示. 在训练模型时, 信号数据有2400个, 其中有1944个作为训练集, 有216个作为验证集, 有240个作为测试集. 最终测试集全部预测准确, 结果准确率为1, 说明模型训练结果良好.
表 3 气泡大小分类Table 3. Classification of bubble sizeCategory no. 1 2 3 4 Size of bubble 1 mm 1.1 mm 1.2 mm 1.3 mm 当气泡深度为20 mm时, 按照气泡的半径大小可将气泡缺陷分为4类: 1 mm大小的是第1类; 1.1 mm的是第2类; 1.2 mm的是第3类; 1.3 mm的是第4类. 训练集和验证集的准确率随训练次数的变化如图14(a)所示, 测试集的结果如图14(b)所示. 在训练模型时, 信号数据有2400个, 其中有1944个作为训练集, 有216个作为验证集, 有240个作为测试集. 最终测试集中有4个预测错误, 最大预测误差为0.1 mm, 结果准确率为98.3%, 说明模型训练结果良好.
当气泡深度位于10 mm时, 按照气泡的横坐标位置可以把气泡缺陷分为30类, 横坐标范围是: 15 ~ 45 mm, 每1 mm之间设置一类, 使气泡缺陷的横坐标位置精度为1 mm. 具体分类情况如表4所示. 训练集和验证集的准确率随训练次数的变化如图15所示, 测试集的结果如图16所示. 在训练模型时, 信号数据有2400个, 其中有1944个作为训练集, 有216个作为验证集, 有240个作为测试集. 最终测试集有13个预测错误, 最大预测误差为1 mm, 结果准确率为94.58%, 说明模型训练结果还有待提高.
表 4 气泡横坐标的分类Table 4. Classification of the abscissa of bubblesCategory no. The abscissa of the bubble Category no. The abscissa of the bubble 1 15 ~ 16 16 30 ~ 31 2 16 ~ 17 17 31 ~ 32 3 17 ~ 18 18 32 ~ 33 4 18 ~ 19 19 33 ~ 34 5 19 ~ 20 20 34 ~ 35 6 20 ~ 21 21 35 ~ 36 7 21 ~ 22 22 36 ~ 37 8 22 ~ 23 23 37 ~ 38 9 23 ~ 24 24 38 ~ 39 10 24 ~ 25 25 39 ~ 40 11 25 ~ 26 26 40 ~ 41 12 26 ~ 27 27 41 ~ 42 13 27 ~ 28 28 42 ~ 43 14 28 ~ 29 29 43 ~ 44 15 29 ~ 30 30 44 ~ 45 当气泡深度位于20 mm时, 同样按照气泡的横坐标位置把气泡缺陷分为30类, 横坐标范围是: 15 ~ 45 mm, 每1 mm之间设置一类. 训练集和验证集的准确率随训练次数的变化如图17所示, 测试集的结果如图18所示. 在训练模型时, 信号数据有2400个, 其中有1944个作为训练集, 有216个作为验证集, 有240个作为测试集. 最终测试集有8个预测错误, 最大预测误差为1 mm, 结果准确率为96.6%, 说明模型训练结果良好.
训练机器学习模型后, 模型的预测准确率并不总是100%. 有许多其他技术可以提高模型的预测准确率[33], 例如增加训练数据、调参和投票方法等. 本文为了减少预测误差, 采用了训练多个模型并通过投票过程进行决策的方法, 避免了繁复的调参问题. 结果表明, 在不同的气泡检测场景下, 硬投票方法都能有效地提高预测准确率. 图19展示的是使用3个不同模型对横坐标(气泡位于10 mm深度)检测的硬投票过程, 准确率由原来最高的94.58%提高到了95.83%, 预测错误数量由13个减少为10个. 同样地, 在气泡位于20 mm深度的横坐标的检测中, 使用了5个模型对该位置的气泡预测进行了硬投票, 准确率由原来最高的96.6%提高到了97.5%, 预测错误的数量由8个减少为6个, 可见硬投票是提高效率的优秀方法.
![]()
图 19 硬投票前后模型预测结果Figure 19. Predicted results of the model before and after hard voting6. 结论与展望
本文主要对有气泡缺陷的铝板进行了有限元仿真, 并通过激发超声波探测铝板的缺陷, 对气泡的位置和大小进行了研究. 本文得到主要结论如下.
(1)建立了铝板气泡缺陷的仿真模型, 模型可以模拟超声波的传播及遇到缺陷之后的反射, 并通过设置接收超声波反射波的探针, 导出了超声波信号, 为下一步的分析做了基础.
(2)建立了多层级的LSTM神经网络, 用于分析接收到的超声波信号, 网络经过训练后, 可以高效地、快速地对铝板的气泡缺陷进行预测和分类, 从而得到气泡缺陷的位置和大小, 结果表明, 经过模型的预测和硬投票之后, 气泡半径检测的准确率达到98%以上, 气泡深度检测的准确率达到1, 气泡横坐标位置检测的准确率在95%以上.
在处理铝板缺陷检测的情况时, 其水平位置的检测准确率达到了95%以上, 如需提高准确率, 可以将接收和发射装置同时向左移动1 mm, 用第1次训练好的模型对波形数据进行预测, 得出的结果应该比第1次预测的结果大1 mm. 再将两个装置向右移动1 mm, 用第1次的模型进行预测, 所得的结果应该比第1次预测的结果小1 mm, 比第2次预测的结果小2 mm. 在确定最终结果时, 同样采用硬投票的方法, 将出现频率最高的结果作为最终的决策. 这种改进方法可以提高缺陷检测的准确性.
-
![]()
图 6 信号收发示意图 (单位: mm)
Figure 6. Schematic diagram of signal receiving and sending (unit: mm)
![]()
图 19 硬投票前后模型预测结果
Figure 19. Predicted results of the model before and after hard voting
表 1 模型的材料参数
Table 1 Material parameters of the model
Material Density/(kg·m−3) Young's modulus/GPa Poisson's ratio aluminium 2700 70 0.33 
下载: 导出CSV
表 2 气泡深度分类
Table 2 Classification of bubble depth
Category no. 1 2 Depth of bubble 10 mm 20 mm
下载: 导出CSV
表 3 气泡大小分类
Table 3 Classification of bubble size
Category no. 1 2 3 4 Size of bubble 1 mm 1.1 mm 1.2 mm 1.3 mm
下载: 导出CSV
表 4 气泡横坐标的分类
Table 4 Classification of the abscissa of bubbles
Category no. The abscissa of the bubble Category no. The abscissa of the bubble 1 15 ~ 16 16 30 ~ 31 2 16 ~ 17 17 31 ~ 32 3 17 ~ 18 18 32 ~ 33 4 18 ~ 19 19 33 ~ 34 5 19 ~ 20 20 34 ~ 35 6 20 ~ 21 21 35 ~ 36 7 21 ~ 22 22 36 ~ 37 8 22 ~ 23 23 37 ~ 38 9 23 ~ 24 24 38 ~ 39 10 24 ~ 25 25 39 ~ 40 11 25 ~ 26 26 40 ~ 41 12 26 ~ 27 27 41 ~ 42 13 27 ~ 28 28 42 ~ 43 14 28 ~ 29 29 43 ~ 44 15 29 ~ 30 30 44 ~ 45
下载: 导出CSV
-
[1] Ismail PK, Erdal E. Deep learning-based detection of aluminum casting defects and their types. Engineering Applications of Artificial Intelligence, 2023, 118: 105636 doi: 10.1016/j.engappai.2022.105636
[2] Mugica GW, Tovio DO, Cuyas JC, et al. Effect of porosity on the tensile properties of low ductility aluminum alloys. Materials Research, 2004, 7(2): 221-229 doi: 10.1590/S1516-14392004000200002
[3] Ardika RD, Triyono T, Muhayat N. A review porosity in aluminum welding. Procedia Structural Integrity, 2021, 33: 171-180 doi: 10.1016/j.prostr.2021.10.021
[4] Sui D, Han Q. Ultrasound-assisted cast-on method: Obtaining high-quality metallurgical bonds between a bare steel insert and A354 aluminum alloy within a composite casting. Journal of Materials Processing Technology, 2023, 311: 117783 doi: 10.1016/j.jmatprotec.2022.117783
[5] Mirmahdi E. Analysis and examination of aluminum sheets suitable for automotion body: ultrasonic testing, signal processing, simulation. Russian Journal of Nondestructive Testing, 2021, 57(2): 135-144 doi: 10.1134/S1061830921020108
[6] 任会兰, 宁建国, 宋水舟等. 基于声发射矩张量分析混凝土破坏的裂纹运动. 力学学报, 2019, 51(6): 1830-1840 (Ren Huilan, Ning Jianguo, Song Shuizhou, et al. Investigation on crack growth in concrete by moment tensor analysis of acoustic emission. Chinese Journal of Theoretical and Applied Mechanics, 2019, 51(6): 1830-1840 (in Chinese) doi: 10.6052/0459-1879-19-170 Ren Huilan, Ning Jianguo, Song Shuizhou, et al. Investigation on crack growth in concrete by moment tensor analysis of acoustic emission. Chinese Journal of Theoretical and Applied Mechanics, 2019, 51(6): 1830-1840 (in Chinese) doi: 10.6052/0459-1879-19-170
[7] Wan Q, Zhao H, Zou C. Effect of micro-porosities on fatigue behavior in aluminum die castings by 3D X-ray tomography inspection. ISIJ International, 2014, 54(3): 511-515 doi: 10.2355/isijinternational.54.511
[8] Palanisamy S. Ultrasonic inspection of gas porosity defects in aluminium die castings. [PhD Thesis]. Swinburne University of Technology, Industrial Research Institute Swinburne, 2006
[9] Cho H, Lissenden CJ. Structural health monitoring of fatigue crack growth in plate structures with ultrasonic guided waves. Structural Health Monitoring, 2012, 11(4): 393-404 doi: 10.1177/1475921711430439
[10] Junping C, Hang J, Shaohua W, et al. Research of non-destructive testing for aluminium sheaths of HV cables using ultrasonic-guided waves. The Journal of Engineering, 2019, 2019(16): 2078-2083 doi: 10.1049/joe.2018.8738
[11] Tiwari KA, Raisutis R, Tumsys O, et al. Defect estimation in non-destructive testing of composites by ultrasonic guided waves and image processing. Electronics, 2019, 8(3): 315-330 doi: 10.3390/electronics8030315
[12] Hasiotis T, Badogiannis E, Tsouvalis NG. Application of ultrasonic C-scan techniques for tracing defects in laminated composite materials. Strojniški Vestnik-Journal of Mechanical Engineering, 2011, 57(3): 192-203
[13] Xu X, Zhao M, Shi P, et al. Crack detection and comparison study based on faster R-CNN and mask R-CNN. Sensors, 2022, 22(3): 1215-1231 doi: 10.3390/s22031215
[14] Dung CV. Autonomous concrete crack detection using deep fully convolutional neural network. Automation in Construction, 2019, 99: 52-58 doi: 10.1016/j.autcon.2018.11.028
[15] Xu H, Su X, Wang Y, et al. Automatic bridge crack detection using a convolutional neural network. Applied Sciences, 2019, 9(14): 2867-2880 doi: 10.3390/app9142867
[16] 仇静博, 燕雪峰, 汪俊等. 基于全卷积神经网络的单幅隧道图像裂纹提取算法. 计算机工程与科学, 2022, 44(5): 845-854 (Chou Jingbo, Yan Xuefeng, Wang Jun, et al. Crack extraction algorithm for single tunnel image based on fully convolutional neural network. Computer Engineering and Science, 2022, 44(5): 845-854 (in Chinese) doi: 10.3969/j.issn.1007-130X.2022.05.010 Chou Jingbo, Yan Xuefeng, Wang Jun, et al. Crack extraction algorithm for single tunnel image based on fully convolutional neural network. Computer Engineering and Science, 2022, 44(05): 845-854 (in Chinese) doi: 10.3969/j.issn.1007-130X.2022.05.010
[17] Ali R, Chuah JH, Talip MSA, et al. Structural crack detection using deep convolutional neural networks. Automation in Construction, 2022, 133: 103989 doi: 10.1016/j.autcon.2021.103989
[18] 马栋梁, 王德禹. 基于加速度和卷积神经网络的船体板裂纹损伤检测. 船舶力学, 2022, 26(8): 1180-1188 (Ma Dongliang, Wang Deyu. Ship hull plate crack damage detection based on acceleration and convolutional neural network. Journal of Ship Mechanics, 2022, 26(8): 1180-1188 (in Chinese) doi: 10.3969/j.issn.1007-7294.2022.08.008 Ma Dongliang, Wang Deyu. Ship hull plate crack damage detection based on acceleration and convolutional neural network. Journal of Ship Mechanics, 2022, 26(08): 1180-1188 (in Chinese) doi: 10.3969/j.issn.1007-7294.2022.08.008
[19] 骆撷冬, 马栋梁, 张松林等. 基于门控循环单元神经网络的箱型梁结构裂纹损伤检测方法. 中国舰船研究, 2022, 17(4): 194-203 (Luo Xiedong, Ma Dongliang, Zhang Songlin, et al. Crack damage detection method for box-beam structures based on gated recurrent unit neural network. Chinese Journal of Ship Research, 2022, 17(4): 194-203 (in Chinese) Luo Xiedong, Ma Dongliang, Zhang Songlin, et al. Crack damage detection method for box-beam structures based on gated recurrent unit neural network. Chinese Journal of Ship Research, 2022, 17(04): 194-203 (in Chinese)
[20] Barry TJ, Kesharaju M, Nagarajah CR, et al. Defect characterisation in laminar composite structures using ultrasonic techniques and artificial neural networks. Journal of Composite Materials, 2016, 50(7): 861-871 doi: 10.1177/0021998315584651
[21] 钱金花, 郑文娟, 吴文彬等. 基于小波去噪和循环神经网络-k重-整合移动平均自回归模型转炉煤气柜位预测. 冶金自动化, 2023, 47(3): 21-34 (Qian Jinhua, Zheng Wenjuan, Wu Wenbing, et al. Prediction of converter gas location based on wavelet denoising and cyclic neural network-k-weight integrated moving average autoregressive model. Metallurgical Industry Automation, 2023, 47(3): 21-34 (in Chinese) Qian Jinhua, Zheng Wenjuan, Wu Wenbing, et al. Prediction of converter gas location based on wavelet denoising and cyclic neural network-K-weight integrated moving average autoregressive model. Metallurgical Industry Automation, 2023, 47(03): 21-34 (in Chinese)
[22] 李华旭. 基于RNN和Transformer模型的自然语言处理研究综述. 信息记录材料, 2021, 22(12): 7-9 (Li Huaxu. A review of natural language processing based on RNN and Transformer model. Information Recording Material, 2021, 22(12): 7-9 (in Chinese) doi: 10.3969/j.issn.1009-5624.2021.12.xxjlcl202112004 Li Huaxu. A review of natural language processing based on RNN and Transformer model. Information Recording Material, 2021, 22(12): 7-9 (in Chinese) doi: 10.3969/j.issn.1009-5624.2021.12.xxjlcl202112004
[23] 郭家兴, 韩纪庆. 一种RNN-T与BERT相结合的端到端语音识别模型. 智能计算机与应用, 2021, 11(2): 169-173 (Guo Jiaxing, Han Jiqing. An end-to-end speech recognition model combining RNN-T and BERT. Intelligent Computers and Applications, 2021, 11(2): 169-173 (in Chinese) doi: 10.3969/j.issn.2095-2163.2021.02.037 Guo Jiaxing, Han Jiqing. An end-to-end speech recognition model combining RNN-T and BERT. Intelligent Computers and Applications, 2021, 11(02): 169-173 (in Chinese) doi: 10.3969/j.issn.2095-2163.2021.02.037
[24] 白瑞芳. 基于RNN编码器的交互式机器翻译平台控制技术. 计算机测量与控制, 2019, 27(7): 89-92 (Bai Ruifang. Control technology of interactive machine translation platform based on RNN encoder. Computer Measurement & Control, 2019, 27(7): 89-92 (in Chinese) doi: 10.16526/j.cnki.11-4762/tp.2019.07.019 Bai Ruifang. Control technology of interactive machine translation platform based on RNN encoder. Computer Measurement & Control, 2019, 27(07): 89-92 (in Chinese) doi: 10.16526/j.cnki.11-4762/tp.2019.07.019
[25] 孙承爱, 张馨俸, 田刚. 基于奖励值RNN和A2C模型的音乐生成. 软件, 2019, 40(7): 96-99 (Sun Chengai, Zhang Xinfeng, Tian Gang. Music generation based on reward value RNN and A2C model. Software, 2019, 40(7): 96-99 (in Chinese) doi: 10.3969/j.issn.1003-6970.2019.07.017 Sun Chengai, Zhang Xinfeng, Tian Gang. Music generation based on reward value RNN and A2 C model. Software, 2019, 40(07): 96-99 (in Chinese) doi: 10.3969/j.issn.1003-6970.2019.07.017
[26] Wang L, Ye W, Zhu Y, et al. Optimal parameters selection of back propagation algorithm in the feedforward neural network. Engineering Analysis with Boundary Elements, 2023, 151: 575-596 doi: 10.1016/j.enganabound.2023.03.033
[27] Ye W, Zhang F, Wang L, et al. Shale crack identification based on acoustic emission experiment and wavenet data recovery. International Journal of Applied Mechanics, 2022, 14(10): 2250073 doi: 10.1142/S1758825122500739
[28] 叶文静, 王莉华. 基于反向传播神经网络的疲劳裂纹扩展分析. 力学季刊, 2021, 42(4): 613-632 (Ye Wenjing, Wang Lihua. Fatigue crack growth analysis based on backpropagation neural network. Chinese Quarterly of Mechanics, 2021, 42(4): 613-632 (in Chinese) doi: 10.15959/j.cnki.0254-0053.2021.04.013 Ye Wenjing, Wang Lihua. Fatigue crack growth analysis based on backpropagation neural network. Chinese Quarterly of Mechanics, 2021, 42(4): 613-632 (in Chinese) doi: 10.15959/j.cnki.0254-0053.2021.04.013
[29] Liu G, Guo J. Bidirectional LSTM with attention mechanism and convolutional layer for text classification. Neurocomputing, 2019, 337: 325-338 doi: 10.1016/j.neucom.2019.01.078
[30] Ahmadzadeh E, Kim H, Jeong O, et al. A deep bidirectional LSTM-GRU network model for automated ciphertext classification. IEEE Access, 2022, 10: 3228-3237 doi: 10.1109/ACCESS.2022.3140342
[31] Mao K, Zhang W, Wang DB, et al. Prediction of depression severity based on the prosodic and semantic features with bidirectional LSTM and time distributed CNN. IEEE Transactions on Affective Computing, 2022, in press
[32] Wang Q, Feng C, Xu Y, et al. A novel privacy-preserving speech recognition framework using bidirectional LSTM. Journal of Cloud Computing, 2020, 9(36): 1-13
[33] Mutasa S, Sun S, Ha R. Understanding artificial intelligence based radiology studies: What is overfitting? Clinical Imaging, 2020, 65: 96-99
-
期刊类型引用(5)
1. 龚京风，陈思成，宣领宽，李晨琦，张跃. 功能梯度材料数据驱动格点型有限体积法. 力学学报. 2025(01): 136-147 . 
本站查看
2. 史培龙，王彩瑞，马强，刘瑞，赵轩. 考虑轨迹预测的大曲率道路智能车辆动态避障控制. 长安大学学报(自然科学版). 2024(04): 161-174 . 百度学术
3. 周平，霍宪刚，黄少文，陈涛. 轧机镰刀弯状态识别技术研究与应用. 山东冶金. 2024(04): 57-60 . 百度学术
4. 王震宇，何成，陈卫婷，张相南，王占一，何欢. 基于频响特征图的稳健有限元模型修正. 力学学报. 2024(12): 3577-3590 . 本站查看
5. 梁海成，刘明华，宫赫庭，陈大勇，王松伟，刘欢，胡凯，刘劲松. 铜合金板坯孔洞类缺陷的超声波检测研究. 铜业工程. 2024(06): 90-100 . 百度学术
其他类型引用(1)
计量
- 文章访问数: 573
- HTML全文浏览量: 164
- PDF下载量: 76
- 被引次数: 6
