在机械故障诊断领域，实际工业场景下采集到的故障样本往往较为匮乏，深度学习模型在小样本条件下容易发生过拟合。针对这一问题，学术期刊《Measurement》发表了题为“Multiple wavelet regularized deep residual networks for fault diagnosis”的研究论文。该研究提出了一种多小波正则化深度残差网络方法，利用不同小波基函数时频分解的差异性构建辅助正则化损失，对深度神经网络的参数优化施加约束，降低模型对有限训练样本的过拟合程度。

该方法的整体架构由主干网络、辅助正则化网络以及双时频输入通道构成，其训练与诊断流程如下图所示：

图1 多小波正则化训练深度神经网络策略示意图

整个流程包含小波基函数集合配置、时频特征矩阵生成、双通道参数共享网络训练和单分支推理四个阶段。在模型训练过程中，网络同时接收来自主小波基函数与随机辅助小波基函数的时频特征矩阵；在完成训练后，仅保留主小波基函数与主干深度网络用于实际故障识别。

技术流程的第一步是时频特征矩阵的提取与构建：

图2 小波包分解系数构成二维输入矩阵示意图

原始一维振动信号经截取和去均值预处理后，采用离散小波包变换进行固定层数的分解，获取覆盖各个频带的小波分解系数。将各个频带的小波系数沿行方向堆叠，即可组合成二维时频矩阵，并在矩阵中心区域进行裁剪以统一尺寸。通过选用不同族系的小波基函数，同一段振动信号可被转换为在局部细节上具有差异的多样化二维时频表示。

技术流程的第二步是小波基函数的配置与随机选取机制。在训练前预先设定包含多种小波基函数的候选集合，并指定其中一个作为主小波基函数，其余作为辅助小波基函数集合。在每一次训练迭代中，同一段训练样本一方面由主小波基函数生成主时频矩阵，另一方面从辅助集合中随机抽取一个辅助小波基函数生成对应的辅助时频矩阵。由于辅助小波基函数在每次迭代中动态随机变化，辅助时频矩阵能够为网络提供具备细微扰动的数据输入。

技术流程的第三步是深度残差网络的特征映射：

图4 深度残差网络整体结构与残差构建块示意图

该方法采用引入恒等快捷连接的深度残差网络作为特征提取骨干。网络首先由基础卷积层对输入矩阵进行初步特征变换，通过级联堆叠的多个残差构建块进行深层特征提取。每个残差构建块包含批量归一化层、线性整流激活函数以及卷积层，并通过快捷连接实现特征的跨层直接传递，以确保反向传播梯度的平稳流动。在残差模块之后，网络利用全局平均池化层计算各个通道的均值，压缩特征维度并消除振动冲击的时间平移差异，最后经随机失活层连接至全连接分类层。

技术流程的第四步是联合目标函数构建与参数优化。在每一次反向传播中，主时频矩阵与辅助时频矩阵分别输入至结构与权重、偏置完全共享的双分支深度残差网络中。网络末端经归一化指数函数输出各类别的预测概率，并分别计算主输入与辅助输入的交叉熵分类误差。最终的优化目标由主交叉熵误差、辅助交叉熵误差以及卷积核权重的二次衰减惩罚项求和构成。辅助分支的分类误差作为参数正则化项，限制网络对单一主时频矩阵特征的过度记忆。

技术流程的第五步是在线故障诊断与推理。在完成模型迭代训练后，辅助小波基函数集合以及对应的辅助网络分支被剥离。在诊断未知状态的设备振动信号时，仅利用预先设定的主小波基函数对原始信号进行相同层数的小波包分解与中心裁剪，生成的二维时频矩阵直接输入保存了优化权重的主干深度残差网络，经单向前向传播即可输出对应的机械故障状态类别。

参考文献：

Multiple wavelet regularized deep residual networks for fault diagnosis[J]. Measurement, 2020.

https://www.sciencedirect.com/science/article/abs/pii/S0263224119311959