在机械故障诊断领域，工况的变化往往导致同类健康状态下的振动信号呈现明显差异，而不同健康状态在特定运行条件下可能表现出相近的波形特征。发表于期刊《IEEE Transactions on Industrial Electronics》的研究论文《Deep Residual Networks With Adaptively Parametric Rectifier Linear Units for Fault Diagnosis》探讨了这一问题。针对传统深度神经网络采用固定非线性变换导致特征区分度受限的现象，该论文提出了一种基于自适应参数化修正线性单元（APReLU）的深度残差网络方法，使网络能够针对不同输入信号自适应匹配特定的非线性变换。

经典深度网络与所提方法的非线性变换机制对比

传统深度神经网络在完成训练后，各层对所有输入样本均执行同一套非线性映射规则。所提方法的基本思路是为每个输入样本生成专属的非线性变换形式。其核心机制在于通过在网络内部构建轻量级子网络，根据当前输入的振动特征动态计算非线性变换所需的斜率系数，从而为不同输入信号提供差异化的非线性变换路径。

APReLU模块结构、新型残差块结构及网络整体架构

自适应参数化修正线性单元的具体实现由特征信息提取、斜率系数计算和非线性输出映射三个步骤构成。在信息提取阶段，输入特征图被同步送入两条平行的全局统计分支：第一条分支通过线性整流操作提取正向特征，利用全局平均池化压缩为表征正特征全局分布的一维向量；第二条分支则通过负值截断运算提取负向特征，同样借助全局平均池化压缩为表征负特征全局分布的一维向量。网络将这两个一维向量进行拼接，构建出兼顾正负特征信息的全局统计特征向量。

在斜率系数计算阶段，拼接后的一维向量被送入专门设计的计算路径。该路径依次包含全连接层、批归一化层、线性整流激活层、第二层全连接层、第二层批归一化层以及最终的逻辑回归激活层。其中，各全连接层的神经元数量均与输入特征图的通道数量保持一致。经由双层非线性变换与逻辑回归函数映射后，网络为每个特征通道输出一个取值范围处于零到一之间的自适应斜率数值。

在非线性映射输出阶段，各通道计算得到的自适应斜率被代入分段线性变换中：对于特征图中的正值部分直接保持原样输出，对于负值部分则乘以对应通道的自适应斜率系数后再行输出。该操作使每个通道的负特征抑制程度能够随当前输入样本动态调节。由于整个运算流程保持了特征图的尺寸与通道数不变，该单元具备良好的即插即用特性。

在网络整体架构设计上，研究将自适应单元集成至残差学习框架中，构建了新型残差块。每个残差块内部按顺序包含批归一化层、自适应单元、卷积层、第二批归一化层、第二自适应单元以及第二卷积层，并通过一条跨层的恒等捷径连接实现特征相加。完整的故障诊断网络以一维原始振动信号作为输入，依次连接初始卷积层、多个级联的新型残差块、末端批归一化层、末端自适应单元、全局平均池化层以及输出健康状态类别的全连接层。

在模型训练与参数更新流程中，训练样本经由端部零填充与随机裁剪完成数据准备，网络以交叉熵损失作为目标函数，并引入权重衰减项防止过拟合。参数优化采用带动量项的梯度下降算法，损失函数的误差梯度通过链式法则在网络各层中反向传播。残差块内的恒等跨层连接保障了梯度在深层结构中的有效传递，使得负责特征提取的卷积参数与负责动态斜率生成的子网络参数能够在端到端的训练过程中实现协同优化。

参考文献：

Deep Residual Networks With Adaptively Parametric Rectifier Linear Units for Fault Diagnosis[J]. IEEE Transactions on Industrial Electronics, 2021.

https://ieeexplore.ieee.org/abstract/document/8998530