针对旋转机械在恶劣运行工况下振动信号常混杂大量背景噪声、导致故障特征容易被干扰淹没的问题，发表于期刊《IEEE Transactions on Industrial Informatics》的研究论文《Deep Residual Shrinkage Networks for Fault Diagnosis》提出了一种深度残差收缩网络架构。该方法以经典残差神经网络为骨干，将信号处理领域的软阈值化作为非线性收缩层嵌入到网络单元中，并通过特定的子网络结构自适应确定收缩阈值，用于从含噪特征中消除不重要的干扰成分。

深度残差收缩网络的基础架构基于经典残差网络的基本原理。网络输入为一维原始振动信号，基础卷积层利用卷积核在输入特征图上滑动完成局部特征提取，并通过权值共享减少待学习的参数规模。网络内部由批归一化层、线性整流激活函数以及跨层的恒等快捷连接协同工作：批归一化用于规范化特征分布以降低内部协变量偏移；恒等快捷连接则使反向传播时的误差梯度能够直接回传至靠近输入端的起始网络层，从而协助浅层参数的有效更新。

软阈值化在网络中作为关键的非线性收缩操作引入。与传统激活函数直接将负特征置零的处理方式不同，软阈值化基于设定的正阈值对特征进行对称收缩：当特征的绝对值小于或等于阈值时，该特征被直接置为零；当特征的绝对值大于阈值时，正特征向零收缩一个阈值的数值，负特征同样向零收缩一个阈值的数值，从而保留了有用的负极性特征。此外，软阈值化操作对输入的导数取值为一或零，在反向传播过程中具有与线性整流函数相似的性质，能够维持梯度的稳定传递。

软阈值化函数及其导数示意图

为了避免人工设定阈值的复杂性并使各输入样本具备针对性的收缩界限，该方法在收缩构建单元中设计了用于自适应计算阈值的全连接子网络。阈值的确定过程分为特征汇聚与缩放生成两个环节：首先对输入特征图中的每一个元素取绝对值，并通过全局均值池化将其压缩为一维向量；将该一维向量送入两层全连接神经网络，并在末端通过逻辑回归函数将输出映射至零到一之间的开区间，作为归一化的缩放系数；最终将该缩放系数与特征图绝对值的平均值相乘，计算出当前所需的正阈值。这种设计确保了阈值始终为正数，且其数值不会超过特征图绝对值的上限，防止特征被全部置零。

根据阈值在特征图通道维度的共享程度，该研究构建了两种收缩单元与对应的网络架构，即通道共享阈值的深度残差收缩网络与通道级阈值的深度残差收缩网络。在通道共享收缩单元中，子网络输出单一缩放系数，并与整个特征图所有通道的元素绝对值均值相乘，得到一个作用于全部通道的全局共享阈值；而在通道级收缩单元中，子网络第二层全连接神经元的数量设定为与输入特征图的通道数相同，从而为每一个通道独立输出专属的缩放系数，并分别与对应通道自身的元素绝对值均值相乘，得到每条通道各自独立的收缩阈值，以实现对不同通道特征的差异化收缩。

深度残差收缩网络的基本构建单元与整体架构图（(a) RSBU-CS，(b) DRSN-CS，(c) RSBU-CW，(d) DRSN-CW）

在整体网络执行流程上，一维原始振动信号首先进入第一层卷积以初步拓展通道并提取低阶特征，依次通过堆叠的多个残差收缩单元逐步完成特征变换与含噪成分收缩。在特征逐层传递的过程中，特定收缩单元采用步长为二的卷积操作将特征图的宽度减半，并成倍增加通道数量，以兼顾计算效率与特征表达的丰富性。经过所有收缩单元处理后，高阶特征图进入全局均值池化层压缩为一维向量，消除特征对脉冲发生位置的敏感性，最后接入全连接分类输出层，经由归一化指数函数输出各类健康状态的预测概率，并通过交叉熵损失函数引导网络参数的全流程端到端梯度优化。

Deep Residual Shrinkage Networks for Fault Diagnosis[J]. IEEE Transactions on Industrial Informatics, 2020.

https://ieeexplore.ieee.org/document/8850096