发表于期刊 IEEE Transactions on Industrial Informatics 的论文《Deep Residual Shrinkage Networks for Fault Diagnosis》提出了一种改进的深度残差学习架构—— 深度残差收缩网络（Deep Residual Shrinkage Networks, DRSN）。该方法将经典信号处理中的软阈值化作为非线性收缩层嵌入到残差卷积网络中，并通过构建轻量化的子网络来自适应确定阈值，从含有强噪声或非相关成分的特征图中自主滤除弱相关特征，保留具有判别性的核心信息。

一、软阈值化非线性收缩机制

传统卷积神经网络主要依赖线性整流单元（ReLU）等激活函数进行非线性映射，其机制是将所有小于零的负特征直接置为零。然而在复杂特征表示中，有用的判别特征可能同时分布在正区间与负区间，而接近于零的特征通常与背景噪声或冗余干扰高度相关。

深度残差收缩网络引入软阈值化作为非线性变换操作。其技术定义与特点如下：

• 1.变换规则：当输入特征的数值落于正负阈值所限定的近零区间内时，特征被直接置为零；当特征大于正阈值时，特征值减去该阈值；当特征小于负阈值时，特征值加上该阈值。

• 2.正负特征保留：与直接截断所有负值的非线性变换不同，软阈值化仅收缩并过滤绝对值较小的近零特征，从而保留具有较大绝对值的有效正特征与负特征。

• 3.梯度传递特性：在区间之外，输出对输入的导数恒为一；在区间之内，导数为零。这种离散为一或零的导数特性有助于防止深层网络在反向传播过程中出现梯度消失或梯度爆炸。

图1：论文原图中的软阈值化变换及其导数示意（左图展示了在指定阈值范围内特征被置为零、范围外按阈值收缩的输出响应；右图展示了该操作在阈值范围外导数为一、范围内导数为零的导数分布特征）。

二、通道共享阈值残差收缩单元（RSBU-CS）的实现步骤

针对阈值难以通过人工先验准确设定的问题，论文设计了专门的自适应子网络，用于根据输入特征图自发计算阈值。第一种设计是通道共享阈值残差收缩单元（Residual Shrinkage Building Unit with Channel-shared Thresholds, RSBU-CS）。

图2：通道共享阈值残差收缩单元（RSBU-CS）模块结构图（a）以及由该单元构成的深度残差收缩网络DRSN-CS整体框架（b）

RSBU-CS的内部前向计算步骤如下：

• 1.主干卷积特征变换：输入特征图首先依次经过批归一化（Batch Normalization）、线性整流单元（ReLU）以及卷积层；随后再次经过批归一化、激活与卷积处理，得到主干通路的中间特征图。

• 2.绝对值变换与全局池化：为了估计噪声水平并确保后续阈值为正，特征图全部元素取绝对值；随后通过全局平均池化（Global Average Pooling）将整个特征图压缩为一维标量特征。

• 3.全连接子网络映射：该标量特征输入到一个双层全连接网络中进行非线性变换。

• 4.归一化缩放系数生成：在全连接层的末端接入 Sigmoid 激活函数，将网络输出映射为介于零到一之间的缩放系数。

• 5.通道共享阈值计算：计算输入特征图所有通道和空间位置上绝对值的平均值，并将该全局平均绝对值与上述缩放系数相乘，得到一个全局标量阈值。由于缩放系数严格处于零到一之间，所计算的阈值天然满足为正且不超过特征幅值上限的约束。

• 6.软阈值化与恒等求和：使用该标量阈值对主干特征图中的全部通道应用软阈值化收缩；收缩后的特征与恒等映射分支相加，输出至下一层。

三、通道分立阈值残差收缩单元（RSBU-CW）的实现步骤

由于特征图中不同卷积通道所提取的特征具有异质性，各通道受到的噪声干扰程度各不相同，论文进一步提出了通道分立阈值残差收缩单元（Residual Shrinkage Building Unit with Channel-wise Thresholds, RSBU-CW）。

图3：通道分立阈值残差收缩单元（RSBU-CW）模块结构图（c）以及由该单元构成的深度残差收缩网络DRSN-CW整体框架（d）

RSBU-CW在阈值生成路径上做出了针对性调整，其技术步骤如下：

• 1.主干特征提取：与标准残差单元类似，输入数据在主干路径中经过两组“批归一化 - 激活 - 卷积”结构完成特征变换。

• 2.通道级空间压缩：对卷积特征图取绝对值后，沿每个通道独立执行全局平均池化，生成一个长度等于通道数的一维向量。

• 3.通道相关性建模：该一维向量输入至双层全连接网络中。其中第二层全连接神经元的数量与通道数严格相等，使得网络能够学习不同通道间的权重关联。

• 4.通道缩放向量输出：经过Sigmoid函数激活后，输出一组维度与特征图通道数一致的缩放系数向量，向量中的每个元素均位于零与一之间。

• 5.通道独立阈值确定：对每个通道分别计算其绝对值的空间平均值，并将每个通道的均值与其对应的缩放系数逐通道相乘，从而为每一个特征通道生成专属的正阈值。

• 6.分通道软阈值化及残差合并：利用各通道对应的独立阈值，对主干特征图按通道执行软阈值化滤波，最后与恒等残差分支进行逐元素相加。

四、深度残差收缩网络的整体构建流程

基于RSBU-CS或RSBU-CW，深度残差收缩网络的完整系统构建过程包括以下阶段：

• 1.输入与浅层变换：原始输入信号首先经过初始卷积层进行通道升维与基础特征提取，随后通过步长调整或卷积运算调整特征空间分辨率。

• 2.多级收缩单元堆叠：网络主体由若干级残差收缩单元依次堆叠而成。在特征图尺寸缩减的交界处，单元采用步长为二的卷积核减半特征图尺寸并倍增通道数，在对应阶段内部则维持特征维度一致，逐级对深层特征进行软阈值化滤波与特征重构。

• 3.空间聚合与特征整合：经过多级单元处理后，特征图通过末端的批归一化与激活层，随后接入全局平均池化层，消除特征的空间平移敏感性并将高维特征图降维为紧凑的一维全局特征向量。

• 4.类别映射与优化：全局特征向量输入最终的全连接分类层，经过Softmax归一化映射为各目标类别的后验概率分布；在训练阶段，利用交叉熵损失函数与动量梯度下降算法对全网络参数（包括卷积核参数与阈值学习子网络权重）进行反向传播端到端同步更新。

参考文献：

Deep Residual Shrinkage Networks for Fault Diagnosis[J]. IEEE Transactions on Industrial Informatics, 2020.

https://ieeexplore.ieee.org/document/8850096