请问，深度残差网络已经那么厉害，让我们改进图片分类的研究生从哪里创新？ - amaze2的回答 - 知乎 https://www.zhihu.com/question/265693414/answer/1314522101

也许可以从其他领域的深度学习方法，获取一些灵感。

例如，残差收缩网络是残差网络ResNet的一种改进，原本是用在含噪振动信号上，开展旋转机械的故障诊断。

首先，残差收缩网络就是将信号降噪领域的软阈值函数，引入ResNet中，作为一个非线性的层。如果不了解软阈值函数的话，可以去搜一下Soft Threshlding，会搜到这一篇：DL Donoho. De-noising by soft-thresholding[J]. IEEE transactions on information theory, 1995. 软阈值函数的公式如下：

然后，借助类似Squeeze-and-Excitation Network的子网络，来自动设置软阈值函数所需要的阈值。残差收缩网络的基本模块见下图：

如果图片包含很多与标签无关的杂物或者噪声，可以尝试一下残差收缩网络的效果。

文献：Minghang Zhao, Shisheng Zhong, Xuyun Fu, Baoping Tang, Michael Pecht,Deep residual shrinkage networks for fault diagnosis, IEEE Transactions on Industrial Informatics, 2020, 16(7): 4681-4690.

下面的链接可以供参考：

https://ieeexplore.ieee.org/document/8850096

https://github.com/zhao62/Deep-Residual-Shrinkage-Networks

10分钟看懂深度残差收缩网络 - 翼下之峰 - 博客园

https://www.cnblogs.com/uizhi/p/12239690.html

【深度残差收缩网络】从删除冗余特征时的灵活性进行探讨

https://blog.csdn.net/ABCD_202020/article/details/105801032