来点干货。

通常的注意力机制算法，都是对特征进行加权，例如Squeeze-and-Excitation Network。

对于含噪声的样本，可以考虑将“特征加权”替换成“软阈值化”。例如， 残差收缩网络[1][2]就是这样的方法，结构如下：

在软阈值化的帮助下， 残差收缩网络应对含噪数据的能力会有所加强。

感觉这种“注意力机制”+“软阈值化”的模式，还有很多坑可以挖。毕竟，最近这些年，注意力机制的算法层出不穷，可以和“软阈值化”花式组合。

参考：

Minghang Zhao, Shisheng Zhong, Xuyun Fu, Baoping Tang, Michael Pecht, Deep residual shrinkage networks for fault diagnosis, IEEE Transactions on Industrial Informatics, 2020, 16(7): 4681-4690.

[1] 深度残差收缩网络：从删除冗余特征时的灵活程度进行讨论 

https://my.oschina.net/u/4505302/blog/3230965

[2] Deep Residual Shrinkage Networks for Fault Diagnosis 

https://ieeexplore.ieee.org/document/8850096