Attention mechanism目前有什么缺点和改进空间? - Hi-202020的回答 - 知乎 https://www.zhihu.com/question/305644438/answer/1326832748
现有的注意力机制，似乎都是“加权”的形式，如下图
残差收缩网络将“加权”替换成了“软阈值化”：
软阈值化在信号降噪算法中很常用。通过引入软阈值化，残差收缩网络应该有利于应对强噪数据。
M. Zhao, S. Zhong, X. Fu, et al., Deep residual shrinkage networks for fault diagnosis, IEEE Transactions on Industrial Informatics, 2020, 16(7): 4681-4690.
https://ieeexplore.ieee.org/document/8850096
更多讨论见如下链接：
深度残差收缩网络：从删除冗余特征时的灵活程度进行讨论
https://my.oschina.net/u/4505302/blog/3230965
10分钟看懂深度残差收缩网络
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/69980920/viewspace-2709030/ ，如需转载，请注明出处，否则将追究法律责任。
请登录后发表评论
登录
全部评论
