ITPub博客

翻译仅为学习，欢迎转载。【标题】Deep Residual Shrinkage Networks for Fault Diagnosis【翻译】基于深度残差收缩网络的故障诊断Abstract (摘要)【翻译】本文提出了一种新的深度学习方法，即深度残差收缩网络，以增强深度学习方法从强噪声信号中学习特征的能力，并且取得较高的故障诊断准确率。软阈值化作为非线性层，嵌入到深度神经网络之中，以去除不重要的特

故障诊断入门级选手提个问题，振动信号分析直接做频谱分析就好了，为啥需要人工智能? - amaze2的回答 - 知乎https://www.zhihu.com/question/332473558/answer/1349385215 对于简单的机械设备，比如一级平行齿轮箱，信号比较简单，直接频谱分析就可以满足需求。但是，如果是复杂的设备，比如多级行星齿轮传动、强环境噪声、而且故障处在早期阶段、比较微

本文在调参记录25的基础上，将自适应参数化ReLU中间层的神经元个数，从2个增加到4个，同时添加了一个Dropout层，继续测试其在Cifar10数据集上的效果。自适应参数化ReLU的基本原理：Keras程序：#!/usr/bin/env python3 # -*- coding: utf-8 -*- """ C

在之前调参记录的基础上，首先，大幅度削减了自适应参数化ReLU中全连接神经元的个数，想着可以减轻训练的难度，也可以减少过拟合；然后，将Epoch增加到1000个，继续测试ResNet+自适应参数化ReLU激活函数在Cifar10上的效果。自适应参数化ReLU激活函数的基本原理如下：Keras程序：#!/usr/bin/env python3 # -*- coding

自适应参数化ReLU是一种动态ReLU（Dynamic ReLU）激活函数，在2019年5月3日投稿到IEEE Transactions on Industrial Electronics，在2020年1月24日（农历新年初一）录用，在2020年2月13日在IEEE官网发布预览版。本文在调参记录23的基础上，增加卷积核的个数，最少是64个，最多是256个，继续测试深度残差网络+自适应参数化ReLU

自适应参数化ReLU是一种动态化ReLU（Dynamic ReLU）激活函数，于2019年5月3日投稿到IEEE Transactions on Industrial Electronics，于2020年1月24日（农历新年初一）录用，于2020年2月13日在IEEE官网发布预览版。本文在调参记录21的基础上，增加卷积核的个数，也就是增加深度神经网络的宽度，继续尝试深度残差网络+自适应参数化ReL

本文在调参记录21的基础上，将残差模块的个数，从60个增加到120个，测试深度残差网络+自适应参数化ReLU激活函数在Cifar10数据集上的效果。自适应参数化ReLU激活函数的基本原理如下：Keras程序：#!/usr/bin/env python3 # -*- coding: utf-8 -*- """ Cr

本文在调参记录20的基础上，将残差模块的个数，从27个增加到60个，继续测试深度残差网络ResNet+自适应参数化ReLU激活函数在Cifar10数据集上的表现。自适应参数化ReLU函数被放在了残差模块的第二个卷积层之后，这与Squeeze-and-Excitation Networks或者深度残差收缩网络是相似的。其基本原理如下Keras程序如下：#!/usr/bin/env pyth

在之前的调参记录18中，是将深度残差网络ResNet中的所有ReLU都替换成了自适应参数化ReLU（Adaptively Parametric ReLU，APReLU）。由于APReLU的输入特征图与输出特征图的尺寸是完全一致的，所以APReLU可以被嵌入到神经网络的任意部分。本文将APReLU放在每个残差模块的第二个卷积层之后。这种结构与Squeeze-and-Excitation Networ

由于调参记录18依然存在过拟合，本文将自适应参数化ReLU激活函数中最后一层的神经元个数减少为1个，继续测试深度残差网络+自适应参数化ReLU激活函数在Cifar10数据集上的效果。同时，迭代次数从调参记录18中的5000个epoch，减少到了500个epoch，因为5000次实在是太费时间了，差不多要四天才能跑完。自适应参数化ReLU激活函数的基本原理如下：Keras程序如下：#!/usr/bi

本文将残差模块的数量增加到27个。其实之前也这样做过，现在的区别在于，自适应参数化ReLU激活函数中第一个全连接层中的神经元个数设置成了特征通道数量的1/16。同样是在Cifar10数据集上进行测试。自适应参数化ReLU激活函数的基本原理如下：Keras代码如下：#!/usr/bin/env python3 # -*- coding: utf-8&nbsp

在调参记录16的基础上，增加了两个残差模块，继续测试其在Cifar10数据集上的效果。自适应参数化ReLU激活函数的基本原理如下：Keras程序：#!/usr/bin/env python3 # -*- coding: utf-8 -*- """ Created on Tue Apr

在调参记录15的基础上，将第一个残差模块的卷积核数量，从16个增加到32个，同时将自适应参数化ReLU激活函数中第一个全连接层的神经元个数改成原先的1/16，继续测试其在Cifar10数据集上的效果。自适应参数化ReLU激活函数的基本原理如下：Keras程序：#!/usr/bin/env python3 # -*- coding: utf-8 -

在调参记录14里，只有2个残差模块，结果遭遇欠拟合了。这次增加一个残差模块试试。自适应参数化ReLU激活函数的基本原理如下：Keras程序如下：#!/usr/bin/env python3 # -*- coding: utf-8 -*- """ Created on Tue Apr&

这次再尝试解决过拟合，把残差模块的数量减少到2个，自适应参数化ReLU激活函数里面第一个全连接层的权重数量，减少为之前的1/8，批量大小设置为1000（主要是为了省时间）。自适应参数化ReLU激活函数的基本原理如下：Keras程序如下：#!/usr/bin/env python3 # -*- coding: utf-8 -*- "&q

从以往的调参结果来看，过拟合是最主要的问题。本文在调参记录12的基础上，将层数减少，减到9个残差模块，再试一次。自适应参数化ReLU激活函数原理如下：Keras程序如下：#!/usr/bin/env python3 # -*- coding: utf-8 -*- """ Created on 

本文在调参记录10的基础上，在数据增强部分添加了zoom_range = 0.2，将训练迭代次数增加到5000个epoch，批量大小改成了625，测试Adaptively Parametric ReLU（APReLU）激活函数在Cifar10图像集上的效果。Adaptively Parametric ReLU（APReLU）激活函数的原理如下：Keras程序：#!/usr/bin/env&nbsp

本文在调参记录10的基础上，将残差模块的数量从27个增加到60个，测试采用Adaptively Parametric ReLU（APReLU）激活函数的深度残差网络，在Cifar10图像集上的效果。Keras程序如下：#!/usr/bin/env python3 # -*- coding: utf-8 -*- ""&quot

本文在调参记录9的基础上，在数据增强部分添加了shear_range = 30，测试Adaptively Parametric ReLU(APReLU)激活函数在Cifar10图像集上的效果。Keras里ImageDataGenerator的用法见如下网址：https://fairyonice.github.io/Learn-about-ImageDataGenerator.html深度残差网络+

本文在调参记录6的基础上，继续调整超参数，测试Adaptively Parametric ReLU（APReLU）激活函数在Cifar10图像集上的效果。深度残差网络+自适应参数化ReLU激活函数（调参记录6）https://blog.csdn.net/dangqing1988/article/details/105628681自适应参数化ReLU激活函数的基本原理见下图：在Keras里，Batc