ITPub博客

续上一篇：深度残差网络+自适应参数化ReLU激活函数（调参记录7）https://blog.csdn.net/dangqing1988/article/details/105670981本文将层数设置得很少，只有两个残差模块，测试Adaptively Parametric ReLU（APReLU）激活函数在Cifar10图像集上的效果。Keras代码如下：#!/usr/bin/env p

续上一篇：深度残差网络+自适应参数化ReLU激活函数（调参记录6）https://blog.csdn.net/dangqing1988/article/details/105628681本文冒着过拟合的风险，将卷积核的个数增加成32个、64个和128个，继续测试Adaptively Parametric ReLU（APReLU）激活函数在Cifar10图像集上的效果。APReLU激活函数的基本原理

续上一篇：深度残差网络+自适应参数化ReLU激活函数（调参记录5）https://blog.csdn.net/dangqing1988/article/details/105627351本文继续调整超参数，测试Adaptively Parametric ReLU（APReLU）激活函数在Cifar10图像集上的效果。APReLU的基本原理如下图所示：首先，从之前的调参发现，当学习率从0.1降到0.

续上一篇：深度残差网络+自适应参数化ReLU激活函数（调参记录4）https://blog.csdn.net/dangqing1988/article/details/105610584本文继续测试Adaptively Parametric ReLU（APReLU）激活函数在Cifar10图像集上的效果，每个残差模块包含两个3×3的卷积层，一共有27个残差模块，卷积核的个数分别是16个、32个和6

续上一篇：深度残差网络+自适应参数化ReLU激活函数（调参记录3）https://blog.csdn.net/dangqing1988/article/details/105601313本文在深度残差网络中采用了自适应参数化ReLU激活函数，继续测试其在Cifar10图像集上的效果。与上一篇不同的是，这次修改了残差模块里面的结构，原先是两个3×3的卷积层，现在改成了1×1→3×3→1×1的瓶颈式结

续上一篇：深度残差网络+自适应参数化ReLU激活函数（调参记录2）https://blog.csdn.net/dangqing1988/article/details/105595917本文继续测试深度残差网络和自适应参数化ReLU激活函数在Cifar10图像集上的表现，残差模块仍然是27个，卷积核的个数分别增加到16个、32个和64个，迭代次数从1000个epoch减到了500个epoch（主要

续上一篇：深度残差网络+自适应参数化ReLU激活函数(调参记录1)https://blog.csdn.net/dangqing1988/article/details/105590515本文依然是测试深度残差网络+自适应参数化ReLU激活函数，残差模块的数量增加到了27个，其他保持不变，卷积核的个数依然是8个、16个到32个，继续测试在Cifar10数据集上的效果。自适应参数化ReLU激活函数是P

本文采用了深度残差网络和自适应参数化ReLU激活函数，构造了一个网络（有9个残差模块，卷积核的个数比较少，最少是8个，最多是32个），在Cifar10数据集上进行了初步的尝试。其中，自适应参数化ReLU激活函数原本是应用在基于振动信号的故障诊断，是参数化ReLU的一种改进，其基本原理如下图所示。具体的keras代码如下：#!/usr/bin/env python3 # -*-