ITPub博客

首页 > 人工智能 > 深度学习 > 卷积神经网络鼻祖LeNet网络分析

卷积神经网络鼻祖LeNet网络分析

深度学习 作者:dicksonjyl560101 时间:2018-12-14 15:51:51 0 删除 编辑

卷积神经网络鼻祖LeNet网络分析

 

https://blog.csdn.net/weixin_42137700/article/details/85005009

 

 

1998 年,被成为是现代卷积神经网络的鼻祖LeNet,被Yann LeCun正式提出。 下图是广为流传LeNet的网络结构,它可以用麻雀虽小,五脏俱全来形容,其中卷积层、池化层、全连接层,这些都是现代卷积神经网络的基本组件。

 

总体来说LeNet是从输入INPUT->C1卷积层->S2池化层->C3卷积层->S4池化层->C5卷积层->F6全连接层->输出OUTPUT,如下图所示。

 

1 LeNet 输入

LeNet 的输入图像是32*32的大小,这要比mnist数据集中字母28*28要大。 也就是说,要对mnist的数据进行两圈值为零的像素填充。像素填充的目的是为了让图像边缘的区域,也能出现在卷积过程感受野的中心。

 

2 LeNet 的C1卷积层

C1 层是LeNet的第一个卷积层,它的输入是32*32大小的图像,然后经过卷积过程,输出为6个通道28*28大小的特征图像。 其中卷积核的大小为5*5,在LeNet中都使用了5*5大小的卷积核。

 

卷积过程的滑动步长为1, 所以输出特征图像的计算方式为:32-5+1=28,因此输出特征图的大小为28*28。

因为输入为1通道的图像,然后用了6个卷积核,所以输出为6通道的特征图像。C1层的参数计算方式为(5*5+1)*6=156,其中每个卷积核为5*5,还带有一个偏置项。

 

3 LeNet 的S2池化层

LeNet 的第2层即S2是个池化层,在之前的文章中也为大家介绍过池化(pooling)过程,它是在做下采样操作,目的是在保留特征图像主要信息的同时,降低卷积神经网络的参数数量。

 

常见的池化有两种:

(1)Max-Pooling,选择Pooling窗口中的最大值作为采样值;

(2)Mean-Pooling, 将Pooling窗口中的所有值相加取平均,以平均值作为采样值。

 

在S2中的池化,选择的是特征图像2*2大小的窗口区域进行池化,因此特征图像的大小缩减了一倍,即从28*28的大小,变为14*14的大小。池化过程不影响特征图通道的数目,S2层池化过程如下图所示。

 

 

4 卷积与池化的重复

在卷积神经网络中,卷积与池化可以重复多次,可以一层卷积带有一层的池化如LeNet中的C1->S2,C3->S4,也可以多层卷积后再跟一个池化层。

 

在这里大家可以去思考一个问题,也就是怎样计算C3层的参数数目(提示,可以结合C1层的计算方式和之前文章中介绍的卷积知识去推算)。

 

在这里还需要注意的是C5层,它是一个比较特殊的卷积层,它的输入是16通道5*5大小的特征图像,而输出是一个120的向量。C5层可以有两种实现,第一种是使用5*5大小的卷积核进行卷积,第二种是将16通道5*5大小的特征图像拉平,然后再做全连接。

 

 

5 全连接

在实际LeNet的编码实现中,F6层和Output层都可以用全连接来实现。 其中F6是120->84的全连接,而Output是84->10的全连接,最后的10对应10种类别。

 

F6 层参数数量的计算为(120+1)*84=10164,这个跟多层感知器全连接参数的计算方式是一样的,每个全连接都带有一个偏置项。

 

后记

LeNet 是学习卷积神经网络的一个非常好的示例,通过学习LeNet可以对卷积神经网络设计有基础的认识,比如卷积核大小,通道数目,全连接结构等等,为以后深入学习卷积神经网络设计打下比较好的基础。另外,在现在的卷积神经网络中经常会使用ReLU作为激活函数,并采用批归一化BN,DropOut等处理 ,在后续的文章还会为大家带来更多的分享,欢迎大家关注我们。

 

本文作者:宽涛老师

 

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/29829936/viewspace-2285291/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
行万里路,读万卷书,阅无数人。 吃货一枚,爱吃湘菜,粤菜与杭帮菜,尝遍天下美食。 摄影爱好者,游遍名川大山,江河胡海,赏遍人间春色。 爱看电影,尤其是国产大片,好莱坞大片。英文名:Dickson Jin, 网名:风一样的BOY。精通SAP供应链咨询。2017年开始研习人工智能。

注册时间:2014-08-27

  • 博文量
    2528
  • 访问量
    3911934