3.1 神经元与激励函数

前言

同学们好，欢迎来到深度学习的课程学习。所谓深度学习，现在通常是有两种流传的解释。一种是说这种学习是基于深度神经网络（Deep Nerual Networks）的学习，所以叫深度学习；还有一种说法是说这种技术能够让模型从海量的样本中去发现更多更深层的特征和规律，所以才叫深度学习。不过呢，似乎目前学术界仍然是第一种观点为主，给大家在跟别人讨论相关问题的时候做个参考吧。全连接网络是深度学习应用中最为传统的一种网络结构，我们就先介绍它。

神经元

神经网络，或者称人工神经网络（ANN，Artificial Neural Network）。我们现在说的深度学习就是基于深度神经网络来实现的一系列应用的统称。神经网络是一种人类由于受到生物神经细胞结构的启发而研究出的一种算法与建模体系。

人的神经元就像上图一样具有多个树突，主要用来接受传入信息；而轴突只有一条，轴突尾端有许多轴突末梢可以给其他多个神经元传递信息。轴突末梢跟其他神经元的树突产生连接，从而传递信号。这个连接的位置在生物学上叫做“突触”。一个神经元完成了一个简单的信息接收，处理，输出的基本动作。

信号在神经细胞之间的传递是用化学信息进行传递的，这些化学信号的构成简单来说就是靠一些有机化学分子的传输来传递信息。但是这些有机分子的成分是非常复杂，人类至今对这些化学分子的作用机理还是摸不早头脑，并没有形成完整的理论体系。但是呢，就在这种神经细胞之间靠刺激来传递信息的方式之中，人类获得了一个启示——是否我们也可以设计这样一种由网络连接的处理单元，让它们彼此之间通过某种刺激，协同完成信息的处理和传递呢？这里不得不佩服前人的洞见啊。

在1957年Rosenblatt提出了感知机模型（Perceptorn），这种模型和现时流行框架中的神经网络单元形式上非常接近。我们想要了解神经网络，就应该先看看它最基本的组成单元——神经元。

上图便是最简单的神经元结构，左边模拟生物神经元的输入，右边模拟生物神经元的输出。这里的输入可以是一个值，也可以是多个值，比如像上图所示，就是输入4个值。既然能同时输入多个值，所以神经元的输入通常都是以向量的形式作为输入的。

我们刚已经了解过神经元的输入和输出，那有同学就会问那神经元中间是做什么的呢？也就是说，一个输入经过了什么变换获得了一输出呢？莫慌，其实神经元的中间层就由两部分构成，分别是“线性模型”与“激励函数”。

线性模型

线性模型非常简单，说白了就跟函数一样的，就是计算，而且就是一个线性计算。

此处输入的x是一个n维的向量，w是系数，也是一个向量，后面是一个偏置（Bias）b。这里和我们之前讲过的线性回归中

几乎是一样的。下面我们以一个例子来说明下的它的计算过程：

那么这时候神经元的输出是怎样的呢？

实际就指的是一个1行n列，和一个n行1列的向量相乘，即对应维度的值相乘（这个例子中n=5），就这么简单。这种计算方式叫做点积，也可以说是矩阵运算中最简单的一种方式。现在我们已经有一个神经元了，按照前面理解线性回归的方式，至少它现在是可以去拟合一个线性回归的模型了。

激活函数

上面我们讲到了神经元的线性模型结构，不过还没完，一个神经元通常由两个部分组成，我们才刚刚看了它的前半部，还没看它的后半部。那么后半部分是什么呢？

神经元的后半部通常都会有一个激励函数。激励函数（Activation Function），也有翻译成激活函数的，它也是神经元中重要的组成部分。激励函数在一个神经元当中跟随在

函数之后。

下面我们来说说到底什么是激活函数。说白了，它依然是一个函数，也是为了计算。不过，不同的是这里的函数跟之前的函数稍稍有点不一样，它是一个非线性函数。我们知道，线性函数在坐标系上面的表达是一条直线，而非线性函数是一条曲线。那么我们加这个激活函数的作用是什么呢？前面我们说过，如果没有这个激活函数，神经元就是一个线性模型，但是呢，在现实生活中，并不是所有东西都能用一条直线分割开的（大多数情况不能）。