Sigmoidal函数叠加的逼近（pdf），或Michael Nielsen的这个直观的解释），给定任意连续函数f（x）$f（x）$，当ε>0$\epsilon >0$时，存在一个神经网络g（x）$g（x）$带有一个以上隐藏层（选取合理的非线性函数，例如sigmoid），使得∀x，|f（x）−g（x）|$\forall x，|f（x）-g（x）|$

如果一个隐藏层就足以近似任何函数，那为什么要使用更多的隐藏层呢？答案是，双层神经网络是一个通用逼近器，尽管在数学上很简便，但在实践中却是相对较弱且无用的。在一个维度中，函数g（x）=Σici?（ai）其中a，b，c是参数向量也是一个通用逼近器，但没有人会建议我们在机器学习中使用这个函数。神经网络在实践中运行良好，因为它们简洁地表达平滑的函数，这些函数非常好地拟合了我们在实践中遇到的数据的统计特性，而且使用我们的优化算法（例如梯度下降）也很容易学习。类似地，尽管深层网络和单隐层网络的表示能力是相等的，但是根据经验观察发现，深层网络比单隐层网络效果更好。

顺便说一下，在实践中，3层神经网络通常会比2层网络性能好很多，但更深层（4,5,6层）的性能提高不明显。这与卷积网络形成鲜明对比，现在发现卷积神经网络深度是良好识别系统（例如，按照10个可学习层的顺序）是非常重要的组成部分。支撑这种现象的一个观点是：图像包含分层结构（例如，面部由眼睛组成，其由边缘等组成），因此多层处理对于该数据域而言是直观的。
当然，整个问题涉及更多知识，也是最近研究的主题。如果您对这些主题感兴趣，我们建议您进一步阅读：
Deep Learning ，尤其是第6.4节。
Do Deep Nets Really Need to be Deep?
FitNets: Hints for Thin Deep Nets

ConvNetsJS中演示这些例子。

在图9中，我们可以看到具有更多神经元的网络可以表达更复杂的函数。然而，这既有好处（因为我们可以学习分类更复杂的数据）也有坏处（因为它更容易过度训练数据）。当具有高复杂度的模型拟合数据中的噪音而不是（假定的）数据之间的潜在关系时，过拟合就会发生。例如，具有20个隐藏神经元的模型拟合了所有训练数据，但是它将空间分割成许多不相交的红色和绿色决策区域。3个隐藏神经元的模型具有的表示能力只能将数据粗笔画地分类。它将数据建模为两块，并将绿色簇内的少数红色点解释为异常值（噪声）。在实践中，这可能会使模型对测试集有更好的泛化能力。

基于我们上面的讨论，如果数据不够多，为防止过拟合似乎较小的神经网络是更优选的。然而，这是不正确的，有许多其他的方法可以防止过度拟合（例如L2正则化(regularization) ，丢失(DropOut)，输入噪声(input noise))。在实践中，使用这些方法来控制过度拟合比控制神经元数量的效果要好。

这背后的一个微妙的原因是，梯度下降等局部方法在较小的网络中更难进行：很显然，它们的损失函数具有相对较少的局部最小值，但事实证明，局部最小值越多越容易收敛，而且较小网络的局部最小值是不好的（即高损失）。相反，更大的神经网络包含更多的局部最小值，但是这些最小值在实际损失方面要比较小的网络好得多。由于神经网络是非凸的，所以很难从数学上研究这些性质，但是为了理解这些目标函数研究者已经做了一些尝试，例如，在最近的论文The Loss Surfaces of Multilayer Networks。在实践中，你发现如果你训练一个小型网络，最终的损失可能会表现出很大的差异 - 在某些情况下，你很幸运收敛到一个低损失的局部最小值，但有时，你又会陷入一个高损失的局部最小值。另一方面，如果你训练一个大型网络，你会发现许多不同的解决方案，但最终实现的损失差异会小得多。换句话说，所有的解决方案都大致相同，并且不依赖于随机初始化的运气。

重申一下，正则化强度是控制神经网络过度拟合的首选方法。我们可以看看三种不同正则化的结果：

图10 正则化强度的影响：每个神经网络有20个隐藏的神经元，提高正则化参数使其最终决策区域更平滑。你可以在这个ConvNetsJS中演示这个例子

结论是你不应该因为害怕而使用较小的网络。相反，您应该根据计算预算允许的限制来设置神经网络的大小，并使用其他正则化手段来控制过拟合。

deeplearning.net tutorial with Theano
ConvNetJS直观的演示
Michael Nielsen’s tutorials

译文出处