【经典论文精读】浅谈神经网络的万能近似定理（下）
上篇文章我们介绍了神经网络强大的根本：万能近似定理的一些证明思路，今天这篇文章我们继续来聊一聊它，并给出若干定义，以及定理的简要证明和一些理解。
原文链接：https://doi.org/10.1016/0893-6080(89)90020-8
1. 仿射函数类：
对是一个仿射函数类，即满足，、
2. 类：
对任意Borel可测函数G(·)：和，令
3. 挤压函数：
称函数
为压缩函数，如果
单调不减，且满足
, 
.
4. 类：
对任意Borel可测函数G(·)：和，令
5. 各种函数类：
定义为连续函数类（）,为Borel可测函数类（），并令为上的Borel -代数
6. -稠密：
度量空间上的子集S在子集T上是-稠密，如果对于使得，即对于，可找到一组，使得
7. 一致稠密紧集：
S是上的一致稠密紧集当且仅当对任意上的紧集K，使得
函数序列一致收敛于当且仅当对上所有紧集K，使得
8. -等价：
让为上的概率测度，如果和属于，我们说和是-等价，如果
9. 度量：
给出一个概率测度在定义：使得
1. (stone-weierstrass定理)令是紧急并且A是K上的一个函数类满足：
A是一个代数（algebra），即
常函数在A中
分离点，即对于，那么存在使得
那么A在K上的实连续函数空间是稠密的。
注：第一个定理是著名的stone-weierstrass定理，与Weierstrass近似定理不同的是前者将后面的实轴上的闭区间转化为紧集，相应的也将原本多项式函数变为实值连续函数，换言之Weierstrass近似定理是stone-weierstrass定理的一个特例
2. （定理1）让G是任意连续非恒常值函数（），则为上的一致稠密紧集。
注：有了前面的stone-weierstrass定理，第二个定理就能比较简单的证明，首先证明是个代数，即满足封闭性，其次证明常函数在中，最后证明分离点的性质也满足，从而得证。
3.（引理1）以下条件等价：
（a）:
（b）:
（c）:
证：
注：(a)与（b）互证用定义就可以证出。（b）推（c）需要拆分积分的范围并对较大的部分用1限制住即可。（c）推（b）则用切比雪夫不等式可证
4.（引理2）如果是上的函数列，且在紧集上一致收敛到，则
证：
注：利用紧集和一致收敛的性质可推出引理1中的（c），再利用引理的结论互相等价即证。
5.（定理2）对于任意连续非常值函数G(·)，任意r以及任意，在上是稠密的。
注：我们知道在上是稠密的，结合引理2和定理1再利用三角不等式即证。
6.（引理3）令为一个连续的压缩函数，为任意的压缩函数，对任意,存在上的函数使得
证：
7.（定理3）对于任意压缩函数，任意r以及任意，在上是稠密的和在的紧集上一致稠密。
证：
8.（引理4）对任意压缩函数，任意和,存在函数使得
证：
9.（引理5）让,对任意压缩函数，任意紧集和任意存在使得
证：
10.（引理6）对于任意压缩函数，在的紧集上一致稠密。
证：
11.（定理4）对于任意压缩函数，任意r以及任意，在上是稠密的和在的紧集上一致稠密。
注：由引理6在的紧集上一致稠密，又由引理2推出在上稠密，由三角不等式和在上稠密即证
到此就介绍完了论文的一些相关证明，这里只叙述了当输出向量为一维的时候的情况，文中最后的一些推论也证明了在输出向量为多维的情况下定理依然成立，这里不做过多介绍感兴趣的朋友可以阅读原文了解。
欢迎加入ChallengeHub学习交流群
添加助手微信，可加入微信交流群（或者后台回复“交流群”）
原文作者：ChallengeHub；如有侵权，请联系管理员删除。
