神经网络学习算法
本文为《吴恩达机器学习》的要点记录
神经网络学习 Neural Nerworks Learning
模型表示
上述模型我们也可以使用向量来表示:
代价函数
这个看起来复杂很多的代价函数背后的思想还是一样的，我们希望通过代价函数来观察算法预测的结果与真实情况的误差有多大，唯一不同的是，对于每一行特征，我们都会给出个预测，基本上我们可以利用循环，对每一行特征都预测个不同结果，然后在利用循环在个预测中选择可能性最高的一个，将其与中的实际数据进行比较。
正则化的那一项只是排除了每一层后，每一层的 矩阵的和。最里层的循环循环所有的行（由 +1 层的激活单元数决定），循环则循环所有的列，由该层（层）的激活单元数所决定。即：与真实值之间的距离为每个样本-每个类输出的加和，对参数进行regularization的bias项处理所有参数的平方和。
反向传播算法 Backpropagation Algorithm
- 反向传播算法的具体步骤
神经网络算法的一般步骤
网络结构：第一件要做的事是选择网络结构，即决定选择多少层以及决定每层分别有多少个单元。
第一层的单元数即我们训练集的特征数量。
最后一层的单元数是我们训练集的结果的类的数量。
如果隐藏层数大于1，确保每个隐藏层的单元个数相同，通常情况下隐藏层单元的个数越多越好。
我们真正要决定的是隐藏层的层数和每个中间层的单元数。
训练神经网络：
- 参数的随机初始化
- 利用正向传播方法计算所有的
- 编写计算代价函数 的代码
- 利用反向传播方法计算所有偏导数
- 利用数值检验方法检验这些偏导数
- 使用优化算法来最小化代价函数
链接：https://juejin.im/post/5d6c6b1c5188250a9858138e
来源：掘金
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/69927053/viewspace-3133576/ ，如需转载，请注明出处，否则将追究法律责任。
