本篇文章是源代码系列的第三节，BP神经网络的源代代码。该系列主要是分享一些本人在学习的过程中手写过的一些简单模型的代码，在学习理论知识的时候结合代码一起学习会更加得心应手。之前的两节分别是隐形马尔可夫链和决策树代码，大家可以在该公众号以往的文章中查找。虽然在目前所处的深度学习时代，tensorflow和pytorch的流行，已经不会有机会要自己手写BP神经网络做什么了。但是BP神经网络作为打开深度学习的一把及其重要的钥匙，我们还是有了解一下的它的必要的。

本文还是纯代码向的，有关于BP神经网络的推导，大家可以去知乎上查找，下面来看一下代码吧(还是用python写的)。

代码分为三个部分：第一部分是定义网络间的激活函数。

class SquareLoss:
    def forward(self,y,t):
        self.loss=y-t
        return np.sum(self.loss*self.loss)/self.loss.shape[1]/2   #返回输出层误差
    def backward(self):
        return self.loss

第二部分是定义向前向后的函数，以及变量。

class FC:
    def init(self, in_num, out_num, lr=0.01):
        self._in_num=in_num
        self._out_num=out_num
        self.w=np.random.rand(in_num,out_num)  #生成out行，in列矩阵
        self.b=np.zeros(out_num)
        self.lr=lr

    def _sigmoid(self,in_data):
        return 1/(1+np.exp(-in_data))

    def forward(self,in_data):
        self.top_val=self._sigmoid(np.dot(self.w.T,in_data)+self.b)   #将w转置然后与in_data相乘
        self.bottom_val=in_data
        return self.top_val

    def backward(self,loss):
        residual_z=loss*self.top_val*(1-self.top_val)  #采用sigmiod函数的，将误差e转化为 delta
        grad_w=np.dot(self.bottom_val,residual_z.T)    #该层输入的量，乘以上一层的delta为梯度
        grad_b=np.sum(residual_z)
        self.w-=self.lr*grad_w
        self.b-=self.lr*grad_b
        residual_x=np.dot(self.w,residual_z)
        return residual_x

第三部分，定义整个网络框架

class Net:
    def __init__(self,input_num=2,hidden_num=4,out_num=1,lr=0.1):
        self.fc1=FC()
        self.fc1.init(input_num,hidden_num,lr)
        self.fc2=FC()
        self.fc2.init(hidden_num,out_num,lr)
        self.loss=SquareLoss()

    def trian(self,x,y):
        for i in range(10000):
            layer1out=self.fc1.forward(x)
            layer2out=self.fc2.forward(layer1out)
            loss=self.loss.forward(layer2out,y)
            layer2loss=self.loss.backward()
            layer1loss=self.fc2.backward(layer2loss)
            saliency=self.fc1.backward(layer1loss)
        layer1out = self.fc1.forward(X)
        layer2out = self.fc2.forward(layer1out)
        print(X)
        print(y)
        print(layer2out)

最后附上下面的代码就可以直接运行了。

import numpy as np
X = np.array([[0, 0], [0, 1], [1, 0], [1, 1]]).T  # 2 x 4
y=np.array([[0],[0],[0],[1]]).T
net=Net()
net.__init__(2,4,1,0.1)
net.trian(X,y)