基于Python+flask实现的人工智能Bp神经网络算法

客官°小女子只卖身不卖艺 2024-04-01 10:34 75阅读 0赞

## BP 算法 ##

Description: 纯 numpy 实现的 Bp 神经网络，实现了全连接层，MSEloss，Sigmoid、Relu 激活函数，以及优化器。前端可实时监控训练集 loss 与测试集 loss 以及训练测试集拟合曲线

### 结果展示 ###

#### 网络设置 ####

可设置每层神经元个数

![在这里插入图片描述][6aa56b83492847f78a8986b18616e435.png_pic_center]

#### 2d 可视化训练 ####

拟合任意一元函数，下面展示 sin(x),x^2

![在这里插入图片描述][a071a4d58c1540eaa4071f6c6194c33c.png_pic_center]  
![在这里插入图片描述][bfec9248641a407daaa79485bbad0915.png_pic_center]

#### 3d 可视化训练 ####

可拟合常用二元曲面

![在这里插入图片描述][a47b43b5f42d41a6ba4c0804f7b0e8bc.png_pic_center]

### 代码解析 ###

#### 构建计算图 ####

构造了计算图，在前向传播和反向传播中根据相应函数求导。

class Net:
    
        def __init__(self):
            self.graph=[] #用来存放计算图
            self.InitInput=None
            self.LR=0.00001
            self.target=None
            self._loss=[]
            self.momentum=1

#### 全连接层 ####

继承基类，实现了基类的方法。将该层参数与梯度封装进 Variable，供优化器更新。

def LinearLayer(self,input,output,bias=None,weights=None):#0
            l=LLayer(input,output,bias,weights)
            self.graph.append((0,l))
    
        def LinearLayerForward(self,input,i):
            self.graph[i][1].output=np.dot(input,self.graph[i][1].weight)+self.graph[i][1].bias
            return self.graph[i][1].output
    
        def LinearLayerBackward(self,input,i,gra,flag=None):
            grad=gra.copy()
            input=np.array(input)
            grad=np.array(grad)
            self.graph[i][1].weight=np.array(self.graph[i][1].weight)
            self.graph[i][1].wgrad=np.dot(input.T,grad)
            self.graph[i][1].bgrad=grad
            self.graph[i][1].grad=np.dot(grad,self.graph[i][1].weight.T)
            return self.graph[i][1].grad

#### 激活函数 ####

Sigmoid 激活函数存在梯度消失的问题，建议使用 Relu 激活函数

def Relu(self):#1
            l=Layer()
            self.graph.append((1,l))
    
        def ReluForward(self,input,i):
            input=np.array(input)
            self.graph[i][1].output=np.maximum(0,input)
            self.graph[i][1].grad = np.zeros(input.shape[0])
            return self.graph[i][1].output
    
        def ReluBackward(self,input,i,grad):
            mask=(input==self.graph[i][1].output)
            newgrad=np.zeros(mask.shape)
            newgrad[mask]=1
            self.graph[i][1].grad=grad*newgrad
            return self.graph[i][1].grad

def Sigmoid(self):#4
            l=Layer()
            self.graph.append((4,l))
    
        def SigmoidForward(self,input,i):
            input=np.array(input)
            self.graph[i][1].output=1/(np.exp(-input)+1)
            self.graph[i][1].grad=np.zeros(input.shape[0])
            return self.graph[i][1].output
    
        def SigmoidBackward(self,input,i,grad):
            temp=self.graph[i][1].output*(1-self.graph[i][1].output)
            self.graph[i][1].grad=grad*temp
            return self.graph[i][1].grad

#### 损失函数 ####

损失函数实现了 MSE(均方差损失)

def MSELoss(self):#3
            l=Layer()
            self.graph.append((3,l))
    
        def MSELossForward(self,input,i,label):
            self.graph[i][1].output = (input-label)**2/2
            return self.graph[i][1].output
    
        def MSELossBackward(self,input,i,grad):
            if self.graph[i][1].output is not None:
                if len(input.shape)<=0:
                    input=np.expand_dims(input,axis=0)
                self.graph[i][1].grad=(input-self.target)
                return self.graph[i][1].grad

### 环境 ###

*  `Python 3.6`
 *  依赖：`flask` `plotly.js`
 *  系统支持：`ubuntu`
 *  编程环境:`pycharm`  
    k.py \# 后端代码  
    │  
    ├── Network.py \# 给后端代码写好调用接口的网络代码  
    │  
    └── readme.md \# 此说明文件  
    ![在这里插入图片描述][d90df88fc826405b9eecff644abf8289.png_pic_center]  
    ![在这里插入图片描述][d231604ed3da4f81b71e46075ce7c43a.png_pic_center]  
    ![在这里插入图片描述][00225ee2ee3f447bbb0a44a4fc35117c.png_pic_center]

[6aa56b83492847f78a8986b18616e435.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/eeb51fdf2ce24e95b366da96b8f5d66c.png
[a071a4d58c1540eaa4071f6c6194c33c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/d569cb20eb5d41c7846e1055b9606f13.png
[bfec9248641a407daaa79485bbad0915.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/1993e9e8ada24fcab878851631f44d69.png
[a47b43b5f42d41a6ba4c0804f7b0e8bc.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/d25a24b4ed4e4d0f9b1d283c0baa3011.png
[d90df88fc826405b9eecff644abf8289.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/07705e809b5b489fa64eb58facf07904.png
[d231604ed3da4f81b71e46075ce7c43a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/039fb7a1126c47918c57837dc6757d07.png
[00225ee2ee3f447bbb0a44a4fc35117c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/4f5f665145fb451a8e53c16c6c276873.png