基于Python的flask框架手写数字识别系统

超、凢脫俗 2024-04-06 12:54 79阅读 0赞

目录  
1 项目描述 1  
2 基于决策树模型手写数字识别 2  
2.1 算法设计 3  
2.2 性能分析 3

1.  选择 gini 系数，还是信息熵 4
2.  是否采取贪心的算法 (是否一直采用最大信息熵增 4
3.  预剪枝 (叶子节点个数) 4  
    3 基于 SVM 模型手写数字识别 4  
    3.1 SVM 算法设计 4  
    3.2 SVM 模型性能分析 5  
    4 基于 ANN 模型手写数字识别 5  
    图 11. 核函数的选择 5  
    4.1 MNIST 数据集 5  
    4.2 ANN 结构 5  
    4.3 数据增广 5  
    4.4 ANN 模型性能分析 6  
    5 图像切割技术 6  
    6 前端页面设计 6  
    6.1 题目的聚光灯效果 6  
    6.2 按钮的流光效果 7  
    6.3 时钟的特效与 js 实现 8  
    6.4 动态科技曲线的设计外部引入的前端框架 8  
    6.5 飘落樱花的设计 8  
    6.6 图片的上传 8  
    6.7 ajax 前后端通信 9

2基于决策树模型手写数字识别  
决策树是一种树形结构，其中每个内部节点表示一个属 性上的测试，每个分支代表一个测试输出，每个叶节点代表 一种类别。每个决策树都表述了一种树型结构，它由它的分 支来对该类型的对象依靠属性进行分类。每个决策树可以 依靠对源数据库的分割进行数据测试。这个过程可以递归 式的对树进行修剪。当不能再进行分割或一个单独的类可 以被应用于某一分支时，递归过程就完成了。  
3基于 SVM 模型手写数字识别  
3.1SVM 算法设计  
SVM 分类算法以另一个角度来考虑问题。其思路是获取大量的手写数字，常称作训练样本，然后开发出一个可以从这些训练样本中进行学习的系统。换言之，SVM 使用样本来自动推断出识别手写数字的规则。随着样本数量的增加，算法可以学到更多关于手写数字的知识，这样就能够提升自身的准确性。对于分类问题。我们会将数据集分成三部分，训练集、测试集、交叉验证集。用训练集训练生成模型， 用测试集和交叉验证集进行验证模型的准确性。  
我们分别使用了 Linear,Poly,Rbf,Sigmoid 四种核函数 对数据进行训练，SVM 模型有两个非常重要的参数 C 与gamma。其中 C 是惩罚系数，即对误差的宽容度。c 越高， 说明越不能容忍出现误差, 容易过拟合。C 越小，容易欠拟合。C 过大或过小，泛化能力变差。gamma 是选择 RBF 函数作为 kernel 后，该函数自带的一个参数。隐含地决定了数据映射到新的特征空间后的分布，gamma 越大，支持向量越少，gamma 值越小，支持向量越多。支持向量的个数影响训练与预测的速度。  
8总结  
1.我们用了三种算法对手写数字识别进行了实现，决 策树模型的精确度达到了 84.8%, SVM 模型我们最终选择了 poly 核函数，它的精确度达到了 95.7%, ANN 模型的精确度达到了 99.1%. 在这个过程中我们使用到了流出法和交叉验证和自助法分别求解精确度，上述的精确度我们采用了 十折十次交叉验证，精确度是相对稳定的一个指标  
2.用精确度还是无法完全地评估一个模型，所以我们 又分别对三个模型进行了 ROC 曲线，PR 曲线，混淆矩阵的分析，从 ROC 曲线可以看出，本文转载自http://www.biyezuopin.vip/onews.asp?id=14885ANN 模型是优于 SVM 模型和决策树模型的，SVM 模型又是优于决策树模型的。PR 曲线同样是可以反应模型的能力的，特别地，PR 曲线对于样本比例是比较敏感的，从 PR 曲线来看，我们的样本比例应该是比较均衡的，事实上，我们从样本的成分分析得出了 相同的结论。混淆矩阵也能反映模型的能力，能够看到模型的错误样本。  
3.本项目还有一个亮点就是做了数据增广，这个数据 增广只在 ANN 模型中做了比较，通过数据增广 (具体可以见技术手册)，我们提高了 ANN 模型的性能，这从精确度， ROC 图等上都可以反映出来。特别是最后，我们测试自己手写的图片的时候，ANN 通过的数据增广训练后的表现是明显要优于其他两个模型的，它大大提高了数据的泛化能 力。  
4.最后我们做了一个展示的界面，用到了 Html，CSS， JavaScript，Flask 框架等知识，学到了机器学习之外的，也是很有意思的知识。在写出漂亮网页的同时，我们感觉自我的修行和对美的感受也得到了升华，真的是受益匪浅啊！

import torch
    import numpy as np
    from MNIST_ANN import load_model
    from DataLoader_ import MNIST_DS
    from torch.utils.data import DataLoader
    import matplotlib.pyplot as plt
    from sklearn.metrics import roc_curve,auc,precision_recall_curve
    import os
    os.environ['KMP_DUPLICATE_LIB_OK'] = 'TRUE'
    
    class Visionlization(object):
        def __init__(self,model,DataLoader,ClassSize):
            self.model=model
            self.DataLoader=DataLoader
            self.size=ClassSize
            self.Pmat=self.Mat=np.zeros(shape=(ClassSize,ClassSize))
        # 计算混淆矩阵
        def GetConfusionMatrix(self):
            self.model.eval()
            for X,y in self.DataLoader:
                logit=self.model(X)
                PredClass=logit.argmax(1).item()
                self.Mat[y][PredClass]+=1
            # 行归一化矩阵
            self.PMat= self.Mat.astype('float32') / np.sum(self.Mat, axis=1)[:, np.newaxis]
    
        # 可视化混淆矩阵
        def PlotConfusionMatrix(self,SaveName='./ConMat01',title='ConfusionMatrix'):
            plt.figure(figsize=(10,10),dpi=80)
            x=np.arange(self.size)
            X,Y=np.meshgrid(x,x)
            for a,b in zip(X.flatten(),Y.flatten()):
                val=self.PMat[a][b]
                if val>0.001:
                    plt.text(a,b,'%.3f'%val,color='red',fontsize=10,va='center',ha='center')
            plt.imshow(self.PMat, interpolation='nearest', cmap=plt.cm.binary)
            plt.title(title,fontsize=15,color='black')
            plt.colorbar()
            space=np.arange(self.size)
            plt.xticks(space,space,fontsize=10,rotation=90)
            plt.yticks(space, space, fontsize=10, rotation=0)
            plt.xlabel('Actual label',fontsize=15,color='black')
            plt.ylabel('Predict label',fontsize=15,color='black')
            # 调整刻度
            tick_marks = np.array(range(self.size)) + 0.5
            plt.gca().set_xticks(tick_marks, minor=True)
            plt.gca().set_yticks(tick_marks, minor=True)
            plt.gca().xaxis.set_ticks_position('none')
            plt.gca().yaxis.set_ticks_position('none')
            plt.grid(True, which='minor', linestyle='-')
            plt.gcf().subplots_adjust(bottom=0.15)
            # 保存图片
            plt.savefig(SaveName,format='png')
            plt.show()
    
        # 计算one-hot编码的标签和分数
        def GetParament(self):
            scores=[]
            labels=[]
            for k in range(self.size):
                self.model.eval()
                score = []
                label = []
                for X, y in self.DataLoader:
                    logit = self.model(X)
                    score.append(logit.squeeze()[k].item())
                    if y.item() == k:
                        t = 1
                    else:
                        t = 0
                    label.append(t)
                scores.append(score)
                labels.append(label)
            return labels,scores
    
        # 可视化ROC曲线
        def plotROC(self):
            colors=['black','red','green','blue','yellow','gray','snow','navy','gold','cyan']
            titles=['0','1','2','3','4','5','6','7','8','9']
            fpr={
        }
            tpr={
        }
            roc_auc={
        }
            labels,scores=self.GetParament()
            for k in range(self.size):
                fpr[k],tpr[k],_=roc_curve(labels[k],scores[k])
                roc_auc[k]=auc(fpr[k],tpr[k])
                plt.plot(fpr[k],tpr[k],color=colors[k],label=titles[k]+':AUC{0:.3f}'.format(roc_auc[k]))
            plt.xlabel('False Positive Rate')
            plt.ylabel('True Positive Rate')
            plt.title('ROC Curve')
            plt.xlim([-0.05, 1.05])
            plt.ylim([-0.05, 1.05])
            plt.legend(loc="lower right")
            plt.show()
    
        # 可视化测试集上准确度
        def plotAccuary(self):
            # 文件保存了准确率accuracy，迭代次数epoch,学习率lr,块大小bas
            Paraments=np.load('test_accuracy64_100_99_1.npz')
            print(Paraments['accuracy'])
            epoch = [k + 1 for k in range(100)]
            plt.plot(epoch, Paraments['accuracy'], color='green', linestyle='-.')
            plt.xlabel('epochs')
            plt.ylabel('test accuracy')
            plt.xlim([1, 100])
            plt.ylim([0, 1])
            x_ticks=[k for k in range(1,101,10)]
            y_ticks=np.linspace(0,1,10)
            plt.xticks(x_ticks,x_ticks)
            plt.yticks(y_ticks)
            plt.show()
    
        # 可视化PR曲线
        def plotPR(self):
            colors = ['black', 'red', 'green', 'blue', 'yellow', 'gray', 'snow', 'navy', 'gold', 'cyan']
            titles = ['0', '1', '2', '3', '4', '5', '6', '7', '8', '9']
            pre = {
        }
            rec = {
        }
            labels, scores = self.GetParament()
            for k in range(self.size):
                pre[k], rec[k], _ = precision_recall_curve(labels[k], scores[k])
                plt.plot(pre[k], rec[k], color=colors[k], label=titles[k])
            plt.xlabel('precision')
            plt.ylabel('Precision')
            plt.title('Recall')
            plt.xlim([-0.05, 1.05])
            plt.ylim([-0.05, 1.05])
            plt.legend(loc="lower right")
            plt.show()
    
        # 可视化权重变化
        def plotWeight(self):pass
    
        # 可视化数据集
        def plotDataSet(self):
            test_size = {
        k: 0 for k in range(10)}
            for x, y in self.DataLoader:
                test_size[y.item()] += 1
            sizes = test_size.values()
            labels = test_size.keys()
            colors = ['black', 'red', 'green', 'blue', 'yellow', 'gray', 'snow', 'navy', 'gold', 'cyan']
            plt.pie(sizes, labels, colors=colors)
            plt.show()
    
    if __name__ == '__main__':
    
        # 加载模型
        model = load_model()
        # 模型的参数是一个有序字典，以模型序列中带有参数的层的名字命名
        Paraments=torch.load('best_Augment_with_weight_decay_Data100.pth')
        model.load_state_dict(Paraments)
        load_data=DataLoader(dataset=MNIST_DS(kind=False,AugmentData=False),batch_size=1)
        MatVision=Visionlization(model,load_data,10)
        # MatVision.GetConfusionMatrix()
        # MatVision.PlotConfusionMatrix()
        # MatVision.plotROC()
        # MatVision.plotPR()
        # MatVision.plotAccuary()
        # MatVision.plotDataSet()

![在这里插入图片描述][143c028f9e7c4d48bc79b09881f03e38.png_pic_center]  
![在这里插入图片描述][9ecb9be01d324b00b952407d2dffc16f.png_pic_center]  
![在这里插入图片描述][ed2a64fd9a214c0da56858b989437c34.png_pic_center]  
![在这里插入图片描述][f0f7ae505ca34ec8ad73f52876dd6b1f.png_pic_center]  
![在这里插入图片描述][bec002514de84d99b64d958ce33f7c8a.png_pic_center]  
![在这里插入图片描述][ff36e20fcb2a49ca81a6aef82fb3f732.png_pic_center]  
![在这里插入图片描述][974d7b9e0aaf4db8b0f42ce949538c03.png_pic_center]  
![在这里插入图片描述][d6278038889b43a8bb1207b151b1542c.png_pic_center]  
![在这里插入图片描述][8a6c2e067c794d40b5f24156769e6a25.png_pic_center]  
![在这里插入图片描述][9b7212b33de74725b69e0f1fe3a7e4da.png_pic_center]  
![在这里插入图片描述][12fe5680bd1f41c4affd889cf6821bb3.png_pic_center]  
![在这里插入图片描述][05f3f5d7cba74c7c9e3c4a00cdb00e10.png_pic_center]  
![在这里插入图片描述][4541b9f8310e48dcaa11b5c8ba8986ab.png_pic_center]  
![在这里插入图片描述][e7c56e8ec2524b65abfb0131a0e83b50.png_pic_center]  
![在这里插入图片描述][36f52cd0d242413dbb191701f5594f28.png_pic_center]  
![在这里插入图片描述][b67f93e9dd8849fca7f25d74cc4da8cd.png_pic_center]  
![在这里插入图片描述][1c12024c1d3c4026947de9da3ce30ca8.png_pic_center]  
![在这里插入图片描述][e9ea2383da264cb4a19c4f6a819ba935.png_pic_center]  
![在这里插入图片描述][acc9eefc386a4959836ac09bc1d323ee.png_pic_center]  
![在这里插入图片描述][6828f7272924411f987d501822d07300.png_pic_center]  
![在这里插入图片描述][0b3a213163d34e53b66edc55a88aea83.png_pic_center]  
![在这里插入图片描述][5659ae699f83453d9d77ed48074a8a16.png_pic_center]  
![在这里插入图片描述][86aee26a32dc4bac83b3bb8fe6203cc9.png_pic_center]  
![在这里插入图片描述][6b4e1515217c4b77a87e1d1c8bee5ccb.png_pic_center]  
![在这里插入图片描述][86cc94b514ed4b12a1b9f1cd09059f78.png_pic_center]  
![在这里插入图片描述][a9dbc45ae3a044cca83ad8044470f0df.png_pic_center]  
![在这里插入图片描述][0822f91d4b1241738a60a6194f03cafc.png_pic_center]  
![在这里插入图片描述][4b7e3f5030074732b13e98c909c33568.png_pic_center]  
![在这里插入图片描述][bf08e5d0ee1c4893ad946c19e35a00cf.png_pic_center]  
![在这里插入图片描述][fb250bcd9afb4818825301754241831e.png_pic_center]  
![在这里插入图片描述][0c7bbc4d205744f8a82bc69c3637cc57.png_pic_center]  
![在这里插入图片描述][e440e1293aba4d7abd82adc0e61441d1.png_pic_center]  
![在这里插入图片描述][f2f9978e98c34838a511be254acdaa2b.png_pic_center]  
![在这里插入图片描述][ac4fdf5a28a14f9b84da5cd511d065d9.png_pic_center]  
![在这里插入图片描述][bbcc9720b8814e83ad1c998d78997c85.png_pic_center]  
![在这里插入图片描述][2f79ebf553b745509f026ac30be05703.png_pic_center]  
![在这里插入图片描述][a882829cf9a445719e927e14634f31c4.png_pic_center]  
![在这里插入图片描述][4e818bdb9171484e8b82c510ae75e9d2.png_pic_center]  
![在这里插入图片描述][ba45ef4f58e64ab8badc86469fdba65c.png_pic_center]  
![在这里插入图片描述][0f59055af6b046cd8b48ac6269ff2389.png_pic_center]  
![在这里插入图片描述][3880d94d6d1c4f629c7ecd4adf47acb5.png_pic_center]  
![在这里插入图片描述][cd0a56145f73442092f754531849e6a1.png_pic_center]  
![在这里插入图片描述][d6ce7ca81e084007b999d0eac4d4f307.png_pic_center]  
![在这里插入图片描述][23090c8a5cf04b8abc967b5872d631ea.png_pic_center]

[143c028f9e7c4d48bc79b09881f03e38.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/d525af555d98485d99cb94eb11d32b54.png
[9ecb9be01d324b00b952407d2dffc16f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/b7c7db55d2a6474f801a6e576fcd0332.png
[ed2a64fd9a214c0da56858b989437c34.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/e975c7650407492b83b2bed6ba286563.png
[f0f7ae505ca34ec8ad73f52876dd6b1f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/23f0d0e444a247b8bcbd10cbe6390912.png
[bec002514de84d99b64d958ce33f7c8a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/4862971e4c9d4d15a0ffa1d63ff70ad8.png
[ff36e20fcb2a49ca81a6aef82fb3f732.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/061910222f684147b028a9a2c1b0e376.png
[974d7b9e0aaf4db8b0f42ce949538c03.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/b6e743dfa6df426689edc15c1035fbdb.png
[d6278038889b43a8bb1207b151b1542c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/26e9f43018d944b9a68c97abafe1dcdd.png
[8a6c2e067c794d40b5f24156769e6a25.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/d406dd490388417885240fcc74f15faf.png
[9b7212b33de74725b69e0f1fe3a7e4da.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/422fac6c18b44a04b750856d13462cbf.png
[12fe5680bd1f41c4affd889cf6821bb3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/b4e21aad633c4d91b6d303c4b9d47756.png
[05f3f5d7cba74c7c9e3c4a00cdb00e10.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/aba4bc9cd44f48fba3854b3b7b15b877.png
[4541b9f8310e48dcaa11b5c8ba8986ab.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/75af8546346b46218e0657969fdf6cc6.png
[e7c56e8ec2524b65abfb0131a0e83b50.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/6b0cfc6e99084862b176f96eca3b1316.png
[36f52cd0d242413dbb191701f5594f28.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/573fb9b15fc94390b0dd1c3434e823f3.png
[b67f93e9dd8849fca7f25d74cc4da8cd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/66a1c36a9b544d3f9e192a9e0633805c.png
[1c12024c1d3c4026947de9da3ce30ca8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/77442d5a373e46f9ba2825a3c019f423.png
[e9ea2383da264cb4a19c4f6a819ba935.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/49add8956e684a609b290b0c7b0775ec.png
[acc9eefc386a4959836ac09bc1d323ee.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/8e9f66af4cb6408da3c80349320143ee.png
[6828f7272924411f987d501822d07300.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/b0a46a0746e047dd9b94435c86be1473.png
[0b3a213163d34e53b66edc55a88aea83.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/04687c06d0b04137a8578c495e042b01.png
[5659ae699f83453d9d77ed48074a8a16.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/118bbf7172cf43d1bd22521037a08633.png
[86aee26a32dc4bac83b3bb8fe6203cc9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/97c867284b0d47e1a4ab5c79d5df21c2.png
[6b4e1515217c4b77a87e1d1c8bee5ccb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/d39621b1ef4d4e1bb836570c83c47787.png
[86cc94b514ed4b12a1b9f1cd09059f78.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/19adced932dc4c8d9a0f8c9768efbfba.png
[a9dbc45ae3a044cca83ad8044470f0df.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/ead6886b46464357ba04e30b17c32713.png
[0822f91d4b1241738a60a6194f03cafc.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/be21cf235a7a4199a17fe6f13cbe9539.png
[4b7e3f5030074732b13e98c909c33568.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/f5d2daec6179436dbaaace39b6116b37.png
[bf08e5d0ee1c4893ad946c19e35a00cf.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/9f45fc02799048eda196fb4d974daf42.png
[fb250bcd9afb4818825301754241831e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/d64e69864686437aac933c32d6391aec.png
[0c7bbc4d205744f8a82bc69c3637cc57.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/16f825b6b64d4ac5939cc8d44b67e68a.png
[e440e1293aba4d7abd82adc0e61441d1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/21faa8236282484a84f7a4501f66ae7c.png
[f2f9978e98c34838a511be254acdaa2b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/54c60c790f2343a1ad9162406d43e125.png
[ac4fdf5a28a14f9b84da5cd511d065d9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/c4598bd29fa84717bd4ba16d90e8ae36.png
[bbcc9720b8814e83ad1c998d78997c85.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/62b768bcec6647f3ba49eeaaa73b162e.png
[2f79ebf553b745509f026ac30be05703.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/44d94794019e48f9aade015580981d3b.png
[a882829cf9a445719e927e14634f31c4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/d2c16d78874b4e978babd4a533194bef.png
[4e818bdb9171484e8b82c510ae75e9d2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/c5f450902f37440f867425f8664d5e73.png
[ba45ef4f58e64ab8badc86469fdba65c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/203d1e76b66547ed9d470068a6901308.png
[0f59055af6b046cd8b48ac6269ff2389.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/b37b84f146f14028aa877fa7b71b428f.png
[3880d94d6d1c4f629c7ecd4adf47acb5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/817ee9be605c417d8e2677d975acf881.png
[cd0a56145f73442092f754531849e6a1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/a4fdc0127d724ae5b855f9d338a45fba.png
[d6ce7ca81e084007b999d0eac4d4f307.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/6c37296fa7c4403399b627e5e84a6230.png
[23090c8a5cf04b8abc967b5872d631ea.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/748352d7fb324d9d86af1871d90c17cf.png