《大数据算法学习》（三）MNIST手写数字识别

ゝ一世哀愁。 2023-05-28 08:23 46阅读 0赞

## 一、使用MNIST数据集 ##

本次学习使用神经网络识别手写数字，我们使用的数据集是MNIST数据集，MNIST数据集的长相如下图所示。

![20200328160351991.png][]

MNIST数据集是由0 到9 的数字图像构成。训练图像有6 万张，测试图像有1 万张，这些图像可以用于学习和推理。MNIST数据集的一般使用方法是，先用训练图像进行学习，再用学习到的模型度量能在多大程度上对测试图像进行正确的分类。 MNIST的图像数据是28 像素 × 28 像素的灰度图像（1 通道），各个像素的取值在0 到255 之间。每个图像数据都相应地标有“7”、“2”、“1”等标签。

load\_mnist函数以“( 训练图像, 训练标签)，( 测试图像，测试标签)”的形式返回读入的MNIST数据。

def load_mnist():
        train_labels_path = 'train-labels.idx1-ubyte'
        test_labels_path = 't10k-labels.idx1-ubyte'
        train_images_path = 'train-images.idx3-ubyte'
        test_images_path = 't10k-images.idx3-ubyte'
    
        with open(train_labels_path, 'rb') as lpath:
            magic, n = struct.unpack('>II', lpath.read(8))
            train_labels = np.fromfile(lpath, dtype = np.uint8).astype(np.float)
    
        with open(train_images_path, 'rb') as ipath:
            magic, num, rows, cols = struct.unpack('>IIII', ipath.read(16))
            loaded = np.fromfile(train_images_path, dtype=np.uint8)
            train_images = loaded[16:].reshape(len(train_labels), 784).astype(np.float)
    
        with open(test_labels_path, 'rb') as lpath:
            magic, n = struct.unpack('>II', lpath.read(8))
            test_labels = np.fromfile(lpath, dtype = np.uint8).astype(np.float)
    
        with open(test_images_path, 'rb') as ipath:
            magic, num, rows, cols = struct.unpack('>IIII', ipath.read(16))
            loaded = np.fromfile(test_images_path, dtype=np.uint8)
            test_images = loaded[16:].reshape(len(test_labels), 784)
    
        return train_images, train_labels, test_images, test_labels
    
    img_train,label_train,img_test,label_test = load_mnist()

MNIST数据集有四个文件，分别代表列训练图像、训练标签、测试图像、测试标签，下载地址如下：

[http://yann.lecun.com/exdb/mnist/][http_yann.lecun.com_exdb_mnist]

## 二、神经网络的推理处理 ##

神经网络的输入层有784 个神经元，输出层有10 个神经元。输入层的784 这个数字来源于图像大小的28 × 28 = 784，输出层的10 这个数字来源于10 类别分类（数字0 到9，共10 类别）。此外，这个神经网络有2 个隐藏层，第1 个隐藏层有50 个神经元，第2 个隐藏层有100 个神经元。这个50 和100 可以设置为任何值。

我们本次学习使用的权重是已经训练好的权重数据，准确率可以达到94%，权重数据文件名为sample\_weight.pkl。

### 数据和代码的下载地址：[https://download.csdn.net/download/zhiyeegao/12277801][https_download.csdn.net_download_zhiyeegao_12277801] ###

import pickle
    def init_network():
        with open("sample_weight.pkl","rb") as f:
            network = pickle.load(f)

用神经网络进行预测:

def sigmoid(x):
        return 1/(1+np.exp(-x))
    
    def softmax(a):
        exp_a = np.exp(a)
        sum_exp_a = np.sum(exp_a)
        y = exp_a / sum_exp_a
        return y
    
    def predict(network,x):
        W1,W2,W3 = network['W1'],network['W2'],network['W3']
        b1,b2,b3 = network['b1'],network['b2'],network['b3']
        a1 = np.dot(x,W1)+b1
        z1 = sigmoid(a1)
        a2 = np.dot(z1,W2)+b2
        z2 = sigmoid(a2)
        a3 = np.dot(z2,W3)+b3
        y = softmax(a3)
        return y

## 三、批处理 ##

用**批处理**统计训练标签和测试标签每万份数据中相同的数字的个数是多少。（训练标签有六万个，测试标签有一万个）

batch_szie = 10000
    all_same_count = 0
    for i in range(0,len(label_train),batch_szie):
        label_train_batch = label_train[i:i+batch_szie]
        same_count = 0
        same_count += np.sum(label_train_batch == label_test)
        all_same_count += same_count
        print("每万份数据中相同数字个数："+str(same_count))
    print("总数："+str(all_same_count))
    
    
    每万份数据中相同数字个数：1008
    每万份数据中相同数字个数：1034
    每万份数据中相同数字个数：941
    每万份数据中相同数字个数：1004
    每万份数据中相同数字个数：1018
    每万份数据中相同数字个数：1014
    总数：6019

[20200328160351991.png]: /images/20230528/8986dfa1a5264c00b61451277a4ef494.png
[http_yann.lecun.com_exdb_mnist]: http://yann.lecun.com/exdb/mnist/
[https_download.csdn.net_download_zhiyeegao_12277801]: https://download.csdn.net/download/zhiyeegao/12277801