keras的验证码识别实战

小鱼儿 2022-05-13 16:28 447阅读 0赞

keras的验证码图像识别

一、简介

接触过机器学习的都应该知道，TensorFlow和keras的一个经典的入门例子就是MNIST的手写图片识别，具体内容是根据手写的0-9的图片，通过机器学习，最后能够得到手写图片的具体数字。  
![在这里插入图片描述][70]

MNIST手写例子请移步TensorFlow中文社区：[http://www.tensorfly.cn/tfdoc/tutorials/mnist\_beginners.html][http_www.tensorfly.cn_tfdoc_tutorials_mnist_beginners.html]

其实，验证码的识别和手写数字的识别区别不过，无非是多了字母，也就是分类变多了，0-9是10类，字母也就是26类，一共36个分类。  
![在这里插入图片描述][70 1]

以上交所的登录验证码为例：

![在这里插入图片描述][70 2]

经过研究发现：验证码中去除了数字0和1，字母去除了O、I、Q、L，一共6个分类，现在剩余一共30个分类。

二、数据准备

首先爬取了该网站的10000张验证码图片，然后对图片进行人工的验证码命名：

![在这里插入图片描述][70 3]

其次，对验证码进行去噪、切分成16\*16的4个字母的单个图片，并且根据图片的名字，放在不同的文件夹下面，一共可以得到30个文件夹，每个文件夹下面分别放的改分类的单张16 \* 16的图片，如图所示：  
![在这里插入图片描述][70 4]

文件夹内部：  
![在这里插入图片描述][70 5]

这里只讨论验证码识别模型的训练，图片的去噪和切分不在这里研究，切分好的图片需要进行一遍人工的验证，去掉一些切分错误的图片，保证训练集和测试集的正确度。在实际切分的时候W和M是切分错误比较多的，可能是因为两个字母相对来说宽一点，程序识别的误差比较大。

三、keras训练脚本的编写

这里使用到的keras的库是TensorFlow中的内置keras库，和keras的独立库总体上相同，有些API的调用方面有些许不同。

1.  首先导入对应的库
    
    # TensorFlow and tf.keras #
    
    import tensorflow as tf  
    from tensorflow import keras
    
    # Helper libraries #
    
    import numpy as np
    
    # 主要用来画图 #
    
    import matplotlib.pyplot as plt
    
    # 系统的IO操作 #
    
    import os
    
    # 图片的读取等相关库 #
    
    import matplotlib.image as mpimg  
    from PIL import Image
    
    # sklean #
    
    from sklearn import metrics
2.  读取图片数据

数据的加载把它放入load\_data这个方法中，输入参数为图片数据所有的父路径。

首先在在程序初始化时定义所有的分类：

class_names = ['2', '3', '4', '5', '6', '7', '8', '9',
                   'A','B','C','D','E','F','G','H','J','K','M','N',
                   'P','R','S','T','U','V','W','X','Y','Z']

通过遍历分类数据组的数据，来实现遍历整个图片数据文件夹的目的，最终实现读取所有验证码图片并且其标签的数据。在读取到具体某张图片数据时，获取图片的像素矩阵为16 \* 16，使用im = Image.open(path)获取，通过im = (np.expand\_dims(im,0))转换为(1 \*16 \*16）的矩阵，并且通过numpy的vstack方法使其竖直方向上的叠加至最终的x，x矩阵最终的维度为(图片数量 \* 16 \*16)。读取循环中的分类名称为图片的标签，类型转换是和图片像素一样的道理。

def laod_data(source_dir):
        x =None
        y =None
        for n in range(len(class_names)):
            d = source_dir+class_names[n]
            ldata = os.listdir(d)
            for i in range(0,len(ldata)):
                path = os.path.join(d,ldata[i])     
                im = Image.open(path)
                im = Image.fromarray(np.uint8(im))
                im = np.array(im) #(16*16)
                im = (np.expand_dims(im,0))#(1*16*16)
                
                if x is None:
                    x = im
                else:
                    x = np.vstack((x,im))
                if y is None:
                    y = n
                else:
                    y = np.vstack((y,n))
        return x,y

最后，调用其方法获取训练数据和测试数据：

print('load data start...')
        train_dir = r'C:\\Users\\chenyang\\Desktop\\all\\training\\'
        test_dir = r'C:\\Users\\chenyang\\Desktop\\all\\testing\\'
        train_images, train_labels = laod_data(train_dir)
        print(train_images.shape,train_labels.shape)
    
        test_images, test_labels = laod_data(test_dir)
    
        print(test_images.shape,test_labels.shape)
        print('load data end...')

1.  定义模型结构

*  在keras中定义模型结构十分的方便，具体代码如下：
    
    model = keras.Sequential(\[  
    keras.layers.Flatten(input\_shape=(16, 16)),  
    keras.layers.Dense(512, activation=tf.nn.relu),  
    keras.layers.Dropout(0.4, noise\_shape=None, seed=None),  
    keras.layers.Dense(30, activation=tf.nn.softmax)  
    \])

所有的层级结构都在keras.layer下面，第一层为Flatten，先把输入的矩阵reshape成一个一维的数据，第二层是一个relu激活层（ReLu是输入只能大于0,如果你输入含有负数，ReLu就不适合，如果你的输入是图片格式，ReLu就挺常用的,详细可以点击这篇文章，里面说的非常详细易懂），有512个神经元，这个神经元的数量也是通过多次实验得到的效果最好的数量。后面是一个Dropout，防止过拟合，在几次训练之后发现有过拟合的现象，所以加了一个dropout层，最后是一个softmax，转换为30个分类的对应概率。

介绍一下model的summary()方法，这个方法会打印出定义模型的整体结构

model.summary()

打印如下：

_________________________________________________________________
    Layer (type)                 Output Shape              Param #   
    =================================================================
    flatten (Flatten)            (None, 256)               0         
    _________________________________________________________________
    dense (Dense)                (None, 512)               131584    
    _________________________________________________________________
    dropout (Dropout)            (None, 512)               0         
    _________________________________________________________________
    dense_1 (Dense)              (None, 30)                15390     
    =================================================================
    Total params: 146,974
    Trainable params: 146,974
    Non-trainable params: 0

*  定义优化器和损失函数
    
    model.compile(optimizer=tf.train.AdamOptimizer(),  
    loss=‘sparse\_categorical\_crossentropy’,  
    metrics=\[‘accuracy’\])

优化器采用AdamOptimizer，这个也是比较常见的优化器，损失函数采用sparse\_categorical\_crossentropy。

1.  开始训练
    
        epochs = 100
         print('training start...')
         hist = model.fit(train_images, train_labels, epochs=epochs,shuffle=True)
         
         test_loss, test_acc = model.evaluate(test_images, test_labels)
         print('Test accuracy:', test_acc)
         model.save('./tfmodel.cy')
         
         predict = model.predict(test_images)

*  model.fit为keras的训练方法，在这里输入的参数有，train\_images是我们读取的图片像素的矩阵，train\_labels为训练图片的标签，epochs为训练的迭代轮数，shuffle为训练的时候是否打乱数据的顺序，这个默认是true的，返回一个history对象，这个用处后面会说到。
 *  model.evaluate是keras的一个评估方法，输入为测试数据和其标签，会返回一个损失率和准确率。
 *  model.save这是keras的模型保存方法，输入参数为模型的保存路径。对应的有加载方法keras.models.load\_model，输入参数为加载的路径。
 *  model.predict是keras的预测方法，输入为图片的像素，返回的结果为预测为每个分类的概率。

输出：

training start...
    Epoch 1/100
    27311/27311 [==============================] - 4s 152us/step - loss: 0.6259 - acc: 0.8501
    Epoch 2/100
    27311/27311 [==============================] - 3s 109us/step - loss: 0.2536 - acc: 0.9357
    Epoch 3/100
    27311/27311 [==============================] - 3s 127us/step - loss: 0.1968 - acc: 0.9518
    Epoch 4/100
    27311/27311 [==============================] - 3s 104us/step - loss: 0.1604 - acc: 0.9607
    Epoch 5/100
    27311/27311 [==============================] - 3s 114us/step - loss: 0.1392 - acc: 0.9664
    
    ......中间省略N多
    
    Epoch 96/100
    27311/27311 [==============================] - 3s 103us/step - loss: 0.0330 - acc: 0.9929
    Epoch 97/100
    27311/27311 [==============================] - 3s 97us/step - loss: 0.0348 - acc: 0.9929
    Epoch 98/100
    27311/27311 [==============================] - 3s 103us/step - loss: 0.0346 - acc: 0.9925
    Epoch 99/100
    27311/27311 [==============================] - 3s 96us/step - loss: 0.0336 - acc: 0.9930
    Epoch 100/100
    27311/27311 [==============================] - 3s 105us/step - loss: 0.0306 - acc: 0.9936
    11671/11671 [==============================] - 0s 39us/step
    Test accuracy: 0.9906606117931984

1.  F值和混淆矩阵

判断模型的预测效果的好坏其实关准确率是比较单一的，分类问题中往往用F值、召回率、准确率一起来判断，这个的计算我们用sklean库来实现。

pres = []
        for i in predict:
            tool = np.argmax(i)
            pres.append(tool)
        tests = []
        test_labels = test_labels.T
        li = test_labels.tolist()
        # 评估
        print("Precision, Recall and F1-Score...")
        print(metrics.classification_report(li[0],pres,target_names =class_names))
        # 混淆矩阵
        print("Confusion Matrix...")
        cm = metrics.confusion_matrix(li[0],pres)
        print(cm)

输出结果：

Precision, Recall and F1-Score...
                 precision    recall  f1-score   support
    
              2       0.99      0.98      0.98       359
              3       0.99      0.99      0.99       400
              4       0.99      1.00      1.00       405
              5       0.99      0.98      0.99       384
              6       0.99      0.99      0.99       409
              7       1.00      0.99      1.00       393
              8       1.00      0.99      0.99       417
              9       0.99      0.99      0.99       400
              A       1.00      0.99      1.00       376
              B       0.99      1.00      0.99       368
              C       0.99      0.97      0.98       409
              D       0.99      1.00      0.99       405
              E       1.00      0.99      0.99       411
              F       0.99      0.99      0.99       373
              G       0.97      0.99      0.98       380
              H       0.99      0.99      0.99       353
              J       1.00      0.99      0.99       402
              K       0.99      1.00      1.00       351
              M       0.99      0.99      0.99       362
              N       1.00      0.99      1.00       381
              P       0.99      0.99      0.99       377
              R       0.99      0.99      0.99       407
              S       0.99      0.98      0.99       363
              T       0.99      0.99      0.99       431
              U       1.00      0.99      0.99       384
              V       0.98      0.99      0.98       423
              W       0.99      0.99      0.99       351
              X       1.00      0.99      0.99       413
              Y       0.99      0.98      0.99       385
              Z       0.98      0.99      0.99       399
    
    avg / total       0.99      0.99      0.99     11671
    
    Confusion Matrix...
    [[353   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0
        0   0   0   0   0   0   0   0   0   0   0   6]
     [  0 398   0   0   0   0   1   0   0   0   0   0   0   0   0   1   0   0
        0   0   0   0   0   0   0   0   0   0   0   0]
     [  0   0 405   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0
        0   0   0   0   0   0   0   0   0   0   0   0]
     [  0   1   0 378   3   0   0   0   0   0   0   0   0   0   0   0   0   0
        0   0   0   0   2   0   0   0   0   0   0   0]
     [  0   0   0   2 406   0   0   0   0   0   0   0   0   0   0   1   0   0
        0   0   0   0   0   0   0   0   0   0   0   0]
     [  0   0   0   0   0 390   0   0   0   0   0   0   0   0   0   0   0   0
        0   0   1   0   0   0   0   0   0   0   0   2]
     [  0   0   0   0   0   0 414   0   0   3   0   0   0   0   0   0   0   0
        0   0   0   0   0   0   0   0   0   0   0   0]
     [  0   1   0   0   0   0   0 395   0   1   0   0   0   0   0   0   0   0
        0   0   1   0   1   1   0   0   0   0   0   0]
     [  0   0   0   0   0   0   0   0 374   0   0   0   0   0   0   0   0   0
        2   0   0   0   0   0   0   0   0   0   0   0]
     [  0   0   0   0   0   0   1   0   0 367   0   0   0   0   0   0   0   0
        0   0   0   0   0   0   0   0   0   0   0   0]
     [  2   0   0   0   0   0   0   0   0   0 397   1   1   0   8   0   0   0
        0   0   0   0   0   0   0   0   0   0   0   0]
     [  0   0   1   0   0   0   0   0   0   0   0 403   0   0   0   0   0   0
        0   0   0   0   0   0   0   0   0   0   0   1]
     [  1   0   0   1   1   0   0   0   0   1   0   0 407   0   0   0   0   0
        0   0   0   0   0   0   0   0   0   0   0   0]
     [  0   0   2   0   0   0   0   0   0   0   0   0   0 371   0   0   0   0
        0   0   0   0   0   0   0   0   0   0   0   0]
     [  0   0   0   0   1   0   0   0   0   0   2   1   0   0 376   0   0   0
        0   0   0   0   0   0   0   0   0   0   0   0]
     [  0   0   0   0   0   0   0   1   0   0   0   0   0   0   0 350   1   0
        0   0   0   0   0   0   0   1   0   0   0   0]
     [  1   0   0   0   0   0   0   0   0   0   0   0   0   1   0   0 398   0
        0   0   0   0   0   1   0   0   0   0   0   1]
     [  0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0 350
        0   0   0   1   0   0   0   0   0   0   0   0]
     [  0   0   0   0   0   0   0   0   0   0   0   0   0   2   0   0   0   0
      360   0   0   0   0   0   0   0   0   0   0   0]
     [  0   0   0   0   0   0   0   0   0   0   0   0   0   1   0   0   0   0
        0 379   0   0   0   0   0   0   1   0   0   0]
     [  0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0
        0   0 373   4   0   0   0   0   0   0   0   0]
     [  0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0
        0   0   2 404   0   0   0   0   0   0   1   0]
     [  1   1   0   2   0   0   0   0   0   0   0   0   0   0   1   1   0   0
        0   0   0   0 357   0   0   0   0   0   0   0]
     [  0   0   0   0   0   0   0   0   0   0   0   0   0   1   0   0   0   0
        0   0   1   0   0 427   1   0   0   0   1   0]
     [  0   0   0   0   0   0   0   0   0   0   0   1   1   0   0   0   0   1
        0   0   0   0   0   0 380   1   0   0   0   0]
     [  0   0   0   0   1   0   0   2   0   0   0   0   0   0   0   0   0   0
        0   0   0   0   0   0   0 418   1   0   1   0]
     [  0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0
        0   1   0   0   0   0   0   1 349   0   0   0]
     [  0   0   0   0   0   0   0   1   1   0   0   0   0   0   0   0   0   1
        0   0   0   0   0   0   0   2   0 407   1   0]
     [  0   0   0   0   0   0   0   0   0   0   1   0   0   0   1   0   0   0
        0   0   0   0   0   1   0   3   0   0 379   0]
     [  0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0
        0   0   0   0   0   1   0   0   0   1   0 397]]

*  metrics.classification\_report(li\[0\],pres,target\_names =class\_names)为sklean的分类结果的输出，输入参数分别为正常的标签，预测的标签，分类的实际名称
 *  metrics.confusion\_matrix(li\[0\],pres)为sklean的混淆矩阵的输入，输入参数分别为正常的标签，预测的标签

1.  绘画训练过程中的准确率和损失率

这里就用到了我们model.fit中所返回的history对象，他记录了训练中每个迭代的损失率和准确率。然后用matplotlib进行画图（matplotlib使用可以查看博客https://blog.csdn.net/qq\_20989105/article/details/82784010）。

history_dict = hist.history
        
        acc = hist.history['acc']
        loss = hist.history['loss']
        
        epochs = range(1, len(acc) + 1)
        # "bo" is for "blue dot"
        plt.plot(epochs, loss, 'r', label='Training loss')
        plt.plot(epochs, acc, 'b', label='Training acc')
        # b is for "solid blue line"
        plt.title('Training loss')
        plt.xlabel('Epochs')
        plt.ylabel('Loss')
        plt.legend()
        plt.show()

输出效果：

![在这里插入图片描述][70 6]

最后附上完整代码

# -*- coding: utf-8 -*-
    """
    Created on Tue Sep 18 09:42:55 2018
    
    @author: chenyang
    """
    
    # TensorFlow and tf.keras
    import tensorflow as tf
    from tensorflow import keras
    
    # Helper libraries
    import numpy as np
    import matplotlib.pyplot as plt
    import os
    import matplotlib.image as mpimg
    from PIL import Image
    from sklearn import metrics
    
    def laod_data(source_dir):
        x =None
        y =None
        for n in range(len(class_names)):
            d = source_dir+class_names[n]
            ldata = os.listdir(d)
            for i in range(0,len(ldata)):
                path = os.path.join(d,ldata[i])
    #               
                im = Image.open(path)
                im = Image.fromarray(np.uint8(im))
                im = np.array(im) #(16*16)
    #            print(im)
                im = (np.expand_dims(im,0))#(1*16*16)
                
                if x is None:
                    x = im
                else:
                    x = np.vstack((x,im))
                if y is None:
                    y = n
                else:
                    y = np.vstack((y,n))
    #            print(x.shape)
        return x,y
        
    if __name__ == '__main__':
    
        class_names = ['2', '3', '4', '5', '6', '7', '8', '9',
                   'A','B','C','D','E','F','G','H','J','K','M','N',
                   'P','R','S','T','U','V','W','X','Y','Z']
        
        epochs = 100
        
        print('load data start...')
        train_dir = r'C:\\Users\\chenyang\\Desktop\\all\\training\\'
        test_dir = r'C:\\Users\\chenyang\\Desktop\\all\\testing\\'
        train_images, train_labels = laod_data(train_dir)
        print(train_images.shape,train_labels.shape)
        
        test_images, test_labels = laod_data(test_dir)
        
        print(test_images.shape,test_labels.shape)
        print('load data end...')
    
        print('build model start...')
        model = keras.Sequential([
            keras.layers.Flatten(input_shape=(16, 16)),
            keras.layers.Dense(512, activation=tf.nn.relu),
            keras.layers.Dropout(0.4, noise_shape=None, seed=None),
            keras.layers.Dense(30, activation=tf.nn.softmax)
        ])
        
        model.summary()
        
        model.compile(optimizer=tf.train.AdamOptimizer(), 
                      loss='sparse_categorical_crossentropy',
                      metrics=['accuracy'])
    #    
        print('training start...')
    #    hist = model.fit(train_images, train_labels, epochs=20,shuffle=True,validation_split=0.2)
        hist = model.fit(train_images, train_labels, epochs=epochs,shuffle=True)
        
        test_loss, test_acc = model.evaluate(test_images, test_labels)
        print('Test accuracy:', test_acc)
        model.save('./tfmodel.cy')
    ##    
        
        model = keras.models.load_model('./tfmodel.cy')
        predict = model.predict(test_images)
        
        pres = []
        for i in predict:
            tool = np.argmax(i)
            pres.append(tool)
        tests = []
        test_labels = test_labels.T
        li = test_labels.tolist()
        # 评估
        print("Precision, Recall and F1-Score...")
        print(metrics.classification_report(li[0],pres,target_names =class_names))
        # 混淆矩阵
        print("Confusion Matrix...")
        cm = metrics.confusion_matrix(li[0],pres)
        print(cm)
        
    #    # 创建一段时间内准确性和损失的图表
    #    
        history_dict = hist.history
        
        acc = hist.history['acc']
        loss = hist.history['loss']
        
        epochs = range(1, len(acc) + 1)
        # "bo" is for "blue dot"
        plt.plot(epochs, loss, 'r', label='Training loss')
        plt.plot(epochs, acc, 'b', label='Training acc')
        # b is for "solid blue line"
        plt.title('Training loss')
        plt.xlabel('Epochs')
        plt.ylabel('Loss')
        plt.legend()
        plt.show()

[70]: /images/20220504/d5a5dd24551742c99ed48a2fab9bb348.png
[http_www.tensorfly.cn_tfdoc_tutorials_mnist_beginners.html]: http://www.tensorfly.cn/tfdoc/tutorials/mnist_beginners.html
[70 1]: /images/20220504/918d574d0ba64a209619eb833c056b3c.png
[70 2]: /images/20220504/0b5c95baa9f1451cb43f98d2944644af.png
[70 3]: /images/20220504/85061e656d3d4f689706cd517f3112a9.png
[70 4]: /images/20220504/12d5bbf882194a31838f745d921e4e67.png
[70 5]: /images/20220504/44d6483c62ba47e4b313f80b790f06d8.png
[70 6]: /images/20220504/4209c279b3ef43faa09c01991b8cbbf7.png