深度学习caffe实战（一）验证码识别

以你之姓@ 2022-07-12 11:41 410阅读 0赞

狭义上讲验证码识别是将验证码图像转化成字符串值，传统方法常常先对验证码图像进行字符分割，再对验证码进行识别，劣势在于字符分割方法往往针对不同风格的验证码需要做修改，某些验证码加入噪声或线条，字符位置不固定及粘连时，字符分割效果不好，也会影响后续字符识别。除了只包含字母和数字的验证码，国内还有一些识别汉字的验证码，还有你以为考你认字符串实际上考你加减乘除的验证码，还有图像匹配和图像分类的验证码，种类和花样很多。所以验证码识别这种东西不可沉迷，毕竟道高一尺魔高一丈，道再高一尺。你破解了别人的验证码，维护人员立马弄出了新花样，换了一批新的验证码，你之前的方法就不好使了，于是你又破解了他的，他又改了新的…看谁能耗的久…不过博主作为菜鸟，做做验证码识别还是很有意义的，如果你也是搞深度学习的新手，不妨接着看下去，能够把数据集的准备和制作、深度网络模型的设计、训练和测试的流程走一遍。

博主是用深度学习做多任务分类的思路来识别验证码。多任务学习是针对数据给出多个监督信息（标签）进行学习，例如识别一张图像中的脸是否是人脸、脸部表情、性别、年龄等，识别图像中车的颜色、车型、姿态等，都属于多任务分类。项目用深度学习做多标签分类，是用深度神经网络对整张验证码图片进行多标签学习，来完成多任务分类，端到端的识别出验证码中的所有字符。这种思路同样可以用于车牌识别中。

用深度学习来做验证码识别，优势在于，只需要找一个合适的网络模型稍加修改，再给网络送入足够的有标签样本进行训练，就能达到很好的识别效果，无论验证码里面是白的黑的正的歪的、何种字体、粘不粘连都可以，也没必要做去噪、二值化、纠正和调各种阈值等各种处理（不然验证码风格稍微一变，你的处理方法就得改），直接端到端识别验证码的效果完全不比先做字符分割再做识别差。但其劣势也很明显，对不同手段生成的不同风格的验证码，都需要收集、爬取或模仿其验证码风格自己写代码生成大量样本，以维持较高的识别率。

为了满足多任务分类要求，对caffe源码进行针对性的修改满足多标签的输入和训练；然后在2012年ImageNet大赛冠军AlexNet网络模型的基础上进行了修改，作为多任务分类的模型；在windows平台下（ubuntu下当然也可以）利用caffe对两个不同的数据集进行了训练和测试；最后利用caffe的matlab接口，修改classfication\_demo.m来做批量验证码图片识别，对caffe自带的classification.cpp做修改,也可以满足多任务分类。如果还没有编译caffe（gpu版本）及matlab接口，请先参照我的博客[Windows下编译caffe][Windows_caffe]

第一个验证码数据集条件比较理想，在生成时做了添加随机噪声点、字符变形、旋转缩放、随机赋色等处理。训练集64536张，验证集9096张（验证模型好坏），另外有714张用于做测试（测试模型效果），图片大小为88x28，共有数字0~9和大写字母A~Z共36类，每张验证码图像中包含四个字符，[数据集下载][Link 1]。经过训练，该验证集图像上四个字符单个字符的识别准确率都达到了99.5%。而用于测试的714张验证码中，有15个识别出错，验证码整体识别结果准确率接近98%，主要是对0和O比较容易搞混。

![这里写图片描述][SouthEast]

第二个验证码数据集比较常见，更具有挑战性，生成验证码图像时使用了6种字体并加入随机线条、字体变形、旋转、随机赋色等处理。训练集63926张，验证集11914张，另有4112张用于测试，图片大小为150x40，共有数字0~10和小写字母a~z共36类（实际上该数据集中没有数字0和小写字母o，但并不影响我们用36类做分类），每张验证码图像中包含五个字符，[数据集下载][Link 2]，其验证码生成程序来源[github链接][github]。经过训练，验证集验证码图像上五个字符单个字符的识别准确率平均达到了88%，最后对4112张图片进行测试，验证码整体识别结果准确率超过63%，虽然效果不是特别理想，但仔细观察下图，会发现随机线条的加入使得很多字符人眼都难以确认。

![这里写图片描述][SouthEast 1]

有了数据集之后，下面介绍利用深度学习进行验证码识别的具体步骤，在两种数据集上采用的方法是基本一致的，但第二个数据集似乎更有趣一些，以此为例。

**1 数据准备**

下载得到的数据集中的前三个文件夹，包括captcha\_train、captcha\_val和test\_images，分别是验证码图像训练集、验证集和用于测试的图片文件夹。  
![这里写图片描述][SouthEast 2]

captcha\_train.txt和captcha\_val.txt分别是captcha\_train和captcha\_val数据集对应的多标签文本文件，可以由matlab实现，生成captcha\_train.txt和captcha\_val.txt的create\_captcha\_train\_val\_txt.m代码如下。

%create_captcha_train_val_txt.m
    %创建验证码的多标签标签txt文件
    %验证码类别数为36，包括0~9和a~z（a~z的ascii码范围为97~122，减去87对应10~35，构成0~35共36类）
    datadir = 'D:\data\Captcha2\captcha_train'; %train数据集
    fp=fopen('D:\data\Captcha2\captcha_train.txt','w'); %新建一个txt文件存放结果
    % datadir = 'D:\data\Captcha2\captcha_val'; %test数据集
    % fp = fopen('D:\data\Captcha2\captcha_val.txt','w'); %新建一个txt文件存放结果
    imagefiles = dir(datadir); %列出目录下所有文件
    for i = 3:length(imagefiles) %windows系统下所有文件夹下都有两个隐藏文件排在最前面，跳过
        filename = imagefiles(i).name; %获取某张图像文件名
        fprintf(fp,'%s ',filename); %打印文件名
        for j=1:5 %打印多标签（5个）
            if abs(filename(j)) >= 97 && abs(filename(j)) <= 122 %如果是a~z,则97~122 -> 10~35
                label = abs(filename(j)) - 87;
                fprintf(fp,'%d ',label);       
            elseif abs(filename(j)) > 122 || abs(filename(j)) < 97 %如果是0~9，保持不变
                fprintf(fp,'%s ',filename(j));
            end
        end
        fprintf(fp,'\n');   
    end
    fclose(fp);

然后在caffe的data\\目录下新建captcha文件夹，并将这些文件/文件夹都拷贝到captcha目录下。

**2 修改caffe源码使其支持多标签输入和训练**

caffe源码对hdf5支持多标签，但lmdb格式只支持单标签输入和训练，但lmdb读取效率更高。对caffe源码做以下修改使得caffe对lmdb格式满足多标签输入和训练。这里提供修改后的相应文件下载 [多标签修改][Link 3]

打开caffe目录下src\\caffe\\proto\\caffe.proto，找到Datum如下可以发现label是不可重复（单个）int32型变量，这里不要注释掉它，在后面新增可重复（多个）的float型变量labels，然后在caffe目录下找到并删除src\\caffe\\proto\\caffe.pb.cc和include\\caffe\\proto\\caffe.pb.h这两个文件，再重新编译caffe。注：红框表示需要注意或待修改的部分，绿框为新增或修改后的内容。

![这里写图片描述][SouthEast 3]

然后对convert\_imageset.cpp（项目convert\_imageset中）进行如下修改，修改后可以读取五个标签值。不过修改后也导致后面的ReadImageToDatum函数也要进行修改，转到ReadImageToDatum函数定义处，即在io.hpp（项目libcaffe中include\\util\\下）中，重载函数ReadImageToDatum并添加新的ReadFileLabelsToDatum函数，然后在io.cpp（项目libcaffe中src\\util\\下）给出上述两个函数的实现代码，分别参考原来的ReadImageToDatum和ReadFileToDatum进行修改。

![这里写图片描述][SouthEast 4]

![这里写图片描述][SouthEast 5]

![这里写图片描述][SouthEast 6]

![这里写图片描述][SouthEast 7]

![这里写图片描述][SouthEast 8]

然后对data\_layer.cpp（libcaffe项目中src\\layers下）进行如下两处修改，然后重新编译libcaffe，再右键convert\_imageset项目生成，这样就完成了caffe源码的修改，能够支持多标签的输入和训练了。

![这里写图片描述][SouthEast 9]

![这里写图片描述][SouthEast 10]

**3 数据格式转换**

利用修改后的caffe编译出的convert\_imageset将图像数据及标签转换成具有更高读取效率的lmdb格式文件。在caffe目录下新建create\_captcha\_lmdb.txt文件，在文件中写入如下，其中图像统一缩放到227x227，shuffle表示乱序处理。保存后修改后缀为.bat文件，执行之，开始读取图像和标签并转换成lmdb文件，等待几分钟后，转换生成完毕，可以在data\\captcha\\下看到生成的captcha\_train\_lmdb和captcha\_val\_lmdb文件夹，文件夹比较大，大约接近16G和2G，要预留好足够的内存空间。需要注意的是，我们这里并没有用compute\_mean.exe来生成均值文件，是因为我们后面统一采用了ImageNet数据集的均值作为样本均值，ImageNet数据集的均值具有统计特性，而我们的样本又是随机生成的，所以这是合理的做法。

.\Build\x64\Debug\convert_imageset.exe --resize_height=227 --resize_width=227 --backend="lmdb" --shuffle .\data\captcha\captcha_train\ .\data\captcha\captcha_train.txt .\data\captcha\captcha_train_lmdb
    echo.
    .\Build\x64\Debug\convert_imageset.exe --resize_height=227 --resize_width=227 --backend="lmdb" --shuffle .\data\captcha\captcha_val\ .\data\captcha\captcha_val.txt .\data\captcha\captcha_val_lmdb
    echo.
    pause

![这里写图片描述][SouthEast 11]

**4 设计多任务训练深度网络**

在models文件夹下新建captcha文件夹，将models\\bvlc\_alexnet下的deploy.prototxt、solver.prototxt、train\_val.prototxt拷贝到captcha文件夹下，然后分别对这三个文件进行修改。需要注意的是，train\_val.prototxt和deploy.prototxt都是网络结构的描述文件，但train\_val.prototxt还指出了训练集和验证集样本数据及标签，用于训练和验证；训练好的模型和deploy.prototxt可以用于测试单张或多张图片。

用caffe的python接口提供的draw\_net.py可以实现caffe网络结构可视化，也有在线可视化网页 [netscope][] 提供网络结构可视化功能，将train\_val.prototxt（或者deploy.prototxt）描述的网络结构画出来。

使用draw\_net.py画出的alexnet的网络结构的最后几层如图所示，alexnet是单标签分类网络，后面接了三个全连接层fc6、fc7、fc8，其中全连接层fc6和前面的卷积层相连，fc8同label一起与accuracy层（test模式下）和loss层相连。

![这里写图片描述][SouthEast 12]

而我们现在进行验证码识别的思路是多标签分类，输入一张验证码图像输出多路分类结果。为此我们需要对train\_val.prototxt和deploy.prototxt（批量测试时会用到deploy.prototxt）做一定修改。  
train\_val.prototxt的具体修改方法是对fc6及前面的层保持不变，从fc6后展开多路分类网络，例如第二个数据集验证码中有5个字符，那我们在fc6后连接5个全连接层fc7\_1、fc7\_2、fc7\_3、fc7\_4、fc7\_5（原先只有1个全连接层fc7），这些全连接层同样经过relu层和dropout层；然后分别与全连接层fc8\_1、fc8\_2、fc8\_3、fc8\_4、fc8\_5相连，节点个数由1000改成36（0~9、a~z共36类）；再由Slice层分割的多标签label\_1、label\_2、label\_3、label\_4、label\_5、分别和fc8\_1、fc8\_2、fc8\_3、fc8\_4、fc8\_5一起接上各自对应的accuracy层（test模式下）和loss层。  
修改好train\_val.prototxt后，就可以据此自行对deploy.prototxt进行修改了，最后在solver.prototxt中修改网络训练参数，这里提供修改后的deploy.prototxt、solver.prototxt、train\_val.prototxt，[网络模型文件下载][Link 4]

![这里写图片描述][SouthEast 13]

**5 训练和测试深度网络**

在做好上述准备的基础上，在caffe目录下新建train\_captcha.txt，在里面写入如下语句，保存后修改后缀名为.bat文件，双击执行开始训练。博主在NVIDIA GTX1060 6G单gpu上对第二个数据集训练迭代15000次，耗时约两个半小时，之后accuracy和loss趋于稳定，但loss还是有点大。虽然模型在第一个数据集上字符准确率达到99.5%以上，但在第二个数据集上的效果并不是特别理想，如图第1、2、3、4、5个字符在验证集上的准确率约为95.76%、90.61%、88.09%、91.50%、96.21%

.\Build\x64\Debug\caffe.exe train -solver .\models\captcha\solver.prototxt -gpu 0
    echo.
    pause

![这里写图片描述][SouthEast 14]

最后利用caffe的matlab接口调用caffe来对验证码图片进行批量测试，在caffe下的matlab\\demo下新建test\_captcha.m对验证码测试图片进行批量测试，参考classification.demo进行修改得到test\_captcha.m，生成的测试结果输出到test\_captcha\_result.txt中，其matlab代码如下，测试要用到deploy.prototxt和训练好的.caffemodel网络模型，这里提供训练好的迭代了15000次的captcha\_iter\_15000.caffemodel [模型文件下载][Link 5]。测试结果显示，4112张验证码有1220个识别出错，识别准确率为70.33%，在GTX1060 6G单gpu上平均每张验证码识别耗时10ms。

%利用训练好的caffe网络模型对验证码图片进行批量测试
    %参照caffe-master\matlab\demo\classification_demo.m
    %%%对第二种验证码类型进行批量测试
    function test_captcha()
    clear;
    addpath('..');%添加上级目录搜索路径
    addpath('.');%添加当前目录搜索路径
    caffe.set_mode_gpu(); %设置gpu模式
    caffe.set_device(0); %gpu的id为0
    %caffe.set_mode_cpu();
    net_model = 'C:\Users\Administrator\Desktop\caffe-master-captcha\models\captcha\deploy.prototxt'; %网络模型deploy.prototxt
    net_weights = 'C:\Users\Administrator\Desktop\caffe-master-captcha\models\captcha\captcha_iter_24000.caffemodel'; %训练好的模型文件
    phase = 'test'; %不做训练，而是测试
    net = caffe.Net(net_model, net_weights, phase); %获取网络
    
    tic;
    error = 0;
    %批量读取图像进行测试
    datadir = 'C:\Users\Administrator\Desktop\caffe-master-captcha\data\Captcha\test_images';
    imagefiles = dir(datadir);
    fp = fopen('captcha_test_result.txt','w');
    for i = 3:length(imagefiles)
        im = imread(fullfile(datadir,imagefiles(i).name));
        input_data = {prepare_image(im)}; %图像数据预处理
        scores = net.forward(input_data); %做前向传播
    
        %获取前向传播多任务的最后层向量，然后求出最好成绩和对应的类别
        scores_1 = net.blobs('prob_1').get_data();
        scores_2 = net.blobs('prob_2').get_data();
        scores_3 = net.blobs('prob_3').get_data();
        scores_4 = net.blobs('prob_4').get_data();
        scores_5 = net.blobs('prob_5').get_data();
        best_score = zeros(5,1);
        best = zeros(5,1);
        [best_score(1),best(1)] = max(scores_1);
        [best_score(2),best(2)] = max(scores_2);
        [best_score(3),best(3)] = max(scores_3);
        [best_score(4),best(4)] = max(scores_4);
        [best_score(5),best(5)] = max(scores_5);
    
        %输出识别结果
        filename = imagefiles(i).name;
        fprintf(fp,'%s',filename);%图片名称
        flag = 1; %是否识别正确
        for j = 1:5
            best(j) = best(j) - 1; %matlab从1开始，改为从0开始
            if best(j) >= 10 %a~z
                best(j) = best(j) + 87; %10~35 -> 97~122
                fprintf(fp,' %s',char(best(j)));
                if char(best(j)) ~= filename(j)
                    flag = 0;
                end
            else
                fprintf(fp,' %d',best(j));
                if best(j) ~= (abs(filename(j)) - 48) %0~9对应的ascii码为48~57
                    flag = 0;
                end
            end 
        end
        if flag == 0
            error = error + 1;
            %disp(error);
            fprintf('error: %d\n',error);
            fprintf(fp,'*********'); %识别错误，输出中做明显标记
        end
        fprintf(fp,'\r\n');
    end
    total_time = toc;
    %打印到结果文本中
    fprintf(fp,'total_time: %.3f s\n',total_time);
    fprintf(fp,'aver_time: %.3f s\n',total_time/(length(imagefiles)-2));
    fprintf(fp,'error/total: %d/%d\n',error,length(imagefiles)-2);
    fprintf(fp,'accurary: %.4f\n',1.0 - (error*1.0)/(length(imagefiles)-2));
    fclose(fp);
    %打印到屏幕上
    fprintf('total_time: %.3f s\n',total_time);
    fprintf('aver_time: %.3f s\n',total_time/(length(imagefiles)-2));
    fprintf('error/total: %d/%d\n',error,length(imagefiles)-2);
    fprintf('accurary: %.4f\n',1.0 - (error*1.0)/(length(imagefiles)-2));
    %disp(['error/total: ',num2str(error),'/',num2str(length(imagefiles)-2)]);
    end
    
    function im_data = prepare_image(im)
    %d = load('../+caffe/imagenet/ilsvrc_2012_mean.mat');
    %mean_data = d.mean_data;
    
    %resize to 227 x 227
    im = imresize(im,[227 227],'bilinear');
    %caffe的blob顺序是[w h c num]
    %matlab:[h w c] rgb -> caffe:[w h c] bgr
    im_data = im(:,:,[3,2,1]); %rgb -> bgr
    im_data = permute(im_data,[2,1,3]); %[h w c] -> [w h c]
    [w,h,~] = size(im_data);
    %ImageNet数据集的均值具有统计规律，这里可以直接拿来使用
    mean_data(:,:,1) = ones(w,h) .* 123; %r
    mean_data(:,:,2) = ones(w,h) .* 117; %g
    mean_data(:,:,3) = ones(w,h) .* 104; %b
    
    im_data = single(im_data);
    im_data = im_data - single(mean_data);
    end

![这里写图片描述][SouthEast 15]

![这里写图片描述][SouthEast 16]

也可以对caffe的example\\cpp\_classification\\下的classification.cpp进行修改来满足多任务分类，用于验证码识别，这里提供修改好的classification.cpp [测试代码下载][Link 6] ，不过这里还只做了单张图片测试，果然c++相比matlab还是要麻烦点>\_<

![这里写图片描述][SouthEast 17]

因为第一个验证码数据集条件比较理想，模型表现很完美，但第二个数据集的表现就没那么优秀了，出现过拟合后尝试增加训练的batchsize、适当调整学习率、增加dropout来降低loss，还可以考虑用更深的网络进一步提高识别的准确率。不过博主认为单纯的刷准确率意义不大，最理想的情况是在网络模型只做很小修改的情况下，对采取不同风格和方法生成的验证码都能比较好的识别效果。

至此，完成了验证码识别的整个流程，你有收获吗？

[Windows_caffe]: http://blog.csdn.net/sinat_14916279/article/details/53861546
[Link 1]: http://pan.baidu.com/s/1kVfVXIZ
[SouthEast]: /images/20220710/f61d2b3afb60493e8f5e071238cbf2c5.png
[Link 2]: http://pan.baidu.com/s/1hssnqOO
[github]: https://github.com/Gregwar/Captcha
[SouthEast 1]: /images/20220710/5a52acb262804774898cd5e908ec9091.png
[SouthEast 2]: /images/20220710/5fac0bd224de4695a4ae0a65936bddaa.png
[Link 3]: http://pan.baidu.com/s/1slvYMBj
[SouthEast 3]: /images/20220710/84e0fbed4f2d4453951e490bed2cb936.png
[SouthEast 4]: /images/20220710/5e201c79fe5b46a9acb97f13e83bad6f.png
[SouthEast 5]: /images/20220710/c5c82f8c2879485f8609eed17bc76e26.png
[SouthEast 6]: /images/20220710/331174bf59db4d47b923591999e50489.png
[SouthEast 7]: /images/20220710/94042866ae1e4ec0b060cfd7cab1eecb.png
[SouthEast 8]: /images/20220710/267c99ab83044665ad1bec205b771e7a.png
[SouthEast 9]: /images/20220710/d4fdf4f90b1446c68f6480d0a6e5c767.png
[SouthEast 10]: /images/20220710/85faada740fc4227bf011df60c3c6c69.png
[SouthEast 11]: /images/20220710/1152745b46fd46db85a7af675e4395f1.png
[netscope]: http://ethereon.github.io/netscope/#/editor
[SouthEast 12]: /images/20220710/e71c96a3787c481787df65ee7bac246c.png
[Link 4]: http://pan.baidu.com/s/1ge9Aaf5
[SouthEast 13]: /images/20220710/849da3bb23944d3f9d91092a455d1b21.png
[SouthEast 14]: /images/20220710/453d148b73c54ae08059468bb2be55e3.png
[Link 5]: http://pan.baidu.com/s/1bpMPOSZ
[SouthEast 15]: /images/20220710/2dd1f7e574c441c3a9e7049b354433d1.png
[SouthEast 16]: /images/20220710/086f47990cd44417af1604b59765e750.png
[Link 6]: http://pan.baidu.com/s/1mhEjJy4
[SouthEast 17]: /images/20220710/06d3a778bfe640aaacd0dc147d1246c8.png