基于语义分割的身份证部件解析和文字检测

桃扇骨 2022-02-02 05:17 249阅读 0赞

# 概述 #

这个工作主要是利用之前项目的语义分割算法，顺便探索一下身份证部件解析的功能。安排实习生利用合成的身份证照片进行了语义分割的标注。

我的目的有两个：1.检测身份证上的信息是否齐全；2.确定身份证各文字信息的位置，把文字抠出来给OCR程序。

# 基于opencv的算法 #

之前写过一篇文章[《python\_opencv–身份证文字区域检测》][python_opencv]，利用opencv的接口进行二值化，然后找出所有的阴影对应的外接矩形。

这个方法首先是鲁棒性不好，图片颜色变一点，二值化就会出较多问题；其次，找到所有矩形还要跟标准模板比较，确定哪个矩形对应什么信息。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70]

# 基于深度学习的语义分割方法 #

### 标注 ###

首先，利用手头上一百多张身份证合成照片进行语义分割标注，标注信息分为14个类别：

# 0-正面， 1-背面，3-国徽，4-姓名
    # 5-性别，6-民族，7~9：年月日， 10：地址
    # 11-身份证号，12；签发机构，13：签发日期

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70 1]

注意，为了增强鲁棒性，我故意让实习生把部分身份证的一些信息抹掉了，有的抹掉姓名，有的抹掉身份证号，有的抹掉住址和照片。这样训练出来的模型可以检查身份证上的元素是否完整。

### 训练 ###

采用语义分割框架进行训练。训练过程输出的结果如下（中间是标注，右侧是训练过程的评估输出）：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70 2]

为了保护隐私，我把身份原图打码了。训练了9000多步就停止了，毕竟图片少，只有100多张。

### 测试结果 ###

使用保留的图片测试，效果非常好。除了可以输出不错的分割结果，利用输出的class-id map可以快速定位到各种文字元素的bbox。基本实现了元素完整性检测和文字切割的目标。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70 3]

韦小宝的这张照片和训练集差异较大，颜色不太一样，有水印干扰，最终分割效果还行。个别点分错了影响了地址和id部分的bbox（用一些腐蚀膨胀算法应该能去掉这种干扰）。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70 4]

# 展望 #

因为图片比较简单（最多有点多余的白边），目前语义分割做的还不错。实际上也可以用“anchor框+目标检测”的方式，即用一个模板确定每个文字元素的标准bbox作为anchor，用神经网络算法去回归偏移量；也可以考虑通用的文字检测算法（如CTPN或者EAST）,检测到的文本框和标准模板对比来判断是哪个元素，但是要针对身份证训练，否则效果不会很好。

如果是生活场景的拍摄照，身份证可能是歪的，可以先寻找身份证边框，使用仿射变换把身份证恢复到平铺视角，再使用上面的方法进行文字区域检测。

# 参考资料 #

[python\_opencv–身份证文字区域检测][python_opencv]

[自制人脸分割/解析数据集：helen\_small4seg（附网盘下载地址）][helen_small4seg]

[人脸解析（Face Parsing）和人体解析Human Parsing：方法、数据集和论文][Face Parsing_Human Parsing]

[python_opencv]: https://blog.csdn.net/yuanlulu/article/details/86514478
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70]: /images/20220202/2feb7190d8bc422ba5bbfb6d8399ad4d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70 1]: /images/20220202/c4649892bc3843dabb09439c6229bd85.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70 2]: /images/20220202/059a8aa1bba24c8eb44b6a9e4c69ad58.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70 3]: /images/20220202/5233d03950524f1bb438d377b7428ecb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5sdWx1_size_16_color_FFFFFF_t_70 4]: /images/20220202/398b915ccca54db5a9094c3dd0fc49be.png
[helen_small4seg]: https://blog.csdn.net/yuanlulu/article/details/89789807
[Face Parsing_Human Parsing]: https://blog.csdn.net/yuanlulu/article/details/88580741