ga设置迭代次数_ESIR：通过迭代矫正图像的端到端场景文本识别系统

心已赠人 2023-01-10 11:59 106阅读 0赞

今天要分享的是南洋理工大学2019年发表在CVPR上的一篇论文。题目名为：通过迭代图像矫正的端到端场景文本识别(ESIR: End-to-end Scene Text Recognition via Iterative Image Rectification)，原文链接为：https://www.researchgate.net/publication/332138404\_ESIR\_End-to-end\_Scene\_Text\_Recognition\_via\_Iterative\_Image\_Rectification。

CVPR即国际计算机视觉与模式识别会议，是IEEE一年一度的学术性会议，会议的主要内容是计算机视觉与模式识别技术。CVPR是世界顶级的计算机视觉会议，与ICCV和ECCV合称三大顶会。这篇论文讲述的是一种识别弯曲文本的方法。

今天我们要介绍这篇论文的4个部分，分别是简介、方法、实验和结论。

场景中文本的自动识别多年来一直存在挑战，这主要是由于文本在透视变形，文本弯曲，文本样式和不同类型人工字体的任意变化引起的。而最近深层网络在人工字体和文本样式变化的情况下有较好的表现，但是在处理具有透视和弯曲的场景文本时仍然面临各种问题。

针对上述问题，论文主要贡献如下：

1、提出了一种端到端可训练场景文本识别系统(ESIR)，该系统以较好的场景文本识别性能为驱动，迭代地消除了透视失真和文本弯曲失真。

2、开发了一种创新的矫正网络，该网络采用新颖的线性拟合变换来估计场景中文本行的姿态。

3、论文开发了一种迭代校正方法。

通过实验证明，论文所提出的ESIR能够准确纠正场景文本失真，从而对普通场景文本图像以及那些遭受透视和弯曲导致失真的文本图像均具有出色的识别性能。

**2**

我们从图1中可以看到，论文所提出的系统由一个迭代校正网络和一个识别网络组成，这个Rectification Network迭代地校正场景文本，而Recognition Network识别最终校正后的场景文本图像(迭代矫正网络中的图像说明了迭代场景文本校正过程)，其中虚线显示了梯度的向后传播。

![684e1eab2ef4ea0fe8808d47cd8cc07c.png][]

图1 ESIR网络组成原理图

论文设计了一种新颖的线性拟合变换，该变换功能强大并且能够可靠地建模和纠正各种场景文本失真。线性拟合变换通过使用多项式对场景文本的中线进行建模，该多项式能够灵活地估计直线或曲线文本线的姿态，如图2所示。除中线外，我们看到，它也建模生成了一组与字体方向平行且长度相当的线段，用以矫正图像。

![2a3c9d193b99ebd1d795be81f0bfca55.png][]

图2 矫正网络工作示例

由于场景中的大多数文本中线是直线或平滑曲线，因此一定数量级的多项式足以对文本中线姿态进行描述。通过将图像中心设置为原点并标准化场景文本图像中每个像素的x-y坐标，可以使用K阶多项式对场景中文本线的中线进行建模，公式如图3所示。

![6465581e5d2342afacf1c120ef289fd1.png][]

图3 辅助线数学表达式

![48ce14448536d1d78a020fdef12703c6.png][]

图4 矫正网络工作原理图

(T表示TPS变换，P则表示localization network输出的参数(表示L个线段端点的位置)，N是预定义迭代次数。)

迭代矫正网络则通过采用localization network和图像卷积来迭代回归估计拟合线参数。一旦估计了拟合线参数，就可以确定短线段中两个端点的坐标。接着可以通过TPS(薄板样条变换)来校正场景文本失真，该变换可计算中线另一边短线段端点的坐标。系统每次都会通过校正后的参数生成图像。在迭代图像校正过程中，将中间校正后的场景文本图像仅用于参数估计，并且将原始场景文本图像馈送到变换模块T中以进行一致校正。通过这种新设计，可以避免“边界效应”的累积，并且图像清晰度也不会降低，两者都可以极大地改善场景文本的识别性能。最终经过矫正的图像随后被馈送到序列识别网络以进行场景文本识别

**3**

接着，我们来看看实验部分是如何进行的。论文的实验使用的评估指标是识别68个字符，其中包含10个数字，小写字母和32个ASCII标点符号，如果提供了词典，则网络选择与预测单词具有最小编辑距离的词典单词，这一评估方法在场景文本识别研究中广泛使用。

![1a2a984f579375926eba8ce521b50643.png][]

图5 实验结果图

(“50”和“1K”表示词典大小，“None”表示未使用词典。每种方法末尾的\[\]中给出了使用的网络主干网和训练数据，其中SK和ST分别表示Synth90K和SynthText数据集。)

论文所提出的场景文本识别网络是通过使用Tensorflow框架实现的，作者训练了三种ESIR模型，进行评估和测试。第一个是基线模型ESIR \[VGG，SK\]，该模型使用VGG作为网络主干，并使用Synth90作为训练数据。

ESIR\[ResNet，SK\]表示的第二个模型使用相同的训练数据，但ResNet作为网络主干。

第三个模型\[ResNet，SK + ST\]使用ResNet作为网络主干，使用Synth90K和SynthText的组合作为训练数据。这三个ESIR模型都按以下参数参数进行训练：

校正迭代次数：5；线段数：20；中线多项式的阶数：4。

![89dd347bbf573e8c15c6fccb97cc7941.png][]

图6 是否使用矫正网络的识别效果对比图

如图6所示，第一列中是来自SVTP和CUTE80的扭曲的场景文本图像，第二列显示了使用矫正网络校正后的图像，第三列，分别显示没有使用或者使用了矫正网络后识别的结果。显然，引入矫正网络有助于大大提高场景文本的识别性能。

![b9b102649c923fd535364b3629232d40.png][]

图7 训练参数变化结果对比图

论文提出的场景文本校正和识别技术的性能在很大程度上受到两个关键参数的影响，即校正迭代的次数和线段的数量。

所以论文通过使用Synth90K和SynthText作为训练数据来分别研究这两个关键参数。图7显示了实验结果，其中第一组实验将线段的数量固定为20，但将矫正迭代次数从1更改为5，第二组实验将整流器的迭代数量固定为5，但使用5、10和15线段。

如图7所示，当迭代次数越大，模型性能越高。此外，使用较大数量的线段还有助于改善场景文本识别性能，尽管这种改进并不像实施大量矫正迭代那么明显。由此可推测，使用更多的线段有助于对文本姿态进行更好的估计，从而进一步改善场景文本的纠正和识别性能。

**4**

就结论而言，论文提出了一种端到端的可训练场景文本识别网络，该网络能够通过迭代校正网络来识别失真的场景文本。

作者设计了一种新颖的线拟合变换来估计场景中文本的姿态，且开发了一种迭代校正框架来优化场景文本的校正和识别。

其提出的网络对于参数初始化也具有鲁棒性的。大量公共数据集上的实验证明了其在场景文本矫正和识别方面的优越性能。

未来可进一步探索与检测模型的集成，以实现联合优化并实现端到端场景文本阅读系统。

[684e1eab2ef4ea0fe8808d47cd8cc07c.png]: /images/20221119/2d7cfb9772174916a1bd974a96aa9fce.png
[2a3c9d193b99ebd1d795be81f0bfca55.png]: /images/20221119/e53bd5ac27b4475d826ad24bf0d2a4e7.png
[6465581e5d2342afacf1c120ef289fd1.png]: /images/20221119/bcd6552967334031ae5ce8fb1ad787f9.png
[48ce14448536d1d78a020fdef12703c6.png]: https://img-blog.csdnimg.cn/img_convert/48ce14448536d1d78a020fdef12703c6.png
[1a2a984f579375926eba8ce521b50643.png]: https://img-blog.csdnimg.cn/img_convert/1a2a984f579375926eba8ce521b50643.png
[89dd347bbf573e8c15c6fccb97cc7941.png]: https://img-blog.csdnimg.cn/img_convert/89dd347bbf573e8c15c6fccb97cc7941.png
[b9b102649c923fd535364b3629232d40.png]: https://img-blog.csdnimg.cn/img_convert/b9b102649c923fd535364b3629232d40.png