【看论文】之《基于机器视觉的番茄收割机实时分拣系统研究_袁紫薇》

╰+哭是因爲堅強的太久メ 2022-04-16 05:20 329阅读 0赞

论文信息

题目：基于机器视觉的番茄收割机实时分拣系统研究

作者：袁紫薇

作者单位：长安大学

论文性质：硕士学位论文

提交日期：2017.4.28

--------------------

# 摘要 #

本文立足于农业机械的发展，研制出一种番茄联合收割机用成熟番茄识别和分拣的方法；

**研究内容**：

（1）针对从成熟番茄中剔除未成熟番茄和杂质的功能需求，提出基于机器视觉的果实分拣方法；

（2）针对番茄分拣的特点，突破**提取一种颜色分量获得灰度图像的**局限，提取同一色彩图像的H，S两种分量，获得两种不同的灰度图像（★**笔记： YIQ 彩色模型是否可以采用类似的方法处理，可以当作创新点来研究**）；分别对两种灰度图像进行二值化处理，然后通过逻辑运算，将两幅灰度图像合成一张灰度图像，实验结果表明，该方法可以区别成熟与未成熟的番茄；

（3）改进了番茄的铺排方式，确定分拣方案；

（4）构建了图像采集系统；

（5）以Labview为平台，设计了番茄分拣的识别系统；

**分拣试验：**

在拍摄的100张样片中进行实验，误差率为2%；

--------------------

# 1 绪论 #

**机器视觉在番茄分级中的研究现状**

江苏大学的赵杰文、刘本华等提出用成熟番茄与未成熟番茄、枝叶之间的颜色差异从图像中区分出成熟番茄。对番茄图像进行阈值分割，区分出成熟番茄。对图像中的成熟番茄区域进行去噪，填补空洞、提取边界和求取质心，获得成熟番茄的信息。

南京农业大学的王新忠等，应用YIQ颜色模型识别番茄图像。YIQ色彩格式计算简单，聚类性好。根据成熟番茄和绿色枝叶之间的I、Q值的差别，对YIQ两个分量设置上下两个阈值，可以将成熟的番茄从背景中分出来。（笔记：在这里是不是可以考虑从自适应阈值的方法上入手一下，值得深究）

沈阳农业大学的吕小莲等，应用I1I2I3颜色模型，对100幅自然条件下的番茄图像中的成熟番茄、未成熟番茄，枝叶的颜色特征值等进行统计，发现两者的I2值差很大，且受光照的影响小。因此可以选用I1I2I3模型中I2作为图像分割中的颜色指标，并利用Ostu法将成熟的番茄从背景中分离出来；

江苏大学的王玉飞等，利用 RGB 颜色模型和形状特征识别成熟番茄。先用 R，G两个分量的色差值灰度图像和 Ostu 法得到初级图像，然后应用 3 个形状参数（圆形的，凹度，矩形度）和 5 个纹理参数（熵，对比度，相关性，能量，均匀性）将成熟番茄从枝叶等干扰物中分离出来；

北京农业智能装备研究中心的冯青春，程伟等，进行了基于线结构光视觉的番茄重叠果实识别定位方法研究。主要用于解决番茄自动化采摘过程中植株上的番茄相互遮挡的问题；

Pavithra, V.等（基于机器视觉的番茄自动分选），提出一种根据番茄的成熟度和质量对番茄进行自动无损色选的方法。分级过程分为两个阶段：第一阶段根据番茄的成熟度分级，第二阶段根据番茄的质量进行分级。

W. Syahrir 等用机器视觉系统代替人工判断番茄的成熟度并评估番茄的保质期。先将 RGB 模型转变成 L\*a\*b 模型，然后进行滤波、阈值处理等将番茄从背景中分离出来，最后通过 R－G 色差值判断番茄的成熟度和番茄的保质期；

Omid Omid ARJENAKI 等，研究了一种基于机器视觉的有效的番茄分级系统。该系统以计算得到的偏心率、像素数量、颜色分别作为番茄形状，大小，成熟度的评价标准，对番茄进行分级。同时该系统还能检测出着色不良，生长裂纹，早疫病等缺陷；

Laykin S 等，优化了一种图像处理算法，通过对图像进行分析得出番茄的颜色，颜色均匀性，缺陷，形状等质量参数，对番茄进行分级；

**机器视觉在番茄采摘中的研究现状**

石河子大学与武汉威明德科技股份有限公司等单位联合研制出了中国首台全液压自走式番茄收获机，其中包括割秧收秧装置、果秧分离装置、色选装置、电液控制系统4部分。该收割装置的各项质量指标可达到世界同类产品标准，实现了国产行走式番茄收获机零的突破；

（这篇论文的绪论写的非常好，引用的参考文献比较有代表性，可以看看）

--------------------

**研究内容：**

番茄收割机中的番茄为对象，研究番茄收割机实时分拣系统，主要内容如下：

（1）番茄收割机的功能分析，确定番茄实时分拣方法和方案

（2）基于机器视觉的番茄动态识别图像采集系统的设计 ：1）图像采集系统硬件方案的确定； 2）图像采集系统结构的设计； 3）图像采集系统软件系的设计；

（3）基于机器视觉的动态番茄分类识别方法的研究：实现成熟番茄、青番茄和杂质（泥土）的分选

--------------------

# **2 番茄收割机实时分拣系统的方案设计** #

![20181117180005822.png][] 番茄收割机工作示意图

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70][] 视觉检测与人工检测的对应关系

--------------------

**番茄的识别方法：**

要将未成熟番茄和杂质与成熟番茄区分开来，就要找出它们各自的特征，利用特征之间的差异区分图像中的物体；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 1][] 目标分拣方法表

成熟番茄与未成熟番茄，它们之间的外观差异主要在于颜色，成熟番茄外表面呈红色，未成熟番茄的外表面呈绿色，在图像处理过程中，可利用提取颜色分量的方法区分二者；（笔记：）

成熟番茄与土块，它们之间的主要差异在于外轮廓，成熟番茄在图像中呈类圆形，土块在图像中的外轮廓是不规则的棱角，在图像处理过程中，可提取物体的边缘，通过判断边缘的形状区分二者；

--------------------

分拣结构。。。。

--------------------

# 3 基于LabView的番茄分拣图像采集系统设计 #

![20181117180604700.png][] 分拣过程中番茄运动轨迹示意图

--------------------

**相机的选择**

选择工业相机首先应该确定用 CCD 相机还是用 CMOS 相机。CCD 相机和 CMOS 相机的区别在于数据的传输过程

CCD 相机是以行为单位，每行的感光元件将光信号转换成电信号，将电信号送进每行对应的移位寄存器器，每行移位寄存器连接一个放大器，经信号放大、数模转换后形成数字图像；

而 CMOS 相机是每个感光元件都有一个放大器，直接将电压信号进行放大，然后进行数模转换生成图像；从传输速度上来说 COMS 相机的非常快，适用于高帧拍摄；

COMS 传感器的固有噪声比CCD传感器高10倍，这些噪声甚至会在图像上成像，影响图像质量。另外，CMOS 中的放大器是模拟电路，很难保证所有信号放大的一致性。所以，一般选用CCD 相机；

--------------------

# **4 基于机器视觉的番茄分拣算法** #

上接：2018.11.17，18:15

图像处理包含两个部分，图像的预处理和特征提取；

图像的预处理：彩色图像的灰度化、图像滤波、图像二值化、形态学处理等；

特征提取：根据图像的颜色、形状、位置等特征信息将目标从背景中分离出来，达到识别目标的目的；具体包括：边缘提取、信息提取等；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 2][] 图像处理过程

--------------------

**常用颜色模型：**

目前，常用的颜色模型有RGB模型、CMYK模型、HIS模型以及L\*a\*b模型。每一种模型都用有限个量来描述颜色，每一种量都可以由RGB用一定的数学变换得到。

RGB模型：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 3][] RGB颜色模型

RGB颜色模型是将颜色用笛卡尔坐标系的单位正方形表示。如图，三个坐标分别表示R、G、B三个颜色。原点（0,0,0）表示黑色，在对角线，离原点最远的顶点（1,1,1）表示白色。

HSI模型：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 4][] HSI颜色模型

**HSI模型**是从人的视觉系统触发来描述颜色，如上图。

人感知颜色是从下面三个方面：色调（Hue）、饱和度（Saturation）、亮度（Intensity）。

其中，色调（Hue）是指颜色的种类：红、粉红、橙红等。虽然都是与红色相近，从色调的角度来说他们都具有不同的色调。

饱和度（Saturation）是指颜色的深浅，如深红、浅红。饱和度与色光中含有多少的白光成分有关，含有的白光成分为0，则饱和度为100%，只含有白光的饱和度为0，因此饱和度在某种程度上表示了某种色光被白光冲淡的程度；

亮度（Intensity）是指人眼感受到光的明暗程度，与物体反射光的多少有关，反射光越强、越亮。

HIS模型与RGB互换的关系式：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 5][]

![20181119103403460.png][]

--------------------

**彩色图像灰度化**

通常，彩色图像灰度化处理中，确定灰度值的方法有如下几种：

（1）最大值法：

![20181119104539300.png][]

（2）平均值法：

![20181119104526845.png][]

（3）加权平均值法：

![20181119104555981.png][]

（4）直接分量法：直接将颜色模型中的某个分量的值作为像素的灰度值。例如可以

![20181119104742763.png][]

这样，如果彩色图像中的某一R分量值比较大，那么变化成灰度图像后，该像素的显示就比较亮；如果某一个像素中R的量值比较小，变成灰度图像后，该像素就显示比较暗；

本论文的任务是将未成熟的番茄从成熟的番茄中识别出来，两者最大的区别就是颜色。红绿番茄在图像中表现为像素点所含颜色分量（R和G）的比例有很多的差别，可以利用这种差别进行灰度变化；HIS模型中，I分量是与彩色分量无关的信息，HS分量则与人感受颜色的方式是紧密相关的。这种颜色模型，课以将色彩信息和亮度信息分离开来。利用这种颜色模型，可以消除户外作业是受光照的影响。

下面是对自然光照下拍摄的番茄图像，用直接取分量得到的灰度图。

![20181119145547657.png][] 原图

![20181119145643227.png][] R分量灰度图

![20181119145728776.png][] G分量灰度图

![20181119145750556.png][] B分量灰度图

![20181119145817470.png][] H分量灰度图

![20181119145840120.png][] I分量灰度图

![20181119145917405.png][] S分量灰度图

可以看出，R、B、I、S分量得到的灰度图图像中成熟番茄和未成熟番茄的差异不是很明显。因此，可以暂定通过提取G、H分量获得灰度图。（笔记：作者做出的图中，H分量貌似也不是很明显，反而I分量却很明显；再者，作者给出的R分量的图，总感觉有点差异，下一步，自己应该实现一下）

--------------------

**图像增强**

图像增强就是通过一定的算法处理设法改善图像的质量，增强图像中感兴趣的区域，衰弱图像中不需要的区域的噪声，提高图像的可读性，便于进一步进行分析和处理。

图像增强可分为空间域增强和频率域增强。空间域增强是直接对图像的像素为处理对象；频率域增强也即频率域滤波，在频域下对图像进行处理。

本文先对上图中的H分量灰度图进行了“BCGLookUP”空间域图像增强，通过改变图像的亮度、对比度、以及伽马值提高图像的质量；

接着用频率域滤波平滑图像。效果如下：

![20181119151936558.png][] 增强后的H分量灰度图像

--------------------

**灰度图像二值化**

图形二值化的重点是选取合适的阈值。在自动检测系统中，阈值的确定必须是自动的，不应涉及人工参与。

本文选取常用的**最大类间方差法**确定图像的阈值。

最大类间方差法：根据图像的灰度等级分布特征，即通过图像的灰度直方图中显示的特征，将图像分割成两个部分，使部分之间的差异最大，每部分内部的差异最小，实现图像图像分割；

--------------------

**形态学操作**

形态学研究图像的基本思想：用结构元素去扫描输入图像，看是否能将这个元素包含在输入图像内部，同时验证填放元素的方法是否有效；通过对图像内适合放结构元素的位置做标记，便可以得到图像结构的信心，这些信息与结构元素的尺寸和形状密切相关；

而知图像的形态学运算有

（1）腐蚀；（2）膨胀；（3）开运算；（4）闭运算

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 6][] 基础形态学功能比较

--------------------

**目标识别与提取**

本文分拣系统的目的：将未成熟的番茄和杂质（如土块）从成熟的番茄中区分出来；

所以，实现目标识别与提取就是目标的轮廓特征为研究对象，以上文图像处理的二值图像为基础，先用边缘检测的方法提取目标物体的边缘，去除冗余的信息，只留下番茄的边缘信息；**通过边缘信息，提取出目标物体的之心**，结合硬件信息实现对番茄的定位，实现分拣；

--------------------

**边缘检测：用腐蚀的方法提取边缘**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 7][] 用腐蚀的方法提取边缘

--------------------

**图像信息的提取**

信息提取的任务就是用合适的算法求番茄的质心。

（1）最基本的就是根据质心的定义，用矩方法计算质心坐标；

为简化计算，提出利用图像的主要特征-边缘求质心的方法。

（2）Hough变换：

霍夫变换是将图像坐标转换到参数空间，实现直线或者曲线的拟合，即使缺少少量的坐标信息，也不影响拟合结果；

缺点：通过实验可知，应用霍夫变换的方法处理速度非常慢；

（3）本文的方法：（笔记L：没看懂，之后在深究）

1）扫描整幅图像，将边界像素的行向量、列向量分别存入两个一维数组中；

2）分别提取两个一维数组的最大值和最小值的平均数。，

--------------------

# 5 基于机器视觉的番茄分拣系统功能试验 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 8][] 图像处理流程图及对应的软件功能实现

--------------------

# 总结与展望 #

总结：

提出一种番茄联合收割机上用的，成熟番茄识别和分拣方法。如下：

（1）从机械结构方面改变番茄的铺排方式，优化番茄进入机器视觉系统的方式，以便简化视觉识别过程。

（2）优化图像处理过程，提出一种新的、简单的、准确度高的区分成熟番茄和未成熟番茄的方法。

突破提取一种颜色分量获取灰度图像的局限，提取同一彩色图像的两种颜色分量，然后通过逻辑运算，将两幅灰度图像合成一张灰度图像。

这种方法综合应用了两种分量图像的特点，使得区分效果更加明显；

（3）简化图像处理的算法，

（4）设计开发了基于LabView的番茄自动识别软件系统。

展望：

（1）进一步优化番茄实时分拣系统中的番茄分拣执行装置，使分拣系统的精准度得到提高；

（2）完善番茄图像边缘提取和信息提取的方法。

本文提出的边缘提取和质心的算法，具有较大的局限性。这种方法只能提取一个目标区域的信息，如果图像中有两个目标，则方法不能应用；

--------------------

finished，2018.11.19，by songpl

★声明：本篇文章是本人在学习期间的笔记，如有侵权，请联系删除

[20181117180005822.png]: /images/20220416/5364dae2adc34f299dfb686bc1d39700.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70]: /images/20220416/c11a991bf8dd471b909a10cea24c9686.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 1]: /images/20220416/1ef563871ad749d991b1eadc5c3d1208.png
[20181117180604700.png]: /images/20220416/816b105283934243b71c8bbac139b6a0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 2]: /images/20220416/a3a2558a9e7645b4b0050811b5c2e843.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 3]: /images/20220416/c17b07369dc24497b09071a30e69c9ef.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 4]: /images/20220416/4ca60d73ba2c493481cef0a9d81c2f0e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 5]: /images/20220416/1ac0b589578f457b9b1277d151bb8ad0.png
[20181119103403460.png]: /images/20220416/1a7c97d2f6df442dab6a6b893dbe3df7.png
[20181119104539300.png]: /images/20220416/cb46a86024b54abdbc8474f012d9be5a.png
[20181119104526845.png]: /images/20220416/6656ba4620794733ace25d8f64099c94.png
[20181119104555981.png]: /images/20220416/192db5ee356a4d8eb5262e7a8e601f6e.png
[20181119104742763.png]: /images/20220416/e1eb18b2fc644f058f764e33d4f298f1.png
[20181119145547657.png]: /images/20220416/bfdbf616c3ec476a86038a2ba9e6de00.png
[20181119145643227.png]: /images/20220416/508deec486ab4f009d09ba140f3f11a3.png
[20181119145728776.png]: /images/20220416/4f5aaca95342475fae1ea34ba855bf57.png
[20181119145750556.png]: /images/20220416/e9eeeadcde2043c283cb41c10b96b0de.png
[20181119145817470.png]: /images/20220416/7a8ed6177e504cfdaf78e2501d383a09.png
[20181119145840120.png]: /images/20220416/585c64041ce14607a3afc4710e7f164c.png
[20181119145917405.png]: /images/20220416/3f3138cdf08d4d0f885361e7119e97cf.png
[20181119151936558.png]: /images/20220416/d3c601fd696c40ae9dddf59178a76001.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 6]: /images/20220416/61a4cb8b674b4c29a81345715639cb2e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 7]: /images/20220416/30c367cc300e4d1b9e911aa69592fa28.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 8]: /images/20220416/72cd4df9ebec484a8ed20c9b9fc51f09.png