【看论文】之《番茄采摘机器人关键技术研究_王丽丽》

青旅半醒 2022-04-16 02:26 404阅读 0赞

# 论文信息 #

论文题目：《番茄采摘机器人关键技术研究》

作者：王丽丽

单位：北京工业大学

来源：中国知网

论文性质：博士学位论文

论文提交时间：2017.5

--------------------

# 摘要 #

主要研究内容：

（1）总体设计了番茄采摘机器人系统；

（2）用模块化设计方法和嵌入式控制系统理论，研制了四轮独立转向行走平台；

（3） 研制了基于激光传感技术的激光自动导航控制系统；

（4）研制了串联式灵巧型四自由度机械臂；

（5）研究了基于双目视觉的番茄自动识别与定位技术；

（6）开展了番茄采摘机器人各部分控制系统性能试验和整体试验；

试验结果：双目立体视觉系统识别成功率 99%，当识别距离小于 600mm 时，定位误差小于 10mm；番茄采摘机器人采摘单个番茄平均耗时 15s，采摘成功率大于86.7%

--------------------

# 1 绪论 #

**研究现状**

<table>  番茄采摘机器人研究现状  
 <tbody> 
  <tr> 
   <td style="width:67px;">年份</td> 
   <td style="width:109px;">作者</td> 
   <td style="width:198px;">研究内容</td> 
   <td style="width:479px;">成果</td> 
  </tr> 
  <tr> 
   <td style="width:67px;">1984年</td> 
   <td style="width:109px;">以日本为代表</td> 
   <td style="width:198px;">机器人有五个自由度、机械手为关节型</td> 
   <td style="width:479px;">只有一个机器人</td> 
  </tr> 
  <tr> 
   <td style="width:67px;">90年代初</td> 
   <td style="width:109px;">日本</td> 
   <td style="width:198px;">七自由度番茄采摘机器人</td> 
   <td style="width:479px;">机器人具有行走系统、采摘系统、视觉系统、控制系统；15s/个，成功率70%</td> 
  </tr> 
  <tr> 
   <td style="width:67px;">2004博览会展出</td> 
   <td style="width:109px;">美国加利福尼亚机械公司</td> 
   <td style="width:198px;">全自动番茄收获机</td> 
   <td style="width:479px;">利用光谱特征识别出成熟的果实、并将番茄的枝叶粉碎</td> 
  </tr> 
  <tr> 
   <td style="width:67px;">2008年</td> 
   <td style="width:109px;">日本冈山大学门田充司教授</td> 
   <td style="width:198px;">番茄采摘机器人</td> 
   <td style="width:479px;">由机械手、视觉系统、控制器组成，通过在预定钢轨上行走，经过视觉系统探测番茄果实。采摘15/个，成熟的番茄采摘成功率在50%~70%左右</td> 
  </tr> 
 </tbody> 
</table>

**国内果蔬采摘机器人研究现状**

**番茄采摘机器人**

赵杰文等对番茄识别方法进行了研究，基于HIS颜色特征的目标识别方法对于**相互分离的田间**成熟番茄识别效果较好；

梁喜凤等研究了番茄采摘机械手的运动学和动力学性能，并开展了机械手运动学和动力学优化和仿真研究，效果较好；

浙江大学研究了七自由度番茄采摘机械手，并进行结构分析与参数优化，研究了基于红外热成像和颜色信息相结合的番茄目标识别方法；

南京农大研究了成熟番茄的定位技术，利用双目视觉灰度化番茄彩色图像，通过腐蚀、膨胀的方法对直方图进行处理，然后利用曲线拟合的分割方法，提取目标。最后利用面积匹配法和提示成像原理得到目标标的三维信息。当视觉系统与目标番茄的距离在300mm～400mm之间时，识别误差在3%～4%之间；

江苏大学学者研究了基于彩色柱状图算法的成熟番茄目标识别方法，通过条件R-G>80能够快速判定西红柿像素，该方法也适用于目标和背景颜色特征差异大的场合；

**其他果蔬采摘机器人**

2011年，中国农业大学农业机器人实验室李伟等人完成了黄瓜采摘机器人的研究，提出了基于计算机视觉和模糊控制技术的导航方法，提出了基于形状特征识别出黄瓜的成熟度，采摘时间15s/根，最大偏差小于5cm；

中国农业大学李伟教授研究了果实自动采摘方法\[5\]，针对温室种植环境采用**近红外图像处理方法**识别出黄瓜果实与枝叶背景信息，实现了目标与背景差异不明显的生物信息图像处理，定位误差+5mm；

中国农业大学李伟教授对自然光条件下苹果果柄的识别与定位方法进行了研究，识别成功率80%。；

**番茄采摘机器人目前存在问题及解决方案**

基于以上分析，国外研究进展较快，正在逐步向商业化阶段发展。我国发展较慢，虽然国内高等院校和科研机构在关键技术方面取得了很大的突破，但是整体的智能化水平很低，不能满足果蔬采摘的要求。主要有一下几点。

(1)  番茄采摘机器人整体智能化水平偏低

(2)  机器人行走底盘通用性差

(3)  采摘机械臂成本高、体积大、控制较复杂

(4)  果实的识别率和采摘率不高

目前果蔬采摘机器人的作业效率受**图像处理速度**和控制系统精度的影响较大，例如现有的柑橘采摘机器人采摘效率为 3-7 s/个，甜瓜采摘机器人采摘效率为 15 s/个，黄瓜采摘机器人采摘效率为 10 s/个，茄子采摘机器人采摘效率为 1min，番茄采摘机器人采摘效率为 50%-70%，其他果蔬采摘机器人采摘效率也都小于90%。**目前识别果蔬的方法主要采用颜色特征、灰度阈值和几何形状特性等方法。但容易受光照及环境因素的影响，导致图像识别过程中存在大量的噪声，并且很难识别出重叠的番茄果实**。为使果蔬采摘机器人实用化，论文针对视觉图像处理技术、图像识别算法、双目视觉传感器定位技术等方面开展进一步地研究。

(5)  农艺生产模式管理不统一导致果蔬采摘机器人推广困难

**论文主要研究内容**

（1）开展番茄采摘机器人系统集成技术研究；

（2）开展四轮独立转向行走系统研制；

（3）开展串联式灵巧行四自由度机械臂的研制；

（4）开展番茄自动识别与定位技术研究；

在分析番茄果实特性和图像分割方法的基础上，提出基于自适应调整修正系数的Niblack算法进行番茄目标提取，结合番茄图像的局部信息与全局信息，得到最终的识别结果；

（5）开展番茄机器人性能试验研究；

--------------------

# 2  番茄采摘机器人总体结构设计 #

**番茄采摘机器人双目立体视觉设计**

传统的机器人三维重建系统都是以单目视觉或双目视觉为基础进行三维重建实现识别定位工作，这种三维重建系统存在一下问题：

（1）基于摄像头的双目视觉系统在三维重建上主要针对尺寸较大、且外形规则的目标进行重建，且重建的精度较低；

（2）单目视觉与位置传感器组合形式的重建方法主要针对大体积平面目标，精度一般；

该采摘机器人采用总体到局部的思想，综合采用Eye-in-Hand视觉系统和双目视觉系统：先由双目视觉系统粗略提取成熟番茄的果实信息，为机械手采摘路径规划提供位置参数，然后由Eye-in-Hand视觉系统按照优化路径锁定番茄果实目标。

为提高机器视觉的实用性与经济性，选用多款工业相机构建双目立体视觉系统：

（1）基于PMD公司的深度相机CamCube3.0和罗技公司C920相机组成双目立体视觉系统。其中CamCube3.0是基于红外深度视觉传感器，用来采用深度信息；C920是采集彩色图像，然后根据多尺度标定方法，建立对应的三维图像。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70][] 标题双目立体视觉系统

（2）基于罗技公司的C270相机组成的双目视觉系统

![2018111610232146.png][]

（3）基于加拿大point greyGS3-U3-15S5C相机组成的双目视觉系统

![2018111610235769.png][]

**番茄目标识别与定位方法**

双目视觉系统对番茄目标进行定位的过程如下：

首先根据几何模型标定摄像头的参数，计算图像坐标与特征点坐标间的相对位置关系，标定结束后，采用三维重建方法，准确定位双目图像中的番茄位置。

然后利用曲线拟合技术，准确还原被遮挡番茄的形状，找出双目图像中物体的形心。

最后根据图像坐标与空间坐标的对应关系，计算出番茄的在空间坐标系中的X，Y，Z坐标，完成三维定位。流程图如图所示。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 1][] 双目视觉系统三维重建流程图

**番茄图像处理方法**

首先对番茄彩色图像进行灰度化处理，采用 Otsu 阈值分割方法识别出番茄果实；

最后利用椭圆模板匹配法进行番茄定位；

**1）图像处理算法**

采用归一化的红绿色差法灰度化番茄图像，然后利用 Otsu 算法将图像分为目标和背景两部分。

基于归一化**红绿色灰度法的Otsu阈值分割**算法，课有效提出目标区域，避免了枝叶复杂环境的影响。但是该方法对于相**互遮挡的番茄无法有效分成单目标区域**。因此引入椭圆模板匹配法，创建一个椭圆模板，对灰度图像进行椭圆匹配，解决因目标相互遮挡到时的区域粘连问题，当椭圆匹配的圆心在Otsu阈值分割的区域内是，判断该椭圆为番茄目标，否则，舍去；

2）番茄目标定位

截取彩色图像中上一过程判定的所有番茄所在的矩形区域，分别对左右两幅图对应的区域进行Harris角点检测，并进行特征点匹配。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 2][]

3）实验结果对比

三种双目视觉系统均可准确识别出番茄果实，识别率为100%；综合价格、质量、效果，选用加拿大的GS3-U3-15S5C。

--------------------

# 3、4采摘机器人的机械结构与控制 #

--------------------

# 5 番茄自动识别与定位技术研究 #

**番茄图像识别算法优化**

番茄与背景颜色指标分析

通过对番茄相关生物特征的测试与建库，确定利用颜色特征识别番茄的技术途径。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 3][] 番茄和背景在彩色空间的统计值标题

从表中可以看出，番茄在 RGB 彩色空间中 R 分量值最大，HIS 彩色空间中番茄和背景的I分量和 S 分量差异明显（原文表述有误）。

因此，对RGB分量组合为超绿指标ExG、超红指标ExR；

HIS空间，色度H和饱和度S作为特征量分析指标。

ExG、ExR的计算如下：

![20181116150002126.png][]

根据番茄**成熟期**的颜色特征，进行图像处理。由于成熟的西红柿呈红色、而叶片、茎秆、未成熟的西红柿呈绿色，目标与背景之间具有显著的颜色差别，因此，采用灰度变换的方法分割成熟的西红柿区域。

由于西红柿都是近球形的，在平面图像中显示为近圆形，所以利用椭圆模板匹配方法匹配图像中对应的椭圆目标，并将匹配成功的椭圆目标记录下其型心和外边缘。

--------------------

**相机标定**

**摄像头标定**：利用标定板采集图像，对图像中的特征点进行检测，求解出相机的内外参数，该过程即为摄像头标定

**组合标定：**双目视觉系统进行组合标定，采用标定板同时采集图像，匹配左右相机图像中的像素点，对左右两幅图像的行号进行严格对应，并对图像中的特征点进行检测，求解出旋转矩阵和平移矩阵，并对参数进行优化

--------------------

**番茄图像灰度变换 **

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 4][] 番茄原始图像与灰度图像

从灰度图想可以看出，红番茄与背景的亮度有显著的差异，利用颜色指标可以分割出番茄与背景。（笔记：可以看出，不成熟的番茄与背景的区别不是很明显，而且可以看出，光照的对图像的影响很大）

--------------------

**图像分割方法**

目前，阈值法、颜色特征聚类法、边缘检测法、区域生长法是常见的果蔬图像分割算法；

基于颜色特征的分割方法：通用性好，但需要事先对样本进行模型训练，运算量大；

基于边缘检测的分割方法：算法简单，实时性好，但是容易取出伪边界；

基于区域生长的分割方法：算法直观，但作为一种递归算法其时间成本较高；

基于阈值分割的方法：Otsu 阈值分割算法在果蔬图像识别中得到了广泛的应用，该方法易于实现，但是容易造成过度分割；

（笔记：经过这些个煽情，大招来了）

Niblack 算法作为经典的动态局部阈值法之一，可以克服固定阈值分割的缺陷，很好地还原图像细节，在复杂环境及低对比度图像分割上表现出了极大的优势。

申森等将 Niblack 与小波包相结合应用于枪号图像，将低通图像作为二值化阈值进行处理，并与 Niblack法获得的二值图像进行融合。该方法较好地保留了字符特征，改善了低对比度图像的二值化效果。

吴留生等结合分四块局部均值法与 Niblack 算法的优势，将二者的阈值进行加权，以降低手掌经脉图像伪噪声块及断纹现象的产生。

Guo 等在 Niblack 动态阈值分割法的基础上，结合形态学的开闭运算，获得具有较小失真的静脉图像

**基于 Otsu 算法的番茄目标提取方法**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 5][] Ostu法分割不同颜色指标灰度级变化的图像结果

**基于 Niblack 自适应修正系数的番茄目标提取方法**

温室番茄果实的空间位置和方向是随机的，导致成熟果实间、未成熟番茄果实间、果实与叶片间、果实与茎干间可能会重叠，相互遮挡，加上光照变化、采摘时果实和枝叶的晃动等外界因素，给实际作业中番茄图像处理带来了很多困难。

本文提出一种**基于自适应调整修正系数的 Niblack 算法**进行番茄目标提取，结合番茄图像的局部信息与全局信息，得到最终的识别结果，并验证了所提方法的稳定性和有效性。

温室种植园属于非结构化环境，通过视觉传感器获得的原始图像易受自然环境的影响，导致目标和背景因为光照、噪声及背景灰度梯度值突变，为了更好地分割图像，除了使用常规的图像处理流程外，**必须采用相关的算法加以改进才能准确地提取出清晰目标。**

（1）灰度化

考虑到尽量减少光照和阴影对温室番茄图像处理的影响，本文采用**归一化红绿色差法灰度化番茄图像**，其定义式为：

![20181116154157467.png][]

其中，R(x, y)，G(x, y) 分别为图像中 x 行 y 列像素点的红色及绿色分量。上式所得灰度值的取值范围为-1~1，归一化为

![20181116154246573.png][]

（2）传统的Niblack算法

传统的 Niblack 算法是一种基于灰度图像局部特征的二值化算法，其阈值T(x, y)可表示为:

![20181116154805646.png][]

式中，m(x, y)和 s(x, y)分别表示中心点(x,y)的一定邻域内所有像素的期望值和标准差。

α 为修正系数，表示在此偏移范围内的像素可认定为同一类像素.

Niblack 算法虽然可以动态地确定每个区域的阈值，也可以很好地处理光照不均等现象，**但仍有一些不足之处**：

1）随着 α 值增大，消除噪声的能力增强，这将导致边缘细节的丢失，使图像变得模糊，在背景区域内易产生大量噪声；

2）Niblack 算法修正系数 α 的选取是根据经验获得的，并没有准确的计算方法，导致一类图像的修正系数往往无法适用于另一类图像；

3）Niblack 算法的各区域阈值具有独立性，各阈值的选取仅与当前区域的期望值和标准差有关，忽略了其它区域中包含的与全局相关联的能够指导分割的信息，因此对于每一小块阈值，总有目标和背景之分，保留了不必要的细节信息，使背景中含有伪噪声；

（3）基于自适应修正系数选取的 Niblack 算法

针对上述缺点，本文提出一种修正系数自适应选取的方法，统计图像全局灰度变化的估计信息，结合局部区域信息之间的关联性，**利用全局信息指导修正系数 α 的选取;**

通过计算子窗口的期望值和归一化标准差，实现修正值的计算及二值化过程。在保留番茄特征的同时，抑制背景噪声干扰，得到良好的二值图像

--------------------

**算法对比研究 **

将Otsu算法、传统的Niblack算法与基于**基于 Niblack 自适应修正系数的番茄目标提取方法进行比较。**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 6][] Otsu算法分割结果

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 7][] 传统 Niblack 算法分割结果图

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 8][] Niblack 自适应修正系数选取算法分割结果

通过比较，改进算法相对于其他2种算法，能够较好得提取成熟番茄。

**分割噪声对比实验**

![20181116160957505.png][]

--------------------

**基于自适应修正系数的 Niblack 算法的番茄目标定位技术**

**椭圆模板匹配法**

--------------------

# 研究展望 #

(1)  为了实现果蔬采摘的智能化和精准化，需要进一步研究视觉与非视觉传感器的结合技术，将新技术应用到现代农业生产模式中，提高采摘机器人的智能化水平。

(2)  果实的形状和位置受自然环境的影响较大，采摘机器人采摘果实时将遇到未成熟的果实，作物的茎叶、撑杆等障碍物，工作时需要实时避开，现有的采摘机器人避障能力还不能满足实用性的需要。对于娇嫩果实的采摘，需要在末端执行器安装压力传感器实时获取抓取力度，保证果实的无损采摘，因此需要提高机械手和末端执行器的柔性和灵巧性。

(3)  采摘机械手的参数指标性能主要有奇异性、避障、冗余空间与姿态多样性等。提高末端执行器的仿生化水平和视觉系统的处理速度，缩短机械手到达成熟番茄果实的时间，是进一步研究中需要解决的关键问题，从而提高番茄采摘机器人的作业速度和采摘成功率

--------------------

finished，2018.11.16，night，by songpl

★声明：本篇文章是本人在学习期间的笔记，如有侵权，请联系删除

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70]: /images/20220416/5dbf56f6be4f4503a9ee7795e48f8455.png
[2018111610232146.png]: /images/20220416/ac82d55cf71d4ec29a199d3bdbda2598.png
[2018111610235769.png]: /images/20220416/b3d5f0091e7d4263be0c2bd05b774124.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 1]: /images/20220416/00662ab6c32c433ea9c9cbbe085ce7a3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 2]: /images/20220416/8457566addf94fdb9ae00b5fbab737ac.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 3]: /images/20220416/15c27628e82243b58aabac9768988f5a.png
[20181116150002126.png]: /images/20220416/db6eeb57e3b14b72a5b50c7b320e2b7e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 4]: /images/20220416/b4e8c69a6b784d069325ae6cdcce32e2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 5]: /images/20220416/424cd8e9de0c450f8542c187b3299ed9.png
[20181116154157467.png]: /images/20220416/fd34317f193c46c3bf5fa28670ea473e.png
[20181116154246573.png]: /images/20220416/15b63f2bb26648629b29d4dd63c4b436.png
[20181116154805646.png]: /images/20220416/b816f3be6c714222bf99fdce923966fb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 6]: /images/20220416/ca2d64157fad4fbeaf6fceacce4f8c55.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 7]: /images/20220416/5fa9158c16994f179fbcd967d2d17e15.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 8]: /images/20220416/abf07c2649c44910ae8d33849353a1e8.png
[20181116160957505.png]: /images/20220416/6542a941899f44fc81e2da1382bbacd8.png