V-rep机器人仿真(Win10)：UR5+RG2+Kinect+YOLOV3+DDPG+Pytorch(第四部分：YOLOV3图像识别)

刺骨的言语ヽ痛彻心扉 2022-11-25 13:22 110阅读 0赞

### 声明：作为V-rep机器人仿真的初学者，看到博主Ianlande 的相关博客，故转载。欢迎大家访问[原博客][Link 1] ###

--------------------

这是一个V-rep机器人仿真实验，较为简单，适合初学者在入门图像识别、机器学习、机器人学的内容时进行学习与训练。  
实验涉及的内容有：V-rep机器人仿真，YOLOV3图像识别，强化学习DDPG，UR5机械臂及RG2机械手，Kinect摄像头。  
使用环境：Win10，Pytorch0.4，V-rep  
整个实验一共由多篇文章组成，本文是第四部分。

# 第四部分：YOLOV3图像识别 #

### 文章目录 ###

*  第四部分：YOLOV3图像识别
 *   *   *  1. Win10下安装并配置YOLOV3
         *  2. 给训练集打标签
         *  3. 训练集
         *  4. 训练
         *  5. 训练结果
         *  6. 其它参考：

这一部分我们用YOLOV3做一个目标识别实验，识别对象是一个圆球，如图：  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70][]  
在上一篇文章中，我们已经获取到了数据集：  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 1][]  
接下来我们解决YOLOV3的安装及配置问题，并训练识别。

### 1. Win10下安装并配置YOLOV3 ###

我使用的是Github上AlexeyAB作者的项目，下载地址：[https://github.com/AlexeyAB/darknet][https_github.com_AlexeyAB_darknet]

至于如何安装配置，很多优秀的作者写了很详细的教程，我也是根据这些教程一步步配置成功的，所以我将我看的教程链接放上来，最后再补充一下踩坑记录就好。

教程链接：  
[https://blog.csdn.net/StrongerL/article/details/81007766][https_blog.csdn.net_StrongerL_article_details_81007766]  
[https://blog.csdn.net/StrongerL/article/details/81022514][https_blog.csdn.net_StrongerL_article_details_81022514]  
[https://blog.csdn.net/StrongerL/article/details/81023603][https_blog.csdn.net_StrongerL_article_details_81023603]  
[https://blog.csdn.net/Yvette\_Lucifer/article/details/82856664][https_blog.csdn.net_Yvette_Lucifer_article_details_82856664]  
[https://blog.csdn.net/qq\_36417014/article/details/88551805][https_blog.csdn.net_qq_36417014_article_details_88551805]

我是按照上面这些教程一步步安装配置的，作者们已经写的很清楚了。

补充一下我自己的踩坑记录：

1.  CUDA应该下载和自己电脑匹配的版本，方法如下：  
    进入“控制面板”界面，在控制面板中找到“NVIDIA 控制面板”  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 2][]  
    在“帮助”选择“系统信息”  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 3][]  
    在“组件”可以看到CUDA版本号  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 4][]  
    所以我下载的是CUDA 9.1版
2.  最可能出问题的地方一般是在Visual Studio编译的时候，一般出问题的原因都是Visual Studio没配置好，比如下面这个：  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 5][]  
    CUDA版本小于10.0的，需要将`compute_75,sm_75`删掉，比如我的CUDA是9.1，所以我只保留`compute_30,sm_30`，如果CUDA大于等于10.0，则保留`compute_75,sm_75,compute_30,sm_30`

### 2. 给训练集打标签 ###

如果上一步成功了，我们就开始训练自己的训练集，使用软件`labelimg`给训练集打标签。  
`labelimg`下载链接：  
[https://pan.baidu.com/s/1Yi3fRezO2eV4ZJcD1tcpoA][https_pan.baidu.com_s_1Yi3fRezO2eV4ZJcD1tcpoA]  
提取码：rsif

**使用方法**：  
解压后如下图所示：  
![20200211205650159.jpg][]  
`data`文件夹里有`predefined_classes.txt`，里面填写标签类型。举个例子，假如我们有两个标签：`cat`和`dog`，那我们应该这样写：  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 6][]  
由于我们只识别一个物体，所以只有一个标签类型，我们设为`target`，结果如图：  
![20200211210544500.jpg][]  
然后打开`labelImg.exe`，打开训练集的文件夹目录，如图：  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 7][]  
然后给每张训练集打标签：  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 8][]  
然后保存，会得到同名的`.xml`文件，如图：  
打标签前：  
![20200211212026592.jpg][]  
打标签后：  
![20200211212032776.jpg][]  
给每张图都打好标签就可以了。

### 3. 训练集 ###

我打包好了训练的模板，可以从这个链接下载：  
[https://github.com/Ianlande/training-set-template-of-yolov3-win][https_github.com_Ianlande_training-set-template-of-yolov3-win]

**模板的文件夹层次**：

1.  backup：空文件夹
2.  cfg：`training_set_template.cfg`，`training_set_template_obj.data`
3.  data：Images(空文件夹)，labels(空文件夹)，`training_set_template_obj.names`，`train.txt`，`valid.txt`
4.  Image\_origin：空文件夹
5.  script：`rename_img.py`，`training_set_label.py`

由于github无法上传空文件夹，所以模板里面有的文件夹没有，自己补全就好。

每个文件夹的作用如下：

1.  backup : 训练后得到的权重文件保存在这个目录下
2.  cfg : 一些配置文件
3.  data : 训练集、验证集等各种数据
4.  Image\_origin : 原始训练集
5.  script : 脚本文件，用于处理数据

**使用方法**：

1.  将采集到的所有原始训练集放入`Image_origin`文件夹中。
2.  使用`script`文件夹下的`rename_img.py`，这个程序会将这些图片重命名，重命名后的图片会被放入`data\Images`文件夹中，你需要修改`rename_img.py`中的第6、7行代码：  
    将`img_path`改成`Image_origin`所在的路径，将`new_img_save_path`改成`data\Images`所在的路径，例如：

img_path = "D:\\MyNetWork\\Vrep_yolov3_training\\Image_origin"
    new_img_save_path = "D:\\MyNetWork\\Vrep_yolov3_training\\data\\Images"

1.  将打标签后得到的所有xml文件放入`data\labels`中。
2.  运行`script`文件夹下的`training_set_label.py`，该程序会为每一个训练集的`.xml`文件创建一个`.txt`文件，并将其放入`data\Images`中，同时根据9:1的比例分配训练集与测试集，并分别写入`train.txt`和`valid.txt`。但`training_set_label.py`里面的文件夹路径也需要自行修改，和第2点一样。  
      
    最后`data\Images`如图：  
      
    ![20200211225044182.jpg][]  
      
    `data\labels`如图：  
      
    ![20200211225050885.jpg][]

*  修改其它配置文件：  
    (1). 修改 `cfg`中的`training_set_template.cfg`:  
    修改`classes`与`filters`。如果检测A类物体，则classes=A，filters=(classess+5)\*3=(A+5)\*3。由于我们识别一个物体，所以A=1，filters=18；修改以下六处：  
    Line 607: classes=1  
    Line 693: classes=1  
    Line 780: classes=1  
    Line 600: filters=18  
    Line 686: filters=18  
    Line 773: filters=18  
    即修改每个\[yolo\]里面的classes，和每个\[yolo\]上一个\[convolutional\]的filters  
    可以参考：[https://blog.csdn.net/hrsstudy/article/details/65447947][https_blog.csdn.net_hrsstudy_article_details_65447947]  
    (2).修改 `cfg`中的`training_set_template_obj.data`:  
    存放需要识别的类别数以及各种配置文件的路径。  
    classes：识别的类型数，我们只识别一种物体，所以为1。  
    train：`train.txt`所在的路径  
    valid：`valid.txt`所在的路径  
    names：`data\training_set_template_obj.names`所在的路径  
    backup：`backup`文件夹所在路径  
    (3). `data`中的`training_set_template_obj.names`:  
    存放需要识别的类别种类，注意最后一行必须是一个回车键
 *  ### 4. 训练 ###
    
    在windows版本的`Darknet\darknet-master\build\darknet\x64`下创建一个`.cmd`文件。  
    填入如下格式的命令：  
    `darknet.exe detector train (.data文件路径) (.cfg文件路径) -i 0 (使用的预模型路径)`  
    其中`-i 0`表示使用第一个GPU ，  
    例如:
    
        darknet.exe detector train D:\\MyNetWork\\Vrep_yolov3_training\\cfg\\yolov3-vrep-ddpg-obj.data   D:\\MyNetWork\\Vrep_yolov3_training\\cfg\\yolov3-vrep-ddpg.cfg   -i 0   darknet53.conv.74
        
        pause
    
    最后的`darknet53.conv.74`指的是在`darknet53.conv.74`权重的基础上进行训练，也可以用别的权重。  
      
    如果你打算使用`darknet53.conv.74`，你得确保`Darknet\darknet-master\build\darknet\x64`路径下有`darknet53.conv.74`这个文件，没有的话可以通过下面这个链接下载：[https://pan.baidu.com/s/1Ums97B7Mlzw6G5jxmZ\_Ndg][https_pan.baidu.com_s_1Ums97B7Mlzw6G5jxmZ_Ndg]  
      
    提取码：8fqc
    
    然后运行这个`.cmd`文件就可以了。
    
    ### 5. 训练结果 ###
    
    再创建一个`.cmd`文件，填入如下格式的命令：
    
        darknet.exe detector test (.data文件路径) (.cfg文件路径) -i 0 (backup文件中的权重文件路径)
    
    例如:
    
        darknet.exe detector test D:\\MyNetWork\\Vrep_yolov3_training\\cfg\\yolov3-vrep-ddpg-obj.data   D:\\MyNetWork\\Vrep_yolov3_training\\cfg\\yolov3-vrep-ddpg.cfg   -i 0  D:\\MyNetWork\\Vrep_yolov3_training\\backup\\yolov3-vrep-ddpg_2000.weights
        
        pause
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 9][]  
    我们可以看到训练结果还不错。
    
    ### 6. 其它参考： ###
    
    [https://blog.csdn.net/guduruyu/article/details/81607063][https_blog.csdn.net_guduruyu_article_details_81607063]  
    [https://blog.csdn.net/xiaohu2022/article/details/79211732][https_blog.csdn.net_xiaohu2022_article_details_79211732]

[Link 1]: https://blog.csdn.net/weixin_42158966/article/details/104266573
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70]: /images/20221124/17877c6bca0144c4b753af145ab97fea.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 1]: /images/20221124/5a88cb7b3e4f4e5297c628f07209fa2e.png
[https_github.com_AlexeyAB_darknet]: https://github.com/AlexeyAB/darknet
[https_blog.csdn.net_StrongerL_article_details_81007766]: https://blog.csdn.net/StrongerL/article/details/81007766
[https_blog.csdn.net_StrongerL_article_details_81022514]: https://blog.csdn.net/StrongerL/article/details/81022514
[https_blog.csdn.net_StrongerL_article_details_81023603]: https://blog.csdn.net/StrongerL/article/details/81023603
[https_blog.csdn.net_Yvette_Lucifer_article_details_82856664]: https://blog.csdn.net/Yvette_Lucifer/article/details/82856664
[https_blog.csdn.net_qq_36417014_article_details_88551805]: https://blog.csdn.net/qq_36417014/article/details/88551805
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 2]: /images/20221124/3bb4b346beda4b3881767ebc95038030.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 3]: /images/20221124/68354b07ea64495eb6061ca79a8333bc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 4]: /images/20221124/3d2e6e06be744bb085db40b6fb453649.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 5]: /images/20221124/1108fa1436ac4b6ab33a977ca3ea36be.png
[https_pan.baidu.com_s_1Yi3fRezO2eV4ZJcD1tcpoA]: https://pan.baidu.com/s/1Yi3fRezO2eV4ZJcD1tcpoA
[20200211205650159.jpg]: /images/20221124/15716398cbfe4102abf746d471fc1c01.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 6]: /images/20221124/2861ba2724014979ab58782f3e432824.png
[20200211210544500.jpg]: /images/20221124/1b6ee07a48d0415388a9114e6253e735.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 7]: /images/20221124/e91327ae93864d3fb7aae1b5c46eb1a7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 8]: /images/20221124/14267cbe5a56462cbefc8e811ad8959f.png
[20200211212026592.jpg]: /images/20221124/34e99c87715c4401b69996db183977c9.png
[20200211212032776.jpg]: /images/20221124/f02bebd6e5574f65beca6677b7560b14.png
[https_github.com_Ianlande_training-set-template-of-yolov3-win]: https://github.com/Ianlande/training-set-template-of-yolov3-win
[20200211225044182.jpg]: /images/20221124/a439922c9d8d45998729beb0b2bf4aff.png
[20200211225050885.jpg]: /images/20221124/f43e2bad97754bd7a5266cd61cd17de3.png
[https_blog.csdn.net_hrsstudy_article_details_65447947]: https://blog.csdn.net/hrsstudy/article/details/65447947
[https_pan.baidu.com_s_1Ums97B7Mlzw6G5jxmZ_Ndg]: https://pan.baidu.com/s/1Ums97B7Mlzw6G5jxmZ_Ndg
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE1ODk2Ng_size_16_color_FFFFFF_t_70 9]: /images/20221124/cf3a96e374de47c79fefa1e857b97de0.png
[https_blog.csdn.net_guduruyu_article_details_81607063]: https://blog.csdn.net/guduruyu/article/details/81607063
[https_blog.csdn.net_xiaohu2022_article_details_79211732]: https://blog.csdn.net/xiaohu2022/article/details/79211732