将数据集做成VOC2007格式用于Faster-RCNN训练

淡淡的烟草味﹌ 2022-09-29 12:58 315阅读 0赞

## 将数据集做成VOC2007格式用于Faster-RCNN训练 ##

## 0.文件夹名 ##

首先，确定你的数据集所放的文件夹名字，例如我的叫logos。

（或者和voc2007一样的名字：VOC2007）

## 1.图片命名 ##

虽然说图片名对训练没什么影响，但建议还是按VOC2007那样，如“000005.jpg”这种形式。至于图片格式，代码里是写的jpg。

批量修改图片名字为VOC2007格式可以参考以下Matlab代码：

**\[plain\]** view plain copy

print ? [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  %%
2.  %图片保存路径为：
3.  %E:\\image\\car
4.  %E:\\image\\person
5.  %car和person是保存车和行人的文件夹
6.  %这些文件夹还可以有多个，
7.  %放在image文件夹里就行
8.  %该代码的作用是将图片名字改成000123.jpg这种形式
9.  %%
10. clc;
11. clear;
12. 
13. maindir=’E:\\image\\’;
14. name\_long=5; %图片名字的长度，如000123.jpg为6,最多9位,可修改
15. num\_begin=1; %图像命名开始的数字如000123.jpg开始的话就是123
16. 
17. subdir = dir(maindir);
18. n=1;
19. 
20. for i = 1:length(subdir)
21. if ~strcmp(subdir(i).name ,’.’) && ~strcmp(subdir(i).name,’..’)
22. subsubdir = dir(strcat(maindir,subdir(i).name));
23. for j=1:length(subsubdir)
24. if ~strcmp(subsubdir(j).name ,’.’) && ~strcmp(subsubdir(j).name,’..’)
25. img=imread(\[maindir,subdir(i).name,’\\’,subsubdir(j).name\]);
26. imshow(img);
27. str=num2str(num\_begin,’%09d’);
28. newname=strcat(str,’.jpg’);
29. newname=newname(end-(name\_long+3):end);
30. system(\[‘rename ’ \[maindir,subdir(i).name,’\\’,subsubdir(j).name\] ’ ’ newname\]);
31. num\_begin=num\_begin+1;
32. fprintf(‘当前处理文件夹%s’,subdir(i).name);
33. fprintf(‘已经处理%d张图片\\n’,n);
34. n=n+1;
35. pause(0.1);%可以将暂停去掉
36. end
37. end
38. end
39. end

![save_snippets.png][]

%%
    %图片保存路径为：
    %E:\image\car
    %E:\image\person
    %car和person是保存车和行人的文件夹
    %这些文件夹还可以有多个，
    %放在image文件夹里就行
    %该代码的作用是将图片名字改成000123.jpg这种形式
    %%
    clc;
    clear;
    
    maindir='E:\image\';
    name_long=5; %图片名字的长度，如000123.jpg为6,最多9位,可修改
    num_begin=1; %图像命名开始的数字如000123.jpg开始的话就是123
    
    subdir = dir(maindir);
    n=1;
    
    for i = 1:length(subdir)
      if ~strcmp(subdir(i).name ,'.') && ~strcmp(subdir(i).name,'..')
         subsubdir = dir(strcat(maindir,subdir(i).name));
        for j=1:length(subsubdir)
             if ~strcmp(subsubdir(j).name ,'.') && ~strcmp(subsubdir(j).name,'..')
                img=imread([maindir,subdir(i).name,'\',subsubdir(j).name]);
                imshow(img);
                str=num2str(num_begin,'%09d');
                newname=strcat(str,'.jpg');
                newname=newname(end-(name_long+3):end);
                system(['rename ' [maindir,subdir(i).name,'\',subsubdir(j).name] ' ' newname]);
                num_begin=num_begin+1;
                fprintf('当前处理文件夹%s',subdir(i).name);
                fprintf('已经处理%d张图片\n',n);
                n=n+1;
               pause(0.1);%可以将暂停去掉
             end
        end
      end
    end

图片名如果比较特殊或者像1(1).jpg等这类可能无法重命名，可以使用imwrite，如：

**\[html\]** view plain copy

print ? [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  imwrite(img,strcat(save\_path,newname));%改名后保存到另一文件夹，原图片不变

![save_snippets_01.png][]

imwrite(img,strcat(save_path,newname));%改名后保存到另一文件夹，原图片不变

也可以使用Total Commander来批量重命名，非常方便，推荐使用这个工具。

下载地址： [Total Commander破解版][Total Commander]

## 2.画目标包围框 ##

将图片中所框的目标信息保存起来，我的是保存到txt里，如下：

**\[plain\]** view plain copy

print ? [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  000002.jpg car 44 28 132 121
2.  000003.jpg car 54 19 243 178
3.  000004.jpg car 168 6 298 164

![save_snippets.png][]

000002.jpg car 44 28 132 121
    000003.jpg car 54 19 243 178
    000004.jpg car 168 6 298 164

前面是图片名，中间是目标类别，最后是目标的包围框坐标（左上角和右下角坐标）。

打框的代码(c++)我封装成了dll，下载地址： [图像标注VS2013项目][VS2013] （我的环境是win7vs2013旗舰版，win8 win10好像不能运行）

![20160712155021226][]

或者下这个EXE版本的（win7下用cmd运行，win8 win10可能运行不了）： [图像标注EXE][EXE]

2016-10-18：

上面标注的代码使用的是别人封装的opencv动态库，现在修改为opencv2.4.10，64位，vs2013，按网上教程配置好opencv，资源地址：

[图像标注EXE-2016-10-18][EXE-2016-10-18]

上面的代码好像忘写操作说明了，这里写一下：

（1）图片显示出来后，输入法切换到英文；

（2）在目标的左上角按下鼠标左键，拉一个包围框到目标右下角，然后键盘输入标签(一个字符)

（3）继续（2）操作，直到框完该张图片上的目标；

（4）按n进入下一张，esc退出。

注意：标签只能输入一个字符，你可以在生成的txt文件中替换成你实际的标签。

## 3.做xml ##

将第2步得到的txt转成xml。 如果每张图片有一个或多个包围框，可参考代码： [VOC2007xml][]（这份代码生成的xml训练Matlab版本的FRCNN可能会出错，最好用下面修改过的）

这份代码生成的xml第一行含有版本和编码信息：<?xml version=”1.0” encoding=”utf-8”?>，并且含有空格，用来训练Faster RCNN可能会有问题，如下：

![20160525185426428][]

（左边是VOC2007数据集中的xml，右边是上面代码生成的xml（ 第一行我删掉了），用Notepad打开就可以看到）

VOC2007中的xml前面是tab字符（左边那些箭头），上面代码生成的xml是空格（那些小黄点），所以，必须将空格转换成tab， **下载修改过的代码**： [VOC2007xml\_new][VOC2007xml_new]

（下载VOC2007xml\_new就可以了，不用下载VOC2007xml，不过如果xml用作其他用途还是可以的）

最终，得到的xml就和VOC一样。

**2016-11-24：**

**上面做xml的代码请下载修改过的代码！！！因为第一份代码带有<?xml version=”1.0” encoding=”utf-8”?>以及空格，训练会出错的！！！本来想把第一份代码删掉的，但是csdn好像没法删资源啊！！！**

**代码是Matlab（2014b）写的，没怎么优化，当时想的就是功能能实现就行。**

**另外，如果同一幅图上有多个目标，保存在txt文件中的包围框信息需要连续存放。**

## 4.保存xml到Annotations ##

新建一个文件夹，名字为Annotations，将xml文件全部放到该文件夹里。

## 5.将训练图片放到JPEGImages ##

新建一个文件夹，名字为JPEGImages，将所有的训练图片放到该文件夹里。

## 6.ImageSets\\Main里的四个txt文件 ##

新建文件夹，命名为ImageSets，在ImageSets里再新建文件夹，命名为Main。

我们可以通过xml名字(或图片名)，生成四个txt文件，即：

![20160223151838692][]

txt文件中的内容为：

**\[plain\]** view plain copy

print ? [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  000005
2.  000027
3.  000028
4.  000033
5.  000042
6.  000045
7.  000048
8.  000058

![save_snippets.png][]

000005
    000027
    000028
    000033
    000042
    000045
    000048
    000058

即图片名字（无后缀）,test.txt是测试集，train.txt是训练集，val.txt是验证集，trainval.txt是训练和验证集.VOC2007中，trainval大概是整个数据集的50%，test也大概是整个数据集的50%；train大概是trainval的50%，val大概是trainval的50%。可参考以下代码：

**\[html\]** view plain copy

print ? [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  %%
2.  %该代码根据已生成的xml，制作VOC2007数据集中的trainval.txt;train.txt;test.txt和val.txt
3.  %trainval占总数据集的50%，test占总数据集的50%；train占trainval的50%，val占trainval的50%；
4.  %上面所占百分比可根据自己的数据集修改，如果数据集比较少，test和val可少一些
5.  %%
6.  %注意修改下面四个值
7.  xmlfilepath=‘E:\\Annotations’;
8.  txtsavepath=‘E:\\ImageSets\\Main\\’;
9.  trainval\_percent=0.5;%trainval占整个数据集的百分比，剩下部分就是test所占百分比
10. train\_percent=0.5;%train占trainval的百分比，剩下部分就是val所占百分比
11. 
12. 
13. %%
14. xmlfile=dir(xmlfilepath);
15. numOfxml=length(xmlfile)-2;%减去.和.. 总的数据集大小
16. 
17. 
18. trainval=sort(randperm(numOfxml,floor(numOfxml\*trainval\_percent)));
19. test=sort(setdiff(1:numOfxml,trainval));
20. 
21. 
22. trainvalsize=length(trainval);%trainval的大小
23. train=sort(trainval(randperm(trainvalsize,floor(trainvalsize\*train\_percent))));
24. val=sort(setdiff(trainval,train));
25. 
26. 
27. ftrainval=fopen(\[txtsavepath ‘trainval.txt’\],’w’);
28. ftest=fopen(\[txtsavepath ‘test.txt’\],’w’);
29. ftrain=fopen(\[txtsavepath ‘train.txt’\],’w’);
30. fval=fopen(\[txtsavepath ‘val.txt’\],’w’);
31. 
32. 
33. for i=1:numOfxml
34. if ismember(i,trainval)
35. fprintf(ftrainval,’%s\\n’,xmlfile(i+2).name(1:end-4));
36. if ismember(i,train)
37. fprintf(ftrain,’%s\\n’,xmlfile(i+2).name(1:end-4));
38. else
39. fprintf(fval,’%s\\n’,xmlfile(i+2).name(1:end-4));
40. end
41. else
42. fprintf(ftest,’%s\\n’,xmlfile(i+2).name(1:end-4));
43. end
44. end
45. fclose(ftrainval);
46. fclose(ftrain);
47. fclose(fval);
48. fclose(ftest);

![save_snippets.png][]

%%
    %该代码根据已生成的xml，制作VOC2007数据集中的trainval.txt;train.txt;test.txt和val.txt
    %trainval占总数据集的50%，test占总数据集的50%；train占trainval的50%，val占trainval的50%；
    %上面所占百分比可根据自己的数据集修改，如果数据集比较少，test和val可少一些
    %%
    %注意修改下面四个值
    xmlfilepath='E:\Annotations';
    txtsavepath='E:\ImageSets\Main\';
    trainval_percent=0.5;%trainval占整个数据集的百分比，剩下部分就是test所占百分比
    train_percent=0.5;%train占trainval的百分比，剩下部分就是val所占百分比
    
    
    %%
    xmlfile=dir(xmlfilepath);
    numOfxml=length(xmlfile)-2;%减去.和..  总的数据集大小
    
    
    trainval=sort(randperm(numOfxml,floor(numOfxml*trainval_percent)));
    test=sort(setdiff(1:numOfxml,trainval));
    
    
    trainvalsize=length(trainval);%trainval的大小
    train=sort(trainval(randperm(trainvalsize,floor(trainvalsize*train_percent))));
    val=sort(setdiff(trainval,train));
    
    
    ftrainval=fopen([txtsavepath 'trainval.txt'],'w');
    ftest=fopen([txtsavepath 'test.txt'],'w');
    ftrain=fopen([txtsavepath 'train.txt'],'w');
    fval=fopen([txtsavepath 'val.txt'],'w');
    
    
    for i=1:numOfxml
        if ismember(i,trainval)
            fprintf(ftrainval,'%s\n',xmlfile(i+2).name(1:end-4));
            if ismember(i,train)
                fprintf(ftrain,'%s\n',xmlfile(i+2).name(1:end-4));
            else
                fprintf(fval,'%s\n',xmlfile(i+2).name(1:end-4));
            end
        else
            fprintf(ftest,'%s\n',xmlfile(i+2).name(1:end-4));
        end
    end
    fclose(ftrainval);
    fclose(ftrain);
    fclose(fval);
    fclose(ftest);

这四个txt放在ImageSets\\Main中。

这样，数据集就基本做好了。然后新建文件夹，名字为logos(第0步确定的名字),将上面三个文件夹放到这里，即logos文件夹里有三个文件夹：

![Image 1][]

将logos文件夹拷贝到datasets\\VOCdevkit2007里就可以了。

（或者替换voc2007数据集中的Annotations、ImageSets和JPEGImages，免去一些训练的修改）

Matlab版本faster-rcnn训练过程看 [http://blog.csdn.net/sinat\_30071459/article/details/50546891][http_blog.csdn.net_sinat_30071459_article_details_50546891]；

python版本faster-rcnn训练过程看 [http://blog.csdn.net/sinat\_30071459/article/details/51332084][http_blog.csdn.net_sinat_30071459_article_details_51332084]。

**上面说到的代码（图像批量重命名、制作XML，制作TXT）已打包可下载：** [制作VOC2007数据集用到的代码][VOC2007]

**以及画包围框的代码：[图像标注][EXE]**

**注意：如果你的下载积分不够，请留邮箱我发给你。**

**（2016-10-07前评论留邮箱的应该都发了，可以找他们转发一下）**

[CODE]: https://code.csdn.net/assets/CODE_ico.png
[CODE_CODE]: https://code.csdn.net/snippets/1585710
[ico_fork.svg]: https://code.csdn.net/assets/ico_fork.svg
[ico_fork.svg 1]: https://code.csdn.net/snippets/1585710/fork
[save_snippets.png]: /images/20220708/c1e685c6f2d2455180b992b85218102a.png
[save_snippets_01.png]: /images/20220708/011eb1d3b26b40888a4c8ad3fe2a27d0.png
[Total Commander]: http://download.csdn.net/detail/sinat_30071459/9582586
[VS2013]: http://download.csdn.net/detail/sinat_30071459/9573982
[20160712155021226]: /images/20220708/c46b1e1de66d4bf5994ddd771383b209.png
[EXE]: http://download.csdn.net/detail/sinat_30071459/9585181
[EXE-2016-10-18]: http://download.csdn.net/detail/sinat_30071459/9657342
[VOC2007xml]: http://download.csdn.net/detail/sinat_30071459/9530223
[20160525185426428]: /images/20220708/a71718e0a8c54928836d57c6e7c32cdc.png
[VOC2007xml_new]: http://download.csdn.net/detail/sinat_30071459/9531172
[20160223151838692]: /images/20220708/079c27c1df774f6b9b304de76c902d0e.png
[Image 1]: 
[http_blog.csdn.net_sinat_30071459_article_details_50546891]: http://blog.csdn.net/sinat_30071459/article/details/50546891
[http_blog.csdn.net_sinat_30071459_article_details_51332084]: http://blog.csdn.net/sinat_30071459/article/details/51332084
[VOC2007]: http://download.csdn.net/detail/sinat_30071459/9532108