【Caffe】：制作自己数据集的Lmdb文件&均值文件计算

落日映苍穹つ 2022-05-19 09:34 219阅读 0赞

### 1.数据准备 ###

数据文件：  
如下图所示，behavior\_dataset文件夹里面放的是训练和测试的图片，二级目录如图2所示，这个一级和二级目录的格式并不是定死的，是可以灵活放置的，其关键点在于要能够这两级目录的放置和train.txt,test.txt中的内容结合起来能够找到图片所在位置并读入。  
![这里写图片描述][70]

![这里写图片描述][70 1]  
train.txt & test.txt文件：

这两个文件的格式如下图所示，当然具体的格式仍然可以灵活的改变。和上面数据文件夹的准备一样，只要能够通过头文件夹结合这个txt文件中的路径最终能够访问到图片就行了，唯一一个固定的格式就是在文件路径最后要加上空格，空格之后加上当前图片所属类别，且该类别从0开始标识。

![这里写图片描述][70 2]

### 2.通过批处理文件create\_imagenet.sh进行lmdb生成 ###

该批处理文件一般位于：caffe-master/example/imagenet/ 这个文件夹中。我们需要修改这个批处理文件中一些路径的设置，使得其符合自己的数据路径，和输出的文件路径及文件名。  
![这里写图片描述][70 3]

### 3.生成过程中遇到的问题 ###

问题1：若是遇到 a total of 0 images，这种问题，基本就是图片路径的问题，尽量把sh文件中的路径换成绝对路径。

问题2：  
![这里写图片描述][70 4]  
遇到如上图所示问题就是没有在sh文件中删掉上一次生成的lmdb文件，在之前sh文件中加入两句rm指令就可以解决这个问题了。

问题3：  
有的时候会遇到permission denied，这个时候修改一下文件夹权限（利用chmod指令）

\#\#\# 4.均值文件计算

图片减去均值后，再进行训练和测试，会提高速度和精度。因此，一般在各种模型中都会有这个操作。

那么这个均值怎么来的呢，实际上就是计算所有训练样本的平均值，计算出来后，保存为一个均值文件，在以后的测试中，就可以直接使用这个均值来相减，而不需要对测试图片重新计算。

一、二进制格式的均值计算

caffe中使用的均值数据格式是binaryproto, 作者为我们提供了一个计算均值的文件compute\_image\_mean.cpp，放在caffe根目录下的tools文件夹里面。编译后的可执行体放在 build/tools/ 下面，我们直接调用就可以了

# sudo build/tools/compute_image_mean examples/mnist/mnist_train_lmdb examples/mnist/mean.binaryproto

带两个参数：

第一个参数：examples/mnist/mnist\_train\_lmdb， 表示需要计算均值的数据，格式为lmdb的训练数据。

第二个参数：examples/mnist/mean.binaryproto， 计算出来的结果保存文件。

二、python格式的均值计算

如果我们要使用python接口，或者我们要进行特征可视化，可能就要用到python格式的均值文件了。首先，我们用lmdb格式的数据，计算出二进制格式的均值，然后，再转换成python格式的均值。

我们可以编写一个python脚本来实现：

![复制代码][copycode.gif]

#!/usr/bin/env python
    import numpy as np
    import sys,caffe
    
    if len(sys.argv)!=3:
        print "Usage: python convert_mean.py mean.binaryproto mean.npy"
        sys.exit()
    
    blob = caffe.proto.caffe_pb2.BlobProto()
    bin_mean = open( sys.argv[1] , 'rb' ).read()
    blob.ParseFromString(bin_mean)
    arr = np.array( caffe.io.blobproto_to_array(blob) )
    npy_mean = arr[0]
    np.save( sys.argv[2] , npy_mean )

![复制代码][copycode.gif]

将这个脚本保存为convert\_mean.py

调用格式为：

# sudo python convert_mean.py mean.binaryproto mean.npy

其中的 mean.binaryproto 就是经过前面步骤计算出来的二进制均值。

mean.npy就是我们需要的python格式的均值。

[70]: /images/20220519/4a225023ef6842c4b517c2b1849b23b2.png
[70 1]: /images/20220519/efa5380eeeee44218cfdbca3159c934f.png
[70 2]: /images/20220519/708b7abba25e4b11886922e244bb8cb3.png
[70 3]: /images/20220519/c0c2b9a73da3495c83ceb86b602f6986.png
[70 4]: /images/20220519/24cd2ea1107c42339a9e2d02d646f3cc.png
[copycode.gif]: /images/20220519/1f5269734a694b20878d8e5d0f7a31fa.png