数据增强库imgaug使用笔记

迈不过友情╰ 2023-06-30 02:27 20阅读 0赞

在深度学习项目中，寻找数据花费了相当多的时间。但在很多实际的项目中，我们难以找到充足的数据来完成任务。为了要保证完美地完成项目，有两件事情需要做好：1、寻找更多的数据；2、数据增强。本篇主要描述数据增强。

有很多现成的可以做数据增强的库，比如可以用OpenCV、PIL、TensorFlow、Augmentor等等，下面介绍的第一第二大类方法都是通过调用imgaug库操作实现的，这个库功能全面，且有丰富的文档支持，能满足我们大多数的数据增强的需求。

# 1 介绍 #

imgaug是一个用于机器学习实验中图像增强的python库，支持python2.7和3.4以上的版本。 它支持多种增强技术，允许轻松组合这些技术，具有简单但功能强大的随机界面，可以在这些界面上增加图像和关键点/界标，并在后台进程中提供增强功能以提高性能。

相关文档：[快速开始][Link 1]、[函数示例][Link 2]、[API介绍][API]、[github][]

# 2 安装方法 #

首先安装依赖

pip install six numpy scipy matplotlib scikit-image opencv-python imageio
    pip install imgaug

如果想安装最新版本的imgaug，可直接在github上下载源码进行安装，方法如下

pip install git+https://github.com/aleju/imgaug

或者

git clone https://github.com/aleju/imgaug
    cd imgaug 
    python setup.py install

# 3 测试程序 #

整体流程为：定义变换序列（Sequential）→读入图片（imread）→执行变换（augment\_images）→保存图片（imwrite）

#!usr/bin/python
    # -*- coding: utf-8 -*-
    import cv2
    from imgaug import augmenters as iaa
     
    #imgaug test
    seq = iaa.Sequential([
        iaa.Crop(px=(0, 16)), # 从每侧裁剪图像0到16px（随机选择）
        iaa.Fliplr(0.5), # 水平翻转图像
        iaa.GaussianBlur(sigma=(0, 3.0)) # 使用0到3.0的sigma模糊图像
    ])
     
    imglist=[]
    img = cv2.imread('kobe.jpg')
    imglist.append(img)
    images_aug = seq.augment_images(imglist)
    cv2.imwrite("imgaug.jpg",images_aug[0])

原图kobe.jpg

![70][]

结果imgaug.jpg

![70 1][]

# 4 函数介绍 #

在API里边，我们可以看到有很多函数可以实现数据增强，接下来对这些函数的功能进行介绍，参数的具体含义请参考[另一篇博文][Link 3]或者[函数说明][Link 4]

<table> 
 <thead> 
  <tr> 
   <th>函数</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Sequential(C, R)</td> 
   <td>选取一系列子增强器C作用于每张图片，第二个参数表示是否对每个batch的图片应用不同顺序的Augmenter list。当设置为True时，不同batch之间图片的处理顺序都会不一样，但是同一个batch内顺序相同</td> 
  </tr> 
  <tr> 
   <td>SomeOf(N, C, R)</td> 
   <td>将Augmenter中的部分变换应用在图片处理上，而不是应用所有的Augmenter。例如：可以定义20种变换，但每次只选择其中的5个。但是不支持固定选择某一个Augmenter。</td> 
  </tr> 
  <tr> 
   <td>OneOf(C)</td> 
   <td>每次从一系列Augmenters中选择一个来变换。.</td> 
  </tr> 
  <tr> 
   <td>Sometimes(P, C, D)</td> 
   <td>对batch中的一部分图片应用一部分Augmenters,剩下的图片应用另外的Augmenters。</td> 
  </tr> 
  <tr> 
   <td>WithColorspace(T, F, C)</td> 
   <td>在某个特定的颜色空间对图像进行变换。即：先将图片从一个颜色空间变换到另一个颜色空间,然后在另一个颜色空间中对图像进行变换,最后再变换回原来的颜色空间。</td> 
  </tr> 
  <tr> 
   <td>WithChannels(H, C)</td> 
   <td>从图片中挑选出一个Channel来进行变换,变换完了之后再将该channel merge回去</td> 
  </tr> 
  <tr> 
   <td>Noop()</td> 
   <td>不进行任何变换。某些情况下只想使用一个Augmenter作为占位符,这样可以继续调用augment_image()函数,但实际不作变换。</td> 
  </tr> 
  <tr> 
   <td>Lambda(I, K)</td> 
   <td>自定义一些变换函数</td> 
  </tr> 
  <tr> 
   <td>AssertLambda(I, K)</td> 
   <td>assert要变换的图片和keypoint的shape。如果不满足就抛出异常。</td> 
  </tr> 
  <tr> 
   <td>AssertShape(S)</td> 
   <td>如果输入的图像大小不是S，则抛出异常</td> 
  </tr> 
  <tr> 
   <td>Scale(S, I)</td> 
   <td>将图像缩放到固定大小。</td> 
  </tr> 
  <tr> 
   <td>CropAndPad(PX, PC, PM, PCV, KS)</td> 
   <td>截取(crop)或者填充(pad),填充时,被填充区域为黑色。</td> 
  </tr> 
  <tr> 
   <td>Pad(PX, PC, PM, PCV, KS)</td> 
   <td>与CropAndPad()相同,只接受positive values。</td> 
  </tr> 
  <tr> 
   <td>Crop(PX, PC, KS)</td> 
   <td>与CropAndPad()相同,只接受negative values。</td> 
  </tr> 
  <tr> 
   <td>Fliplr(P)</td> 
   <td>水平镜面翻转。</td> 
  </tr> 
  <tr> 
   <td>Flipud(P)</td> 
   <td>上下镜面翻转。</td> 
  </tr> 
  <tr> 
   <td>Superpixels(P, N, M)</td> 
   <td>以（最大）分辨率M生成图像的N个超像素，并调整回原始大小。 然后原始图像中所有超像素区域的P百分比被超像素替换，（1-P）百分比保持不变。</td> 
  </tr> 
  <tr> 
   <td>ChangeColorspace(T, F, A)</td> 
   <td>改变图像空间</td> 
  </tr> 
  <tr> 
   <td>Grayscale(A, F)</td> 
   <td>变成灰度图。</td> 
  </tr> 
  <tr> 
   <td>GaussianBlur(S)</td> 
   <td>高斯扰动。</td> 
  </tr> 
  <tr> 
   <td>AverageBlur(K)</td> 
   <td>从最邻近像素中取均值来扰动。</td> 
  </tr> 
  <tr> 
   <td>MedianBlur(K)</td> 
   <td>通过最近邻中位数来扰动</td> 
  </tr> 
  <tr> 
   <td>BilateralBlur(D, SC, SS)</td> 
   <td>使用距离为D的双边滤波器（如内核大小）模糊图像。 SC是颜色空间中（影响）距离的西格玛，SS是空间距离的西格玛。</td> 
  </tr> 
  <tr> 
   <td>Convolve(M)</td> 
   <td>对图像使用卷积。</td> 
  </tr> 
  <tr> 
   <td>Sharpen(A, L)</td> 
   <td>锐化</td> 
  </tr> 
  <tr> 
   <td>Emboss(A, S)</td> 
   <td>浮雕效果</td> 
  </tr> 
  <tr> 
   <td>EdgeDetect(A)</td> 
   <td>边缘检测</td> 
  </tr> 
  <tr> 
   <td>DirectedEdgeDetect(A, D)</td> 
   <td>特定方向的边缘检测</td> 
  </tr> 
  <tr> 
   <td>Add(V, PCH)</td> 
   <td>随机加上一个值</td> 
  </tr> 
  <tr> 
   <td>AddElementwise(V, PCH)</td> 
   <td>按像素加</td> 
  </tr> 
  <tr> 
   <td>AddToHueAndSaturation(V, PCH, F, C)</td> 
   <td>将值V添加到HSV空间中的每个像素（即修改色调和饱和度）。</td> 
  </tr> 
  <tr> 
   <td>AdditiveGaussianNoise(L, S, PCH)</td> 
   <td>以像素为单位向图像添加高斯白噪声。</td> 
  </tr> 
  <tr> 
   <td>Multiply(V, PCH)</td> 
   <td>给图像中的每个像素点乘一个值使得图片更亮或者更暗。</td> 
  </tr> 
  <tr> 
   <td>MultiplyElementwise(V, PCH)</td> 
   <td>按像素值乘。</td> 
  </tr> 
  <tr> 
   <td>Dropout(P, PCH)</td> 
   <td>随机去掉一些像素点, 即把这些像素点变成0。</td> 
  </tr> 
  <tr> 
   <td>CoarseDropout(P, SPX, SPC, PCH)</td> 
   <td>将矩形框的值设置为0。</td> 
  </tr> 
  <tr> 
   <td>Invert(P, PCH)</td> 
   <td>翻转，将每个像素值p变成255-p。</td> 
  </tr> 
  <tr> 
   <td>ContrastNormalization(S, PCH)</td> 
   <td>改变图像的对比度。</td> 
  </tr> 
  <tr> 
   <td>Affine(S, TPX, TPC, R, SH, O, M, CVAL)</td> 
   <td>仿射变换。包含：平移(Translation)、旋转(Rotation)、放缩(zoom)、错切(shear)。仿设变换通常会产生一些新的像素点,我们需要指定这些新的像素点的生成方法,这种指定通过设置<code>cval</code>和<code>mode</code>两个参数来实现。参数<code>order</code>用来设置插值方法。</td> 
  </tr> 
  <tr> 
   <td>PiecewiseAffine(S, R, C, O, M, CVAL)</td> 
   <td>随机放置一些规则的网格点然后移动这些点的周围的像素。这回导致局部的扭曲。</td> 
  </tr> 
  <tr> 
   <td>PerspectiveTransform(S, KS)</td> 
   <td>对图像应用随机四点透视变换（有点像高级裁剪形式）。&nbsp;</td> 
  </tr> 
  <tr> 
   <td>ElasticTransformation(S, SM)</td> 
   <td>通过移动局部像素来变换。</td> 
  </tr> 
  <tr> 
   <td>Alpha(F, A, B, PCH)</td> 
   <td>使用增强器A和B独立增强图像，然后使用Alpha F覆盖结果。如果未提供，A和B默认不执行任何操作。 例如， 使用Alpha（0.9，A）通过A增强图像，然后混合结果，保留原始图像的10％（在A之前）。 如果PCH设置为真，则该过程在通道方面发生，可能具有不同的F（每个图像计算一次A和B）。</td> 
  </tr> 
  <tr> 
   <td>AlphaElementwise(F, A, B, PCH)</td> 
   <td>与Alpha相同，但使用从F采样的连续掩码（值0.0到1.0）逐像素地执行混合。如果PCH设置为true，则过程以像素和通道两种方式发生。</td> 
  </tr> 
  <tr> 
   <td>SimplexNoiseAlpha(A, B, PCH, SM, UP, I, AGG, SIG, SIGT)</td> 
   <td>与Alpha类似，但使用遮罩来混合来自增强器A和B的结果。遮罩是从单纯形噪声中采样的，单层噪声往往是blobby。 掩模在Iiterations中收集（默认为1-3），每次迭代使用聚合方法AGG（默认最大值，即每个像素的所有迭代的最大值）进行组合。 每个掩模在低分辨率空间中采样，最大分辨率为SM（默认为2到16px），并使用方法UP（默认：线性或立方或最近邻居上采样）放大到图像大小。 如果SIG为真，则将sigmoid应用于具有阈值SIGT的掩码，这使得blob具有接近0.0或1.0的值。</td> 
  </tr> 
  <tr> 
   <td>FrequencyNoiseAlpha(E, A, B, PCH, SM, UP, I, AGG, SIG, SIGT)</td> 
   <td>与SimplexNoiseAlpha类似，但会从频域生成噪声掩码。 指数E用于增加/减少频率分量。 高值导致更明显的高频分量。 使用-4到4范围内的值，-2大致生成类似云的模式。</td> 
  </tr> 
 </tbody> 
</table>

[Link 1]: http://imgaug.readthedocs.io/en/latest/source/examples_basics.html
[Link 2]: http://imgaug.readthedocs.io/en/latest/source/augmenters.html
[API]: http://imgaug.readthedocs.io/en/latest/source/api.html
[github]: https://github.com/aleju/imgaug
[70]: https://img-blog.csdn.net/20181017142407206?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pvbmc1OTY1Njg4MjF4cA==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 1]: https://img-blog.csdn.net/2018101714244322?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pvbmc1OTY1Njg4MjF4cA==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[Link 3]: https://blog.csdn.net/u012897374/article/details/80142744
[Link 4]: https://imgaug.readthedocs.io/en/latest/source/augmenters.html