「Python 数据处理基础」图像数据预处理和OpenCV常规8种操作

本是古典何须时尚 2022-10-08 02:29 365阅读 0赞

### 文章目录 ###

*  内容介绍
 *  Python 图片预处理常规操作
 *  OpenCV Python 图片处理

# 内容介绍 #

基于Python进行图像处理需要了解的第三方库有：

[numpy][] 提供了对数组的支持。图像，其实就是一个标准的NumPy数组，包含数据点的像素。因此，使用基本的NumPy操作，如切片、蒙版和索引，你可以改变图像像素的值。图像可以使用skimage加载，并使用Matplotlib显示。

[scipy][] 是Python的另一个主要科学模块(和NumPy一样)，可以用于图像处理的主要任务。特别是scipy.ndimage子模块提供了与NumPy的n维数组一起工作的函数。

[skimage][] 是一个开源的Python包，它可以和NumPy数组一起工作。它实现了用于研究、教育和工业应用的算法和实用程序。

[PIL/Pillow][PIL_Pillow] 是一个Python库，它提供了对多种不同图像文件格式的打开、处理和保存的支持。大多数人使用PIL（fork），它更容易安装，可以运行在所有主要的操作系统上，并且支持Python 3。该库包含基本的图像处理功能，包括点运算、滤波与一组内置卷积核和色彩空间转换。

[OpenCV-Python][] （开源计算机视觉库）是计算机视觉应用最广泛的库之一。OpenCV-Python是OpenCV的Python API。OpenCV-Python不仅速度快，因为后台由C/C++代码组成，而且编码和部署也很容易（得益于Python shell）。

其中包含的基本操作有：

*  访问图像属性
 *  修改像素值
 *  设置图像的区域，分割和合并
 *  改变颜色空间
 *  几何变换
 *  图像阈值化
 *  平滑图像
 *  形态转换
 *  图像渐变
 *  特征检测：边缘、轮廓、线条、面等。
 *  直方图
 *  图像变换
 *  图像分割
 *  图像内画

不过当下流行比较多的是使用 **OpenCV-Python** 来处理各种图片，可以实现上面的全部功能。

# Python 图片预处理常规操作 #

import skimage
    import numpy as np
    import pandas as pd
    import matplotlib.pyplot as plt
    from skimage import io
    
    cat = io.imread('./datasets/cat.png')
    dog = io.imread('./datasets/dog.png')
    df = pd.DataFrame(['Cat', 'Dog'], columns=['Image'])
    
    # 显示图片的维度
    print(cat.shape, dog.shape)
    >>> (168, 300, 3) (168, 300, 3)
    
    cat #0-255,越小的值代表越暗，越大的值越亮
    >>> array([[[114, 105,  90],
         	   [113, 104,  89],
       		   [112, 103,  88],
      	       ..., 
               [127, 130, 121],
               [130, 133, 124],
               [133, 136, 127]],
               
     	      [[ 33,  27,  29],
     	       [ 32,  26,  28],
        	   [ 31,  25,  27],
               ..., 
               [131, 131, 131],
               [131, 131, 131],
               [130, 130, 130]]], dtype=uint8)
    
    # PLT 显示图片
    #coffee = skimage.transform.resize(coffee, (300, 451), mode='reflect')
    fig = plt.figure(figsize = (16,8))
    ax1 = fig.add_subplot(1,2, 1)
    ax1.imshow(cat)
    ax2 = fig.add_subplot(1,2, 2)
    ax2.imshow(dog)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70]

# 设置不同的色道
    dog_r = dog.copy() # 红
    dog_r[:,:,1] = dog_r[:,:,2] = 0 # set G,B pixels = 0
    dog_g = dog.copy() # 绿
    dog_g[:,:,0] = dog_r[:,:,2] = 0 # set R,B pixels = 0
    dog_b = dog.copy() # 蓝
    dog_b[:,:,0] = dog_b[:,:,1] = 0 # set R,G pixels = 0
    
    plot_image = np.concatenate((dog_r, dog_g, dog_b), axis=1)
    plt.figure(figsize = (10,4))
    plt.imshow(plot_image)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 1]

dog_r
    >>> array([[[160,   0,   0],
               [160,   0,   0],
               [160,   0,   0],
               ..., 
               [113,   0,   0],
               [113,   0,   0],
               [112,   0,   0]],
    	       ......
              [[164,   0,   0],
               [164,   0,   0],
               [164,   0,   0],
               ..., 
               [209,   0,   0],
               [209,   0,   0],
               [209,   0,   0]]], dtype=uint8)
    
    # 灰度图处理
    # 将图片转为黑白色
    
    fig = plt.figure(figsize = (16,8))
    ax1 = fig.add_subplot(2,2, 1)
    cat_ = Image.open('./datasets/cat.png')
    cat_ = cat_.convert("L")
    ax1.imshow(cat_, cmap="gray")
    
    ax2 = fig.add_subplot(2,2, 2)
    dog_ = Image.open('./datasets/dog.png')
    dog_ = dog_.convert("L")
    ax2.imshow(dog_, cmap='gray')

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 2]

# OpenCV Python 图片处理 #

import cv2
    from  matplotlib import pyplot as plt
    import numpy as np
    import random
    
    # 灰度图0 非灰度1
    img = cv2.imread('./datasets/cat.png',1)

**1.滤波**

# 模糊
    blur = cv2.blur(img, (5,5))     
    # 高斯模糊
    gaussian_blur = cv2.GaussianBlur(img, (5, 5), 0)   
    # 模糊中值
    median_blur = cv2.medianBlur(img, 5)      
    # 双边滤波器
    bi_blur = cv2.bilateralFilter(img, 9, 75, 75)
    
    plt.figure(figsize=(10,10), dpi=80)
    plt.figure(1)
    ax1 = plt.subplot(221)
    ax1.imshow(blur)
    ax1.set_title("普通模糊图像")
    ax2 = plt.subplot(222)
    ax2.imshow(gaussian_blur)
    ax2.set_title("高斯模糊图像")
    ax3 = plt.subplot(223)
    ax3.imshow(median_blur)
    ax3.set_title("模糊中值图像")
    ax4 = plt.subplot(224)
    ax4.imshow(bi_blur)
    ax4.set_title("双边滤波器图像")

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 3]  
**2.二值化**

img_ = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    ret, thresh = cv2.threshold(img_, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)        
    dst = cv2.adaptiveThreshold(img_, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 5, 2)
    
    plt.figure(figsize=(10,10), dpi=80)
    plt.figure(1)
    ax1 = plt.subplot(221)
    ax1.imshow(thresh)
    ax1.set_title("threshold 二值化")
    ax2 = plt.subplot(222)
    ax2.imshow(dst)
    ax2.set_title("adaptiveThreshold 二值化")

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 4]  
**3.通道合并与分离**

b, g, r = cv2.split(img)
    r  =  r // 2
    img_ = cv2.merge((b, g, r))
    
    plt.figure(figsize=(10,10), dpi=80)
    ax1 = plt.subplot(221)
    ax1.imshow(img_)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 5]  
**4.图形绘制&添加文字**

line_ = cv2.line(img, (0, 0), (30, 30), (255, 0, 0), 3)            # pt1, pt2, color, thickness
    cv2.rectangle(img, (0, 0), (50, 50), (255, 0, 0), 3)     # pt1, pt2, color, thickness
    cv2.circle(img, (50, 50), 3, (0, 0, 255), -1)              # center, radius, color, shift
     
    pts = np.array([[10, 5], [20, 30], [70, 20], [50, 10]], np.int32).reshape((-1, 2))
    cv2.polylines(img, [pts], True, (0, 255, 255))               # pts, is_closed, color
     
    font = cv2.FONT_HERSHEY_SIMPLEX        # text, start_pt, font, fontscale, color, thickness, linetype
    cv2.putText(img, 'hello', (10, 30), font, 1, (255, 255, 0), 2, cv2.LINE_AA)
    
    plt.figure(figsize=(20,20), dpi=80)
    plt.figure(1)
    ax1 = plt.subplot(221)
    ax1.imshow(line_)
    ax1.set_title("为图像添加图形和文字")

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 6]  
**5.图形变换**

# 图像旋转
    angle = random.uniform(-15, 15)
    h, w = img.shape[:2]
    center = (w // 2, h // 2)
    M = cv2.getRotationMatrix2D(center, angle, scale=1)
    rotated = cv2.warpAffine(img, M, (w, h))
    
    # 透视变换 Perspective Transformation
    pts1 = np.float32([[56, 65], [300, 52], [28, 300], [250, 300]])
    pts2 = np.float32([[0, 0], [300, 0], [0, 300], [300, 300]])
    M = cv2.getPerspectiveTransform(pts1, pts2)
    Perspective = cv2.warpPerspective(img, M, (300, 160)) # (s1, s2): scale of the output
    
    # 仿射变换 Affine Transformation
    pts1 = np.float32([[50, 50], [100, 50], [50, 200]]) 
    pts2 = np.float32([[10, 100], [100, 50], [100, 250]])  
    M = cv2.getRotationMatrix2D((150,80), -15, 1)
    Affine = cv2.warpAffine(img, M, (150,80))
    
    
    plt.figure(figsize=(16,10), dpi=80)
    plt.figure(1)
    ax1 = plt.subplot(221)
    ax1.imshow(rotated)
    ax1.set_title("图像旋转")
    ax2 = plt.subplot(222)
    ax2.imshow(Perspective)
    ax2.set_title("透视变换")
    ax3 = plt.subplot(223)
    ax3.imshow(Affine)
    ax3.set_title("仿射变换")

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 7]  
**6.形态学**

# kernel ==> element 算子
    element = cv2.getStructuringElement(cv2.MORPH_RECT, (5, 5))
    element2 = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5, 5))
    element3 = cv2.getStructuringElement(cv2.MORPH_CROSS, (5, 5))
     
    kernel = np.ones((5, 5), np.uint8)
    
    # 腐蚀
    erosion = cv2.erode(img, kernel, iterations=1)
    # 膨胀
    dilation = cv2.dilate(img,kernel)
    # 通用形态学
    opening = cv2.morphologyEx(img, cv2.MORPH_OPEN, kernel)
    closing = cv2.morphologyEx(img, cv2.MORPH_CLOSE, kernel, 2)
    # 形态学梯度 = dilation - erosion，用于提取物体轮廓
    gradiet = cv2.morphologyEx(img, cv2.MORPH_GRADIENT, kernel)
    # 顶帽 = src - open，用来分离比邻近点亮一些的斑块
    tophat = cv2.morphologyEx(img, cv2.MORPH_TOPHAT, kernel)
    # 黑帽 = src - close，用来分离比邻近点暗一些的斑块
    blackhat= cv2.morphologyEx(img, cv2.MORPH_BLACKHAT, kernel)
    
    
    
    
    plt.figure(figsize=(16,10), dpi=80)
    plt.figure(1)
    ax1 = plt.subplot(241)
    ax1.imshow(erosion)
    ax1.set_title("图像腐蚀")
    ax2 = plt.subplot(242)
    ax2.imshow(dilation)
    ax2.set_title("图像膨胀")
    ax3 = plt.subplot(243)
    ax3.imshow(opening)
    ax3.set_title("通用形态学OPEN")
    ax4 = plt.subplot(244)
    ax4.imshow(closing)
    ax4.set_title("通用形态学CLOSE")
    ax5 = plt.subplot(245)
    ax5.imshow(gradiet)
    ax5.set_title("形态学梯度")
    ax6 = plt.subplot(246)
    ax6.imshow(tophat)
    ax6.set_title("顶帽")
    ax7 = plt.subplot(247)
    ax7.imshow(blackhat)
    ax7.set_title("黑帽")

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 8]  
**7.边缘检测**

# laplacian算子，cv2.CV_64F为图像格式，常见的还有cv2.CV_8U
    laplacian = cv2.Laplacian(img, cv2.CV_64F)
     
    # sobel算子 cv2.CV_16S: 16位有符号的数据类型
    x = cv2.Sobel(img, cv2.CV_16S, 1, 0) 
    y = cv2.Sobel(img, cv2.CV_16S, 0, 1)
     
    # Canny边缘检测：效果最好，提取精细边缘
    edges = cv2.Canny(img, 100, 200)
    
    plt.figure(figsize=(20,20), dpi=80)
    plt.figure(1)
    ax1 = plt.subplot(221)
    ax1.imshow(edges)
    ax1.set_title("边缘检测")

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 9]  
**8.闭包矩形**

img_ = cv2.imread('./datasets/cat.png',1)
    gray = cv2.cvtColor(img_,cv2.COLOR_BGR2GRAY)  
    ret, binary = cv2.threshold(gray,127,255,cv2.THRESH_BINARY)  
     
    contours, hierarchy = cv2.findContours(binary,cv2.RETR_TREE,cv2.CHAIN_APPROX_SIMPLE)  
    cv2.drawContours(img_,contours,-1,(0,0,255),3)  
     
    plt.figure(figsize=(20,20), dpi=80)
    plt.figure(1)
    ax1 = plt.subplot(221)
    ax1.imshow(img_)
    ax1.set_title("闭包矩形")

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 10]

[numpy]: https://numpy.org/
[scipy]: https://docs.scipy.org/doc/scipy/reference/ndimage.html
[skimage]: https://scikit-image.org/docs/stable/user_guide.html
[PIL_Pillow]: https://pillow.readthedocs.io/en/3.1.x/index.html
[OpenCV-Python]: https://opencv-python-tutroals.readthedocs.io/en/latest/py_tutorials/py_tutorials.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70]: /images/20221005/664372e514b742939249a463116ddd88.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 1]: /images/20221005/4d1d6404e9e14d43a518a989b8a4bf9d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 2]: /images/20221005/41b0901c93854192951b5841fda9cd01.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 3]: /images/20221005/3fe40d67b39a4fb7bcfb94bbff8778b5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 4]: /images/20221005/85eca0fd564546e788ffd43e92603762.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 5]: /images/20221005/64a3d36010424cf7b349d097d4d5afc1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 6]: /images/20221005/398eeee1a67c4622bc9dc35904882ea7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 7]: /images/20221005/dd65a25d2ff3444fb44a40123ad77097.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 8]: /images/20221005/45f5616a398e4ee6b16fdfdeb516a1ec.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 9]: /images/20221005/2b9df3282cd748cf9cdec30f86fa9d5f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 10]: /images/20221005/4252fa733841459eb4ce08bd0fcd3184.png