图像处理中的常用几何变换——平移、旋转、缩放、相似变换、仿射变换及单应性变换

朱雀 2022-04-24 03:58 2823阅读 0赞

## 1. Overview ##

几何变换，又称空间变换，是图形处理的一个方面，是各种图形处理算法的基础。它将一幅图像中的坐标位置映射到另一幅图像中的新坐标位置，其实质是改变像素的空间位置，估算新空间位置上的像素值。  
几何变换不改变图像的像素值， 只是在图像平面上进行像素的重新安排。适当的几何变换可以最大程度地消除由于成像角度、透视关系乃至镜头自身原因所造成的几何失真所产生的负面影响。几何变换常常作为图像处理应用的预处理步骤， 是图像归一化的核心工作之一。此外几何变换也是深度学习中数据增强的一种常用方法。  
文本将从平移，旋转，缩放，相似变换，仿射变换介绍到更为普遍的单应性变换。

## 2. 平移（Translation） ##

图像的平移就是在xy平面内对图像进行移动，所以该操作有两个自由度。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70]

## 3. 相似变换（Similarity transformations） ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 1]  
相似变换是平移、旋转和缩放的集合，那么相似变换后图片中的垂直和平行关系不会改变，比如变换前平行的特征变换后依然保持平行。

## 3. 旋转（Rotate） ##

下面是平移+旋转，如果令 t x = 0 , t y = 0 t\_x=0, t\_y=0 tx=0,ty=0 则是单旋转。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 2]

## 4 长宽比（Aspect Ratio）调整 ##

比如手机的横屏和竖屏就是典型的长宽比对调。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 3]

## 5. 剪切（Shear）映射 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 4]

## 6. 仿射变换 ##

仿射变换是前面几种变换的集合，其有六个自由度。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 5]  
其一般形式的变化数学表达式如下：  
 \[ a b c d e f 0 0 1 \] \[ x y 1 \] = \[ x ′ y ′ 1 \] \\left\[ \\begin\{matrix\} a & b & c \\\\ d & e & f \\\\ 0 & 0 & 1 \\end\{matrix\} \\right\] \\left\[ \\begin\{matrix\} x \\\\ y \\\\ 1 \\end\{matrix\} \\right\] = \\left\[ \\begin\{matrix\} x\\prime \\\\ y \\prime\\\\ 1 \\end\{matrix\} \\right\] ⎣⎡ad0be0cf1⎦⎤⎣⎡xy1⎦⎤=⎣⎡x′y′1⎦⎤  
仿射变换后平行关系依然保持平行，但是垂直已经无法保证。

## 7. 单应性变换（Homogeneous Transformation）/ 透视变换（Perspective Transformation） ##

其实单应性矩阵相比上面的各种变换就是更为普遍的变换形式。给定相同维度的两个投影空间P（V）和P（W），单应性是从P（V）到P（W）的映射，这是由向量空间的同构引起的。

图像中的2D点  ( x , y ) (x,y) (x,y) 可以被表示成3D向量的形式  ( u , v , w ) (u,v,w) (u,v,w)，其中  x ′ = u / w x\\prime=u/w x′=u/w，  y ′ = v / w y\\prime=v/w y′=v/w。它被叫做点的齐次表达，位于投影平面P2上。所谓单应就是发生在投影平面P2上的点和线可逆的映射。其它叫法包括透视变换、射影变换、投影变换和平面投影变换等。

单应变换矩阵是一个  3 ∗ 3 3\*3 3∗3 的矩阵H。这个变换可以被任意乘上一个非零常数，而不改变变换本身。所以它虽然具有9个元素，但是具有8个自由度。这意味着它里面有8个未知参数待求。所以在做特征点匹配的时候（比如利用RANSAC对shift特征点进行匹配）选择4对点来计算模型。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 6]  
我们知道单应性变换具有八个自由度，但是应该如何来理解呢？  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 7]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 8]  
透视变换之后不保证垂直和平行关系，仅保证直线变换之后仍然是直线。

## 参考 ##

[1. Geometric Transformations][]  
[2.Planar Homographies][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70]: /images/20220220/b09a027787d4444bafaa4d050d4c2f3d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 1]: /images/20220220/d5adece60b8d4f05991da52b96559dea.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 2]: /images/20220220/625ed0d28f764770be8d5b7be7060844.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 3]: /images/20220220/2567f1b3e07b47b198865d68a7b7497e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 4]: /images/20220220/3657fbfd854d4fb183ce2efbec74734c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 5]: /images/20220220/eb8982c528a84820a13a3b7f01c87721.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 6]: /images/20220220/06afc1ad1a5c46d8a204f55e9cdce5db.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 7]: /images/20220220/d9f2fc0364b94d888a45d1f653c388a3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 8]: /images/20220220/442a0e5420594db6985712b64ae89d0f.png
[1. Geometric Transformations]: https://courses.cs.washington.edu/courses/csep576/11sp/pdf/Transformations.pdf
[2.Planar Homographies]: http://www.cse.psu.edu/~rtc12/CSE486/lecture16.pdf