基于图像相位相关性进行相邻图像检测

迈不过友情╰ 2023-01-21 01:15 152阅读 0赞

# 基于图像相位相关性进行相邻图像检测 #

学习笔记  
《 Auto-sorting scheme for image ordering applications in image mosaicing》  
作者:R. Song and J. Szymanski

## 算法思想及特点： ##

·两张图像相位相关性越高，输出的信号越逼近一个冲激信号，从峰值判断是否相邻  
·其稳定性和可靠性不如基于特征的方法强健，但更快速  
·该方法可以判断两幅图像是否重叠，以及重叠程度的大小

## 一 推导： ##

对于刚性的图像拼接任务，该方法假设两张图象I1,I2存在一定的平移x，平移部分也即图象的重合部分。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI1NzQ1OA_size_16_color_FFFFFF_t_70]

对两边取傅里叶变换有式子1-2  
![在这里插入图片描述][20210513194615439.png]  
忽略傅里叶变换后频谱的幅值，取两边的相位关系有式1-3

![在这里插入图片描述][2021051319463260.png]  
再对1-3式取反变换，有式1-4  
![在这里插入图片描述][20210513200821727.png]

分析可知，如果我们假定两张图像混叠部分具有很高的相位相似性，两张图象的混叠程度越高，则 与 越接近，当比较理想状况下，有式1-5

![在这里插入图片描述][20210513194646478.png]  
而直流量的傅里叶反变换为冲击信号，不难理解混叠部分的相位相似性和冲激信号是呈现正相关的（相位相似度越高，反变换越逼近冲激信号，其表征图像相似度的信号峰值越高，以下称为SSP Similarity-Signal-Peak）。

## 二 多图像实现相邻性检测： ##

该方法实现的是依照两张图像的混叠部分进行相关性检测，因此对于多张图像的相邻关系判断需要采取一定的步骤，其解决的思路是两两进行配对计算SSP，根据SSP大小进行排序，越大说明图像的混叠部分相似性越高，也即相邻的可能性越高。优先拼接SSP值大的图像，拼错的可能性越小，一定程度上减小了累计误差。算法描述如下：

### Maintaining ###

#### \{ I1,I2,…IN \} 待检测图像列表，初始共N张图像 ####

#### <Ii,Ij>相邻图像对 ####

1). 两两计算待检测图像的SSP，并据此排序，选择SSP最高的一对<Ii,Ij>作为本次相邻性判断的结论；  
2). 采用一定的图像融合方法，将1)中结论中的两张图像<Ii,Ij>拼接成为图像Ik;  
3). 将Ii,Ij从待检测图像列表删除，并将Ik加入待检测图像列表;  
4. 如果待检测图像列表中只含一个图像，则算法完成，否则执行1)

2021.5.13  
————————————————————————————  
书接上回，本阶段完成相位相关性对位移的影响实验

## 三 关于具体位置的补充： ##

具体操作时，由于位移对应的是两张图像索引的概念，不仅要判断两张图像的是否相邻，更要解决两张图像上下左右的相互关系，即谁在谁左（右），谁在谁上（下），左平移多少，右平移多少。此处我采用了先实验再理论推导的方法，首先我选取了一张图像，在Y方向上进行截取并保证该方向上有一定重叠，（简单起见保持了尺度和旋转不变，相当于仅作平移操作）原图像如图3-1.  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI1NzQ1OA_size_16_color_FFFFFF_t_70 1]  
截取1-120列和100-219列作为测试图像，如图3-2，有明显的重叠部分  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI1NzQ1OA_size_16_color_FFFFFF_t_70 2]  
对两幅图像进行相位相关性计算。如方法中指出，如果选取一张图像进行自相位相关计算，得到的是一个单位冲击矩阵，冲激信号发生在索引为（1，1）处，也即不发生平移。如图3-3左下角.  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI1NzQ1OA_size_16_color_FFFFFF_t_70 3]  
经过实验得到排布规律，并最终得到呈现效果如图3-4，3-5.  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI1NzQ1OA_size_16_color_FFFFFF_t_70 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI1NzQ1OA_size_16_color_FFFFFF_t_70 5]  
更为普遍地，需要解决的问题是上下左右均有平移的两张图像如何实现拼接任务。  
更换数据集，将图3-6雏菊切分为F1,F2,F3…等若干图，并保证两两之间是有重叠部分，同时也保证了两张图片之间没有旋转以及尺度变换的关系。重新进行实验验证，选取了花朵较多的区域（便于我们观察位置关系）进行剪切如图3-7.  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI1NzQ1OA_size_16_color_FFFFFF_t_70 6]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI1NzQ1OA_size_16_color_FFFFFF_t_70 7]  
进行相位相关性检测实验结果如表3-1.

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI1NzQ1OA_size_16_color_FFFFFF_t_70 8]  
![在这里插入图片描述][20210518141341390.png]

## 四 结论： ##

经过实验可知，文中方法可以有效的计算只存在位移关系的两张图的重叠度，并且可以有效的计算出两张图像准确的平移关系（包括两个方向）。  
文中利用相位相似性进行相邻性检测，利用ssp大小判断两张图的重叠度大小，实现相邻性判断；并利用ssp得出拼接的顺序，重叠度越高的两张图优先拼接，相对于传统的特征提取的方式，更为快速。

## 五 思考与收获： ##

在阅读该文献时，对于推导部分中的位移关系进行了特别的关注，在实验中也发现，相位相似性检测可以找出两张图的位移关系（实验基于只存在位移关系，而不存在旋转以及尺度变换的两张图像）。  
由其推导过程，我猜想能否用一种更为通用的表示，将旋转和尺度变换的关系也囊括进来，我做了部分理论推导（旋转关系），难点在于变换之后，坐标之间是耦合的。经过了解，傅里叶-梅林变换可以有效对抗图片中的位移-旋转-尺度变换。  
2021.5.16  
拼接剩余部分见下章  
https://editor.csdn.net/md/?articleId=116944394

————————————————————————————

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI1NzQ1OA_size_16_color_FFFFFF_t_70]: /images/20221021/b87d4b6a69124ca5b41668ee1ff3aac7.png
[20210513194615439.png]: /images/20221021/d6503f9aef75491db79cf0ca90f9895c.png
[2021051319463260.png]: /images/20221021/73590e1f2ed34e6eb284b074e6c7814c.png
[20210513200821727.png]: /images/20221021/0d30d19750b54226b0dd28dba3d611c0.png
[20210513194646478.png]: /images/20221021/2285989ce6bf4eeab28b69c022d4d9c0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI1NzQ1OA_size_16_color_FFFFFF_t_70 1]: /images/20221021/5338cda598ba419e8e4b152951d5a3f7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI1NzQ1OA_size_16_color_FFFFFF_t_70 2]: /images/20221021/870484a2fb8547a9a2ce9383dd0b4d7d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI1NzQ1OA_size_16_color_FFFFFF_t_70 3]: /images/20221021/78969e60e83a49fda662c1d07ef90785.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI1NzQ1OA_size_16_color_FFFFFF_t_70 4]: /images/20221021/8159e7da03da4371a591bd8e2bd85d91.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI1NzQ1OA_size_16_color_FFFFFF_t_70 5]: /images/20221021/098ef8c59c7c41b3bba5c4c50926b386.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI1NzQ1OA_size_16_color_FFFFFF_t_70 6]: /images/20221021/40406a658ef64fd9b36ac2503b74625f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI1NzQ1OA_size_16_color_FFFFFF_t_70 7]: /images/20221021/c8380a57fc9045fda50038d17eebc8c3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI1NzQ1OA_size_16_color_FFFFFF_t_70 8]: /images/20221021/372dd3d6ed1543a987d0620f5b8557dc.png
[20210518141341390.png]: /images/20221021/d8031e878e2a44f1801acffb8205ac37.png