opencv-python 基于ORB的特征检测和特征匹配（FAST+BRIEF+BF）笔记

深碍√TFBOYSˉ_ 2023-05-29 03:08 7阅读 0赞

# opencv-python 基于ORB的特征检测和特征匹配（FAST+BRIEF+BF）笔记 #

## FAST（Features from Accelerated Segment Test）角点检测: ##

首先选取一个像素点p,并判断p点是否为关键点。设ip为像素点p的灰度值。  
选取适当的阈值t。  
如图，对p点周围的16个像素点进行检测。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNTYyOTgy_size_16_color_FFFFFF_t_70]  
如果16个点当中存在n个连续的像素点都高于Ip+t或者都小于Ip−t，那么像素点p可看作一个角点。  
上图中n为12，如虚线所示。

为了取得更快的速度，对于每个待检测的像素点，使用何种顺序去寻找周围的16个像素点也是有讲究的:  
首先先找12点、3点、6点、9点钟方向的四个点，先检测12点和6点钟方向的点，然后是3点和9点钟方向的点。如果p点为角点，那么四个点至少有3个符合要求。如果小于3个，那么p点不是角点。

不过，上面的方法有如下的几条缺点：  
1.当n＜12时不会舍弃数量过多的候选点  
2.像素的选取不是最优的，因为效果取决于问题的要求和角点的分布。  
3.高速检测的结果被丢弃  
4.检测到的特征点互相连接  
前三个问题使用机器学习的手段解决，最后一个问题使用非极大值抑制的方法解决。

import cv2
    import numpy as np
    from matplotlib import pyplot as plt
    
    img = cv2.imread('img/lena.jpg')
    
    fast = cv2.FastFeatureDetector_create(threshold=40, nonmaxSuppression=True,
                                          type=cv2.FAST_FEATURE_DETECTOR_TYPE_9_16)# 获取FAST角点探测器
    
    kp = fast.detect(img, None)
    img = cv2.drawKeypoints(img, kp, img, color=(255, 0, 255))
    print(len(kp))
    
    cv2.imshow('sp', img)
    cv2.waitKey(0)
    cv2.destroyAllWindows()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNTYyOTgy_size_16_color_FFFFFF_t_70 1]

## BRIEF（Binary Robus Independent Elementary Features）描述子： ##

我们知道SIFT使用128-dim向量作为描述符，由于它使用浮点数，因此基本上需要512个字节，类似地，SURF也至少需要256个字节（对于64-dim），为数千个特征创建这样的向量需要大量的内存，这对于资源约束应用程序尤其是嵌入式系统是不可行的，内存越大，匹配所需的时间越长.  
BRIEF：一种对已检测到的特征点进行描述的算法，它是一种二进制编码的描述子，在图像匹配时使用BRIEF能极大的提升匹配速度.

import cv2
    import numpy as np
    from matplotlib import pyplot as plt
    
    img = cv2.imread('img/img.jpg')
    # FAST探测器
    star = cv2.xfeatures2d.StarDetector_create()
    # BRIEF提取器
    brief = cv2.xfeatures2d.BriefDescriptorExtractor_create()
    
    # 用STAR找到关键点
    kp = star.detect(img, None)
    # 用BRIEF计算探测器的值
    kp, des = brief.compute(img, kp)
    
    print(brief.descriptorSize())
    print(des.shape)

## Brute-Force（暴力匹配法）： ##

暴力匹配法是一种描述符匹配方法，该方法会比较两个描述符，并产生匹配结果的列表。称为暴力匹配的原因是该算法基本上不涉及优化，第一个描述符的所有特征都用来和第二个描述符的特征进行比较。每次比较都会给出一个距离值，而最好的比较结果会被认为是一个匹配。

import cv2
    import numpy as np
    from matplotlib import pyplot as plt
    
    img1 = cv2.imread('img/box.png', cv2.IMREAD_GRAYSCALE)
    img2 = cv2.imread('img/box_in_scene.png', cv2.IMREAD_GRAYSCALE)
    
    orb = cv2.ORB_create()
    kp1, des1 = orb.detectAndCompute(img1, None)
    kp2, des2 = orb.detectAndCompute(img2, None)
    
    # Brute-Force暴力匹配法
    bf = cv2.BFMatcher(cv2.NORM_HAMMING, crossCheck=True)
    matches = bf.match(des1, des2)
    matches = sorted(matches, key=lambda x:x.distance)
    
    img3 = cv2.drawMatches(img1, kp1, img2, kp2, matches[0:10], img2, flags=2)
    plt.imshow(img3), plt.show()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNTYyOTgy_size_16_color_FFFFFF_t_70 2]

### 参考文章： ###

https://blog.csdn.net/tengfei461807914/article/details/79492012  
https://segmentfault.com/a/1190000015731950

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNTYyOTgy_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191102112131347.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNTYyOTgy,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNTYyOTgy_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/2019110211234289.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNTYyOTgy,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNTYyOTgy_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20191102112608787.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNTYyOTgy,size_16,color_FFFFFF,t_70