NMS算法和soft-NMS算法

阳光穿透心脏的1/2处 2024-04-17 15:47 69阅读 0赞

## NMS算法 ##

非极大值抑制（NMS）顾名思义就是抑制不是极大值的元素，搜索局部的极大值。这个局部代表的是一个邻域，邻域有两个参数可变，一是邻域的维数，二是邻域的大小。这里不讨论通用的NMS算法，而是用于在目标检测中用于提取分数最高的窗口的。

例如在行人检测中，滑动窗口经提取特征，经分类器分类识别后，每个窗口都会得到一个分数。但是滑动窗口会导致很多窗口与其他窗口存在包含或者大部分交叉的情况。这时就需要用到NMS来选取那些邻域里分数最高（是行人的概率最大），并且抑制那些分数低的窗口。

**算法流程：**

给出一张图片和上面许多物体检测的候选框（即每个框可能都代表某种物体），但是这些框很可能有互相重叠的部分，我们要做的就是只保留最优的框。假设有N个框，每个框被分类器计算得到的分数为Si, 1<=i<=N

1.  建造一个存放待处理候选框的集合H，初始化为包含全部N个框；建造一个存放最优框的集合M，初始化为空集
2.  将所有集合 H 中的框进行排序，选出分数最高的框 m，从集合 H 移到集合 M
3.  遍历集合 H 中的框，分别与框m计算交并比（Interection-over-union，IoU），如果高于某个阈值（一般为0~0.5），则认为此框与m重叠，将此框从集合 H 中去除
4.  回到第2步进行迭代，直到集合 H 为空。集合 M 中的框为我们所需。

NMS算法中的修剪步骤可以写成如下的评分函数：  
![在这里插入图片描述][20190828102529707.png]

**需要优化的参数：**

IoU 的阈值是一个可优化的参数，一般范围为0~0.5，可以使用交叉验证来选择最优的参数。

R-CNN会从一张图片中找出n个可能是物体的矩形框，然后为每个矩形框为做类别分类概率：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3U0NDExNzgx_size_16_color_FFFFFF_t_70]  
      就像上面的图片一样，定位某个物体后，最后算法就找出了一堆的方框，我们需要判别哪些矩形框是没用的。非极大值抑制的方法是：先假设有6个矩形框，根据分类器的类别分类概率做排序，假设从小到大属于人物的概率 分别为A、B、C、D、E、F。

(1)从最大概率矩形框F开始，分别判断A~E与F的重叠度IOU是否大于某个设定的阈值;  
      (2)假设B、D与F的重叠度超过阈值，那么就扔掉B、D；并标记第一个矩形框F，是我们保留下来的。  
      (3)从剩下的矩形框A、C、E中，选择概率最大的E，然后判断E与A、C的重叠度，重叠度大于一定的阈值，那么就扔掉；并标记E是我们保留下来的第二个矩形框。  
      就这样一直重复，找到所有被保留下来的矩形框。

**NMS实现代码如下：**

def py_cpu_nms(dets, thresh):
        """Pure Python NMS baseline."""
        #x1、y1、x2、y2、以及score赋值
        x1 = dets[:, 0]
        y1 = dets[:, 1]
        x2 = dets[:, 2]
        y2 = dets[:, 3]
        scores = dets[:, 4]
    
        #每一个检测框的面积
        areas = (x2 - x1 + 1) * (y2 - y1 + 1)
        #按照score置信度降序排序
        order = scores.argsort()[::-1]
    
        keep = [] #保留的结果框集合
        while order.size > 0:
            i = order[0]
            keep.append(i) #保留该类剩余box中得分最高的一个
            #得到相交区域,左上及右下
            xx1 = np.maximum(x1[i], x1[order[1:]])
            yy1 = np.maximum(y1[i], y1[order[1:]])
            xx2 = np.minimum(x2[i], x2[order[1:]])
            yy2 = np.minimum(y2[i], y2[order[1:]])
    
            #计算相交的面积,不重叠时面积为0
            w = np.maximum(0.0, xx2 - xx1 + 1)
            h = np.maximum(0.0, yy2 - yy1 + 1)
            inter = w * h
            #计算IoU：重叠面积 /（面积1+面积2-重叠面积）
            ovr = inter / (areas[i] + areas[order[1:]] - inter)
            #保留IoU小于阈值的box
            inds = np.where(ovr <= thresh)[0]
            order = order[inds + 1] #因为ovr数组的长度比order数组少一个,所以这里要将所有下标后移一位
           
        return keep

以上NMS算法原文链接：[https://blog.csdn.net/weixin\_40123108/article/details/86300489][https_blog.csdn.net_weixin_40123108_article_details_86300489]

--------------------

## soft-NMS算法： ##

绝大部分目标检测方法，最后都要用到 NMS-非极大值抑制进行后处理。 通常的做法是将检测框按得分排序，然后保留得分最高的框，同时删除与该框重叠面积大于一定比例的其它框。

这种贪心式方法存在如下图所示的问题： 红色框和绿色框是当前的检测结果，二者的得分分别是0.95和0.80。如果按照传统的NMS进行处理，首先选中得分最高的红色框，然后绿色框就会因为与之重叠面积过大而被删掉。

另一方面，NMS的阈值也不太容易确定，设小了会出现下图的情况（绿色框因为和红色框重叠面积较大而被删掉），设置过高又容易增大误检。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3U0NDExNzgx_size_16_color_FFFFFF_t_70 1]

**思路：不要粗鲁地删除所有IOU大于阈值的框，而是降低其置信度。**

soft NMS算法的大致思路为：M为当前得分最高框，bi 为待处理框，bi 和M的IOU越大，bi 的得分si 就下降的越厉害。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3U0NDExNzgx_size_16_color_FFFFFF_t_70 2]

soft-NMS算法中的修剪步骤可以写成如下的评分函数：

(1)线性加权：  
![在这里插入图片描述][20190828102659898.png]  
      (2)高斯加权：

![在这里插入图片描述][20190828102716722.png]

soft NMS仍然有问题：其阈值仍然需要手工设定

**sotf-NMS算法实现代码如下：**

# coding:utf-8
    import numpy as np
    def soft_nms(boxes, sigma=0.5, Nt=0.1, threshold=0.001, method=1):
        N = boxes.shape[0]
        pos = 0
        maxscore = 0
        maxpos = 0
    
        for i in range(N):
            maxscore = boxes[i, 4]
            maxpos = i
    
            tx1 = boxes[i,0]
            ty1 = boxes[i,1]
            tx2 = boxes[i,2]
            ty2 = boxes[i,3]
            ts = boxes[i,4]
    
            pos = i + 1
        # get max box
            while pos < N:
                if maxscore < boxes[pos, 4]:
                    maxscore = boxes[pos, 4]
                    maxpos = pos
                pos = pos + 1
    
        # add max box as a detection
            boxes[i,0] = boxes[maxpos,0]
            boxes[i,1] = boxes[maxpos,1]
            boxes[i,2] = boxes[maxpos,2]
            boxes[i,3] = boxes[maxpos,3]
            boxes[i,4] = boxes[maxpos,4]
    
        # swap ith box with position of max box
            boxes[maxpos,0] = tx1
            boxes[maxpos,1] = ty1
            boxes[maxpos,2] = tx2
            boxes[maxpos,3] = ty2
            boxes[maxpos,4] = ts
    
            tx1 = boxes[i,0]
            ty1 = boxes[i,1]
            tx2 = boxes[i,2]
            ty2 = boxes[i,3]
            ts = boxes[i,4]
    
            pos = i + 1
        # NMS iterations, note that N changes if detection boxes fall below threshold
            while pos < N:
                x1 = boxes[pos, 0]
                y1 = boxes[pos, 1]
                x2 = boxes[pos, 2]
                y2 = boxes[pos, 3]
                s = boxes[pos, 4]
    
                area = (x2 - x1 + 1) * (y2 - y1 + 1)
                iw = (min(tx2, x2) - max(tx1, x1) + 1)
                if iw > 0:
                    ih = (min(ty2, y2) - max(ty1, y1) + 1)
                    if ih > 0:
                        ua = float((tx2 - tx1 + 1) * (ty2 - ty1 + 1) + area - iw * ih)
                        ov = iw * ih / ua #iou between max box and detection box
    
                        if method == 1: # linear
                            if ov > Nt:
                                weight = 1 - ov
                            else:
                                weight = 1
                        elif method == 2: # gaussian
                            weight = np.exp(-(ov * ov)/sigma)
                        else: # original NMS
                            if ov > Nt:
                                weight = 0
                            else:
                                weight = 1
    
                        boxes[pos, 4] = weight*boxes[pos, 4]
                        print(boxes[:, 4])
    
                # if box score falls below threshold, discard the box by swapping with last box
                # update N
                        if boxes[pos, 4] < threshold:
                            boxes[pos,0] = boxes[N-1, 0]
                            boxes[pos,1] = boxes[N-1, 1]
                            boxes[pos,2] = boxes[N-1, 2]
                            boxes[pos,3] = boxes[N-1, 3]
                            boxes[pos,4] = boxes[N-1, 4]
                            N = N - 1
                            pos = pos - 1
    
                pos = pos + 1
        keep = [i for i in range(N)]
        return keep
    boxes = np.array([[100, 100, 150, 168, 0.63],[166, 70, 312, 190, 0.55],[221, 250, 389, 500, 0.79],[12, 190, 300, 399, 0.9],[28, 130, 134, 302, 0.3]])
    keep = soft_nms(boxes)
    print(keep)

以上：  
      soft—NMS算法原文链接：[https://zhuanlan.zhihu.com/p/42018282][https_zhuanlan.zhihu.com_p_42018282]  
      soft-NMS英文论文链接：[https://arxiv.org/pdf/1704.04503.pdf][https_arxiv.org_pdf_1704.04503.pdf]

[20190828102529707.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/c0335b4b73a04399803d093bf2ef8a8f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3U0NDExNzgx_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/55f7e32561db47cd87143c3369399281.png
[https_blog.csdn.net_weixin_40123108_article_details_86300489]: https://blog.csdn.net/weixin_40123108/article/details/86300489
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3U0NDExNzgx_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/868e77c55a6f444d896b6ce6144e9afd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3U0NDExNzgx_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/0e09a56f2bc443f89cb890c79d209e45.png
[20190828102659898.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/7957b329a6af484d8723fd3d8cf0bf5c.png
[20190828102716722.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/7ddd83c7995c4312b5cfc651a339d37f.png
[https_zhuanlan.zhihu.com_p_42018282]: https://zhuanlan.zhihu.com/p/42018282
[https_arxiv.org_pdf_1704.04503.pdf]: https://arxiv.org/pdf/1704.04503.pdf