人群密度估计--ADCrowdNet: An Attention-injective Deformable Convolutional Network for Crowd Understanding

拼搏现实的明天。 2021-12-03 18:59 253阅读 0赞

[http://muyaan.com/2019/03/26/CVPR-2019%E4%BA%BA%E7%BE%A4%E5%88%86%E6%9E%90-ADCrowdNet-An-Attention-injective-Deformable-Convolutional-Network-for-Crowd-Understanding/][http_muyaan.com_2019_03_26_CVPR-2019_E4_BA_BA_E7_BE_A4_E5_88_86_E6_9E_90-ADCrowdNet-An-Attention-injective-Deformable-Convolutional-Network-for-Crowd-Understanding]

![20190722100533537.png][]

Figure 2 网络整体结构

第一阶段网络称为AMG（Attention Map Generator）,为输入的图像生成注意力图Attention Map。再用AM点乘输入图片，送入第二个网络，称为DME（Density Map Estimator）。

AMG为DME网络提供了两类先验：

(i)人群区域候选；

(ii)人群区域拥挤度。

前一个先验信息使多尺度deformable卷积scheme能让DME将注意力集中于有人群的A区域，从而提升了对不同噪音的抵抗能力。

后一个先验信息 用拥挤度指示了每个人群区域，从而为后续的DME提供了精细的拥挤上下文先验，提升了在不同人群分布下的性能。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4bTQzOTk_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4bTQzOTk_size_16_color_FFFFFF_t_70 1][]

Figure 4

Attention Map Generator

front end是VGG16前10层

back end 是类似于inception-net的结构，并用多个空洞卷积层扩大感受野来定位群人。

back end 输出2 通道的feature maps。一层指背景一层指人群。再为两层赋予confidence scores，做加权和得到attention map

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4bTQzOTk_size_16_color_FFFFFF_t_70 2][]

Density Map Estimator具体结构 如 Figure 5

front end 跟之前一样

back end 是 multi-scale deformable convolutional layers \[7\]

front end 负责提取low level 的特征

back end 结构类似于inceptionnet 能够cope with various occlusion,diversified crowd distribution, and the distortion caused by perspective view.

然后是介绍数据集，之后写论文可以学这篇文章写数据集的结构。

再然后是属于实验部分，做了很多对比实验，消融实验以及修改一些网络结构的探索。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4bTQzOTk_size_16_color_FFFFFF_t_70 3][]

![20190722101052965.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4bTQzOTk_size_16_color_FFFFFF_t_70 4][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4bTQzOTk_size_16_color_FFFFFF_t_70 5][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4bTQzOTk_size_16_color_FFFFFF_t_70 6][]

\[7\] Jifeng Dai, Haozhi Qi, Yuwen Xiong, Yi Li, Guodong Zhang, Han Hu, and Yichen Wei. Deformable convolutional networks. In *Proc. IEEE ICCV*

[http_muyaan.com_2019_03_26_CVPR-2019_E4_BA_BA_E7_BE_A4_E5_88_86_E6_9E_90-ADCrowdNet-An-Attention-injective-Deformable-Convolutional-Network-for-Crowd-Understanding]: http://muyaan.com/2019/03/26/CVPR-2019%E4%BA%BA%E7%BE%A4%E5%88%86%E6%9E%90-ADCrowdNet-An-Attention-injective-Deformable-Convolutional-Network-for-Crowd-Understanding/
[20190722100533537.png]: /images/20211203/dfe9102a21e046b3977641edb0108b09.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4bTQzOTk_size_16_color_FFFFFF_t_70]: /images/20211203/21739f1f43614104b0f98712fb18cad5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4bTQzOTk_size_16_color_FFFFFF_t_70 1]: /images/20211203/472f3d07512844339801a0db33483882.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4bTQzOTk_size_16_color_FFFFFF_t_70 2]: /images/20211203/ed149d76f6b8406781b241c231e2ae7c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4bTQzOTk_size_16_color_FFFFFF_t_70 3]: /images/20211203/5f43c410297745938dd4dec0a975284c.png
[20190722101052965.png]: /images/20211203/a7857fdc1c514c2b930a0ba2e2a520c6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4bTQzOTk_size_16_color_FFFFFF_t_70 4]: /images/20211203/e885080317ba46998fdf6c3aee538e21.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4bTQzOTk_size_16_color_FFFFFF_t_70 5]: /images/20211203/4b801e62c7b941d58ff8b76d5ce2855c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4bTQzOTk_size_16_color_FFFFFF_t_70 6]: /images/20211203/427502bcbefa4958a158545d00997fcb.png