高分辨网络HRNet

你的名字 2023-02-27 05:37 9阅读 0赞

论文：[Deep High-Resolution Representation Learning for Visual Recognition][]

Github：[https://github.com/HRNet][https_github.com_HRNet]

**2020TPAMI**

论文提出了一个通用型网络结构，HRNet。最大的亮点就是具有丰富的低分辨和高分辨的融合特征。在分类，检测，分割，人体姿态估计，人脸关键点检测，超分，光流估计，深度估计等诸多任务都取得了非常好的效果，堪称网络结构中的万金油。

![20200716120342565.png][]

网络结构：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70][]

论文一共提出HRNetV1 ，HRNetV2 ，HRNetV2p 共3个基本网络结构。网络整体结构包含4个stage。每一个stage都会进行各个分辨率的特征的融合和输出。其中，刚输出网络的图片，经过stride=2的3\*3卷积进行1次下采样，然后每一个stage进行1次下采样。整个网络进行了5次的下采样操作。

相比deeplabV3++的基于空洞卷积的金字塔方式的特征融合，HRNet的特征融合具体下面的特点，

1.  输出4个尺度的融合后的特征
2.  基于deep fusion 的影响，HRNet的特征融合模块会迭代好多次。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 1][]

HRNetV1 ：只有一个高分辨特征的输出

HRNetV2 ：将低分辨特征和高分辨特征进行融合，然后输出

HRNetV2p ：同时输出4个分辨率的融合特征

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 2][]

特征融合的方式，采用上图的设计，分别通过stride=2的卷积，双线性插值，这2种方式，实现特征图的大小一致。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 3][]

HRNet包含了4x，8x，16x，32x共4个不同大小的结构。

实验结果：

**关键点检测：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 4][]

**语义分割：**

**![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 5][]**

**物体检测+实例分割：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 6][]

**训练速度vs测试速度：**

**![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 7][]**

结论：

1.  相比其他的网络结构基于串行方式进行特征融合，HRNet基于并行方式进行低分辨和高分辨的特征融合。
2.  网络的整个流程都进行了低分辨和高分辨的特征融合，而不是试图从低分辨恢复高分辨。
3.  通过位置敏感的方式，重复进行融合多个尺度的特征。
4.  分割任务中，相比PSPNet ，DeepLabv3 ，本文提出的HRNet具有更快的推理速度。
5.  在姿态估计任务中，HRNet的训练时间会稍长。但是在MXNet 1:5:1 平台上，使用静态图进行推理，具有和SimpleBaseline 相当的速度。
6.  将HRNet和object-contextual representation (OCR) 结合，可以获得更好的融合特征。

[Deep High-Resolution Representation Learning for Visual Recognition]: https://arxiv.org/pdf/1908.07919.pdf
[https_github.com_HRNet]: https://github.com/HRNet
[20200716120342565.png]: /images/20230209/05dc7ba500104f2c85a3e8fd383707b3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70]: /images/20230209/de4b94749ebe4e3386eb604cc0338f6b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 1]: /images/20230209/42f481b81f2a477f8e8504155f822602.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 2]: /images/20230209/6dbb19ea408b4060890540eec9f08683.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 3]: /images/20230209/5c26891e85eb44b4a470e69e043cbcfa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 4]: /images/20230209/2225c07ec34e4ffea90332fc31101018.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 5]: /images/20230209/15ca98e8278d4325a5e40ca98b5e9039.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 6]: /images/20230209/ec9a82f9f8414e62bb5f167d5a66a9e3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 7]: /images/20230209/5385bce11bc04a8db120b76d2e581e72.png