深度神经网络中Inception-ResNet模块介绍

以你之姓@ 2022-11-03 11:38 345阅读 0赞

之前在[https://blog.csdn.net/fengbingchun/article/details/113482036][https_blog.csdn.net_fengbingchun_article_details_113482036] 介绍了Inception，在[https://blog.csdn.net/fengbingchun/article/details/114167581][https_blog.csdn.net_fengbingchun_article_details_114167581] 介绍了ResNet，这里介绍下深度神经网络中的Inception-ResNet模块。

介绍Inception-ResNet的论文名为：《Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning》，论文：[https://arxiv.org/pdf/1602.07261.pdf][https_arxiv.org_pdf_1602.07261.pdf]

Inception-ResNet系列主要有Inception-ResNet-v1和Inception-ResNet-v2。

每个Inception模块的输出执行Concat操作，而ResNet的每个残差块的输出执行Eltwise操作。

残差连接(residual connection)能够显著加速Inception网络的训练。Inception-ResNet-v1的计算量与Inception-v3大致相同，Inception-ResNet-v2的计算量与Inception-v4大致相同。

下图是Inception-ResNet架构图，来自于论文截图：Steam模块为深度神经网络在执行到Inception模块之前执行的最初一组操作，在Inception-ResNet-v1中Steam模块的最终输出为35\*35\*256，在Inception-ResNet-v2中Steam模块的最终输出为35\*35\*384。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdiaW5nY2h1bg_size_16_color_FFFFFF_t_70][]

上图中Inception-ResNet-v1和Inception-ResNet-v2各模块详细结构如下所示：为了便于v1和v2相同模块作对比，这里将两类型相同模块放在了一起，其中左图为Inception-ResNet-v1，右图为Inception-ResNet-v2。下图中所有未标有”V”的卷积都用相同的填充(same-padded)，表示它们的输出尺寸与输入尺寸正好匹配。标有”V”的卷积采用valid padded，即不填充，padding=0。

Stem模块结构，论文截图如下所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdiaW5nY2h1bg_size_16_color_FFFFFF_t_70 1][]

Inception-resnet-A模块结构，论文截图如下所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdiaW5nY2h1bg_size_16_color_FFFFFF_t_70 2][]

Reduction-A模块结构，论文截图如下所示：Inception-ResNet-v1与Inception-ResNet-v2相同

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdiaW5nY2h1bg_size_16_color_FFFFFF_t_70 3][]

Inception-resnet-B模块结构，论文截图如下所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdiaW5nY2h1bg_size_16_color_FFFFFF_t_70 4][]

Reduction-B模块结构，论文截图如下所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdiaW5nY2h1bg_size_16_color_FFFFFF_t_70 5][]

Inception-resnet-C模块结构，论文截图如下所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdiaW5nY2h1bg_size_16_color_FFFFFF_t_70 6][]

**GitHub**：[https://github.com/fengbingchun/NN\_Test][https_github.com_fengbingchun_NN_Test]

[https_blog.csdn.net_fengbingchun_article_details_113482036]: https://blog.csdn.net/fengbingchun/article/details/113482036
[https_blog.csdn.net_fengbingchun_article_details_114167581]: https://blog.csdn.net/fengbingchun/article/details/114167581
[https_arxiv.org_pdf_1602.07261.pdf]: https://arxiv.org/pdf/1602.07261.pdf
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdiaW5nY2h1bg_size_16_color_FFFFFF_t_70]: /images/20221024/c80c2a805c7b492db2ed160acc91d84b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdiaW5nY2h1bg_size_16_color_FFFFFF_t_70 1]: /images/20221024/fb430e496edc488db1c03459efd22b00.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdiaW5nY2h1bg_size_16_color_FFFFFF_t_70 2]: /images/20221024/52b9cbd232f6481aa90ece09c4c2ac3c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdiaW5nY2h1bg_size_16_color_FFFFFF_t_70 3]: /images/20221024/d04ab4b94e524164b5bbbe61d4b40f9d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdiaW5nY2h1bg_size_16_color_FFFFFF_t_70 4]: /images/20221024/a000798ac9e8466e9ebde9e1ca161d86.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdiaW5nY2h1bg_size_16_color_FFFFFF_t_70 5]: /images/20221024/e9fbdf9b51644019b8acf49d3720b8cf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdiaW5nY2h1bg_size_16_color_FFFFFF_t_70 6]: /images/20221024/c13793eba345470da4b7b4a5fbe30f20.png
[https_github.com_fengbingchun_NN_Test]: https://github.com/fengbingchun/NN_Test