densenet比resnet参数量少，但训练速度慢的原因分析

Love The Way You Lie 2022-01-28 16:49 1075阅读 0赞

笔者做一个四分类的模型，发现了一个非常有意思的问题，就是训练好的densenet的h5模型只有1.3M的参数量，而resnet50的参数量有271M之多，但是训练的速度竟然是densenet更慢，笔者很迷惑，所以就查找了一些资料并对网络结构进行分析，做一下记录，供大家参考。

首先我查找了一些资料，进行分析，毕竟要先知道网络速度的快慢和啥有关对吧，参考如下博客，

[https://blog.csdn.net/leayc/article/details/81001801][https_blog.csdn.net_leayc_article_details_81001801]

然后我把自己的densenet和resnent的模型打印出来，model.summery()得到了两个模型的结构，下面是densenet的（没截全，只取了一开始和结尾部分）：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1bGluZ3Rpbmd6aQ_size_16_color_FFFFFF_t_70][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1bGluZ3Rpbmd6aQ_size_16_color_FFFFFF_t_70 1][]

下面是resnet的（同样只是一开始和结尾部分）：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1bGluZ3Rpbmd6aQ_size_16_color_FFFFFF_t_70 2][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1bGluZ3Rpbmd6aQ_size_16_color_FFFFFF_t_70 3][]

通过对比可以发现densenet比resnet参数少的原因在于每一次卷积输入输出的chanenl个数要比resnet少很多，这样bn层的参数也会少很多，channel数对此的影响很大，全连接层的参数也比resnet少很多；densenet比resnet慢的原因在于，densenet的featuremap比resnet大很多，导致卷积过程的计算量比resnet大很多，简而言之就是flops要大一些，内存的占用要大一些，而且内存的访问次数要多很多，内存的访问是很慢的，可以参考上面的那个连接里面讲解的，而不是全连接层的原因，因为densenet的全连接参数比resnet要少很多。

分析完原因以后，又看了一篇博客，上面正好有相关的参数实验，[https://blog.csdn.net/u011311291/article/details/82969409][https_blog.csdn.net_u011311291_article_details_82969409]

里面涉及到vgg16及densenet201的参数和内存的消耗，虽然我自己没有动手实验自己的网络，但是从侧面已经验证了我的猜想。

[https_blog.csdn.net_leayc_article_details_81001801]: https://blog.csdn.net/leayc/article/details/81001801
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1bGluZ3Rpbmd6aQ_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190524120349659.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1bGluZ3Rpbmd6aQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1bGluZ3Rpbmd6aQ_size_16_color_FFFFFF_t_70 1]: /images/20220128/893275bea2424e9b8934e03db590412a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1bGluZ3Rpbmd6aQ_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20190524120949444.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1bGluZ3Rpbmd6aQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1bGluZ3Rpbmd6aQ_size_16_color_FFFFFF_t_70 3]: /images/20220128/724bc3f9de9f40ff980f993de1a4a0a2.png
[https_blog.csdn.net_u011311291_article_details_82969409]: https://blog.csdn.net/u011311291/article/details/82969409