【骚操作】折叠Batch Normalization加速模型推理

我不是女神ヾ 2022-12-31 13:27 177阅读 0赞

> 点击上方“**机器学习与生成对抗网络**”，关注"星标"
> 
> 获取有趣、好玩的前沿干货！

作者丨Nathan Hubens

来源丨AI公园

## **介绍** ##

Batch Normalization是将各层的输入进行归一化，使训练过程更快、更稳定的一种技术。在实践中，它是一个额外的层，我们通常添加在计算层之后，在非线性之前。它包括两个步骤：

*  首先减去其平均值，然后除以其标准差
 *  进一步通过γ缩放，通过β偏移，这些是batch normalization层的参数，当网络不需要数据的时候，均值为0、标准差为1。

![format_png][]Batch normalization在神经网络的训练中具有较高的效率，因此得到了广泛的应用。但它在推理的时候有多少用处呢？

一旦训练结束，每个Batch normalization层都拥有一组特定的γ和β，还有μ和σ，后者在训练过程中使用指数加权平均值进行计算。这意味着在推理过程中，Batch normalization就像是对上一层（通常是卷积）的结果进行简单的线性转换。由于卷积也是一个线性变换，这也意味着这两个操作可以合并成一个单一的线性变换！这将删除一些不必要的参数，但也会减少推理时要执行的操作数量。

## 在实践中怎么做？ ##

用一点数学知识，我们可以很容易地重新对卷积进行排列来处理batch normalization。提醒一下，对一个输入\_x\_进行卷积之后再进行batch normalization的运算可以表示为：![format_png 1][]那么，如果我们重新排列卷积的**W**和**b**，考虑batch normalization的参数，如下：  
![format_png 2][]我们可以去掉batch normalization层，仍然得到相同的结果！

> **注意**：通常，在batch normalization层之前的层中是没有bias的，因为这是无用的，也是对参数的浪费，因为任何常数都会被batch normalization抵消掉。

## 这样做的效果怎样？ ##

我们将尝试两种常见的架构：

*  使用batch norm的VGG16
 *  ResNet50

为了演示，我们使用ImageNet dataset和PyTorch。两个网络都将训练5个epoch，看看参数数量和推理时间的变化。

## **1. VGG16** ##

我们从训练VGG16 5个epoch开始(最终的准确性并不重要)：![format_png 3][]

参数的数量：  
![format_png 4][]

单个图像的初始推理时间为：  
![format_png 5][]

如果使用了batch normalization折叠，我们有：  
![format_png 6][]

以及：  
![format_png 7][]

8448个参数被去掉了，更好的是，几乎快了0.4毫秒！最重要的是，这是完全无损的，在性能方面绝对没有变化：  
![format_png 8][]

让我们看看它在Resnet50的情况下是怎么样的！

## **2. Resnet50** ##

同样的，我们开始训练它5个epochs：![format_png 9][]

初始参数量为：  
![format_png 10][]

推理时间为：  
![format_png 11][]

使用batch normalization折叠后，有：  
![format_png 12][]

和：  
![format_png 13][]

现在，我们有26,560的参数被移除，更惊讶的hi，推理时间减少了1.5ms，性能一点也没降。

![format_png 14][]

**猜您喜欢：**

[**超100篇！CVPR 2020最全GAN论文梳理汇总！**][100_CVPR 2020_GAN]

[拆解组新的GAN：解耦表征MixNMatch][GAN_MixNMatch]

[StarGAN第2版：多域多样性图像生成][StarGAN_2]

[附下载 | 《可解释的机器学习》中文版][Link 1]

[附下载 |《TensorFlow 2.0 深度学习算法实战》][_TensorFlow 2.0]

[附下载 |《计算机视觉中的数学方法》分享][Link 2]

[《基于深度学习的表面缺陷检测方法综述》][Link 3]

[《零样本图像分类综述: 十年进展》][Link 4]

[《基于深度神经网络的少样本学习综述》][Link 5]

![format_png 15][]

[format_png]: /images/20221120/4b1c47af381d45a69278700ecff300db.png
[format_png 1]: /images/20221120/638296e4a6ca442f95169bbe65ec7345.png
[format_png 2]: /images/20221120/fb7c771c017c41d3b657045ba9508fc2.png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9LWVNEVG1PVlp2b0N2YUlLMnBmZkpnVGRYWmJJbUtUd2NUcTRpYjhGZXllc1ZJNUh0c2VVVExIb0poaWJ0N3pvNGt5aWJFY2ljeFc0VmVUTWxpY0YwbGNwZkhRLzY0MA?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9LWVNEVG1PVlp2b0N2YUlLMnBmZkpnVGRYWmJJbUtUd1FPblY1S2U1NUN5WFplRjY0eVZ3N2NYYXVja214emlhZ1B3aFJ3aWE2aWJGRkZ4eVpBUmpGbnNUZy82NDA?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9LWVNEVG1PVlp2b0N2YUlLMnBmZkpnVGRYWmJJbUtUd1pmNDBpYlo2MFp3MWFvWTY0YjBHZ1RNVGtERkI0Z1hDR3JESVJEdUJVUHp6dDhBb0UyRzlwQlEvNjQw?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9LWVNEVG1PVlp2b0N2YUlLMnBmZkpnVGRYWmJJbUtUd1o1RkZoRlZra0xwaWFZNEdIaWFMczhKQU81emxpYzk5RlV5ZHlPWGlhMnBsbFd1cEEzQm5wa2JUaWJ3LzY0MA?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9LWVNEVG1PVlp2b0N2YUlLMnBmZkpnVGRYWmJJbUtUd3AycjY1WXF4MERvMVZPYlZCeXB5cmlhMGRWUlg3SWZYRFNXa1JaMUxpYzl1YWhuaWIzd1Z3dEFxQS82NDA?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9LWVNEVG1PVlp2b0N2YUlLMnBmZkpnVGRYWmJJbUtUd1FXNVU1cmljdGVKRmliYmJ3TzJzQzd3azZRTWlhZTBpYTNGTTM0aFFMbUppYXZ0MmxpY2gxYURLRUVTdy82NDA?x-oss-process=image/format,png
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9LWVNEVG1PVlp2b0N2YUlLMnBmZkpnVGRYWmJJbUtUd3lFOGM4OHYwbVZkaWNpYUh0V2hXQ2x6aWFkSUtKcjBZa2FIaWFyTEJWajlDanpkckpURGRrS1M2T3cvNjQw?x-oss-process=image/format,png
[format_png 10]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9LWVNEVG1PVlp2b0N2YUlLMnBmZkpnVGRYWmJJbUtUd200anJuQnZ5ZGVzZEpMeXVZWG1QZ2IxUmliMmtXNGg3blBLcmNSVWliaFIzOFNiekZieG9pYVd0dy82NDA?x-oss-process=image/format,png
[format_png 11]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9LWVNEVG1PVlp2b0N2YUlLMnBmZkpnVGRYWmJJbUtUd1NpYTJxdHBhOHNiaWJIdG1NNjNpY1RnQnNLaWJTTGljMFU4RGxhRWlhUnViWFBlRGliT0xDUENqY3REdkEvNjQw?x-oss-process=image/format,png
[format_png 12]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9LWVNEVG1PVlp2b0N2YUlLMnBmZkpnVGRYWmJJbUtUd0pLeXA5eFNmQ2NhS3dtcEp0ZXllcnhLeUJTNTZ2QVZlUFloN0wwNU5iakI3TEh3TGliVGZuN2cvNjQw?x-oss-process=image/format,png
[format_png 13]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9LWVNEVG1PVlp2b0N2YUlLMnBmZkpnVGRYWmJJbUtUdzJYaWFzc1ZEbmljTGV1VkpuTkJ6VzRYSTZwRHdtbm92TlNJTzl4MFdYa21XbnliSWExQ1RsUHN3LzY0MA?x-oss-process=image/format,png
[format_png 14]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9LWVNEVG1PVlp2b0N2YUlLMnBmZkpnVGRYWmJJbUtUdzJVQzNneUlsQ3dpYnFYaWJNTkM1QjNWMW5rMzZZbjA3a1VLbkJxaHhPUHVSQUhwd21YenNEMm1BLzY0MA?x-oss-process=image/format,png
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[GAN_MixNMatch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aaa9c95e23bf3131249a8d008ce3acdff7c52c7f6be84d92c6d607ca804b5ceb2a4222e3&idx=1&mid=2247485458&scene=21&sn=9f562c1de84dada67268f88c72ff77ff#wechat_redirect
[StarGAN_2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29ab6ec95e22785abb2afbb2e2b1c95780a4d6bfceeb915118440b41a81769a8776dcc62b7&idx=1&mid=2247485909&scene=21&sn=048d1336b8083bac3755e27a1f968d06#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e2399a93dae3af3b13626643b18cf42842d1a7ada0de46486fa8b865aa2421d2f&idx=1&mid=2247485492&scene=21&sn=6f8af433521b5fee5aceab62e0111115#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a44fc95e2d597fc88ca7f10cae079f821deedb6f93b10f0985aa8f6f7c06e369d716f785&idx=1&mid=2247485172&scene=21&sn=f65b58ed3b4c1d09163271069dce4738#wechat_redirect
[Link 5]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a7e6c95e2ef0a6649c0c904fa28b61b4ac76774df4acdce8fff3a909369c7c2f8d22a4b5&idx=1&mid=2247484765&scene=21&sn=b1b9a9ef6c923abad6cf38364105264c#wechat_redirect
[format_png 15]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9McXhEanVDWlQzaWNQS2d0QTNRZHFDUlBXWTVENlcwTG0xZGYyYzZKcXgxR0hHTjg3Z2g1WW9MMkltTjFmdGxIdzZMcWVLQ2RseEQxYnV6dlVSeTE1b0EvNjQw?x-oss-process=image/format,png