[work] Accurate Large Minibatch SGD:Training ImageNet in 1 Hour 笔记

小灰灰 2022-05-11 08:22 129阅读 0赞

D后，权值的更新情况：

![Image 1][]

（3）

而如果这里直接将学习率乘与k的话，权值的更新情况：

![Image 1][]

（4）

要让这两条公式相等，就只能假设

![Image 1][]

但是由于这个假设并不能真的正确，所以会出现以下的情况：

> 1.是会在网络开始训练的前几代，网络的表现会激烈变化
> 
> 2.是minibatch不能任意地增加，达到8k的时候仍然会出现figure1中的情况

所以作者提出了warmup这个概念，也就是在网络训练的初期不选择太多“急剧”的学习率。作者提出了两种warmup！

## 1.是Constant warmup ##

在前五代设置 lr = x，当过了五代以后，设置学习率为k\*x。

这种warmup形式对于objectdection，segmentation这些在pretrain\_model后面加上新的对应层的task很有帮助。但是这种形式还是难以解决优化困难的问题，并且当五代，结束学习率改变的时候，错误率会激增。所以提出了第二种

## 2.Gradual warmup ##

首先第一代设置 lr = x，在第五代结束的时候，lr为 kx，在这五代期间，每一代按代数关系慢慢将x增加到kx。这样避免了学习率急剧的变化

BN

在公式1，2中，我们都是假设每一样本的loss是独立的，但在BN的计算中，由于BN的计算，这些样本的loss并不是独立的，所以lossfunction的也会改变

所以;

![Image 1][]

也即将B（一个bacthsize，size为n）看做为总batchsize（size为kn）的集合xn的一个sample，所以就能将每一个sample的loss独立计算。

注意当n设置为不一样的时候，BN计算出来的mean，variance的也会随机变化。所以我们把每张卡上面的n都固定住，所以原本的3，4变为了

![Image 1][]

而关于Distributed SGD，作者也提出了一些看法;

1.是weight decay

一般的lossfunction为

![Image 1][]

这里作者把weightdecay定义为

![Image 1][]

也即是这里面中的第一项

![Image 1][]

可以看到如果没有这个weight decay这一项，把predictionloss这一项也乘以k，是与lr乘以k的效果一样的，但是，现实就是这样子，所以得出了第一个结论：

由于weightdecay的存在，所以

![Image 1][]

2.是Momentun correction，

加上momentun的SGD的表达式为下：

![Image 1][]

而在kn中，由于采取k倍的学习速率，上面的公式改为;

![Image 1][]

可以看到在9中u是只与梯度相关的，而与学习率无关。但在10中，v是与学习率有关的，当学习率改变的时候（warmup），为了和9学习率改变时一样，我们应该做以下变换

![Image 1][]

将：

![Image 1][]

momentun correction

作者发现这个修正很重要尤其当下一代的学习率远远大于当代的学习率的时候，所以得到第二个结论：

![Image 1][]

3.gradient aggregation

根据（4）中的：

![Image 1][]

可以看到要进行gradient aggregation的话，要对kn个sample的loss求平均，

这样对每个卡来说就要对n个sample的loss求平均。聚合后再除以k，求得平均loss

然而对于现在的显卡之间的通讯来说，求和比求平均更有效率。

所以作者觉得先在每一张卡的loss的求解中加上1/k的scaling，再通讯求和更有效率

所以第三个结论:

![Image 1][]

4.Data shuffling:

在普通SGD中每一个epoch，对train\_set做Data random shuffing，会让结果更好。

为了和这个使用shuffle的baseline做平等对比，作者也要求每一个epoch，对trainset做shuffle，然后分为k部分，分配给k张卡（或者设备）。

所以第四个结论：

![Image 1][]

但是由于前面存在的近似问题，所以大于8k的时候就gg。

作者：纪源丰  
链接：https://www.jianshu.com/p/6cc4de75bbd9  
來源：简书  
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。

[Image 1]:

发表评论取消回复

表情：

评论列表（有 0 条评论，129人围观）

还没有评论，来说两句吧...

相关阅读

相关 work 1

1、创建/guanli 目录，在/guanli下创建zonghe 和 jishu 两个目录（一条命令） mkdir -p /guanli/zonghe && mkdir

迷南。/ 2023年08月17日 16:12/ 0 赞/ 147 阅读

相关《PIoU Loss：Towards Accurate Oriented Object Detection in Complex Environments》论文笔记

参考代码：[piou][] 1. 概述 > 导读：旋转矩形框的引入可以更好贴合目标的轮廓，一般是在水平矩形框的基础上添加一个旋转变量，之后通过诸如smooth L1损失

r囧r小猫/ 2022年11月16日 10:42/ 0 赞/ 141 阅读

相关 .trim() in JavaScript not working in IE

trim 方法 (String) (JavaScript) 从字符串中移除前导空格、尾随空格和行终止符。 IE8下，Javascript的St

痛定思痛。/ 2022年09月25日 15:19/ 0 赞/ 189 阅读

相关 Work in Cycles

Work in Cycles James Leigh Toronto, Ontario, Canada oUR BoDIES ARE FUll oF nATURA

系统管理员/ 2022年08月10日 08:55/ 0 赞/ 51 阅读

相关 How Tomcat Works读书笔记1

一个`Servlet`容器要为一个`Servlet`请求提供服务，基本上有三件事要做：创建一个`request`对象并填充那些有可能被关联的`S

￡神魔★判官ぃ/ 2022年08月07日 10:00/ 0 赞/ 205 阅读

相关 Calendar.HOUR_OF_DAY 和 Calendar.HOUR的区别

Calendar.HOUR\_OF\_DAY是24小时制 Calendar.HOUR是12小时制所以下面方法是结果是不同的 calendar.set(C

迈不过友情╰/ 2022年06月17日 02:07/ 0 赞/ 903 阅读

相关 [work] Accurate Large Minibatch SGD:Training ImageNet in 1 Hour 笔记

D后，权值的更新情况： ![Image 1][] （3）而如果这里直接将学习率乘与k的话，权值的更新情况： ![Image 1][] （4）要让这两条公式相等，

小灰灰/ 2022年05月11日 08:22/ 0 赞/ 130 阅读

相关 [work] On Optimization in Deep Learning

[https://stanstarks.github.io/tw5/\On%20Optimization%20in%20Deep%20Learning][https_stans

忘是亡心i/ 2022年05月10日 08:56/ 0 赞/ 188 阅读

相关 Working with large data sets in MySQL

What does working with large data sets in mySQL teach you ? Of course you have to learn

- 日理万妓/ 2021年10月01日 03:28/ 0 赞/ 269 阅读

相关 Dropping Very Large Table In Oracle

这是一张550G的大表，表上还包括了CLOB和BLOB对象；我们来观察下Oracle drop这样一个大表时的具体表现: SQL> select * from v$ve...

朱雀/ 2021年04月24日 02:16/ 0 赞/ 471 阅读