谷歌研究院最新发现：训练结果不准确，超大数据规模要背锅！

悠悠 2022-09-17 05:11 22阅读 0赞

点上方**计算机视觉联盟**获取更多干货

仅作学术分享，不代表本公众号立场，侵权联系删除

转载于：新智元

**985人工智能博士笔记推荐**

**[周志华《机器学习》手推笔记正式开源！附pdf下载链接，Github2500星！][pdf_Github2500]**

数据规模真的越大越好？

算力和数据是人工智能两大主要驱动力。无论是计算机视觉，还是自然语言处理等AI系统似乎都离不开数据集。

在超大规模数据时代，数据和学习结果是这样的关系：

数据规模越大，AI模型越精准、高效。在大部分人眼里，这似乎是个不争的事实。

数据规模和模型精确度难道真的是呈现正相关关系吗？

![d5058128819321a5683a9907d8fa96b2.gif][]

最近，Geogle Research 上发布的一篇论文，对这一普遍持有的观点，提出了质疑的呼声。

![2ce9dab9c011471f770c4a1aa25f2856.png][]

规模一大， “饱和”就无处不在！

这篇名为Expolring the limits of pre-training model 挑战了机器学习效果和数据关系的既有假设。经过试验得出的结论是：无论是通过扩大数据规模还是超参数来改进上游性能，下游可能会出现“饱和”现象。

所谓饱和就是.....你懂的哈，就是没有梯度信号传入神经元，也无法到权重和数据，这样网络就很难以进行学习了。

为了证明饱和效应的观点，作者对视觉变形器、ResNets和MLP-混合器进行了4800次实验，每个实验都有不同数量的参数，从1000万到100亿，都在各自领域现有的最高容量数据集进行训练，包括ImageNet21K和谷歌自己的JFT-300M。

![f3d5f6f9c9e1b0163b5bb2a809f2bb8b.png][]

文中还提到了一种极端的情况，上游和下游的性能是互相矛盾的 ，也就是说：要想获得更好的下游性能，可能得牺牲掉上游任务的精确度。

这一假设一旦得到验证，就意味着 "超大规模 "数据集，如最近发布的LAION-400M（包含4亿个文本/图像对），以及GPT-3神经语言引擎背后的数据（包含1750亿个参数），有可能受限于传统机器学习的架构和方法。庞大的数据量可能会使得下游任务饱和，降低了其泛化的能力。

其实呢，之前的假设也不是完全在“胡言乱语”，只是要加上一个条件即：既定数据规模的超参数要在一个较为简单的线性函数关系中 ， 且是一个固定的值。

考虑到有限的计算资源和经济成本等问题，先前的研究范围较小，让人们对数据集和有效AI系统间的关系产生了不全面的认知。原来以偏概全是通病！

事实上怎么可能有这么简单呢？

文章又反驳道“先前关于论证数据规模有效性的研究，仅是在有限的范围进行的。 因而不能妄下定论。“

唱反调也得有依据!文章为什么会得出这样的结论呢？原来真相就在眼前！

![9aab1e98d97d1d6e12fce6b507863f1b.png][]

上下游的关系不简单！

先前的研究是在线性函数的假设基础上，呈现出了对数关系。

![9677f08009c0e0c1314f4f7aa3d112b6.png][]

然而经过研究发现，情况是这样的

![5290b3a9627fdf221945eb62118b8421.png][]

从图中可以发现，下游任务在某些点，会发生饱和。但这些“饱和点”并不固定。因而文章推论，上下游之间的关系是非线性的。

数据、模型规模的扩大，倒是能提高上游性能。但是由于这种非线性关系的存在，提高上游的准确度的同时，下游准确度就不能够保证了。

预训练模型不能让人们”一劳永逸“！

本文讨论了 "预训练 "的做法，这种措施旨在节省计算资源，减少从零开始训练大规模数据所需的时间。

预训练可以明显提高模型的鲁棒性和准确性。但新的论文表明，即使在相对较短的预训练模板中，但是考虑到特征的复杂性，预训练模型不适合于所有情况。如果研究人员继续依赖预训练模型，可能影响到最终结果的准确性。

论文最后提到，”我们不能期望找到适用于所有下游任务的预训练模型。"

![61dfa9792b8744b41d19f65ba60a7ea7.png][]

规模有多大，就有多准确？

Geogle research 的研究结果对这一定论，勇敢说出了”不“，的确让人们眼前一亮！是否会对整个AI研究领域，带来突破性的进展呢？也许会由此带动更多的相关研究，会不知不觉掀起另一波”浪潮“？咱们走着瞧！

参考资料：

https://www.unite.ai/google-research-identifies-a-bottleneck-in-hyperscale-approaches-to-ai/

**-------------------**

***END***

***--------------------***

我是[王博Kings][Kings]，985AI博士，华为云专家、CSDN博客专家（人工智能领域优质作者）。单个AI开源项目现在已经获得了2100+标星。现在在做AI相关内容，欢迎一起交流学习、生活各方面的问题，一起加油进步！

我们微信交流群涵盖以下方向（但并不局限于以下内容）：人工智能，计算机视觉，自然语言处理，目标检测，语义分割，自动驾驶，GAN，强化学习，SLAM，人脸检测，最新算法，最新论文，OpenCV，TensorFlow，PyTorch，开源框架，学习方法...

这是我的私人微信，位置有限，一起进步！

**![fa629845f973a67bc1aa9b2172f75d24.png][]**

**王博的公众号，欢迎关注，干货多多**

**手推笔记：**

**增长见识：**

**其他学习笔记：**

![b77028f24c6250b1ebef9696262a682a.gif][]

**点分享**

![acc6b104d34c4c9df746287beb84a491.gif][]

**点收藏**

![d67829e2e69afe73dde4811ccbeac8c1.gif][]

**点点赞**

![92a076f1041e32ff30b45bc4ae6ae4b0.gif][]

**点在看**

[pdf_Github2500]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247486763&idx=1&sn=da878ccafba79932be8eeca955697477&chksm=fcb71194cbc0988259f32b0b7a77fe7830c477c9c9a4fcb00f2e366c97d776574c2bc949e993&scene=21#wechat_redirect
[d5058128819321a5683a9907d8fa96b2.gif]: /images/20220828/c60b8c8239d143d697398f4361b1479b.png
[2ce9dab9c011471f770c4a1aa25f2856.png]: /images/20220828/65416133435b4a428615037097851db0.png
[f3d5f6f9c9e1b0163b5bb2a809f2bb8b.png]: /images/20220828/d6073f20e34545a29705e6bc400555f5.png
[9aab1e98d97d1d6e12fce6b507863f1b.png]: /images/20220828/e3b7c7f8ca994e4ba96aeb0cf48e9cf9.png
[9677f08009c0e0c1314f4f7aa3d112b6.png]: /images/20220828/b6c214be9d5c43dbb8c180c9805fe879.png
[5290b3a9627fdf221945eb62118b8421.png]: /images/20220828/fea7603185b44b8a86dc59b1ef6facca.png
[61dfa9792b8744b41d19f65ba60a7ea7.png]: /images/20220828/a6ec6ae4f06045639630f48a44d33e5a.png
[Kings]: https://blog.csdn.net/Sophia_11/article/details/114274846
[fa629845f973a67bc1aa9b2172f75d24.png]: /images/20220828/c3503571bd294b4bb3f0b1ab9887460c.png
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247486235&idx=1&sn=60774f6e71af3c1df5fcdaf37407c1ce&chksm=fcb717a4cbc09eb2915aa8504be858f681e5cc4ea95cc091335f021b30b566f2f16e03ae0739&scene=21#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247486809&idx=2&sn=1db1d3e29268334b78faf1b981030974&chksm=fcb711e6cbc098f0db247fdf9739a4e82aaada8231d5b3c6c79b1c19e79d81e3216a7e7476d3&scene=21#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247486859&idx=1&sn=9ee1c93b8ca69d71ea1db16e022f2691&chksm=fcb71134cbc09822e382eaeb834f9ee66f78ea78636494cd22bcb0493b4e2ae7ef57fe99fe58&scene=21#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247486891&idx=1&sn=48f35f7bcaa7dd559288231c3ac07e30&chksm=fcb71114cbc09802e6d99fe3cd5a41d6da03b1e9eb5442b01b84d9c9edcd49cad0bb50a1309c&scene=21#wechat_redirect
[Link 5]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247487004&idx=1&sn=b5f13ba410cee5730d1e3784b7fc4c9b&chksm=fcb712a3cbc09bb5aa3e4f16254cd52a72a3e5393370bc5c1ca78682161c74ad81443e01135d&scene=21#wechat_redirect
[Link 6]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247487301&idx=1&sn=a5220ac4604bfdb15ee2eb52357a19c1&chksm=fcb713facbc09aecde8ec575fe96d7ef2b406b4bb377c63e197cdeaf04cba14e76b8f75c30e4&scene=21#wechat_redirect
[Link 7]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247487435&idx=2&sn=d3d9a9ecd93f6defe865da36aede1777&chksm=fcb71374cbc09a62446ef8f03e22dcd2b1092169ee0a472a7d3f0e1d6209300943b03d389e76&scene=21#wechat_redirect
[Link 8]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247488226&idx=1&sn=6694a44c5bc8d8207e8348cfbb141297&chksm=fcb70e5dcbc0874b355226a7ef07f0d2e315b13df95c3df2812a70b4eb6ab2d68184e1c3cc86&scene=21#wechat_redirect
[Link 9]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247488404&idx=2&sn=36b6c46669b1c5f1c0922f3c476b2d85&chksm=fcb70f2bcbc0863d86fdf807a48cd919d75556299c4b911602a052cd92d31cc57fbae1600fe2&scene=21#wechat_redirect
[Link 10]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247488468&idx=2&sn=7071a2a562afa337e7b46b490aa44090&chksm=fcb70f6bcbc0867dcd4cd5a16a7b5ce3b88bb10e9af6165797ffe10f7cca8b9d3a0eb365774f&scene=21#wechat_redirect
[Link 11]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247488759&idx=2&sn=91be2e59ada4107851289c68a64bffb3&chksm=fcb70848cbc0815e03947731557b16897112f37c9b67cd436013a7cf70738cada21925d37ab4&scene=21#wechat_redirect
[Link 12]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247490386&idx=2&sn=321179886eb4f6a2c6bd55aed3578097&chksm=fcb707edcbc08efb406cec43da6540df1e7c99ed88f02ebd2c313ad3549d082679a10cdf6165&scene=21#wechat_redirect
[Link 13]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247494603&idx=3&sn=1d0ca7f2eef4ace9941ce2f3ff130dbb&chksm=fcb4f774cbc37e62a1425aca8d97e593e30bd09a7b3a8f4b3d0d9ac32877979944af03030717&scene=21#wechat_redirect
[Link 14]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247495199&idx=3&sn=4e56ec540c4fa222d9e57804b554ea70&chksm=fcb4f2a0cbc37bb60193b8a653016a0d5ea933f1b9c69e39d1b06861813c78fc7c574b527454&scene=21#wechat_redirect
[Link 15]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247503912&idx=1&sn=7cd6fee3a4fd042be5ae8f54d750052b&chksm=fcb4cc97cbc345818ec45020b51297150f8b2f1f211f8d74523529f02e14a47af812a5827443&scene=21#wechat_redirect
[Link 16]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247508471&idx=1&sn=9d6a781d8015ca651f231543977b99f0&chksm=fcb4bd48cbc3345e5169a622d44d6cb1ac4ff9a31970b4cf7a132e7d766f5ae90164a1d2b662&scene=21#wechat_redirect
[Link 17]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247512691&idx=1&sn=5a9a03b656da97558fd537df2161a07e&chksm=fcb4aecccbc327da843ff574076da8701708dbd39a957ad41d6b2b9d4ac2d6e64584af2c7426&scene=21#wechat_redirect
[Link 18]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247511199&idx=1&sn=dcc96018356c7aa1f07f594ea2db53ab&chksm=fcb4b020cbc3393667267919d45479df44e03b8fccaf5ea1ecffadc4fd664e8505dc0db723ec&scene=21#wechat_redirect
[Link 19]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247510579&idx=1&sn=8b7f6facff81a9e55f653bad1c6b016f&chksm=fcb4b68ccbc33f9a2ffcfe67d87fafdd025566c76d9ad4caf9951d9ac084dae803f52ab70048&scene=21#wechat_redirect
[Link 20]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247510383&idx=1&sn=f659ab4c9b0973276be95c9bab89d5b1&chksm=fcb4b5d0cbc33cc6a9771ce2d6cd88e57b3def32c9d0e3ca8b09e413855a71f422794971fe4f&scene=21#wechat_redirect
[Link 21]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247510244&idx=1&sn=5714c36390b4a7307252c4d02cfaecf0&chksm=fcb4b45bcbc33d4de651e9b095c49a760eb4b909a1a7c0553343bd2bb3bee93b34285bbfacd3&scene=21#wechat_redirect
[Top2_2021_ _]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247505138&idx=1&sn=ef6102d36f7aa7191982c6b6eddb9872&chksm=fcb4c84dcbc3415be45e48c522029fb90f1c395278708f38c6d9b68d2aadaa0afff68b3ff607&scene=21#wechat_redirect
[Link 22]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247498233&idx=2&sn=7663c29445a7f07f839424656ef28cb5&chksm=fcb4e546cbc36c50b7711c59b77d01048cc81302e4a4a9f4fdbf83715360b14c5110f873b485&scene=21#wechat_redirect
[Link 23]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247497362&idx=2&sn=5b3436738550a7e4d62c2bb98befe3df&chksm=fcb4ea2dcbc3633b228e5712ecfc9d302ff56b7d96e83232f1c7ffb0a8bd2ffc908b5003b9d9&scene=21#wechat_redirect
[_ _ _]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247498631&idx=2&sn=7a91e5850ec4885a4d7028b925e6f2d2&chksm=fcb4e738cbc36e2e8ed92fcc6acbf5024ee73d4f5b2e05bcd2c31333fad86d6d4638b06fef6f&scene=21#wechat_redirect
[Link 24]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247489104&idx=1&sn=189ff572dc14ee137e83e7e4e7a4cc9f&chksm=fcb70aefcbc083f9b351b1b29c56d70cc1748181583490c3769b77a495e74747b8f7491ee39a&scene=21#wechat_redirect
[Link 25]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247487741&idx=2&sn=40bbb83c4ecda43fcc11fc3eb3a7130f&chksm=fcb70c42cbc085545c4ccfd51563cc59e38134147803c0c59e0aa3827385f060ccc75b3df888&scene=21#wechat_redirect
[PyTorch_Tensor]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247504061&idx=1&sn=207d2bd4895e0b4e303c3d9d63511c72&chksm=fcb4cc02cbc3451449159333c651688e7d71c7a744a4e4e0d914fb14adb5ad4f7e122eff7e18&scene=21#wechat_redirect
[CNN_ _]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247503173&idx=1&sn=e92e9adb903e7a87d0b64ceff982020c&chksm=fcb4d1facbc358ec09986cd8b32ce222c3394c46e2f0bd60c282d63ffeea897e7211984e6fca&scene=21#wechat_redirect
[Link 26]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247502893&idx=1&sn=e5720b57b0804dca182552ba9d6c1eb3&chksm=fcb4d092cbc359841d6f5a9e3b838e3894d34b35d74a1627fa9bf37e27c019ca9d9af84c362d&scene=21#wechat_redirect
[Transformer _]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247502134&idx=1&sn=ed4a262db0be219feb017c08f2185779&chksm=fcb4d589cbc35c9f0156ac454dccb82a501f4b8129adbbcf94a3ca83d3af129f4ebadf173e75&scene=21#wechat_redirect
[Scaled-YOLOv4_ _]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247500056&idx=2&sn=95a04371dc0b49e8c862b03a88edbb8c&chksm=fcb4dda7cbc354b14c4cd4f63eadf02680112ee21015fe372cf3055f9b577b7dd989843eda1f&scene=21#wechat_redirect
[PyTorch_ _]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247497349&idx=3&sn=b4b1ea0af5d42c817bc776cab0a8ac28&chksm=fcb4ea3acbc3632cd61c21d40df0c8cd9e84603fcbe551ceea721e4d8c43959a3c74e929a0fe&scene=21#wechat_redirect
[PyTorch_ _ 1]: http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA==&mid=2247497036&idx=2&sn=552069978cf317b9581b4c9a62a003e2&chksm=fcb4e9f3cbc360e51de7a7ceb3a6adde123e488d98a3baf4204270311ef609fa5510682ff29b&scene=21#wechat_redirect
[Numpy]: https://blog.csdn.net/dafeidouzi/article/details/100520906
[10]: https://blog.csdn.net/lvsehaiyang1993/article/details/80342473
[CVPR 2020]: https://blog.csdn.net/u013685264/article/details/104984809
[Link 27]: https://blog.csdn.net/fengdu78/article/details/107308594
[YOLOv4]: https://blog.csdn.net/fengdu78/article/details/106450074
[b77028f24c6250b1ebef9696262a682a.gif]: /images/20220828/baaaf5509200487e8d361d079b147e46.png
[acc6b104d34c4c9df746287beb84a491.gif]: /images/20220828/9e23e21bd3d24bebac4ccf65251beaf3.png
[d67829e2e69afe73dde4811ccbeac8c1.gif]: /images/20220828/cc77c6136e324f5aa5a67c33c1aba2b8.png
[92a076f1041e32ff30b45bc4ae6ae4b0.gif]: /images/20220828/e909f4744ae644b28530508aa8e9879a.png