数据分析TB级别数据量大了怎么办，不会代码模型训练怎么办？

客官°小女子只卖身不卖艺 2023-10-07 13:47 17阅读 0赞

数据分析经常会遇到数据量大的问题，比如用R语言和Python语言时经常会遇到内存溢出的问题，即使把整个机器内存全部使用，达到最大使用率，还是无济于事，比如数据量是10T，并且在大数据量下，既要保证数据能够得出结果，还要一个好的模型进行迭代训练，得到一个好的模型。这些很难。

#### 这里有两个问题 ####

*  数据量大
 *  模型训练准确性

对于第一个问题，就算单机内存再大，也是不可能处理未来不可预知的增长的数据的，这时候就需要分布式处理，利用并行计算能力，分而治之。

对于第二个问题，一个好的模型通常需要经过大量的训练，我们都知道这些训练数据通常也要较大，复杂的迭代运行，无论是对CPU，还是内存RAM都是很吃的，这时候就需要一个好的训练工具，来帮我们解决这个问题。

#### 解决办法 ####

**pyspark**

**这时候，一个分布式解决方案pyspark就诞生了，python中**有丰富的第三方库，数据分析，机器学习，python编写hadoop，python编写spark在工业中用的都很多，主要就是解决大数据场景下的python数据分析与模型训练问题。

#### 我要怎么办 ####

我们不甘心做一个只能处理小数据量简单模型的数据分析苦力，怎么办**，学习，学习，学习**，只有通过不断的学习

才能提升自己的核心竞争力。

才能新老一日，方得一夜安眠。

如果你也是这么想，那就太好了。

--------------------

中科院研究生，代码高手，理论学霸，教你从入门到精通高级大数据分析需要的知识。

#### 课程大纲 ####

![640?wx\_fmt=png][640_wx_fmt_png]

来源:[https://blog.csdn.net/ddxygq/article/details/101351492][https_blog.csdn.net_ddxygq_article_details_101351492]

[640_wx_fmt_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9jQW9DbGd4NTNWc1FqN3A1amVrZHRmZWp3bFREcktJdlZaQlNQWGUyN3JLaWNrZ3VQTUdTRDR3SXJoMHozaWNTd3lYQkcza3Z3NWVySEFGVlVoVkpsS2NBLzY0MD93eF9mbXQ9cG5n?x-oss-process=image/format,png
[https_blog.csdn.net_ddxygq_article_details_101351492]: https://blog.csdn.net/ddxygq/article/details/101351492