零基础自学Hadoop 一大数据导论与Linux基础 01 大数据导论 1.2 数据分析基本步骤

Myth丶恋晨 2024-03-26 17:45 29阅读 0赞

#### 零基础自学Hadoop ####

#### 文章目录 ####

*   *   *  零基础自学Hadoop
         *  一 大数据导论与Linux基础
         *  01 大数据导论
         *   *  1.2 数据分析基本步骤
             *   *  1.2.1 概述
                 *  1.2.2 Step1：明确分析目的和思路
                 *  1.2.3 Step2：数据收集
                 *  1.2.4 Step3：数据处理
                 *  1.2.5 Step4：数据分析
                 *  1.2.6 Step5：数据展现
                 *  1.2.7 Step6：报告撰写
                 *  1.2.8 总结

![在这里插入图片描述][2cb8752c08364649bd872e882a73cc54.png_pic_center]

[【黑马程序员大数据Hadoop入门视频教程，适合零基础自学的大数据Hadoop教程】 ][Hadoop_Hadoop_]

#### 一 大数据导论与Linux基础 ####

#### 01 大数据导论 ####

##### 1.2 数据分析基本步骤 #####

###### 1.2.1 概述 ######

数据分析步骤（流程）的重要性体现在：对如何开展数据分析提供了强有力的逻辑支撑;

张文霖在《数据分析六步曲》说，典型的数据分析应该包含以下几个步骤

![在这里插入图片描述][e2a7265440be4671b41373060da41444.png_pic_center]

###### 1.2.2 Step1：明确分析目的和思路 ######

目的是整个分析流程的起点，为数据的收集、处理及分析提供清晰的指引方向；

思路是使分析框架体系化，比如先分析什么，后分析什么，使各分析点之间具有逻辑联系，保证分析维度的完整性 ，分析结果的有效性以及正确性，需要数据分析方法论进行支撑；

数据分析方法论是一些营销管理类相关理论，比如用户行为理论、PEST分析法、5W2H分析法等。

![在这里插入图片描述][d282eba2f01b4808955c3d4e4cf9eb06.png_pic_center]

###### 1.2.3 Step2：数据收集 ######

数据从无到有的过程：比如传感器收集气象数据、埋点收集用户行为数据

数据传输搬运的过程：比如采集数据库数据到数据分析平台

![在这里插入图片描述][801960a7ea8a421ebd5620f8ee64f5d8.png_pic_center]

###### 1.2.4 Step3：数据处理 ######

准确来说，应该称之为数据预处理。

数据预处理需要对收集到的数据进行加工整理，形成适合数据分析的样式，主要包括数据清洗、数据转化、数据提取、数据计算；

数据预处理可以保证数据的一致性和有效性，让数据变成干净规整的结构化数据。

![在这里插入图片描述][a637307b638e4db0acfdc49255af8752.png_pic_center]

> 【思考】
> 
> 1.  当下的企业中用于分析的数据是侧重于文本数据多 一些，还是侧重于图片、视频数据多一些？
>     
>     【文本】
> 2.  什么叫干净规整的结构化数据？有非结构化数据？
>     
>     【专业来说就是二维表的数据，行列对应； 通俗来说就是格式清晰，利于解读的数据】

###### 1.2.5 Step4：数据分析 ######

用适当的分析方法及分析工具，对处理过的数据进行分析，提取有价值的信息，形成有效结论的过程；

需要掌握各种数据分析方法，还要熟悉数据分析软件的操作；

![在这里插入图片描述][e0cf53b994b54e779c9b3690ee7595b8.png_pic_center]

###### 1.2.6 Step5：数据展现 ######

数据展现又称之为数据可视化，指的是分析结果图表展示，因为人类是视觉动物；

数据可视化（Data Visualization）属于数据应用的一种；

注意，数据分析的结果不是只有可视化展示，还可以继续数据挖掘（Data Mining）、即席查询（Ad Hoc）等。

![在这里插入图片描述][53dabc3c6c154b32a459a000e81ae7c7.png_pic_center]

###### 1.2.7 Step6：报告撰写 ######

数据分析报告是对整个数据分析过程的一个总结与呈现

把数据分析的起因、过程、结果及建议完整地呈现出来，供决策者参考

需要有明确的结论，最好有建议或解决方案

![在这里插入图片描述][0f80575eea944595a9cfcf40f4b645a5.png_pic_center]

###### 1.2.8 总结 ######

*  一切围绕着数据
 *  通俗描述：数据从哪里来、数据到哪里去
 *  核心步骤:采集、处理、分析、应用

[2cb8752c08364649bd872e882a73cc54.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/d7eba435aad8465b88194c8acc4846c2.png
[Hadoop_Hadoop_]: https://www.bilibili.com/video/BV1CU4y1N7Sh/
[e2a7265440be4671b41373060da41444.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/626bd971756147c9bd32514c0d77680b.png
[d282eba2f01b4808955c3d4e4cf9eb06.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/d09fe616085541e4a1e12fe5ec89caa7.png
[801960a7ea8a421ebd5620f8ee64f5d8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/b5898d857cad40e594638df5283f66de.png
[a637307b638e4db0acfdc49255af8752.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/756451df3bb745aeb8c0be766ffed372.png
[e0cf53b994b54e779c9b3690ee7595b8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/e6e71a89fcb8496693f1616708455d16.png
[53dabc3c6c154b32a459a000e81ae7c7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/97573b3565a342bdbc37dbbb76bf5717.png
[0f80575eea944595a9cfcf40f4b645a5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/d50232dbf4834969ac4c6494aae4c18a.png