大数据（二）.大数据前篇

朱雀 2022-03-26 10:57 225阅读 0赞

**目录：**

1.  什么是大数据
2.  大数据应用场景
3.  岗位说明
4.  如何学习大数据
5.  虚拟机的概念与安装
6.  linux操作系统
7.  centos7的安装
8.  xshell连接linux

### 一.什么是大数据 ###

是指大小超出传统数据库软件工具，抓取、储存、管理和分析能力的数据群，大数据一般在10TB左右，多用户将多个数据集成在一起，形成PB级的数据量，同时。这些数据来自多个数据源，并以实时、迭代的方式来实现大量化、多样式、快速化、价值化（4v）是大数据主要特征。

**1.大数据项目、系统和大数据平台的区别**  
![20190116232723177.png][]

**2.集群与分布式**  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70][]

**3.大数据平台介绍：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 1][]

**4.开发与分析的区别**  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 2][]

### 二.大数据应用场景 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 3][]

**云化IDC说明：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 4][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 5][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 6][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 7][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 8][]

## ##

### 三.职位说明   ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 9][] ###

## ##

### 四.如何学习大数据 ###

1.  主操作系统改为linux。
2.  大数据开发与分析是两门学科，重心掌握工具的配置与使用。
3.  分布式、集群在大数据里面很重要，但学习过程中我们更重要是掌握技术的使用。
4.  课后练习一定要相应的操作笔记。
5.  每天、每周都要学会总结。

### 五.虚拟机的概念和安装 ###

**1.介绍**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 10][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 11][]

**2.下载VMare，并安装  
详细步骤：**[https://blog.csdn.net/qq\_42570879/article/details/82853708][https_blog.csdn.net_qq_42570879_article_details_82853708]  
安装注意：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 12][]

注意：vmware 新建虚拟机后 不显示：应该是vmware被windows系统防火墙拦截了。解决方法：[控制面板][Link 1]\-->[windows防火墙][windows]\-->关闭[windows防火墙][windows]。

### 六.linux操作系统 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 13][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 14][]

**Linux特点**

*  源码的开放化  
    Linux操作系统是免费的，并且开发人员可以自由获取使用Linux源代码，开发者可以针对不同的应用需求对源码进行修改和优化，极大的便捷了嵌入式系统的开发，这也是其他操作系统无法做到的。
 *  支持多用户及任务并行  
    Linux系统可支持多名用户在线使用，每个用户之间互不影响，有较好的保密性；Linux可同时执行多个程序，并且各个程序的运行是独立的。
 *  良好的安全性及稳定性  
    Linux的内核继承了Unix系统的稳定、高效的特性，这一特性已在各领域得到了大量的验证。同时Linux采取了如对读、写控制、审计跟踪、核心授权等多种安全技术，保障用户开发环境的安全。
 *  广泛的硬件平台支持  
    Linux可以在多种硬件平台上进行运行，如在带有x86、680x0、SPARC、Alpha等大多数主流的处理器平台均可以运行。
 *  移植的便捷性  
    Linux系统是一个可移植的操作系统，它的内核设计非常精巧，可依据嵌入式的需求，实时的将某些模块从内核插入或移除。而Linux移植也就十分便捷，从一个平台转移到另一个平台后仍能保持自身的正常运行。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 15][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 16][]

### 七.CentOS7.2的安装 ###

**步骤：**[https://blog.csdn.net/qq\_42570879/article/details/82853708][https_blog.csdn.net_qq_42570879_article_details_82853708]Centos7下载和安装详细教程

1.  下载CentOS7，无需解压  
    注意：本人下载是mini版，其他步骤相同  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 17][]
2.  开启VMare，开启虚拟机，安装linux（就是centOS7）
3.  下载Xshell，并安装  
    Xshell的作用：如果复制本地文本，粘贴到linux中会出现出题，因为此粘贴命令无法识别，所以用Xshell来连通本地机和虚拟机
4.  将虚拟机和本地机连通进行配置  
    大概配置流程：  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 18][]
5.  Centos7安装需要注意的几个地方  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 19][]  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 20][]  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 21][]  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 22][]  
    然后点击应用。

[20190116232723177.png]: /images/20220326/6ef9c349a7d14018aca872d34bbbfba0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70]: /images/20220326/e1103cf073ca4994abacf875d2963116.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 1]: /images/20220326/f598e834d90e44dc897843b345827daf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 2]: /images/20220326/5b238ed29c7d4e6cbecad6b085a998d7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 3]: /images/20220326/eec26a74d3b24c5fb0ee65ee73e548af.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 4]: /images/20220326/aa65e84a6d9c4bad96048efe6a26871f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 5]: /images/20220326/f4291a86839f4284813764b72007b5e8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 6]: /images/20220326/d61d2f608bca4e62b43c8adc6e61d877.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 7]: /images/20220326/a02f38a5a3b6437283738f0f68cc1553.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 8]: /images/20220326/03dd3523a0484a6cba3ac37a4cd63b6a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 9]: /images/20220326/14603b0aae8d488ca1c0a696889fdda8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 10]: /images/20220326/f58c0734a4a3436bb696bd349335a938.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 11]: /images/20220326/3903f4e716ca41a18af544aff2e14d5b.png
[https_blog.csdn.net_qq_42570879_article_details_82853708]: https://blog.csdn.net/qq_42570879/article/details/82853708
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 12]: /images/20220326/07352e818cf04748b033beecf46b6b94.png
[Link 1]: https://www.baidu.com/s?wd=%E6%8E%A7%E5%88%B6%E9%9D%A2%E6%9D%BF&tn=SE_PcZhidaonwhc_ngpagmjz&rsv_dl=gh_pc_zhidao
[windows]: https://www.baidu.com/s?wd=windows%E9%98%B2%E7%81%AB%E5%A2%99&tn=SE_PcZhidaonwhc_ngpagmjz&rsv_dl=gh_pc_zhidao
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 13]: /images/20220326/addf94419bcd4cd6a06a99206d24f435.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 14]: /images/20220326/1da6b8b6949841b7b7d056a76e93ca59.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 15]: /images/20220326/70a73654315c43719941412bca80a200.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 16]: /images/20220326/087a5278bbb7402f98934c47542e982d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 17]: /images/20220326/20c8571fc65c4160a08a13c355a78324.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 18]: /images/20220326/2bda154c2f5c4a2d91d2f9570d52e120.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 19]: /images/20220326/1d8df8946ae8483ea6295131084b9546.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 20]: /images/20220326/622878feed3745e59724caa099070f3f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 21]: /images/20220326/9fdc1ace511d4e8e8f4cdb8e2296e9dc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 22]: /images/20220326/039c0b731e8b4980a5870ec185e939ec.png