大数据相关认识，大数据、物联网和云计算之间的关系，hadoop简介

╰半夏微凉° 2023-07-12 14:43 73阅读 0赞

#### 大数据相关认识 ####

说道大数据，谷咕咕就很烦了，因为大学期间，做过爬虫，数据抓取，安装过Hadoop和hive，但是都不知道干嘛的，起码爬虫还知道，通过正则表达式将网页中的有效信息爬取下来。但是Hadoop和Hive一直是在Ubuntu上安装，不同什么意思，以至于后来看到，别人说Hadoop和Hive的时候就很尴尬，装过竟然不知道什么用。  
所今天就稍微的记录一下。

#### 大数据的特点 ####

在网上常常听到4v，说的就是大数据的特点四个英文单词的首字母。

*  Volume（数据量大）
 *  Velocity（数据速度快）
 *  Variety（数据类型繁多）
 *  Value（数据价值密度低）  
    之前看文章时候5v的，他多了一个Veracity（真实性）

#### 大数据的关键技术 ####

**数据采集：**  
利用轻量级的数据库手法客户端的数据，进行初步的查询和处理。  
问题：是高并发。  
工具：MySQL、Oracle  
**数据分析：**  
将数据快速导入到一个集中的分布式数据库或者，分布式存储集群，利用分布式技术存储大量数据，进行查询和分类汇总。  
问题：导入数据量大，查询数据量大，查询请求多。  
工具：Hadoop、hive  
**数据挖掘：**  
基于前面的数据进行数据挖掘、来满足高级别的数据分析需求。  
问题：算法复杂，并涉及的数据量和计算量都大。  
工具：R、Hadoop mahout

##### Hadoop #####

Hadoop是分布式批量处理系统，对大型数据集进行扫描，以产生其结果。  
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。  
Hadoop让用户也可以不用知道分布式算法下，根据MapReduce的规则定义好的接口方法。  
Hadoop将1PB的数据导入HDFS中，然后编程人员定义好map和reduce，定义好key和value，然后正则匹配成功，将结果通过reduce聚合起来返回，Hadoop就会吧这个程序分布到不同的结点并行处理。

#### 云计算 ####

云计算实现了分布式的计算能力，用户只要通过网络接入就可以获得所需的资源。  
**云计算的关键技术：**  
虚拟化、分布式存储、分布式计算、多租户。  
云计算数据中心为云计算提供计算、存储、带宽等各种硬件资源，为各种平台和应用提供支撑环境。

#### 物联网 ####

物联网是物物相连的互联网，利用互联网吧传感器、控制器、机器、人员和物联在一起。实现信息化管理。  
**物联网关键技术**  
识别和感知结束（二维码、传感器）、网络与通信技术、数据挖掘与融合技术  
**物联网的应用**  
智能交通、只会医疗、智能家居等

#### 大数据、云计算、物联网之间的关系 ####

云计算为大数据提供技术基础。  
云计算为物联网提供海量数据存储能力。  
物联网是大数据重要来源。  
大数据为物联网数据分析提供支撑。