1-hadoop-入坑

川长思鸟来 2021-10-29 10:50 339阅读 0赞

### 大数据 ###

大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。

大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。

适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，

云计算平台，互联网，和可扩展的存储系统。

主要解决：海量数据的存储和海量数据分析计算问题

基本的存储单位：

bit Byte KB MB GB TB PB EB ZB YB BB NB DB

1Byte = 8bit  
1K=1024Byte  
1MB=1024K  
1G=1024M  
1T=1024G  
1p=1024T

### 大数据的特点 ###

1、Volume(大量)  
2、Velocity（高速）  
3、Variety(多样)  
　　结构化数据：数据库/文本为主  
　　非结构化数据：网络日志、音频、视频等  
4、value（低价值密度）  
　　价值密度的高低与数据总量的大小成反比  
　　如何对价值数据“提纯”称为目前大数据背景下待解决的难题

### 大数据的应用场景 ###

1、物流仓储：大数据分析系统主力商家精细化运营、提升销量、节约成本  
2、零售：分析用户的消费习惯，为用户购买商品提供方便，提升销量  
3、旅游：深度结合大数据旅游能力与旅游行业需求，共建旅游产业园管理，智慧服务和营销  
4、商品广告推荐：给用户推荐可能喜欢的项目  
5、保险，金融，房产  
6、人工智能

### 业务流程分析 ###

![1488757-20190720132529966-1735840645.png][]

### 大数据部门的组织结构 ###

![1488757-20190720132717827-1659191545.png][]

主要两个方向:

1、数据分析

2、数据挖掘

转载于:https://www.cnblogs.com/Mrchengs/p/11217492.html

[1488757-20190720132529966-1735840645.png]: /images/20211029/044adfcab00f473594b10e4f01b83b99.png
[1488757-20190720132717827-1659191545.png]: /images/20211029/5df51576d090423f9df34dc0e19545a3.png

发表评论取消回复

表情：

评论列表（有 0 条评论，339人围观）

还没有评论，来说两句吧...

相关阅读

相关 hadoop(1):免密登入

次我们启动hadoop集群的时候需要去在每台机器上启动相应节点，这样我们来回切换机器很麻烦，如果我们在一台机器上就可以连接登陆其他机器的话，就可以在本台机器上启动部署在其...

秒速五厘米/ 2024年04月17日 06:25/ 0 赞/ 80 阅读

相关 Socket 入坑

什么是Socket Socket（套接字）是在计算机网络中实现通信的一种机制。它提供了一种应用程序编程接口（API），允许应用程序通过网络进行数据传输和通信。在网络通

太过爱你忘了你带给我的痛/ 2024年03月23日 17:29/ 0 赞/ 62 阅读

相关入坑英语

元音（20个）单元音（12个）长元音（5个） > /ɑ:/、 /ɔ:/、 /ɜ:/、 /i:/、 /u:/ 短元音（7个） > /ʌ/、 /ɒ/、 /ə/

╰+哭是因爲堅強的太久メ/ 2023年06月21日 07:25/ 0 赞/ 34 阅读

相关 ptrace入坑指南

目录 ptrace描述 ptrace用法 PTRACE\_TRACEME PTRACE\_PEEKTEXT、PTRACE\_PEEK

我不是女神ヾ/ 2022年12月15日 14:05/ 0 赞/ 281 阅读

相关入坑 Chromebook

入坑 Chromebook 为什么选择 Chromebook 首先，因为我是写javascript的，其次是学生，然后是程序员；为什么这么说 JS ，你要是写

╰+哭是因爲堅強的太久メ/ 2022年09月30日 06:02/ 0 赞/ 202 阅读

相关 web前端面试入坑（1）

疑难点1.“3函数”——call、apply、bind <script type="text/javascript"> function xiaohong()

末蓝、/ 2022年06月06日 09:26/ 0 赞/ 137 阅读

相关入坑codewars

前几天做LeetCode上的大数乘法，代码没错，可就是提交不成功，显示`SyntaxError: Unexpected token var` 我把所有代码都注释掉，只留下`

╰+攻爆jí腚メ/ 2022年02月28日 00:50/ 0 赞/ 374 阅读

相关入坑前言

浅谈前端：随着 web 应用复杂度的增加，特别是单页面应用的风靡。组件化，工程化，自动化成了前端发展的趋势。目前的前端不单单只是 html，css，js 了，比如从最开

我会带着你远行/ 2022年01月19日 04:07/ 0 赞/ 303 阅读

相关 docker 入坑

对于 Docker 学习而言，最好的书籍是官网文档，官网的文档很丰富。新手教程： [https://docs.docker.com/get-started/][ht

深碍√TFBOYSˉ_/ 2021年12月23日 14:49/ 0 赞/ 449 阅读

相关 1-hadoop-入坑

大数据大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大

川长思鸟来/ 2021年10月29日 10:50/ 0 赞/ 340 阅读