大数据技术核心框架最强知识体系总结||（2021版）（含面试题）

忘是亡心i 2023-01-04 11:49 89阅读 0赞

### 文章目录 ###

*   *  前言
     *  hadoop框架
     *  Hive数据仓库
     *  ZooKeeper协调服务系统
     *  HBase
     *  phoenix
     *  Redis
     *  Flume
     *  SSM
     *  Kafka
     *  Scala
     *  Spark
     *  Azkaban
     *  常用工具

## 前言 ##

![在这里插入图片描述][20210111224102657.png]

希望能够给大家提供一些学习大数据的方法和一些基础的框架，提供一些个人的经验和建议,后续会持续更新的。

## hadoop框架 ##

Hadoop是大数据开发的重要框架，其核心是HDFS和MapReduce，HDFS为海量的数据提供了存储，MapReduce为海量的数据提供了计算，因此，需要重点掌握，除此之外，还需要掌握Hadoop集群、Hadoop集群管理、YARN以及Hadoop高级管理等相关技术与操作。

<table> 
 <thead> 
  <tr> 
   <th>序号</th> 
   <th>内容</th> 
   <th>链接地址</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>1</td> 
   <td>Hadoop框架超详细讲解</td> 
   <td><a href="https://blog.csdn.net/qq_43674360/article/details/105317651" rel="nofollow">https://blog.csdn.net/qq_43674360/article/details/105317651</a></td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>Hadoop 分布式集群搭建(极度重点)</td> 
   <td><a href="https://blog.csdn.net/qq_43674360/article/details/112411356" rel="nofollow">https://blog.csdn.net/qq_43674360/article/details/112411356</a></td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>window 10 hadoop 集群搭建</td> 
   <td><a href="https://blog.csdn.net/qq_43674360/article/details/105317651" rel="nofollow">https://blog.csdn.net/qq_43674360/article/details/105317651</a></td> 
  </tr> 
  <tr> 
   <td>4</td> 
   <td>HDFS 的命令操作</td> 
   <td><a href="https://blog.csdn.net/qq_43674360/article/details/109056244" rel="nofollow">https://blog.csdn.net/qq_43674360/article/details/109056244</a></td> 
  </tr> 
  <tr> 
   <td>5</td> 
   <td>hadoop:MapReduce之 shuffle过程详解</td> 
   <td><a href="https://blog.csdn.net/qq_43674360/article/details/109449024" rel="nofollow">https://blog.csdn.net/qq_43674360/article/details/109449024</a></td> 
  </tr> 
  <tr> 
   <td>6</td> 
   <td>hadoop案例</td> 
   <td><a href="https://blog.csdn.net/qq_43674360/article/details/112413016" rel="nofollow">https://blog.csdn.net/qq_43674360/article/details/112413016</a></td> 
  </tr> 
 </tbody> 
</table>

## Hive数据仓库 ##

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行，十分适合数据仓库的统计分析。对于Hive需掌握其安装、应用及高级操作等。

<table> 
 <thead> 
  <tr> 
   <th>序号</th> 
   <th>内容</th> 
   <th>链接地址</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>1</td> 
   <td>hive的学习路线（思维导图）</td> 
   <td><a href="https://blog.csdn.net/qq_43674360/article/details/109802256" rel="nofollow">https://blog.csdn.net/qq_43674360/article/details/109802256</a></td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>第1章 Hive基本概念</td> 
   <td><a href="https://blog.csdn.net/qq_43674360/article/details/109803190" rel="nofollow">https://blog.csdn.net/qq_43674360/article/details/109803190</a></td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>第2章 Hive安装</td> 
   <td><a href="https://blog.csdn.net/qq_43674360/article/details/109803527" rel="nofollow">https://blog.csdn.net/qq_43674360/article/details/109803527</a></td> 
  </tr> 
  <tr> 
   <td>4</td> 
   <td>第3章 Hive数据类型</td> 
   <td><a href="https://blog.csdn.net/qq_43674360/article/details/109997630" rel="nofollow">https://blog.csdn.net/qq_43674360/article/details/109997630</a></td> 
  </tr> 
  <tr> 
   <td>5</td> 
   <td>第4章 DDL数据定义</td> 
   <td><a href="https://blog.csdn.net/qq_43674360/article/details/109998795" rel="nofollow">https://blog.csdn.net/qq_43674360/article/details/109998795</a></td> 
  </tr> 
  <tr> 
   <td>6</td> 
   <td>第5章 DML数据操作(hive笔记)</td> 
   <td><a href="https://blog.csdn.net/qq_43674360/article/details/110002170" rel="nofollow">https://blog.csdn.net/qq_43674360/article/details/110002170</a></td> 
  </tr> 
  <tr> 
   <td>7</td> 
   <td>第六章 hive的简单查询（where ，groupby，join，order by等）</td> 
   <td><a href="https://blog.csdn.net/qq_43674360/article/details/110850375" rel="nofollow">https://blog.csdn.net/qq_43674360/article/details/110850375</a></td> 
  </tr> 
  <tr> 
   <td>8</td> 
   <td>第七章 hive函数讲解（自定义函数）</td> 
   <td><a href="https://blog.csdn.net/qq_43674360/article/details/110877499" rel="nofollow">https://blog.csdn.net/qq_43674360/article/details/110877499</a></td> 
  </tr> 
  <tr> 
   <td>9</td> 
   <td>第8章 hive压缩和存储</td> 
   <td><a href="https://blog.csdn.net/qq_43674360/article/details/110877608" rel="nofollow">https://blog.csdn.net/qq_43674360/article/details/110877608</a></td> 
  </tr> 
  <tr> 
   <td>10</td> 
   <td>第9章 hive企业级调优</td> 
   <td><a href="https://blog.csdn.net/qq_43674360/article/details/110878084" rel="nofollow">https://blog.csdn.net/qq_43674360/article/details/110878084</a></td> 
  </tr> 
  <tr> 
   <td>11</td> 
   <td>第10章 Hive实战之YouTube影音(简化版)</td> 
   <td><a href="https://blog.csdn.net/qq_43674360/article/details/110880957" rel="nofollow">https://blog.csdn.net/qq_43674360/article/details/110880957</a></td> 
  </tr> 
  <tr> 
   <td>12</td> 
   <td>第11章 hive常见错误及解决方案</td> 
   <td><a href="https://blog.csdn.net/qq_43674360/article/details/110881164" rel="nofollow">https://blog.csdn.net/qq_43674360/article/details/110881164</a></td> 
  </tr> 
 </tbody> 
</table>

## ZooKeeper协调服务系统 ##

ZooKeeper是Hadoop和Hbase的重要组件，是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组件服务等，在大数据开发中要掌握ZooKeeper的常用命令及功能的实现方法。

<table> 
 <thead> 
  <tr> 
   <th>序号</th> 
   <th>内容</th> 
   <th>链接地址</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>1</td> 
   <td>zookeeper入门</td> 
   <td><a href="https://blog.csdn.net/qq_43674360/article/details/110948110" rel="nofollow">https://blog.csdn.net/qq_43674360/article/details/110948110</a></td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>zookeeper 内部原理 （选举机制，面试重点）</td> 
   <td><a href="https://blog.csdn.net/qq_43674360/article/details/110948760" rel="nofollow">https://blog.csdn.net/qq_43674360/article/details/110948760</a></td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>zookeeper的分布式安装实战</td> 
   <td><a href="https://blog.csdn.net/qq_43674360/article/details/110948976" rel="nofollow">https://blog.csdn.net/qq_43674360/article/details/110948976</a></td> 
  </tr> 
  <tr> 
   <td>4</td> 
   <td>zookeeper 客户端命令大全（详细，有图片操作步骤）</td> 
   <td><a href="https://blog.csdn.net/qq_43674360/article/details/111039779" rel="nofollow">https://blog.csdn.net/qq_43674360/article/details/111039779</a></td> 
  </tr> 
  <tr> 
   <td>5</td> 
   <td>zookeeper的集群一键启动 和关闭脚本（有图）</td> 
   <td><a href="https://blog.csdn.net/qq_43674360/article/details/111047891" rel="nofollow">https://blog.csdn.net/qq_43674360/article/details/111047891</a></td> 
  </tr> 
  <tr> 
   <td>6</td> 
   <td>zookeeper API 基础</td> 
   <td><a href="https://blog.csdn.net/qq_43674360/article/details/111195413" rel="nofollow">https://blog.csdn.net/qq_43674360/article/details/111195413</a></td> 
  </tr> 
  <tr> 
   <td>7</td> 
   <td>Zookeeper 监听服务器节点动态上下线（代码复制即可用）</td> 
   <td><a href="https://blog.csdn.net/qq_43674360/article/details/111251034" rel="nofollow">https://blog.csdn.net/qq_43674360/article/details/111251034</a></td> 
  </tr> 
 </tbody> 
</table>

## HBase ##

HBase是一个分布式的、面向列的开源数据库，它不同于一般的关系数据库，更适合于非结构化数据存储的数据库，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，大数据开发需掌握HBase基础知识、应用、架构以及高级用法等。

## phoenix ##

## Redis ##

Redis是一个key-value存储系统，其出现很大程度补偿了memcached这类key/value存储的不足，在部分场合可以对关系数据库起到很好的补充作用，它提供了Java，C/C++，C\#，PHP，JavaScript，Perl，Object-C，Python，Ruby，Erlang等客户端，使用很方便，大数据开发需掌握Redis的安装、配置及相关使用方法。

## Flume ##

Flume是一款高可用、高可靠、分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。大数据开发需掌握其安装、配置以及相关使用方法。

## SSM ##

SSM框架是由Spring、SpringMVC、MyBatis三个开源框架整合而成，常作为数据源较简单的web项目的框架。大数据开发需分别掌握Spring、SpringMVC、MyBatis三种框架的同时，再使用SSM进行整合操作。

## Kafka ##

Kafka是一种高吞吐量的分布式发布订阅消息系统，其在大数据开发应用上的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。大数据开发需掌握Kafka架构原理及各组件的作用和使用方法及相关功能的实现。

## Scala ##

Scala是一门多范式的编程语言，大数据开发重要框架Spark是采用Scala语言设计的，想要学好Spark框架，拥有Scala基础是必不可少的，因此，大数据开发需掌握Scala编程基础知识!

## Spark ##

Spark是专为大规模数据处理而设计的快速通用的计算引擎，其提供了一个全面、统一的框架用于管理各种不同性质的数据集和数据源的大数据处理的需求，大数据开发需掌握Spark基础、SparkJob、Spark RDD、spark job部署与资源分配、Spark shuffle、Spark内存管理、Spark广播变量、Spark SQL、Spark Streaming以及Spark ML等相关知识。

## Azkaban ##

Azkaban是一个批量工作流任务调度器，可用于在一个工作流内以一个特定的顺序运行一组工作和流程，可以利用Azkaban来完成大数据的任务调度，大数据开发需掌握Azkaban的相关配置及语法规则。

## 常用工具 ##

intellij idea  
LICEcap  
git  
sourcetree  
navicat  
mobaxterm  
vmvare

[20210111224102657.png]: /images/20221119/753dc0fe9ea44af6bc4965f2f1468943.png