大数据--框架介绍/选型/对比

心已赠人 2022-10-31 13:40 181阅读 0赞

原文网址：[大数据--框架介绍/选型/对比\_IT利刃出鞘的博客-CSDN博客\_大数据三大框架][--_IT_-CSDN]

# 简介 #

**hadoop**

>  *  是一个文件系统，外加一个离线处理框架（map-reduce执行框架），主要用于海量数据文件的保存、非实时的海量数据的计算。
>  *  提供的上层api不太友好，且mapreduce处理框架比较慢，现在基本上只拿它来作为文件系统使用。

**spark**

>  *  是一个执行引擎，本身不保存数据，需要外部的文件系统来保存数据，很多时候会基于hadoop来保存数据。
>  *  spark计算时尽可能把数据放到内存中（基于内存），还提供了很好的上层用户使用的接口，包括spl语句（spark sql），处理数据十分方便。它比map-reduce处理框架（基于磁盘）要快很多倍。现在基本上用它来做离线数据处理。

**storm**

>  *  是一个实时数据处理框架，只提供最基本的数据流传输框架元素和基本的数据流接口，用户需要自己编写处理过程和处理逻辑。

**flink**

>  *  是实时数据处理系统，自己有一套完整的生态。上层提供了很多数据处理算子（接口函数）供用户使用，对用户更加友好，方便使用。现在很多公司都用它来进行实时数据处理。

# Hadoop、Spark、Flink #

**其他网址**

> [Hadoop对比：Hadoop、Spark、Flink三大框架对比 - 知乎][Hadoop_Hadoop_Spark_Flink_ -]

**1、数据处理对比**

> Hadoop专为批处理而生，一次将大量数据集输入到输入中，进行处理并产生结果。  
> Spark：定义是一个批处理系统，但也支持流处理。  
> Flink：支持批处理和流处理。两者可以单独运行，也可以流批一体地运行。

**2、流引擎对比**

> Hadoop：Hadoop默认的MapReduce，仅面向于批处理。  
> Spark：Spark Streaming以微批处理数据流，实现**准实时**的批处理和流处理。  
> Flink：Flink是真正的**实时**流引擎，使用流来处理工作负载，包括流，SQL，微批处理和批处理。

**3、数据流对比**

> Hadoop：MapReduce计算数据流没有任何循环，每个阶段使用上一阶段的输出，并为下一阶段产生输入。  
> Spark：尽管机器学习算法是循环数据流，但Spark将其表示为（DAG）直接非循环图或有向无环图。  
> Flink：Flink在运行时支持受控循环依赖图，支持机器学习算法非常有效。

**4、计算模型对比**

> Hadoop：MapReduce采用了面向批处理的模型，批处理静态数据。  
> Spark：Spark采用了微批处理。微批处理本质上是一种“先收集再处理”的计算模型。  
> Flink：Flink采用连续流式流传输模型，实时对数据进行处理，而不会在收集数据或处理数据时出现任何延迟。

**5、性能对比**

> Hadoop：Hadoop仅支持批处理，不支持处理流数据，与Spark和Flink相比，性能会降低。  
> Spark：支持微批处理，但流处理效率不如Apache Flink。  
> Flink： 性能很强。Flink使用本机闭环迭代运算符，尤其在支持机器学习和图形处理方面，表现优异。

**6、内存管理对比**

> Hadoop：提供可配置的内存管理，可以动态或静态地执行此操作。  
> Spark：提供可配置的内存管理，从Spark 1.6开始已朝着自动进行内存管理的方向发展。  
> Flink：有自己的内存管理系统，提供自动内存管理。

# Spark VS Storm #

**其他网址**

> [spark与storm的对比 - 呢喃的歌声 - 博客园][spark_storm_ - _ -]

<table> 
 <tbody> 
 <tr> 
 <td style="width:202px;"> 对比点 </td> 
 <td style="width:509px;"> Spark Streaming </td> 
 <td style="width:376px;"> Storm </td> 
 </tr> 
 <tr> 
 <td style="width:202px;"> 实时计算模型 </td> 
 <td style="width:509px;"> 准实时，对一个时间段内的数据收集起来，作为一个RDD，再处理 </td> 
 <td style="width:376px;"> 纯实时，来一条数据，处理一条数据 </td> 
 </tr> 
 <tr> 
 <td style="width:202px;"> 实时计算延迟度 </td> 
 <td style="width:509px;"> 秒级 </td> 
 <td style="width:376px;"> 毫秒级 </td> 
 </tr> 
 <tr> 
 <td style="width:202px;"> 吞吐量 </td> 
 <td style="width:509px;"> 高 </td> 
 <td style="width:376px;"> 低 </td> 
 </tr> 
 <tr> 
 <td style="width:202px;"> 事务机制 </td> 
 <td style="width:509px;"> 支持，但不够完善 </td> 
 <td style="width:376px;"> 支持完善 </td> 
 </tr> 
 <tr> 
 <td style="width:202px;"> 健壮性 / 容错性 </td> 
 <td style="width:509px;"> Checkpoint，WAL，一般 </td> 
 <td style="width:376px;"> ZooKeeper，Acker，非常强 </td> 
 </tr> 
 <tr> 
 <td style="width:202px;"> 动态调整并行度 </td> 
 <td style="width:509px;"> 不支持 </td> 
 <td style="width:376px;"> 支持 </td> 
 </tr> 
 </tbody> 
</table>

**Storm使用场景**

> 1、建议在那种需要纯实时，不能忍受1秒以上延迟的场景下使用，比如实时金融系统，要求纯实时进行金融交易和分析  
> 2、此外，如果对于实时计算的功能中，要求可靠的事务机制和可靠性机制，即数据的处理完全精准，一条也不能多，一条也不能少，也可以考虑使用Storm  
> 3、如果还需要针对高峰低峰时间段，动态调整实时计算程序的并行度，以最大限度利用集群资源（通常是在小型公司，集群资源紧张的情况），也可以考虑用Storm  
> 4、如果一个大数据应用系统，它就是纯粹的实时计算，不需要在中间执行SQL交互式查询、复杂的transformation算子等，那么用Storm是比较好的选择

**Spark Streaming使用场景**

> 1、如果对上述适用于Storm的三点，一条都不满足的实时场景，即，不要求纯实时，不要求强大可靠的事务机制，不要求动态调整并行度，那么可以考虑使用Spark Streaming  
> 2、考虑使用Spark Streaming最主要的一个因素，应该是针对整个项目进行宏观的考虑，即，如果一个项目除了实时计算之外，还包括了离线批处理、交互式查询等业务功能，而且实时计算中，可能还会牵扯到高延迟批处理、交互式查询等功能，那么就应该首选Spark生态，用Spark Core开发离线批处理，用Spark SQL开发交互式查询，用Spark Streaming开发实时计算，三者可以无缝整合，给系统提供非常高的可扩展性

**Spark Streaming与Storm的优劣分析**

> Spark Streaming绝对谈不上比Storm优秀。这两个框架在实时计算领域中，都很优秀，只是擅长的细分场景并不相同。
> 
> Spark Streaming仅仅在吞吐量上比Storm要优秀，而吞吐量这一点，也是历来挺Spark Streaming，贬Storm的人着重强调的。但是问题是，是不是在所有的实时计算场景下，都那么注重吞吐量？不尽然。因此，通过吞吐量说Spark Streaming强于Storm，不靠谱。
> 
> Storm在实时延迟度上，比Spark Streaming就好多了，前者是纯实时，后者是准实时。而且，Storm的事务机制、健壮性 / 容错性、动态调整并行度等特性，都要比Spark Streaming更加优秀。
> 
> Spark Streaming，有一点是Storm绝对比不上的，就是：它位于Spark生态技术栈中，因此Spark Streaming可以和Spark Core、Spark SQL无缝整合，也就意味着，我们可以对实时处理出来的中间数据，立即在程序中无缝进行延迟批处理、交互式查询等操作。这个特点大大增强了Spark Streaming的优势和功能。

# Spark VS Flink #

**其他网址**

> [spark与flink比较？在国内的现状如何？ - 知乎][spark_flink_ -]

<table style="width:500px;"> 
 <tbody> 
 <tr> 
 <td>项</td> 
 <td>Spark</td> 
 <td>Flink</td> 
 </tr> 
 <tr> 
 <td>成熟度</td> 
 <td>高（因为起步早）</td> 
 <td>低</td> 
 </tr> 
 <tr> 
 <td>侧重点</td> 
 <td>批处理</td> 
 <td>流处理</td> 
 </tr> 
 <tr> 
 <td>实时性</td> 
 <td>准实时</td> 
 <td>真正实时</td> 
 </tr> 
 <tr> 
 <td>流行度</td> 
 <td>使用的公司较多。</td> 
 <td>较少（因为起步晚）</td> 
 </tr> 
 <tr> 
 <td>性能</td> 
 <td>弱于Flink</td> 
 <td>强于Spark</td> 
 </tr> 
 <tr> 
 <td>发展趋势</td> 
 <td>发展趋势不如Flink</td> 
 <td>发展趋势好于Spark</td> 
 </tr> 
 <tr> 
 <td>好用的地方</td> 
 <td>批处理</td> 
 <td>时间机制、状态管理、流批一体</td> 
 </tr> 
 </tbody> 
</table>

[--_IT_-CSDN]: https://knife.blog.csdn.net/article/details/113957602
[Hadoop_Hadoop_Spark_Flink_ -]: https://zhuanlan.zhihu.com/p/108006531
[spark_storm_ - _ -]: https://www.cnblogs.com/yaohaitao/p/5703288.html
[spark_flink_ -]: https://www.zhihu.com/question/437569406