Spark概述

﹏ヽ暗。殇╰゛Y 2022-03-30 04:18 181阅读 0赞

1. Spark定义  
构建与计算集群之上支持大数据集的快速的通用的处理引擎  
a)快速： DAG、Memory  
b)通用：集成Spark SQL、Streaming、Graphic、R、Batch Process  
c)运行方式：  
StandAlone  
YARN  
Mesos  
AWS  
d)数据来源：  
Hdfs Hbase Tachyon Cassandra Hive  
and Any Hadoop Data Source  
2.Spark协议栈  
2.1 Hadoop生态系统  
![740756-20160110101410012-1353836793.png][]  
2.2 Spark协议栈  
![740756-20160110101425371-1893414780.png][]  
2.3 Spark VS Mapreduce

![740756-20160110101437481-1303745316.png][]

MapReduce 与Spark比较  
1.what? 处理对象  
a)MapReduce:基于磁盘File的大数据处理系统  
b）Spark：基于RDD(弹性分布式数据集)，可以显示的将RDD数据存储到磁盘和内存中  
2.where(软硬件上下文)？  
a)MapReduce: Disk  
b)Spark: Mem  
3.when？(应用场景)  
a)MapReduce：可以处理超大规模数据，适合日志分析挖掘等迭代较少的长任务需求，结合了数据的分布式的计算  
b)spark：适合数据的挖掘，机器学习等多伦迭代式计算任务

容错性：  
a)数据容错性  
MapReduce：容错性基于HDFS 冗余机制 ->安全模式->数据校验->元数据保护  
spark：容错性基于RDD，spark容错性比mapreduce容错性低，但在处理效率上优势比较明显  
b)节点容错性

[740756-20160110101410012-1353836793.png]: /images/20220330/9c2b8a0260cd472ab5d8068d839fa359.png
[740756-20160110101425371-1893414780.png]: /images/20220330/875899a46aa84c38aa9b220373fd683a.png
[740756-20160110101437481-1303745316.png]: /images/20220330/58eb7a39c6994fd2aa412e2d809a20fb.png

发表评论取消回复

表情：

评论列表（有 0 条评论，181人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark Streaming 概述

1.Spark Streaming 概述 ![1604514-20190709031314088-2129681065.png][] 1.1 Spark Stre...

逃离我推掉我的手/ 2024年04月20日 09:10/ 0 赞/ 32 阅读

相关 Spark (一) --------- Spark 概述

目录一、Spark 是什么二、Spark and Hadoop 三、Spark or Hadoop 四、Spark 核心模块 -------

红太狼/ 2024年04月07日 10:14/ 0 赞/ 32 阅读

相关 spark概述

一系列问题：重复计算、使用范围的局限性、资源分配、统一管理为了解决上述MapReduce及各种处理框架所带来的问题，加州大学伯克利分校推出了Sp

小灰灰/ 2024年02月19日 15:26/ 0 赞/ 5 阅读

相关 Spark内核概述

1、Spark核心组件 -------------------- 1.1 Cluster Manager(Master,ResourceManager) Spa

骑猪看日落/ 2023年06月25日 04:56/ 0 赞/ 35 阅读

相关 Spark概述

Spark概述一、什么是Spark Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 Hadoop主要解决，海量数据的存储和海量数据的分析计

刺骨的言语ヽ痛彻心扉/ 2022年12月29日 09:39/ 0 赞/ 135 阅读

相关 Java-Spark系列1-spark概述

文章目录一.大数据技术栈二.Spark概述 2.1 MapReduce框架局限性 2.2 Hadoop生态圈中的各种框架

阳光穿透心脏的1/2处/ 2022年09月12日 06:48/ 0 赞/ 206 阅读

相关 Spark概述

1. Spark定义构建与计算集群之上支持大数据集的快速的通用的处理引擎 a)快速： DAG、Memory b)通用：集成Spark SQL、Streaming、

﹏ヽ暗。殇╰゛Y/ 2022年03月30日 04:18/ 0 赞/ 182 阅读

相关 Spark之Spark概述

Spark之Spark概述 -------------------- 1. 什么是Spark 2. Spark内置项目介绍 3. Spark特点 4. Spar

梦里梦外;/ 2022年01月14日 14:31/ 0 赞/ 275 阅读

相关 1 Spark概述

第1章 Spark概述 1.1 什么是Spark ![1545976-20190803012243676-1725156682.png][] ![1545976

今天药忘吃喽~/ 2021年10月29日 08:14/ 0 赞/ 281 阅读

相关 Spark 概述

Spark 是什么？ ● 官方文档解释：Apache Spark is a fast and general engine for large-scale data pr...

红太狼/ 2021年03月28日 15:39/ 0 赞/ 577 阅读