走进Spark

本是古典何须时尚 2021-11-05 15:58 370阅读 0赞

** A.Spark是什么？**

快如闪电的搜索引擎

是一个通用的分析引擎，用来进行大规模的数据处理

实际上Spark同样也是解决了大数据怎么计算的问题

Spark的特点:

1,速度快:

比hadoop 2.x  mapreduce快100多倍，在磁盘上处理数据也比mr快10块

因为Spark基于内存运算，Spark基于特有的DAG有向无环图。

2.易用性

允许多种语言（java，scala,r,sql）快速编写程序，提供了80多种高级操作算子,写程序更加方便

3.通用性:

无缝整合一些组件（Sparksql，sparkStreaming） 一个技术栈能做所有事.

4.运行在任何地点:

Spark可以运行hadoop hdfs上，独立或者云上

Spark可以访问接受不同的数据源

Spark搭建环境三种模式:

（1),本地模式,不涉及集群，用多线程模拟集群效果

（2).Standalone 独立模式 相当于我们hadoop伪分布式

（3).onyarn  相当于完全分布式，在hdfs上搭建

**B.Spark替代hadoop? **

错误的，Spark解决了大数据怎么算的问题.

hadoop解决存储跟计算.

**C.Spark技术栈（一个技术栈能完成任何事情）（技术栈就是Sapark组件）**

a,SparkSql (用于处理结构化数据)

b,SparkStreaning (微批实时处理:伪实时处理)：每一批数据128m,装入一电梯里面,每一批数据处理的快,达到秒级别。

c. Milib 机器学习

d. Graphx  图处理

e, R r语言包

**D.Spark 与Hadoop进行对比**

速度上  Spark 比hadoop mr 快（mr慢:磁盘io次数太多，慢，开销比较大）

硬件上：Spark 基于内存（好，128g,整体硬件要求都非常高，成本高）hadoop  廉价机，成本低

**E.Spark核心:RDD(弹性分布式数据集)**

1,通过现有的集合创建出rdd

2,从存储里面去创建rdd

**F:Rdd:五个特性:**

1.多个分区的集合

2.一个函数可以计算多个切片

3.每一个rdd都依赖于其他rdd

4.可以将rdd中的分区重新分区

5.本地切片将在本地运算（数据本地性）

![640?wx\_fmt=png][640_wx_fmt_png]

[640_wx_fmt_png]: /images/20211104/4257f96f0930473cb640cbd6f613ae4f.png

发表评论取消回复

表情：

评论列表（有 0 条评论，370人围观）

还没有评论，来说两句吧...

相关阅读

相关走进Spark Streaming

[640?wx\_fmt=png][640_wx_fmt_png] **离散流DStream** ![640?wx\_fmt=png][640_wx_fmt_png]...

柔光的暖阳◎/ 2024年04月18日 11:25/ 0 赞/ 24 阅读

相关走进JVM

JVM的位置在操作系统之上，可以想象成一个软件，Java程序都运行在上面 ![在这里插入图片描述][0d13e3633a2242d6a04102bb4db8729b

系统管理员/ 2023年09月24日 17:42/ 0 赞/ 20 阅读

相关走进Java

Java主要的优点： 1. 摆脱了平台的束缚，实现了“一次编译，到处运行”。 2. 提供了一个相对安全内存管理和访问机制，完善的垃圾回收机制，避免绝大部分内存泄漏和指针越

向右看齐/ 2022年09月23日 03:59/ 0 赞/ 164 阅读

相关走进Reac

走进React 　　React是一个构建用户界面的JavaScript库，是Facebook公司在2013年5月在github上开源的。其特点如下：高效--Re

小灰灰/ 2022年07月11日 08:57/ 0 赞/ 202 阅读

相关走进Vue.js

原文链接：http://www.jianshu.com/p/78c9e5342990 Vue.js作为目前最热门最具前景的前端框架之一，其提供了一种帮助我们快速构建并开发前端

一时失言乱红尘/ 2022年06月13日 14:18/ 0 赞/ 169 阅读

相关走进jvm

java源代码是怎么被机器识别并执行的呢?答案是java虚拟机,即java virtual machine. 1、字节码(也称中间码,bytecode) 一、java所有的

亦凉/ 2022年03月18日 13:26/ 0 赞/ 214 阅读

相关走进SparkStreaming

Spark Streaming类似于Apache Storm，但是sparkStreaming用于微批实时处理。官方文档介绍，Spark Streaming有高吞吐量和容错能力

向右看齐/ 2021年11月10日 15:26/ 0 赞/ 354 阅读

相关走进Spark

A.Spark是什么？快如闪电的搜索引擎是一个通用的分析引擎，用来进行大规模的数据处理实际上Spark同样也是解决了大数据怎么计算的问

本是古典何须时尚/ 2021年11月05日 15:58/ 0 赞/ 371 阅读

相关走进压力测试

> 首先声明：本人并非专业测试人员，而是在项目开发过程当中正好接触到了压力测试的环节，特此对压力测试做了一些简单的了解。本文围绕压力测试相关的一些问题作出相应的整理，希望可以帮

曾经终败给现在/ 2021年11月05日 05:06/ 0 赞/ 654 阅读

相关走进 Java 异常

点击上方 [Java后端][Java]，选择设为星标优质文章，及时送达 -------------------- 作者：北冥有只鱼链接：segmentfault.

た入场券/ 2021年08月29日 13:12/ 0 赞/ 355 阅读