Spark--介绍/简介

柔光的暖阳◎ 2022-11-03 10:47 185阅读 0赞

原文网址：[Spark--介绍/简介\_IT利刃出鞘的博客-CSDN博客][Spark--_IT_-CSDN]

# 编程接口 #

**其他网址**

> [Spark Dataset介绍和使用\_zghgchao-CSDN博客][Spark Dataset_zghgchao-CSDN]  
> [论RDD、DataSet、DataFrame关系及优劣 - osc\_c0usoa3v的个人空间 - OSCHINA - 中文开源技术交流社区][RDD_DataSet_DataFrame_ - osc_c0usoa3v_ - OSCHINA -]  
> [Spark DataSet介绍\_象在舞的技术专栏-CSDN博客][Spark DataSet_-CSDN]

**简介**

> Dataset是从Spark 1.6开始引入的一个新的抽象，当时还是处于alpha版本；然而在Spark 2.0，它已经变成了稳定版了。下面是DataSet的官方定义：
> 
> Dataset是特定域对象中的强类型集合，它可以使用函数或者相关操作并行地进行转换等操作。每个Dataset都有一个称为DataFrame的非类型化的视图，这个视图是行的数据集。上面的定义看起来和RDD的定义类似，RDD的定义如下：
> 
> RDD也是可以并行化的操作，DataSet和RDD主要的区别是：DataSet是特定域的对象集合；然而RDD是任何对象的集合。DataSet的API总是强类型的；而且可以利用这些模式进行优化，然而RDD却不行。
> 
> Dataset的定义中还提到了DataFrame，DataFrame是特殊的Dataset，它在编译时不会对模式进行检测。在未来版本的Spark，Dataset将会替代RDD成为我们开发编程使用的API（注意，RDD并不是会被取消，而是会作为底层的API提供给用户使用）。

[Spark--_IT_-CSDN]: https://knife.blog.csdn.net/article/details/114177988
[Spark Dataset_zghgchao-CSDN]: https://blog.csdn.net/qq_22027637/article/details/78881977
[RDD_DataSet_DataFrame_ - osc_c0usoa3v_ - OSCHINA -]: https://my.oschina.net/u/4346575/blog/4500810
[Spark DataSet_-CSDN]: https://blog.csdn.net/gdkyxy2013/article/details/89513268

发表评论取消回复

表情：

评论列表（有 0 条评论，185人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark简介

文章目录一、简介二、安装 1、简介 2、本地部署(Local模式) 2

灰太狼/ 2024年02月21日 10:38/ 0 赞/ 40 阅读

相关 Spark入门系列(1)-Spark简介

概述 [官网][Link 1] Spark 是加州大学伯克利分校 AMP（Algorithms，Machines，People）实验室开发的通用内存并行计算框架。

亦凉/ 2023年10月10日 12:27/ 0 赞/ 31 阅读

相关 Spark Streaming简介

参考：[Spark Streaming介绍][Spark Streaming] [SparkStreaming 介绍][SparkStreaming] [SparkStre

电玩女神/ 2023年03月01日 06:07/ 0 赞/ 158 阅读

相关 Spark--介绍/简介

原文网址：[Spark--介绍/简介\_IT利刃出鞘的博客-CSDN博客][Spark--_IT_-CSDN] 编程接口其他网址 > [Spark Dataset介

柔光的暖阳◎/ 2022年11月03日 10:47/ 0 赞/ 186 阅读

相关 spark简介 1

spark是一个统一的大数据分析引擎。 spark优点：快速：Apache Spark 使用最先进的 DAG 调度器、查询优化器和物理执行引擎，为批处理和流数据实现

「爱情、让人受尽委屈。」/ 2022年08月31日 13:24/ 0 赞/ 133 阅读

相关 Spark简介

Apark Spark是一个可跨不同工作负载和平台的统一的分布式计算引擎。可通过自有的各种组件(Spark Streaming、Spark ML、Spark SQL、Spark

末蓝、/ 2022年08月30日 11:36/ 0 赞/ 189 阅读

相关 spark 介绍

1、Spark介绍 Spark是起源于美国加州大学伯克利分校AMPLab的大数据计算平台，在2010年开源，目前是Apache软件基金会的顶级项目。随着 Spar

迷南。/ 2022年07月13日 20:11/ 0 赞/ 164 阅读

相关 Spark MLlib简介

Spark之所以在机器学习方面具有得天独厚的优势，有以下几点原因：（1）机器学习算法一般都有很多个步骤迭代计算的过程，机器学习的计算需要在多次迭代后获得足够小的误差或者足够

秒速五厘米/ 2022年06月14日 21:16/ 0 赞/ 224 阅读

相关 Spark系列--Spark Streaming(一)Spark Streaming简介

一、简介 Spark Streaming类似于Apache Storm，用于流式数据的处理。根据其官方文档介绍，Spark Streaming有高吞吐量和容错能力强等特点

傷城~/ 2022年05月17日 23:28/ 0 赞/ 340 阅读

相关 spark简介

学习教程： [https://www.cnblogs.com/qingyunzong/category/1202252.html][https_www.cnblogs.com

女爷i/ 2022年05月14日 05:42/ 0 赞/ 152 阅读