Scala当中parallelize并行化的用法

缺乏、安全感 2021-10-23 14:40 517阅读 0赞

**\[学习笔记\]**

parallelize并行化集合是根据一个已经存在的Scala集合创建的RDD对象。集合的里面的元素将会被拷贝进入新创建出的一个可被并行操作的分布式数据集。  
例如：val rdd03 = sc.parallelize(List(1, 4, 3, 7, 5)) 根据系统环境来进行切分多个slice，每一个slice启动一个Task来进行处理。  
val rdd03 = sc.parallelize(List(1, 4, 3, 7, 5), 5) 指定了partition的数量为5,  
makeRDD和parallelize的区别？makeRDD函数有两种实现，第一种实现其实完全和parallelize一致。而第二种实现可以为数据提供位置信息，除此之外，和parallelize是一致的  
 \*/  
    val rdd03 = sc.parallelize(List(1, 4, 3, 7, 5), 3)  
    val rdd03\_1 = rdd03.map \{ x => x + 1 \}  
    println("map2 用法  is 马克-to-win @ 马克java社区：" + rdd03\_1.collect().mkString(","))  
  
    val rdd04 = sc.parallelize(List(1, 4, 3, 7, 5), 3)  
    val rdd04\_1 = rdd04.filter \{ x => x > 3 \}  
    println("filter2 用法 马克-to-win @ 马克java社区：" + rdd04\_1.collect().mkString(","))  
  
    val rdd05: RDD\[Int\] = sc.makeRDD(Array(1, 4, 3))  
    val rdd06: RDD\[Int\] = sc.makeRDD(Array(7, 5))  
    myunion(rdd05, rdd06)  
    /\*reduce(function)

文章转载自原文：[https://blog.csdn.net/qq\_44596980/article/details/93310016][https_blog.csdn.net_qq_44596980_article_details_93310016]

转载于:https://www.cnblogs.com/haima1949/p/11256267.html

[https_blog.csdn.net_qq_44596980_article_details_93310016]: https://blog.csdn.net/qq_44596980/article/details/93310016

发表评论取消回复

表情：

评论列表（有 0 条评论，517人围观）

还没有评论，来说两句吧...

相关阅读

相关 Parallel.ForEach() 并行循环

在的电脑几乎都是多核的，但在软件中并还没有跟上这个节奏，大多数软件还是采用传统的方式，并没有很好的发挥多核的优势。微软的并行运算平台(Microsoft’s Par...

喜欢ヅ旅行/ 2024年04月18日 21:42/ 0 赞/ 85 阅读

相关 Java8中并行化流parallel的使用

场景 Java8新特性-Stream对集合进行操作的常用API： [Java8新特性-Stream对集合进行操作的常用API\_霸道流氓气质的博客-CSDN博客\_ja

快来打我*/ 2023年10月11日 19:30/ 0 赞/ 34 阅读

相关 Scala的package用法

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

向右看齐/ 2023年10月07日 01:25/ 0 赞/ 48 阅读

相关 Scala当中的Map 映射

key -> value 的语法形式实际上是用库中的隐式转换实现的，实际调用了 Map.apply 方法。Map.apply 方法的参数为一个两元素的元组（键值对）。 map

た入场券/ 2023年03月13日 03:49/ 0 赞/ 32 阅读

相关 mysql8并行查询_并行查询（Parallel Query）

通过Hint来控制并行查询使用Hint语法可以对单个语句进行控制，例如系统默认关闭并行查询情况下，但需要对某个高频的慢SQL查询进行加速，此时就可以使用Hint对特定SQL

电玩女神/ 2022年10月31日 12:15/ 0 赞/ 1194 阅读

相关并行计算—OpenMP—parallel指令

// OpenMP1.cpp : 定义控制台应用程序的入口点。 // include "stdafx.h" include "omp.

女爷i/ 2022年07月14日 23:15/ 0 赞/ 259 阅读

相关 ## scala breakable 的用法

scala breakable 的用法 package com.sydney.dream.learnclass import scala.uti

素颜马尾好姑娘i/ 2022年04月15日 00:47/ 0 赞/ 275 阅读

相关 Spark和Scala当中的collect方法的用法和例子

\[学习笔记\] collect: 收集一个弹性分布式数据集的所有元素到一个数组中,这样便于我们观察，毕竟分布式数据集比较抽象。Spark的collect方法，是Action

╰半夏微凉°/ 2021年10月29日 08:12/ 0 赞/ 322 阅读

相关 Spark Scala当中reduceByKey(_+_) reduceByKey((x,y) => x+y)的用法

\[学习笔记\] reduceByKey(\_+\_)是reduceByKey((x,y) => x+y)的一个简洁的形式 \/ val rdd08

布满荆棘的人生/ 2021年10月23日 18:08/ 0 赞/ 430 阅读

相关 Scala当中parallelize并行化的用法

\[学习笔记\] parallelize并行化集合是根据一个已经存在的Scala集合创建的RDD对象。集合的里面的元素将会被拷贝进入新创建出的一个可被并行操作的分布式数据集。

缺乏、安全感/ 2021年10月23日 14:40/ 0 赞/ 518 阅读