关于RDD的打印输出（来自官网）

川长思鸟来 2022-06-03 07:20 273阅读 0赞

Printing elements of an RDD

Another common idiom is attempting to print out the elements of an RDD using rdd.foreach(println) or rdd.map(println). On a single machine, this will generate the expected output and print all the RDD’s elements. However, in cluster mode, the output to stdout being called by the executors is now writing to the executor’s stdout instead, not the one on the driver, so stdout on the driver won’t show these! To print all elements on the driver, one can use the collect() method to first bring the RDD to the driver node thus: rdd.collect().foreach(println). This can cause the driver to run out of memory, though, because collect() fetches the entire RDD to a single machine; if you only need to print a few elements of the RDD, a safer approach is to use the take(): rdd.take(100).foreach(println).

关于RDD的输出，官网上是以上叙述：  
意思就是：利用rdd.foreach(println) 或者 rdd.map(println)，在一台机器上时，会得到理想的输出，打印出所有的RDD的数值；但在集群环境中，输出会被executors唤起，被写到executors的输出，而不是驱动所在的主机，所以在主机上不会显示打印信息，为了能够在主机上打印信息，要使用collect()函数首先把RDD放到主机节点上，rdd.collect().foreach(println),但因为collect()会将整个RDD的数据放到主机上，会使得驱动主机内存溢出。如果你只想打印出有限个RDD数据，一个靠谱的方法就是用take():rdd.take(100).foreach(println)

发表评论取消回复

表情：

评论列表（有 0 条评论，273人围观）

还没有评论，来说两句吧...

相关阅读

相关 jquery官网(jquery下载官网)

官网在哪里官网　　官方论坛 ![jquery官网(jquery下载官网)\_jquery官网(jquery下载官网)][jquery_jquery_jquery_

ゝ一世哀愁。/ 2023年09月26日 15:01/ 0 赞/ 50 阅读

相关 Java打印输出:竞彩网首页

Java打印输出数据println和print打印输出数据，System.out.println System.out.println("竞彩网首页");//竞彩网首

我就是我/ 2023年09月24日 14:16/ 0 赞/ 32 阅读

相关 kafka快速安装教程(来自kafka官网)

[http://kafka.apache.org/quickstart][http_kafka.apache.org_quickstart] Quickstart This

秒速五厘米/ 2023年07月23日 11:54/ 0 赞/ 5 阅读

相关如何打印Spark RDD中的内容

一、方法 2种方式： 1 rdd.collect().foreach \{println\} 2 rdd.t

迈不过友情╰/ 2022年07月16日 09:29/ 0 赞/ 446 阅读

相关 Spark关于Java的RDD操作

在之前的文章中[Spark的demo对RDD的简单操作][Spark_demo_RDD]，通过学习《Spark快速大数据分析》，记录一下对RDD的详细操作 1.转化操作

傷城~/ 2022年07月13日 05:49/ 0 赞/ 213 阅读

相关关于RDD的打印输出（来自官网）

Printing elements of an RDD Another common idiom is attempting to print out the element

川长思鸟来/ 2022年06月03日 07:20/ 0 赞/ 274 阅读

相关 pyspark输出RDD中的内容

-- coding: utf-8 -- import sys reload(sys) sys.setdefaultencoding('utf-

刺骨的言语ヽ痛彻心扉/ 2022年05月20日 08:15/ 0 赞/ 216 阅读

相关 RocketMQ最佳实践--来自官网

RocketMQ最佳实践来源：[https://github.com/apache/rocketmq/blob/master/docs/cn/best\_practic

川长思鸟来/ 2022年02月03日 23:17/ 0 赞/ 200 阅读

相关 2011年全国大学生电子设计竞赛试题--来自官网

[2011年全国大学生电子设计竞赛试题下载--来自官网][2011_--] [http://bbs.eeworld.com.cn/thread-300613-1-

桃扇骨/ 2021年11月27日 07:34/ 0 赞/ 319 阅读

相关 nmap简介(原文来自官网)

![Center][] [Center]: /images/20210923/d8a7c5115d8c4cc0b31944a84ddf55b5.png

电玩女神/ 2021年09月26日 11:50/ 0 赞/ 279 阅读