spark基础

你的名字 2022-04-10 05:22 175阅读 0赞

查看hdfs文件分块

hdfs dfs -mkdir -p /events/data

hdfs dfs -put /xxx/xx/3.csv(本地目录) /events/data（hdfs目录）

hdfs fsck /events/data/events.csv -files -blocks //查看文件有多少个物理分块

128M一块，所以1.17G被分成9个物理块，这个文件用spark来装逻辑块，如果一条记录数据量不大的话，

物理块基本等于逻辑块数量，如果太大，可能会不一样。

它的意思就是比如说极端情况下，我有130M的文件，这是2个物理块对吧，一个128M，一个2M，假设我极端情况只有2条数据，那物理块那一刀其实是切在我第二条数据的尾巴了，所以说第二个物理块上有我不可分割的数据，虽然是两个物理块，

但实际上只是1个逻辑块。

![20181225155420459.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0OTU2NDI_size_16_color_FFFFFF_t_70][]

spark分区：

默认的就是文件有多少个逻辑块装进spark，就有多少个分区。

当然你可以自己设置分区的数目，这样的话，比如你机器很充裕，你可以按你机器的数量来分区。这是有别

于mapreduce的地方。

val wc = sc.textFile("hdfs:///events/data/3.txt",20) //从hdfs加载文件

val wc = sc.textFile("file:///home/liugen/3.txt",20) //分成20个分区，默认是按hdfs中逻辑块的数量来分。

val data=wc.partitions.size //wc是一个RDD对象，查看他分区的数量

vale data=wc.repartition(25) //在wc的基础上重新生成一个25分区的变量

[20181225155420459.png]: /images/20220402/1346cd90226940ea9f059c2faa3b5c39.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0OTU2NDI_size_16_color_FFFFFF_t_70]: /images/20220402/93cb7cbe9a784bf0ad2720a554f82d3e.png

发表评论取消回复

表情：

评论列表（有 0 条评论，175人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark基础篇

[640?wx\_fmt=png][640_wx_fmt_png] **Spark概述** ![640?wx\_fmt=png][640_wx_fmt_png] S...

一时失言乱红尘/ 2024年04月17日 05:28/ 0 赞/ 64 阅读

相关 Spark基础 DAG

为什么使用spark的原因是早期的编程模式MapReduce缺乏对数据共享的高效元语，会造成磁盘I/O 以及序列号等开销，spark提出了统一的编程抽象---弹性分

叁歲伎倆/ 2023年06月30日 08:39/ 0 赞/ 26 阅读

相关 Spark基础

Spark基础一、前言使用语言：scala 术语：Resilient Distributed Datasets（RDD）二、弹性分布式数据集(RDD)定

小鱼儿/ 2022年09月29日 06:30/ 0 赞/ 167 阅读

相关 Spark编程基础总结

初始化Spark // 创建spark配置 val conf = new SparkConf().setAppName(appName).setMaste

电玩女神/ 2022年09月11日 06:19/ 0 赞/ 23 阅读

相关 spark基础

1. Spark概述 1.1Spark是什么 > Spark是内存计算系统，2009年它出品于UCBerkeley AMPLab伯克利下属实验室，它最早是一片博士论

刺骨的言语ヽ痛彻心扉/ 2022年06月13日 09:29/ 0 赞/ 180 阅读

相关 spark基础知识(转)

Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之

客官°小女子只卖身不卖艺/ 2022年05月06日 06:36/ 0 赞/ 195 阅读

相关 Spark RDD基础

Spark RDD基础 [IDEA 创建scala spark的Mvn项目][IDEA _scala spark_Mvn]：[https://blog.csdn.net/

比眉伴天荒/ 2022年04月13日 13:13/ 0 赞/ 247 阅读

相关 spark基础

查看hdfs文件分块 hdfs dfs -mkdir -p /events/data hdfs dfs -put /xxx/xx/3.csv(本地目录) /events/d

你的名字/ 2022年04月10日 05:22/ 0 赞/ 176 阅读

相关 Spark的基础应用

目的要求 1. 搭建Spark集群环境； 2. Spark集群的启动、浏览与关闭； 3. 使用Eclipse编写Spark应用程序包； 4. 如何运行Spark任

ゝ一世哀愁。/ 2022年01月12日 15:33/ 0 赞/ 272 阅读

相关 Spark ML数学基础

声明：代码主要以Scala为主，希望广大读者注意。本博客以代码为主，代码中会有详细的注释。相关文章将会发布在我的个人博客专栏[《Spark 2.0机器学习》][

灰太狼/ 2021年09月19日 02:24/ 0 赞/ 364 阅读