spark-shell 加载本地文件报错 java.io.FileNotFoundException

水深无声 2022-10-14 05:29 132阅读 0赞

学习spark-shell 时候发现一个问题，从本地文件加载数据生成RDD 报错，文件找不到

原因：spark-shell 如果启动了集群模式， 真正负责计算的executor会在，该executor所在的 worker节点上读取文件，并不是在master节点上读取。

解决方案： 把数据文件传给各个worker节点

for i in \{1..2\}; do scp -r /root/spark slave$i:/root/; done

详细情况：

首先  进入spark-shell 集群环境，

./spark-shell --master spark://master:7077 --total-executor-cores 1

执行代码： 读取文件 生成RDD

scala> val rdd1 = sc.textFile("file:///home/hzp/Documents/input.txt")  
rdd1: org.apache.spark.rdd.RDD\[String\] = file:///home/hzp/Documents/input.txt MapPartitionsRDD\[1\] at textFile at <console>:24

然后报错，

scala> rdd1.count()  
2021-05-20 21:58:26,328 WARN scheduler.TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, 192.168.100.102, executor 0): java.io.FileNotFoundException: File file:/home/hzp/Documents/input.txt does not exist  
    at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:666)  
    at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:987)

从报错内容可以看到，IP是一个worker 节点找不到数据文件，

也就是说 sparkContext 生成DAG图 ，并将其发给 task schedule,

然后 task schedule 切分stage（也就是task set 任务集合），

然后，各个worker节点会向，task schedule请求任务，然后 task schedule会根据 “计算向数据靠拢原则”，将对应的计算 发送给计算所需的数据 所在的worker 节点上。

那么如果两个 worker几点上都没数据，那么task 会被随机分给一个worker 节点，然后 该节点找不到数据 就会报错

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70]: /images/20221014/a817572a87c941c793d9d9406e450b44.png