Spark 远程读写 Hive (HDFS) 失败

悠悠 2021-09-23 23:44 628阅读 0赞

[WARN] - I/O error constructing remote block reader.
    java.net.ConnectException: Connection timed out: no further information
        
        ...
    
    [WARN] - Connection failure: Failed to connect to /10.0.0.24:9866 for file /user/hive/warehouse/hw_data.db/dws/dws_hw_ltv_detail/date=2019-08-14/part-00000-d037228a-1815-4288-a9ac-10b3062090d8.c000 for block BP-1993280466-192.168.100.45-1566407732189:blk_1075498905_1760462:java.net.ConnectException: Connection timed out: no further information
    java.net.ConnectException: Connection timed out: no further information

### **问题** ###

CDH6.2集群，跟本地电脑不在同一局域网，Spark 读取 Hive 报以上错。

### **检查** ###

1. 本地及远程 HDFS 服务器都已配置好映射。

2. 已开放远程服务器防火墙，9866端口。

3. 远程连接 Namenode WebUI 及访问 HDFS 没问题，但是不能通过 WebUI 下载文件。

http://cdh-slave01:9870

4. HDFS API直接读取文件没问题，只能查看目录，不能查看文件内容。

读取目录没问题

val conf = new Configuration()
        conf.addResource("hdfs-site.xml")
    
        val fs = FileSystem.get(conf)
        val files = fs.listFiles(new Path("/dw"),true)
    
        while (files.hasNext) {
          println(files.next().getPath)
        }

读取文件报错

val conf = new Configuration()
        conf.addResource("hdfs-site.xml")
    
        val fs = FileSystem.get(conf)
    
        val path = "hdfs://BigdataCluster/dw/test.txt"
        val fis = fs.open(new Path(path))
        IOUtils.copyBytes(fis, System.out, 4096, true)

5. Spark 读取 Hive 报错。

val rdd = spark.sparkContext.textFile("/dw/test.txt")
     
        rdd.foreach(println)

### **原因** ###

Namenode 与 Datanode之间是内网通讯，HDFS 中的元数据是存放在 Namenode 上，所以 Namenode 返回的是数据所在节点的内网 ip，客户端使用 NameNode 提供的 ip 地址来连接到 Datanode，因为不在一个局域网，客户端无法访问此内网IP地址。

### **解决** ###

客户端对 DataNode 主机名执行 DNS 解析。

1. 初始化SparkSession时，配置客户端采用 hostname 访问 Datanode。

.config("dfs.client.use.datanode.hostname", "true")

2. 或者 IDEA 中修改 hdfs-site.xml 配置文件。

<property>
        <name>dfs.client.use.datanode.hostname</name>
        <value>true</value>
      </property>

*  设置完成，仍然报错，但显示被拒绝连接：

[WARN] - I/O error constructing remote block reader.
    java.net.ConnectException: Connection refused: no further information
    
        ...
    
    Connection failure: Failed to connect to /10.0.0.23:9866 for file /user/hive/warehouse/hw_data.db/ads/ads_hw_new_user_count/part-00000-928e4831-6e7e-4bb1-a112-1bf618e61894-c000.snappy.orc 
    for block BP-1993280466-192.168.100.45-1566407732189:blk_1075723576_1985133:java.net.ConnectException: Connection timed out: no further information
    java.net.ConnectException: Connection timed out: no further information

检查端口，发现服务监听的是内网ip：

![20200302142532165.png][]

进入CDH 的 HDFS 配置，搜索 通配符地址，勾选 DataNode，重启生效。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmdlaW8_size_16_color_FFFFFF_t_70][]

再查看端口：

![20200302145258187.png][]

再运行 Spark 已经没问题，问题解决。

[20200302142532165.png]: /images/20210923/58065c1cf9784b97848ebc38d0a11a78.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmdlaW8_size_16_color_FFFFFF_t_70]: /images/20210923/fbebb31c3383446ba6f608b445e55009.png
[20200302145258187.png]: /images/20210923/1a239bee9abe45ed943868aa97c16cea.png