集群配置常见错误定位及解决方案

今天药忘吃喽~ 2022-04-05 08:52 1019阅读 0赞

### 集群配置常见错误及解决方案 ###

*  1.防火墙没关闭、或者没启动YARN
 *  2.主机名称配置错误
 *  3.IP地址配置错误
 *  4.ssh没有配置好
 *  5.单点启动集群时，启动集群用户不同
 *  6.配置文件缺这缺那
 *  7.hadoop未编译源码
 *  8.不识别主机名称
 *  9.不能开启多个DataNode和NameNode进程
 *  10.jps发现进程已经没有，但是重新启动集群，提示进程已经开启
 *  11.jps不生效
 *  12.8088端口连接不上

# 1.防火墙没关闭、或者没启动YARN #

报错为：INFO client.RMProxy: Connecting to ResourceManager at hadoop102/192.168.10.102:8032

# 2.主机名称配置错误 #

参考：[总目录][Link 1]（搭建的准备环境）

# 3.IP地址配置错误 #

参考：[总目录][Link 1]（搭建的准备环境）

# 4.ssh没有配置好 #

参考：[总目录][Link 1]（Hadoop完全分布式集群的搭建）

# 5.单点启动集群时，启动集群用户不同 #

# 6.配置文件缺这缺那 #

# 7.hadoop未编译源码 #

报错为：Unable to load native-hadoop library for your platform… using builtin-java classes where applicable  
17/05/22 15:38:58 INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032

# 8.不识别主机名称 #

报错：

java.net.UnknownHostException: hadoop102: hadoop102
            at java.net.InetAddress.getLocalHost(InetAddress.java:1475)
            at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:146)
            at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
            at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
            at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)

解决：  
1.在/etc/hosts文件中添加192.168.1.102 hadoop102  
2.主机名称不要起hadoop hadoop000等特殊名称

# 9.不能开启多个DataNode和NameNode进程 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NjU3OTA5_size_16_color_FFFFFF_t_70]

# 10.jps发现进程已经没有，但是重新启动集群，提示进程已经开启 #

原因是在linux的根目录下/tmp目录中存在启动的进程临时文件，将集群相关进程删除掉，再重新启动集群。

# 11.jps不生效 #

原因：全局变量hadoop java没有生效。  
解决办法：需要source /etc/profile文件

# 12.8088端口连接不上 #

解决：\[lsl@hadoop102 桌面\]$ cat /etc/hosts  
注释掉如下代码：

#127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
    #::1         hadoop102

*版权声明：本博客为记录本人自学感悟，转载需注明出处！*  
[https://me.csdn.net/qq\_39657909][https_me.csdn.net_qq_39657909]

[Link 1]: https://blog.csdn.net/qq_39657909/article/details/84729209
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NjU3OTA5_size_16_color_FFFFFF_t_70]: /images/20220405/6e8074c5512f462a9844480bdb92b10c.png
[https_me.csdn.net_qq_39657909]: https://me.csdn.net/qq_39657909