centos7 搭建Hadoop 50070端口无法开启及jps查看datanode已启动namenode查不到

r囧r小猫 2022-05-14 13:26 431阅读 0赞

[CDH 镜像地址][CDH]       [apach官方镜像地址][apach] 按需选择下载安装

最近由于项目需要开始接触hadoop，在配置伪分布式启动后，jps查询进程发现少了namenode，而DataNode却存在。

配置内容及流程如下：

Configuration
    	Use the following:
    
    	0：安装jdk并配置hadoop-env.sh的JAVA_HOME
    	
    		必须在hadoop-env.sh文件中设置Java的绝对路径
    	
    	1：	etc/hadoop/core-site.xml:
    
    		<configuration>
    			<property>
    				<name>fs.defaultFS</name>
    				<value>hdfs://alex-prod-01.com:9000</value>
    			</property>
    			#hadoop存放临时文件
    			<property>
    				<name>hadoop.tmp.dir</name>
    				<value>/alex/data/bigdata/hadoop/hadoop-2.6.0-cdh5.9.3/tmp</value>
    			</property>
    		</configuration>
    		
    		
    	2：etc/hadoop/hdfs-site.xml:
    
    		<configuration>
    			<property>
    				<name>dfs.replication</name>
    				<value>1</value>
    			</property>
    			<property>
    				<name>dfs.permissions.enabled</name>
    				<value>false</value>
    			</property>
    		</configuration>
    		
    
    bin/hadoop namenode -format
    
    sbin/hadoop-daemon.sh start namenode
    
    sbin/hadoop-daemon.sh start datanode
    #查看namenode datanode 启动日志
    /alex/data/bigdata/hadoop/hadoop-2.6.0-cdh5.9.3/logs
    
    ps: alex-prod-01.com 
    /etc/hosts  127.0.0.1 alex-prod-01.com

1：参考文章：[https://www.cnblogs.com/lishpei/p/6136043.html][https_www.cnblogs.com_lishpei_p_6136043.html]

2：[https://blog.csdn.net/shizhixin/article/details/50469566][https_blog.csdn.net_shizhixin_article_details_50469566]

3：[https://www.cnblogs.com/zlslch/p/6604189.html][https_www.cnblogs.com_zlslch_p_6604189.html]

首先google了一下，网上看了几个方法没有解决。

干脆看启动日志，我们从启动脚本打印的日志可知启动NameNode的日志是放在hadoop下的logs目录下，进入这个目录可发现有一个hadoop-namenode.log(名字貌似根据用户名而定:格式如×××namenode×××.log),打开这个日志文件发现有这么一段：

![70][]

netstat -ntlp 查看端口不是占用问题；是有序漏掉了流程的0步；del tmp文件夹；重新启动；效果如下

![70 1][]

ps: 切记安装流程3中hdfs-default.xml配置权限问题的说明路径： [url][]；否则root用户不能启动问题，默认true权限；根据自己需要修改

![70 2][]

[CDH]: http://archive.cloudera.com/cdh5/cdh/5/
[apach]: http://archive.apache.org/dist/hbase/
[https_www.cnblogs.com_lishpei_p_6136043.html]: https://www.cnblogs.com/lishpei/p/6136043.html
[https_blog.csdn.net_shizhixin_article_details_50469566]: https://blog.csdn.net/shizhixin/article/details/50469566
[https_www.cnblogs.com_zlslch_p_6604189.html]: https://www.cnblogs.com/zlslch/p/6604189.html
[70]: /images/20220514/6a095df842c742f6b1373ce3f7f4cc79.png
[70 1]: /images/20220514/c6000b879c0543e0ae44d1ac98b19c4e.png
[url]: http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.9.3/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
[70 2]: /images/20220514/a41f329f4723430f809ea9de7b23e200.png