hadoop学习笔记之二：安装伪分布式

悠悠 2022-07-19 05:30 172阅读 0赞

摘要：主要是参考官网 **[http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html][http_hadoop.apache.org_docs_current_hadoop-project-dist_hadoop-common_SingleCluster.html]** 安装的，只是安装过程中有些需要特别注意的地方需要在这里记录一下

1.安装过程中可能回报JAVA\_HOME找不到的问题  
localhost: Error: JAVA\_HOME is not set.  
解决办法:  
修改./etc/hadoop/hadoop-env.sh里JAVA\_HOME设置的地方

#export JAVA_HOME=${JAVA_HOME}
    export JAVA_HOME=/usr/java/jdk1.8.0_45

2.运行start-dfs.sh的时候，会报如下警告  
DEBUG util.NativeCodeLoader: Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: no hadoop in java.library.path  
解决办法:  
hadoop-env.sh中重新配置HADOOP\_OPTS：

export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
    export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native/"

出处：[http://blog.csdn.net/ligt0610/article/details/47757013][http_blog.csdn.net_ligt0610_article_details_47757013]，

注意：有人说是跟系统位数有关系，但是根据官网说明在hadoop2.5以及以后版本已经包含64位了，如果是2.4以及以前的版本，大家可以看一下是不是这个问题

3.运行start-dfs.sh的时候，出现了permission denied错误  
解决办法:  
首先确保hadoop目录的权限问题，如果没问题那么可以试以下办法：  
执行：ssh localhost，如果报相同错误，那么在执行一下语句

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
      $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
      $ chmod 0600 ~/.ssh/authorized_keys

这一段在官网文档里也有说明。

4.在start-yarn.sh后，发现访问不了 [http://localhost:8088/][http_localhost_8088]这个地址  
解决办法：  
执行命令：./sbin/mr-jobhistory-daemon.sh start historyserver  
出处：[http://www.powerxing.com/install-hadoop-in-centos/][http_www.powerxing.com_install-hadoop-in-centos]，一篇很好的安装指导文档

5.hadoop的命令手册：  
[http://hadoop.apache.org/docs/r1.0.4/cn/hdfs\_shell.html][http_hadoop.apache.org_docs_r1.0.4_cn_hdfs_shell.html]  
版本有点老，但是还是很用参考价值的

[http_hadoop.apache.org_docs_current_hadoop-project-dist_hadoop-common_SingleCluster.html]: http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html
[http_blog.csdn.net_ligt0610_article_details_47757013]: http://blog.csdn.net/ligt0610/article/details/47757013
[http_localhost_8088]: http://localhost:8088/
[http_www.powerxing.com_install-hadoop-in-centos]: http://www.powerxing.com/install-hadoop-in-centos/
[http_hadoop.apache.org_docs_r1.0.4_cn_hdfs_shell.html]: http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html