【Hadoop环境配置】Hadoop安装，配置和试用

朴灿烈づ我的快乐病毒、 2021-12-14 07:34 370阅读 0赞

# 1、Hadoop相关网站 #

## 1.1 官方网站 ##

Hadoop套件： [http://hadoop.apache.org/][http_hadoop.apache.org]

Hive工具：[http://hive.apache.org/][http_hive.apache.org]

## 1.2 国内的镜像下载服务器 ##

[http://mirror.bjtu.edu.cn/apache/hadoop/common/hadoop-1.1.2/][http_mirror.bjtu.edu.cn_apache_hadoop_common_hadoop-1.1.2]

[http://mirror.bjtu.edu.cn/apache/hive/][http_mirror.bjtu.edu.cn_apache_hive]

## 1.3 学习文档 ##

[http://hadoop.apache.org/docs/r1.1.2/index.html][http_hadoop.apache.org_docs_r1.1.2_index.html]

# 2 下载和安装 #

## 2.1 源码下载和编译 ##

参考手册中的编译方法；

## 2.2 现成软件包下载安装 ##

我使用的Ubuntu直接下载了deb包进行安装，安装后路径为：

入口可执行文件路径： /usr/bin/hadoop

初始化脚本路径： /usr/libexec/hadoop-config.sh

配置文件路径: /etc/hadoop 目录下， 如hadoop-env.sh 等脚本和配置文件

开机启动相关脚本路径： /etc/init.d/hadoop-\*

# 3 运行测试和排错 #

## 3.1 命令测试 ##

hadoop 显示了命令帮助

hadoop version 却遭遇错误

$hadoop version
    /usr/bin/hadoop: line 320: /usr/lib/jvm/java-6-sun/bin/java: No such file or directory
    /usr/bin/hadoop: line 390: /usr/lib/jvm/java-6-sun/bin/java: No such file or directory

## 3.2 排错和设置java ##

上面的错误的确时没有那个目录，只有/usr/lib/jvm/java-6-openjdk-i386/ 对于路径，故有两种解决办法；

方法一，做软链接。构建该sun java目录：

$sudo ln -s /usr/lib/jvm/java-6-openjdk-i386 /usr/lib/jvm/java-6-sun

方法二，修改配置脚本，设置正确的JAVA\_HOME

$sudo vi /etc/hadoop/hadoop-env.sh
    
    打开文件后修改如下的行（第9行），设置JAVA_HOME
    
    # The java implementation to use.
    export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-i386
    export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"}

再次测试正常：

$hadoop version
    Hadoop 1.1.2
    Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.1 -r 1440782
    Compiled by hortonfo on Thu Jan 31 02:01:30 UTC 2013
    From source with checksum c720ddcf4b926991de7467d253a79b8b

# 4 开始设置测试节点 #

直接参考官方文档，如有错误等疑问和经验再总结 :)

[http://hadoop.apache.org/docs/r1.1.2/single\_node\_setup.html][http_hadoop.apache.org_docs_r1.1.2_single_node_setup.html]

转载于:https://www.cnblogs.com/QuLory/archive/2013/05/22/3093975.html

[http_hadoop.apache.org]: http://hadoop.apache.org/
[http_hive.apache.org]: http://hive.apache.org/
[http_mirror.bjtu.edu.cn_apache_hadoop_common_hadoop-1.1.2]: http://mirror.bjtu.edu.cn/apache/hadoop/common/hadoop-1.1.2/
[http_mirror.bjtu.edu.cn_apache_hive]: http://mirror.bjtu.edu.cn/apache/hive/
[http_hadoop.apache.org_docs_r1.1.2_index.html]: http://hadoop.apache.org/docs/r1.1.2/index.html
[http_hadoop.apache.org_docs_r1.1.2_single_node_setup.html]: http://hadoop.apache.org/docs/r1.1.2/single_node_setup.html