centos6.5 搭建hadoop 开发环境（单台服务器）

骑猪看日落 2023-10-16 23:49 7阅读 0赞

一，安装环境   
硬件：虚拟机   
操作系统：Centos 6.4 64位   
IP：120.25.56.93   
主机名：120.25.56.93

安装用户：root

二，安装JDK   
安装JDK1.6或者以上版本。这里安装jdk1.7.0\_71。

具体安装步骤请参考该篇文章：[centos 6.5 安装JDK][centos 6.5 _JDK]

三，配置SSH无密码登陆

具体安装步骤哦，请参考该篇文章：[centos 6.5 配置ssh 无密码登入][centos 6.5 _ssh]

四，安装Hadoop2.7.0  
1，下载Hadoop2.7.0

下载路径待补充

2，解压安装   
1），复制 hadoop-2.7.0.tar.gz 到/opt/hadoop目录下，   
然后\#tar -xzvf hadoop-2.7.0.tar.gz 解压，解压后目录为：/opt/hadoop/hadoop-2.7.0

2），在/opt/hadoop/目录下，建立tmp、hdfs/name、hdfs/data目录，执行如下命令   
\#mkdir /opt/hadoop/tmp   
\#mkdir /opt/hadoop/hdfs   
\#mkdir /opt/hadoop/hdfs/data   
\#mkdir /opt/hadoop/hdfs/name

3），设置环境变量\# vi /etc/profile

export HADOOP_HOME=/opt/hadoop/hadoop-2.7.0
    export PATH=$HADOOP_HOME/bin:$PATH

重新编译全局资源文件 \# source /etc/profile

输出全局变量 \# echo $PATH

3，Hadoop配置   
进入$HADOOP\_HOME/etc/hadoop目录，配置 hadoop-env.sh等。涉及的配置文件如下：   
hadoop-2.7.0/etc/hadoop/hadoop-env.sh   
hadoop-2.7.0/etc/hadoop/yarn-env.sh   
hadoop-2.7.0/etc/hadoop/core-site.xml   
hadoop-2.7.0/etc/hadoop/hdfs-site.xml   
hadoop-2.7.0/etc/hadoop/mapred-site.xml   
hadoop-2.7.0/etc/hadoop/yarn-site.xml  
  
  
1）配置hadoop-env.sh  
  
  
\# The java implementation to use.  
\#export JAVA\_HOME=$\{JAVA\_HOME\}  
export JAVA\_HOME=/usr/lib/jdk1.7.0\_71  
2）配置yarn-env.sh  
  
  
\#export JAVA\_HOME=/home/y/libexec/jdk1.6.0/  
export JAVA\_HOME=/usr/lib/jdk1.7.0\_71  
3）配置core-site.xml   
添加如下配置：  
  
  
<configuration>  
 <property>  
 <name>fs.default.name</name>  
 <value>hdfs://localhost:9000</value>  
 <description>HDFS的URI，文件系统://namenode标识:端口号</description>  
</property>  
  
  
<property>  
 <name>hadoop.tmp.dir</name>  
 <value>/root/hadoop/tmp</value>  
 <description>namenode上本地的hadoop临时文件夹</description>  
</property>  
</configuration>  
4），配置hdfs-site.xml   
添加如下配置  
  
  
<configuration>  
<!—hdfs-site.xml-->  
<property>  
 <name>dfs.name.dir</name>  
 <value>/root/hadoop/hdfs/name</value>  
 <description>namenode上存储hdfs名字空间元数据 </description>   
</property>  
  
  
<property>  
 <name>dfs.data.dir</name>  
 <value>/root/hadoop/hdfs/data</value>  
 <description>datanode上数据块的物理存储位置</description>  
</property>  
  
  
<property>  
 <name>dfs.replication</name>  
 <value>1</value>  
 <description>副本个数，配置默认是3,应小于datanode机器数量</description>  
</property>  
</configuration>  
5），配置mapred-site.xml   
添加如下配置：  
  
  
<configuration>  
<property>  
 <name>mapreduce.framework.name</name>  
 <value>yarn</value>  
</property>  
</configuration>  
6），配置yarn-site.xml   
添加如下配置：  
  
  
<configuration>  
<property>  
 <name>yarn.nodemanager.aux-services</name>  
 <value>mapreduce\_shuffle</value>  
</property>  
<property>  
 <name>yarn.resourcemanager.webapp.address</name>  
 <value>$\{yarn.resourcemanager.hostname\}:8099</value>  
</property>  
</configuration>  
4，Hadoop启动   
1）格式化namenode  
  
  
$ bin/hdfs namenode –format  
2）启动NameNode 和 DataNode 守护进程  
  
  
$ sbin/start-dfs.sh  
3）启动ResourceManager 和 NodeManager 守护进程  
  
  
$ sbin/start-yarn.sh  
5，启动验证   
1）执行jps命令，有如下进程，说明Hadoop正常启动  
  
  
\# jps  
54679 NameNode  
54774 DataNode  
15741 Jps  
9664 Master  
55214 NodeManager  
55118 ResourceManager  
54965 SecondaryNameNode

2）在浏览器中输入：http://120.25.56.93:8099/ 即可看到YARN的ResourceManager的界面。注意：默认端口是8088，这里我设置了yarn.resourcemanager.webapp.address为：$\{yarn.resourcemanager.hostname\}:8099。

[centos 6.5 _JDK]: http://blog.csdn.net/zhouzhiwengang/article/details/51484347
[centos 6.5 _ssh]: http://blog.csdn.net/zhouzhiwengang/article/details/51484531