centos6.5安装单机版hadoop2.6.0

- 日理万妓 2022-04-15 03:50 239阅读 0赞

安装hadoop之前，首先要安装 jdk1.8.0\_181（我使用的版本） 并配置jdk环境变量，接下来开始安装hadoop

1. hadoop2.6.0下载

下载地址：[http://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/][http_archive.apache.org_dist_hadoop_core_hadoop-2.6.0]

2 .解压安装包

tar -zxvf hadoop-2.6.0.tar.gz -C /opt/soft/

3 .配置hadoop环境变量

vim  /etc/profile

export HADOOP_HOME=/opt/soft/hadoop-2.6.0
    export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

更新环境变量

source /etc/profile

4.修改hadoop 配置文件

（1）修改/opt/soft/hadoop-2.6.0/etc/hadoop/hadoop-env.sh  将JAVA\_HOME加进去

export JAVA_HOME=/opt/soft/jdk1.8.0_181

（2）修改/opt/soft/hadoop-2.6.0/etc/hadoop/core-site.xml 文件，

<configuration>
        
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost:9000</value>
        </property>
        
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/opt/data/hadoop/tmp</value>
        </property>
    </configuration>

fs.defaultFS直接用localhost就行，如果重命名了主机名，也可以用重命名的。

（3）修改/opt/soft/hadoop-2.6.0/etc/hadoop/hdfs-site.xml

<configuration>
        <property>
            <name>dfs.name.dir</name>
            <value>/opt/data/hadoop/hdfs/name</value>
            <description>namenode上存储hdfs名字空间元数据 </description> 
        </property>
     
        <property>
            <name>dfs.data.dir</name>
            <value>/opt/data/hadoop/hdfs/data</value>
            <description>datanode上数据块的物理存储位置</description>
        </property>
     
     
        
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
    </configuration>

5.配置本机ssh免密码登录

ssh-keygen -t rsa  命令后一路回车，不输入任何东西  
然后执行 cat ~/.ssh/id\_rsa.pub  >>  ~/.ssh/authorized\_keys  配置本机可免密登录  
测试 ssh localhost 是否成功

6.hdfs启动与停止

第一次启动hdfs需要格式化，之后启动就不需要了

cd /opt/soft/hadoop-2.6.0/bin
    ./hdfs namenode -format

启动命令：

cd /opt/soft/hadoop-2.6.0/sbin
    ./start-dfs.sh

停止命令：

cd /opt/soft/hadoop-2.6.0/sbin
    ./stop-dfs.sh

hdfs启动完成后，浏览器输入：http://192.168.2.14:50070

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpYW9iYW81MjE0_size_16_color_FFFFFF_t_70][]

7.接下来配置yarn文件. 配置/opt/soft/hadoop-2.6.0/etc/hadoop/mapred-site.xml   这里注意一下，hadoop里面默认是mapred-site.xml.template 文件，如果配置yarn，把mapred-site.xml.template   重命名为mapred-site.xml 。如果不启动yarn，把重命名还原。

mv mapred-site.xml.template mapred-site.xml

vim  mapred-site.xml

<configuration>
        
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>

8.配置/opt/soft/hadoop-2.6.0/etc/hadoop/yarn-site.xml文件，

vim  yarn-site.xml

<configuration>
        
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
    </configuration>

9.启动yarn  
  启动命令：

cd /opt/soft/hadoop-2.6.0/sbin
    ./start-yarn.sh

停止命令：

cd /opt/soft/hadoop-2.6.0/sbin
    ./stop-yarn.sh

可以用jps命令查看都启动了什么进程：

[root@hadoop4 hadoop]# jps
    4754 Jps
    4163 ResourceManager
    3848 DataNode
    4024 SecondaryNameNode
    4254 NodeManager
    3759 NameNode

yarn启动完成后，浏览器输入：http://192.168.2.14:8088   (8088是默认端口，如果被占用，先把占用的端口杀掉 )

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpYW9iYW81MjE0_size_16_color_FFFFFF_t_70 1][]

到这里，hdfs和yarn就启动成功了

[http_archive.apache.org_dist_hadoop_core_hadoop-2.6.0]: http://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpYW9iYW81MjE0_size_16_color_FFFFFF_t_70]: /images/20220415/9fdb308f285c4ac2b85a74f50358feda.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpYW9iYW81MjE0_size_16_color_FFFFFF_t_70 1]: /images/20220415/7cea79dc97bf4e809c22f4f4a1d0ca45.png