hadoop 安装部署-HDFS/YARN/MR

红太狼 2023-01-19 03:24 44阅读 0赞

# 1.HDFS安装 #

## 1.配置hdfs的NameNode（core-site.xml) ##

vi hadoop-2.7.2/etc/hadoop/core-site.xml

<configuration>
    <property>
    <name>fs.defaultFS</name>
        <value>hdfs://kafka1:9000</value>
    <description>配置NameNode的URL</description>
    </property>
    
    
    <property>
            <name>hadoop.tmp.dir</name>
            <value>/root/ysw/hadoop/hadoop-2.7.2/data/tmp</value>
    </property>
    </configuration>

## 2.配置HDFS路径（hdfs-site.xml） ##

vi hadoop-2.7.2/etc/hadoop/hdfs-site.xml

<configuration>
    
    <property>
            <name>dfs.replication</name>
            <value>1</value>
    </property>
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>/root/ysw/hadoop/hadoop-2.7.2/data/namenode</value>
      <description>NameNode存储名称空间和事务日志的本地文件系统上的路径</description>
    </property>
    <property>
      <name>dfs.datanode.data.dir</name>
      <value>/root/ysw/hadoop/hadoop-2.7.2/data/datanode</value>
      <description>DataNode存储名称空间和事务日志的本地文件系统上的路径</description>
    </property>
    </configuration>

## 3.启动HDFS ##

（a）格式化NameNode（第一次启动时格式化，以后就不要总格式化）

bin/hdfs namenode -format

（b）启动NameNode

sbin/hadoop-daemon.sh start namenode

（c）启动DataNode

sbin/hadoop-daemon.sh start datanode

查看是否启动成功

jps

![在这里插入图片描述][20210507161821189.png]

## 4.web端查看HDFS文件系统 ##

http://kafka1:50070/dfshealth.html\#tab-overview

## 5.操作hdfs ##

1.在HDFS文件系统上创建一个文件夹命名为input

bin/hdfs dfs -mkdir -p /user/ysw/input

![在这里插入图片描述][20210507161910295.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70]  
2.将测试文件内容上传到文件系统上  
现在本地任意位置新建文件

vi b.txt

写入如下内容：

hello hdfs
    hello hdfs
    hello hdfs
    hello hdfs
    hello hdfs
    hello hdfs

将b.txt文件内容上传到HDFS文件系统上

bin/hdfs dfs -put input/hdfs/b.txt /user/ysw/input/

![在这里插入图片描述][20210507162010671.png]  
在页面上查上传到hdfs文件  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 1]  
使用命令查上传到hdfs文件

bin/hdfs dfs -ls  /user/ysw/input/
    bin/hdfs dfs -cat  /user/ysw/ input/b.txt

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 2]

# 2.YARN安装 #

## 1.配置yarn-env.sh ##

配置一下JAVA\_HOME， 如果已经配置了环境的JAVA\_HOME这里可以不配置  
![在这里插入图片描述][20210507164151913.png]

## 2.配置yarn-site.xml ##

vi etc/hadoop/yarn-site.xml

<configuration>
    
    <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
    </property>
    <property>
      <name>yarn.scheduler.minimum-allocation-mb</name>
      <value>512</value>
      <description>为每个容器请求分配的最小内存限制资源管理器（512M）</description>
    </property>
    <property>
      <name>yarn.scheduler.maximum-allocation-mb</name>
      <value>4096</value>
      <description>为每个容器请求分配的最大内存限制资源管理器（4G）</description>
    </property>
    <property>
      <name>yarn.nodemanager.vmem-pmem-ratio</name>
      <value>4</value>
      <description>虚拟内存比例，默认为2.1，此处设置为4倍</description>
    </property>
    
    <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>kafka1</value>
    </property>
    </configuration>

## 3.启动yarn ##

（a）启动前必须保证NameNode和DataNode已经启动  
（b）启动ResourceManager

sbin/yarn-daemon.sh start resourcemanager

（c）启动NodeManager

sbin/yarn-daemon.sh start nodemanager

（a）YARN的浏览器页面查看  
http://kafka1:8088/cluster

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 3]

# 3.MapReduce程序在YARN模式运行 #

## 1.配置集群在YARN上运行MR ##

**配置：mapred-env.sh**  
配置一下JAVA\_HOME， 如果已经配置了环境的JAVA\_HOME这里可以不配置

**配置mapres的运行模式为yarn**  
配置： (对mapred-site.xml.template重新命名为) mapred-site.xml

mv mapred-site.xml.template mapred-site.xml
    vi etc/hadoop/mapred-site.xml

<configuration>
    <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
      <description>执行MapReduce的方式：yarn/local</description>
    </property>
    </configuration>

## 2.MapReduce程序在YARN模式运行 ##

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/ysw/input/b.txt /user/ysw/output

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 5]

## 3.yarn 查看结果 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 6]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 7]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 8]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 9]

[20210507161821189.png]: /images/20221021/681addd665dd42e1a68591dbcef1020f.png
[20210507161910295.png]: /images/20221021/df4213b67613436cbf4908ae714db55c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70]: /images/20221021/33ff0b0109374aeb95f4cb8c976ecc27.png
[20210507162010671.png]: /images/20221021/4c90140714b840049699beaeb6b5c869.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 1]: /images/20221021/ccb70472222744be9fe3d5783a974b6a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 2]: /images/20221021/43a7457ad65149bd8c89c9d3110ea92c.png
[20210507164151913.png]: /images/20221021/533c396eebfd4ab0ad760f714cbc4a12.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 3]: /images/20221021/d8bb66e96d9f45e0b1752c86e14a6346.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 4]: /images/20221021/a6fd9ec6e7c54c6db7ae36b46780e901.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 5]: /images/20221021/b78ba8e9c4084b7290e0381a6001a11a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 6]: /images/20221021/c61b0bd486834f4c82192bb64361d369.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 7]: /images/20221021/b3e8022c4fe04ba3bfecd12b37f3cb7d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 8]: /images/20221021/863d28ec7dae46afbbf0cb3a63baa1c6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGVuZ3dlaTIzMDYxMg_size_16_color_FFFFFF_t_70 9]: /images/20221021/c4afdf5bd7f44da1b58e37cf59f260cf.png