2.1.5 hadoop体系之离线计算-hdfs分布式文件系统-伪分布式安装

红太狼 2022-12-08 05:49 153阅读 0赞

**目录**

1.写在前面

2.Hadoop三种安装模式

2.1.Hadoop单机模式

2.2.Hadoop伪分布式安装模式

2.3.Hadoop完全分布式安装模式

3.安装Hadoop3.1.1集群-伪分布式安装

3.1 软件需求

3.2 修改文件hadoop-en.sh

3.3 修改core-site.xml(主节点信息)

3.4 hdfs-site.xml（从节点信息）

3.5 配置workers

4.启动hadoop机器

5.查看角色进程

6.上传文件

6.1 根目录下面创建temp文件夹

6.2 上传文件（put）

--------------------

# 1.写在前面 #

首先我们需要配置四台虚拟机，另外安装好jdk。然后我们在第一个节点node01下载了hadoop3.1.1版本，doc是hadoop的一个使用文档说明。

# 2.Hadoop三种安装模式 #

## 2.1.Hadoop单机模式 ##

单机模式是Hadoop默认的安装模式，这种安装模式主要就是并不配置更多的配置文件，只是保守的去设置默认的几个配置文件中的初始化参数，它并不与其他节点进行交互，并且也不使用HDFS文件系统，它主要就是为了调试MapReduce程序而生。

## 2.2.Hadoop伪分布式安装模式 ##

Hadoop伪分布式安装，需要配置5个常规的配置文件（XML），并且这里涉及到了NameNode和DataNode节点交互问题，而且NameNode和DataNode在同一个节点上，还需要配置互信。其实从严格意义上来讲，伪分布式集群，就已经可以称之为真正意义上的集群了，而且这里也包含了hdfs和MapReduce所有组件，只不过就是所有组件**在同一个节点上**而已。

## 2.3.Hadoop完全分布式安装模式 ##

Hadoop完全分布式集群主要分为：常规Hadoop完全分布式集群和Hadoop HA集群（这里主要针对的是NameNode个数和NameNode的高可用保障机制而言）。由此可知较伪分布式集群而言，完全分布式集群，所有处理节点并不在同一个节点上，而是在多个节点上。

# 3.安装Hadoop3.1.1集群-伪分布式安装 #

## 3.1 软件需求 ##

java必须安装（[https://blog.csdn.net/Suyebiubiu/article/details/78585771][https_blog.csdn.net_Suyebiubiu_article_details_78585771]）+实现ssh免秘钥登陆方式（[https://blog.csdn.net/Suyebiubiu/article/details/108710223][https_blog.csdn.net_Suyebiubiu_article_details_108710223]）

安装解压hadoop（node01）

我们下载tar.gz文件，将其解压在 /opt/sxt/ 文件夹下面：

（1）mv hadoop-3.1.1.tar.gz /opt/sxt/

（2）cd /opt/sxt/

（3）tar -zxvf hadoop-3.1.1.tar.gz

![20200921152824172.png][]

## 3.2 修改文件hadoop-en.sh ##

首先们进入该项目下面的 /etc/hadoop/文件夹，里面有各种各样的配置文件和脚本。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70][]

我们第一个修改的是hadoop-env.sh，这个文件修改环境变量，将来启动hadoop去找jdk命令。在hadoop3中，jdk路径也不是唯一需要配置的内容，hadoop3相比hadoop2，对于进程和角色之间关系做了严格的限定。

**直接启动 vi hadoop-en.sh，找到末尾，需要引入jdk环境变量，写上角色和对应进程，目前是需要三个角色：1个namenode+2个datanode。（一共四个配置项）**

![20200921154035392.png][]

## 3.3 修改core-site.xml(主节点信息) ##

直接启动 vi core-site.xml ,文件本身没有任何配置信息，需要手动填写进来。localhost修改为节点的别名，一般默认端口开启9820，修改临时目录。

![20200921160652122.png][]

<configuration>
            <property>
                    <name>fs.defaultFS</name>
                    <value>hdfs://node01:9820</value>
            </property>
            <property>
                    <name>hadoop.tmp.dir</name>
                    <value>/var/sxt/hadoop/peseudo</value>
            </property>
    </configuration>

## 3.4 hdfs-site.xml（从节点信息） ##

直接启动 vi hdfs-site.xml ，replication代表的是副本的意思，副本保证了高可用。伪分布式安装副本数目不要超过1，因为角色和内容放在一个节点上，node01上有所有角色进程，包括副本，如果设置为2，表示相同内容副本都会放在node01上面，这个是hadoop不允许的。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1][]

<configuration>
            <property>
                    <name>dfs.replication</name>
                    <value>1</value>
            </property>
            <property>
                    <name>dfs.namenode.secondary.http-address</name>
                    <value>node01:9868</value>
            </property>
    </configuration>

## 3.5 配置workers ##

直接写node01即可，伪分布式主从节点放在同一个服务器上面。

![20200921161312433.png][]

# 4.启动hadoop机器 #

进入集群安装地点hadoop-3.1.1目录，**重点关注bin和sbin两个目录**。bin和sbin下面有相关启动脚本。

![20200921162924234.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 2][]

没有配置环境变量，必须在bin这个目录下面才能使用bin下面的hdfs命令，启动 ./bin/hdfs namenode -format，会创建日志，格式化目录（我们上面写的peseudo文件夹）。

![20200921163301561.png][]

![20200921163417204.png][]

我们一层层打开这个文件夹，会发现clusterID，是唯一标识，我们集群的唯一标识，在全分布式中作用很大，每个机器共有一个clusterID，属于同一个集群。每一次format生成一个新的ID，所以多次format，所有进程不会同时跑起来，因为已经不在同一个进程之内了。forma作用就是生成clusterID和生成元数据信息，搭建系统开始执行一次就可以了。

这个时候集群已经格式化了，但是并不是启动了，我们需要再次进入部署包目录：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 3][]

我们需要启动：./sbin/start-dfs.sh

![20200921164216915.png][]

# 5.查看角色进程 #

在node01一个节点将三个角色都跑起来了。

![2020092116430352.png][]

查看监听端口：**ss -nal**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 4][]

可以看到 **开了一个9870端口**，hadoop3给我们提供一个更加友好的管理界面。如果打不开这个页面的话，很大可能是防火墙问题，可以执行下面两条命令解决：

*      systemctl stop firewalld.service  //关闭服务
 *      systemctl disable firewalld.service //禁止开机启动

# 6.上传文件 #

## 6.1 根目录下面创建temp文件夹 ##

![20200921171804621.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 5][]

## 6.2 上传文件（put） ##

![20200921172045229.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 6][]

可视化可以查看被切成了几块？320M切成了三块，一个block是128M，一共有一个副本。每个块有自己的信息，放在了node01下面的自定义的/var/sxt/hadoop里面了，也就是元数据信息存放地址。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 7][]

[https_blog.csdn.net_Suyebiubiu_article_details_78585771]: https://blog.csdn.net/Suyebiubiu/article/details/78585771
[https_blog.csdn.net_Suyebiubiu_article_details_108710223]: https://blog.csdn.net/Suyebiubiu/article/details/108710223
[20200921152824172.png]: /images/20221123/db31715353af4b60a8e78f3c053600a0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70]: /images/20221123/39ab29f5871541589ff50ad57340b44f.png
[20200921154035392.png]: /images/20221123/f53d4aebe9d2480b91a575e84cd9fdda.png
[20200921160652122.png]: /images/20221123/3e8ba8e821c74be59ab1482ca24514c5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1]: /images/20221123/28b76d0be60c4bb29bf369f50b0584c1.png
[20200921161312433.png]: /images/20221123/4414dab315844351ae631cf4408e2931.png
[20200921162924234.png]: /images/20221123/ed0bb186ad014f7686d6177632d16e6e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 2]: /images/20221123/8323364d9e5e49c2bf7f439939b2d6ba.png
[20200921163301561.png]: /images/20221123/6c307ad413714bab97336a871836915a.png
[20200921163417204.png]: /images/20221123/8a97f9d8b0d14dd295a96e6334feb3bd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 3]: /images/20221123/d15ca683f9ef4634aff3cdddf179f562.png
[20200921164216915.png]: /images/20221123/2b4b6763365f4ae8b0f90371a7ec941c.png
[2020092116430352.png]: /images/20221123/86622504c0aa4427983b808b81e8f804.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 4]: /images/20221123/963038f3e4894c57ab92e841defc1799.png
[20200921171804621.png]: /images/20221123/59b340485b8a4182903229d32b9c770b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 5]: /images/20221123/32ba582e467641c9972e80f46266a209.png
[20200921172045229.png]: /images/20221123/522069ea1025421f889fab6efbc9909a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 6]: /images/20221123/6e4c0bbc9eff49fca6442238baed144f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 7]: /images/20221123/43cddbd30ae842b6ad62078b3ed2c741.png