移动namenode、secondarynamenode和jobTracker的节点（使其成为独立节点）

我不是女神ヾ 2022-08-26 06:00 175阅读 0赞

由于集群规模差异较大，对于主节点守护进程的配置也差异很大，包括namenode、辅助namenode和jobtracker。对于一个小型集群来说（几十个节点），可以直接将这些守护进程放到单独的一台机器上。但是对于大型集群来说，则最好让这些守护进程分别运行在不同机器上。

namenode在内存中保存整个命名空间的所有文件和块数据，他的内存需求很大。辅助namenode在大多时间里空闲，但是他在创建检查时的内存需求与主节点namenode差不多。一旦文件系统包含大量文件，单台机器的物理内存便无法同时运行nameode和辅助namenode.

辅助namenode保存一份最新的检查点，记录文件系统的元数据，将这些历史信息备份到其他节点上，有助于在数据丢失（或系统崩溃）情况下恢复namenode的元数据文件/

在一个运行大量mapreduce作业的高负载集群上，jobtracker会使用大量内存和cpu资源，因此它最好运行在一个专用节点上。

不管主守护进程运行在一个还是多个节点上，以下规则均适用。

1.在namenode机器上运行hdfs控制脚本（xxx-dfs.sh）。Masters文件包含辅助namenode的地址。

2.在jobtracker机器上运行mapreduce控制脚本（xxx-mapred.sh）

当namenode和jobtracker运行在不同节点之上时，集群中的各节点将运行一个datanode和一个tasktracker,以使slaves文件同步

## 单节点配置secondarynamenode ##

1、将所有想要运行secondarynamenode进程的机器写到masters文件中，一行一台。(如下表示运行secondarynamenode进程的机器为hadoop3,默认为localhost)

![Image 1][]

2、修改在masters文件中配置了的机器上的conf/hdfs-site.xml文件，加上如下内容：

<name>dfs.secondary.http.address</name>

<description>**secondarynamenode path**</description>

\#\#如果secondarynamenode为多个话可以设置为0.0.0.0:50090

</property>

<name>dfs.http.address</name>

<description>**namenode path**</description>

</property>

**(core-site.xml可以不进行配置，使用默认配置)**

core-site.xml：这里有2个参数可配置，但一般来说我们不做修改。fs.checkpoint.period表示多长时间记录一次hdfs的镜像。默认是1小时。fs.checkpoint.size表示一次记录多大的size，默认64M。

<name>fs.checkpoint.period</name>

<description>The numberof seconds between twoperiodic checkpoints.</description>

</property>

<name>fs.checkpoint.size</name>

<description>The size of the  currentedit log (in bytes) that triggers a periodic checkpoint even if the fs.checkpoint.periodhasn't expired. </description>

</property>

<name>fs.checkpoint.dir</name>

<value>/app/user/hdfs/namesecondary</value>

<description>Determines where on thelocal filesystem the DFS secondary namenode should store the temporary imagesto merge.If this is a comma-delimited list of directories then the image isreplicated in all of the directories for redundancy.</description>

</property>

## 单节点配置jobtracker即移动namenode和jobTracker的节点（使其成为独立节点） ##

**移动namenode节点**：更改core-site.xml中hdfs://hadoop:9000的主机名hadoop所指向的机器；

**移动jobTracker节点**：更改mapred-site.xml中hadoop:9001的主机名hadoop所指向的机器；

**移动后需要在指向的机器上单独启动JobTracker（主节点就不要执行start-all了，分别启动 ）**

\*\*\*\*\*\*注意：对于配置文件core-site.xml和mapred-site.xml在所有节点中都是相同的内容\*\*\*\*\*\*

[Image 1]: