二十七、修改本地临时文件存储目录及Hadoop配置文件说明

太过爱你忘了你带给我的痛 2022-05-06 06:50 153阅读 0赞

#              修改本地临时文件存储目录及Hadoop配置文件说明 #

## 1、 修改本地临时文件存储目录 ##

#### 1.1、停止进程 ####

[admin@hadoop12 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager
    [admin@hadoop12 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop resourcemanager
    [admin@hadoop12 hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop datanode
    [admin@hadoop12 hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop namenode

#### 1.2、修改hadoop.tmp.dir ####

[admin@hadoop12 hadoop-2.7.2]$ vim etc/hadoop/core-site.xml

在< configuration>< /configuration>标签下添加如下：

<property>
    	<name>hadoop.tmp.dir</name>
    	<value>/opt/module/hadoop-2.7.2/data/tmp</value>
    </property>

#### 1.3、将/opt/module/hadoop-2.7.2路径中的logs、data文件夹删除掉 ####

[admin@hadoop12 hadoop-2.7.2]$ rm -rf logs/
    [admin@hadoop12 hadoop-2.7.2]$ rm -rf data/

#### 1.4、进入到tmp目录将tmp目录中hadoop-atguigu目录删除掉 ####

[admin@hadoop12 hadoop-2.7.2]$  rm -rf /tmp/hadoop*

#### 1.5、格式化NameNode ####

[admin@hadoop12 hadoop-2.7.2]$  hadoop namenode -format

#### 1.6、启动所有进程 ####

[admin@hadoop12 hadoop-2.7.2]$  sbin/hadoop-daemon.sh start namenode
    [admin@hadoop12 hadoop-2.7.2]$  sbin/hadoop-daemon.sh start datanode
    [admin@hadoop12 hadoop-2.7.2]$  sbin/yarn-daemon.sh start resourcemanager
    [admin@hadoop12 hadoop-2.7.2]$  sbin/yarn-daemon.sh start nodemanager

查看/opt/module/hadoop-2.7.2/data/tmp这个目录下的内容。

## 2、Hadoop配置文件说明 ##

Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

#### 2.1、默认配置文件 ####

存放在hadoop相应的jar包中：存放在$HADOOP\_HOME/share/hadoop

[core-default.xml]
    			hadoop-common-2.7.2.jar/ core-default.xml
    [hdfs-default.xml]
    			hadoop-hdfs-2.7.2.jar/ hdfs-default.xml
    [yarn-default.xml]
    			hadoop-yarn-common-2.7.2.jar/ yarn-default.xml
    [core-default.xml]
    			hadoop-mapreduce-client-core-2.7.2.jar/ core-default.xml

#### 2.2自定义配置文件 ####

存放在$HADOOP\_HOME/etc/hadoop

core-site.xml
    		hdfs-site.xml
    		yarn-site.xml
    		mapred-site.xml

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2JpZV85MDc0ODY4NTI_size_16_color_FFFFFF_t_70_pic_center][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2JpZV85MDc0ODY4NTI_size_16_color_FFFFFF_t_70_pic_center]: /images/20220506/634f061b5c784e65a0dae99ff20974e5.png