Kerberos (三) --------- 安全模式下启动 Hadoop 集群

灰太狼 2024-04-01 13:39 207阅读 0赞

目录

  • 一、修改特定本地路径权限
  • 二、启动 HDFS
  • 三、修改 HDFS 特定路径访问权限
  • 四、启动 Yarn
  • 五、启动 HistoryServer

一、修改特定本地路径权限
















































本地 路径 所属 权限
local $HADOOP_LOG_DIR hdfs:hadoop drwxrwxr-x
local dfs.namenode.name.dir hdfs:hadoop drwx———
local dfs.datanode.data.dir hdfs:hadoop drwx———
local dfs.namenode.checkpoint.dir hdfs:hadoop drwx———
local yarn.nodemanager.local-dirs yarn:hadoop drwxrwxr-x
local yarn.nodemanager.log-dirs yarn:hadoop drwxrwxr-x

A、$HADOOP_LOG_DIR (所有节点)

该变量位于 hadoop-env.sh 文件，默认值为 ${HADOOP_HOME}/logs

  1. [root@hadoop102 ~]# chown hdfs:hadoop /opt/module/hadoop-3.1.3/logs/
  2. [root@hadoop102 ~]# chmod 775 /opt/module/hadoop-3.1.3/logs/
  3. [root@hadoop103 ~]# chown hdfs:hadoop /opt/module/hadoop-3.1.3/logs/
  4. [root@hadoop103 ~]# chmod 775 /opt/module/hadoop-3.1.3/logs/
  5. [root@hadoop104 ~]# chown hdfs:hadoop /opt/module/hadoop-3.1.3/logs/
  6. [root@hadoop104 ~]# chmod 775 /opt/module/hadoop-3.1.3/logs/

B、dfs.namenode.name.dir (NameNode节点)

该参数位于 hdfs-site.xml 文件，默认值为 file://${hadoop.tmp.dir}/dfs/name

  1. [root@hadoop102 ~]# chown -R hdfs:hadoop /opt/module/hadoop-3.1.3/data/dfs/name/
  2. [root@hadoop102 ~]# chmod 700 /opt/module/hadoop-3.1.3/data/dfs/name/

C、dfs.datanode.data.dir (DataNode节点)

该参数为于 hdfs-site.xml 文件，默认值为 file://${hadoop.tmp.dir}/dfs/data

  1. [root@hadoop102 ~]# chown -R hdfs:hadoop /opt/module/hadoop-3.1.3/data/dfs/data/
  2. [root@hadoop102 ~]# chmod 700 /opt/module/hadoop-3.1.3/data/dfs/data/
  5. [root@hadoop103 ~]# chown -R hdfs:hadoop /opt/module/hadoop-3.1.3/data/dfs/data/
  6. [root@hadoop103 ~]# chmod 700 /opt/module/hadoop-3.1.3/data/dfs/data/
  8. [root@hadoop104 ~]# chown -R hdfs:hadoop /opt/module/hadoop-3.1.3/data/dfs/data/
  9. [root@hadoop104 ~]# chmod 700 /opt/module/hadoop-3.1.3/data/dfs/data/

D、dfs.namenode.checkpoint.dir (SecondaryNameNode节点)

该参数位于 hdfs-site.xml 文件，默认值为file://${hadoop.tmp.dir}/dfs/namesecondary

  1. [root@hadoop104 ~]# chown -R hdfs:hadoop /opt/module/hadoop-3.1.3/data/dfs/namesecondary/
  2. [root@hadoop104 ~]# chmod 700 /opt/module/hadoop-3.1.3/data/dfs/namesecondary/

E、yarn.nodemanager.local-dirs (NodeManager节点)

该参数位于yarn-site.xml文件，默认值为file://${hadoop.tmp.dir}/nm-local-dir

  1. [root@hadoop102 ~]# chown -R yarn:hadoop /opt/module/hadoop-3.1.3/data/nm-local-dir/
  2. [root@hadoop102 ~]# chmod -R 775 /opt/module/hadoop-3.1.3/data/nm-local-dir/
  5. [root@hadoop103 ~]# chown -R yarn:hadoop /opt/module/hadoop-3.1.3/data/nm-local-dir/
  6. [root@hadoop103 ~]# chmod -R 775 /opt/module/hadoop-3.1.3/data/nm-local-dir/
  8. [root@hadoop104 ~]# chown -R yarn:hadoop /opt/module/hadoop-3.1.3/data/nm-local-dir/
  9. [root@hadoop104 ~]# chmod -R 775 /opt/module/hadoop-3.1.3/data/nm-local-dir/

F、yarn.nodemanager.log-dirs (NodeManager节点)

该参数位于 yarn-site.xml 文件，默认值为 $HADOOP_LOG_DIR/userlogs

  1. [root@hadoop102 ~]# chown yarn:hadoop /opt/module/hadoop-3.1.3/logs/userlogs/
  2. [root@hadoop102 ~]# chmod 775 /opt/module/hadoop-3.1.3/logs/userlogs/
  4. [root@hadoop103 ~]# chown yarn:hadoop /opt/module/hadoop-3.1.3/logs/userlogs/
  5. [root@hadoop103 ~]# chmod 775 /opt/module/hadoop-3.1.3/logs/userlogs/
  7. [root@hadoop104 ~]# chown yarn:hadoop /opt/module/hadoop-3.1.3/logs/userlogs/
  8. [root@hadoop104 ~]# chmod 775 /opt/module/hadoop-3.1.3/logs/userlogs/

二、启动 HDFS

需要注意的是，启动不同服务时需要使用对应的用户

A、单点启动

（1）启动NameNode

  1. [root@hadoop102 ~]# sudo -i -u hdfs hdfs --daemon start namenode

（2）启动DataNode

  1. [root@hadoop102 ~]# sudo -i -u hdfs hdfs --daemon start datanode
  2. [root@hadoop103 ~]# sudo -i -u hdfs hdfs --daemon start datanode
  3. [root@hadoop104 ~]# sudo -i -u hdfs hdfs --daemon start datanode

（3）启动SecondaryNameNode

  1. [root@hadoop104 ~]# sudo -i -u hdfs hdfs --daemon start secondarynamenode

说明：

  • -i：重新加载环境变量
  • -u：以特定用户的身份执行后续命令

B、群起

（1）在主节点 (hadoop102) 配置hdfs用户到所有节点的免密登录。
（2）修改主节点 (hadoop102) 节点的$HADOOP_HOME/sbin/start-dfs.sh脚本，在顶部增加以下环境变量。

  1. [root@hadoop102 ~]# vim $HADOOP_HOME/sbin/start-dfs.sh
  2. 在顶部增加如下内容
  3. HDFS_DATANODE_USER=hdfs
  4. HDFS_NAMENODE_USER=hdfs
  5. HDFS_SECONDARYNAMENODE_USER=hdfs

注：$HADOOP_HOME/sbin/stop-dfs.sh也需在顶部增加上述环境变量才可使用。

（3）以 root 用户执行群起脚本，即可启动 HDFS 集群。

  1. [root@hadoop102 ~]# start-dfs.sh

C、查看HFDS web页面

访问地址为https://hadoop102:9871

三、修改 HDFS 特定路径访问权限
















































HDFS 路径 所属 权限
hdfs / hdfs:hadoop drwxr-xr-x
hdfs /tmp hdfs:hadoop drwxrwxrwxt
hdfs /user hdfs:hadoop drwxrwxr-x
hdfs yarn.nodemanager.remote-app-log-dir yarn:hadoop drwxrwxrwxt
hdfs mapreduce.jobhistory.intermediate-done-dir mapred:hadoop drwxrwxrwxt
hdfs mapreduce.jobhistory.done-dir mapred:hadoop drwxrwx—

说明：

若上述路径不存在，需手动创建

A、创建 hdfs/hadoop 主体，执行以下命令并按照提示输入密码

  1. [root@hadoop102 ~]# kadmin.local -q "addprinc hdfs/hadoop"

B、认证 hdfs/hadoop 主体，执行以下命令并按照提示输入密码

  1. [root@hadoop102 ~]# kinit hdfs/hadoop

C、按照上述要求修改指定路径的所有者和权限

（1）修改/、/tmp、/user路径

  1. [root@hadoop102 ~]# hadoop fs -chown hdfs:hadoop / /tmp /user
  2. [root@hadoop102 ~]# hadoop fs -chmod 755 /
  3. [root@hadoop102 ~]# hadoop fs -chmod 1777 /tmp
  4. [root@hadoop102 ~]# hadoop fs -chmod 775 /user

（2）参数 yarn.nodemanager.remote-app-log-dir 位于 yarn-site.xml 文件，默认值 /tmp/logs

  1. [root@hadoop102 ~]# hadoop fs -chown yarn:hadoop /tmp/logs
  2. [root@hadoop102 ~]# hadoop fs -chmod 1777 /tmp/logs

（3）参数 mapreduce.jobhistory.intermediate-done-dir 位于 mapred-site.xm l文件，默认值为 /tmp/hadoop-yarn/staging/history/done_intermediate，需保证该路径的所有上级目录(除/tmp) 的所有者均为mapred，所属组为hadoop，权限为770

  1. [root@hadoop102 ~]# hadoop fs -chown -R mapred:hadoop /tmp/hadoop-yarn/staging/history/done_intermediate
  2. [root@hadoop102 ~]# hadoop fs -chmod -R 1777 /tmp/hadoop-yarn/staging/history/done_intermediate
  4. [root@hadoop102 ~]# hadoop fs -chown mapred:hadoop /tmp/hadoop-yarn/staging/history/
  5. [root@hadoop102 ~]# hadoop fs -chown mapred:hadoop /tmp/hadoop-yarn/staging/
  6. [root@hadoop102 ~]# hadoop fs -chown mapred:hadoop /tmp/hadoop-yarn/
  8. [root@hadoop102 ~]# hadoop fs -chmod 770 /tmp/hadoop-yarn/staging/history/
  9. [root@hadoop102 ~]# hadoop fs -chmod 770 /tmp/hadoop-yarn/staging/
  10. [root@hadoop102 ~]# hadoop fs -chmod 770 /tmp/hadoop-yarn/

（4）参数 mapreduce.jobhistory.done-dir 位于 mapred-site.xml 文件，默认值为 /tmp/hadoop-yarn/staging/history/done ，需保证该路径的所有上级目录 (除/tmp) 的所有者均为 mapred，所属组为 hadoop，权限为 770

  1. [root@hadoop102 ~]# hadoop fs -chown -R mapred:hadoop /tmp/hadoop-yarn/staging/history/done
  2. [root@hadoop102 ~]# hadoop fs -chmod -R 750 /tmp/hadoop-yarn/staging/history/done
  5. [root@hadoop102 ~]# hadoop fs -chown mapred:hadoop /tmp/hadoop-yarn/staging/history/
  6. [root@hadoop102 ~]# hadoop fs -chown mapred:hadoop /tmp/hadoop-yarn/staging/
  7. [root@hadoop102 ~]# hadoop fs -chown mapred:hadoop /tmp/hadoop-yarn/
  9. [root@hadoop102 ~]# hadoop fs -chmod 770 /tmp/hadoop-yarn/staging/history/
  10. [root@hadoop102 ~]# hadoop fs -chmod 770 /tmp/hadoop-yarn/staging/
  11. [root@hadoop102 ~]# hadoop fs -chmod 770 /tmp/hadoop-yarn/

四、启动 Yarn

A、单点启动

启动ResourceManager

  1. [root@hadoop103 ~]# sudo -i -u yarn yarn --daemon start resourcemanager
  2. 启动NodeManager
  3. [root@hadoop102 ~]# sudo -i -u yarn yarn --daemon start nodemanager
  4. [root@hadoop103 ~]# sudo -i -u yarn yarn --daemon start nodemanager
  5. [root@hadoop104 ~]# sudo -i -u yarn yarn --daemon start nodemanager

B、群起

(1) 在Yarn主节点 (hadoop103) 配置 yarn 用户到所有节点的免密登录。
(2) 修改主节点 (hadoop103) 的 $HADOOP_HOME/sbin/start-yarn.sh，在顶部增加以下环境变量。

  1. [root@hadoop103 ~]# vim $HADOOP_HOME/sbin/start-yarn.sh

在顶部增加如下内容

  1. YARN_RESOURCEMANAGER_USER=yarn
  2. YARN_NODEMANAGER_USER=yarn

注：stop-yarn.sh也需在顶部增加上述环境变量才可使用。

(3) 以 root 用户执行 $HADOOP_HOME/sbin/start-yarn.sh脚本即可启动yarn集群。

  1. [root@hadoop103 ~]# start-yarn.sh

C、访问 Yarn web 页面

访问地址为 http://hadoop103:8088

五、启动 HistoryServer

A、启动历史服务器

  1. [root@hadoop102 ~]# sudo -i -u mapred mapred --daemon start historyserver

B、查看历史服务器 web 页面

访问地址为 http://hadoop102:19888

发表评论

表情：
评论列表 （有 0 条评论，207人围观）

还没有评论，来说两句吧...

相关阅读

    相关 Hadoop：集群安全模式

    集群安全模式 1）安全模式：文件系统只接受读数据请求，而不接受删除、修改等变更请求 2）进入安全模式场景 NameNode在加载镜像文件和编辑日志期间处于安全模

    朱雀朱雀/ 0 赞/ 219 阅读

    相关 Hadoop HDFS 集群安全模式

    概述 NameNode 启动时，首先将映像文件(fsimage)载入内存，并执行编辑日志(edits)中的各项操作。 一旦在内存中成功建立文件系统元数据的映像，则创建

    悠悠悠悠/ 0 赞/ 426 阅读