hadoop实践（二）-hadoop和ssh配置

快来打我* 2022-08-23 08:19 15阅读 0赞

系统环境准备好后，还需要进行配置和hadoop软件的下载安装。

1、 ssh配置

这里的ssh配置是指ssh 配置无密钥登录，原因是因为hadoop集群环境下，有大量节点机器，所以配置无密钥登录。

计划：  master 192.168.136.140 ， slave1  192.168.136.151， slave2  192.168.136.152

1.1： 系统主机和主机名配置

修改系统的主机名，比如本人实践的主机，设置为master.hadoop

需要修改2个文件,  修改操作使用 root用户

/etc/sysconfig/network  
     里面有一行 HOSTNAME=localhost.localdomain (如果是默认的话），修改 localhost.localdomain 为你的主机名：master.hadoop。  
  
     /etc/hosts  
    打开该文件，会有一行 127.0.0.1 localhost.localdomain localhost 。其中 127.0.0.1 是本地环路地址， localhost.localdomain 是主机名(hostname)。

localhost 是主机名的别名（alias），它会出现在Konsole的提示符下。

在最后添加：

192.168.136.140  master.hadoop

其中192.168.136.140 是自己本机的ip。

将上面两个文件修改完后，并不能立刻生效。在命令行执行reboot命令后，重新登录，重启系统会得到新的主机名。

重新登陆后，在终端命令行执行：

hostname

会显示当前的主机名。

1.2 配置ssh 无密钥登录

首先：修改系统配置

用root权限登录： vi  /etc/ssh/sshd\_config  
        找到以下内容，并去掉注释符”\#“  
　　 RSAAuthentication yes  
　 　PubkeyAuthentication yes  
　 　AuthorizedKeysFile      .ssh/authorized\_keys  
　    保存退出。 重要的是进行服务重启

service sshd restart

其次：设置密钥文件，以下操作为hadoop用户

1） 先确定有.ssh目录，该目录为隐藏目录：  ls -a /home/hadoop

如果现实.ssh目录则表示已经装过ssh，否则要先安装ssh

2） 生成密钥

ssh-keygen -t dsa -P '' -f ~/.ssh/id\_dsa

ssh-keygen：生成密钥命令

-t  dsa  ： 生成密钥的类型是dsa

-P ：  ‘’表示空

-f： 表示密钥文件

3）追加密钥到key中

cat ~/.ssh/id\_dsa.pub >> ~/.ssh/authorized\_keys

4） 验证：命令行执行命令：ssh  master.hadoop

\[hadoop@master ~\]$ ssh  master.hadoop  
                    Last login: Sun Jun 12 06:45:38 2016 from master.hadoop

出现上面提示表示成功

最后： 设置另外2台机器的ssh。

设置好后，分别在本机的authorized\_keys里添加其它两台机器的密钥。

举例： 将salve1的密钥添加到 master去

在salve1上，执行下面命令，

cat ~/.ssh/id\_dsa.pub | ssh hadoop@master.hadoop 'cat - >> ~/.ssh/authorized\_keys'

这句话的意思，cat本地的  id\_dsa.pub 通过管道方式，ssh到master ，并追加到       authorized\_keys

2、 hadoop下载和安装

hadoop下载：

登录官网：http://hadoop.apache.org/

点击左边的  Download Hadoop

从打开的新网页的releases进入下载版本

我选择的是 binary的hadoop-2.6.4.tar版本。

上传到master.hadoop机器的 /opt/hadoop 目录下，解压。 gz 文件用 gzip解压，然后再用tar -vxf xxx.tar 来解压。

解压后，需要修改目录权限

root用户下： chown -R hadoop:hadoop /opt/hadoop

发表评论取消回复

表情：

评论列表（有 0 条评论，15人围观）

还没有评论，来说两句吧...

相关阅读

相关 Kerberos (二) --------- Hadoop Kerberos 配置

目录一、创建 Hadoop 系统用户二、为 Hadoop 各服务创建 Kerberos 主体(Principal) 三、修改 Hadoop 配置文件

朱雀/ 2024年04月01日 13:21/ 0 赞/ 90 阅读

相关 Hadoop安装(二) --- Hadoop安装

目录修改hadoop313的权限更改配置文件配置core-site.xml 配置hadoop-env.sh 配置hdfs-site.xml 配置mapred

阳光穿透心脏的1/2处/ 2024年03月27日 13:14/ 0 赞/ 103 阅读

相关 hadoop 配置完善（二）

hadoop主机配置优先顺序： 1)share目录下默认的配置文件（最低) 2)etc目录下配置文件（其次） 3）命令执行(最高）执行案例之前必须启动6

╰半夏微凉°/ 2024年02月18日 19:52/ 0 赞/ 24 阅读

相关 Hadoop .配置SSH无密码登录

使用sbin/start-dfs.sh 和sbin/start-yarn.sh启动方式时，必须配置SSH协议！否则手动输入密码；SSH无秘钥登录 1、查看SSH协议 !

Myth丶恋晨/ 2023年10月17日 10:53/ 0 赞/ 61 阅读

相关 Hadoop ssh免密登录配置

一、在每个节点生成公钥和私钥，并拷贝 1、Hadoop100: 生成公钥和私钥 \[root@hadoop100\] ssh-keygen -t rsa 然后敲（三个回

╰+攻爆jí腚メ/ 2023年09月29日 10:44/ 0 赞/ 56 阅读

相关 hadoop实践（三）hadoop 集群配置

第一步：集群规划 master 192.168.136.140 slave1 192.168.136.151 slave2 192.168.136.152

╰+攻爆jí腚メ/ 2022年08月23日 08:45/ 0 赞/ 33 阅读

相关 hadoop实践（二）-hadoop和ssh配置

系统环境准备好后，还需要进行配置和hadoop软件的下载安装。 1、 ssh配置这里的ssh配置是指ssh 配置无密钥登录，原因是因为hadoop集群环境下，有大量节点机

快来打我*/ 2022年08月23日 08:19/ 0 赞/ 16 阅读

相关 hadoop搭建之ssh配置

> 1，实现无密码公钥认证的目的是为了使Slave无密码链接（DATa Node | Tasktracker）服务器达成共识： > > > > > 2，检查是否

ゝ一纸荒年。/ 2022年06月07日 12:52/ 0 赞/ 345 阅读

相关 Hadoop用户配置ssh免密登录

一般生产环境 Hadoop组件都是由hadoop用户来启动，首先需要配置hadoop用户ssh免密登录 1.创建Hadoop用户 [root@hadoop000

一时失言乱红尘/ 2022年05月24日 01:00/ 0 赞/ 218 阅读

相关【Hadoop环境配置】Hadoop安装，配置和试用

1、Hadoop相关网站 1.1 官方网站 Hadoop套件： [http://hadoop.apache.org/][http_hadoop.apache.org

朴灿烈づ我的快乐病毒、/ 2021年12月14日 07:34/ 0 赞/ 372 阅读