Hadoop Master/Slave部署遇到的问题与解决方法

た入场券 2022-08-26 14:14 152阅读 0赞

本人学习Hadoop，尝试使用两台物理机器来安装部署，网上的参考比较多，推荐：http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html

在安装和执行过程中仍遇到些问题，记录如下：

**1. ssh免密码登录本地有问题**

本地ssh localhost仍然需要hadoop用户的密码

使用ssh -v localhost，输出信息中包括：

debug1: Unspecified GSS failure.  Minor code may provide more information  
Credentials cache file '/tmp/krb5cc\_502' not found

解决：要确保~/.ssh目录的访问权限是700，拥有者是hadoop用户。

\[hadoop@Master ~\]$ ll -d .ssh

drwx------ 2 hadoop hadoop 4096 3月  31 10:01 .ssh

**2.启动hadoop，./start-all.sh时有警告信息，**

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

问题，查网上是因为Linux是64位，但hadoop是编译为32位的。不过只是警告，可以不用管，如果要解决，参考下面方法。

解决：下载hadoop的源码重新编译。

如何编译，可参考：

http://www.ercoppa.org/Linux-Compile-Hadoop-220-fix-Unable-to-load-native-hadoop-library.htm  
    http://www.csrdu.org/nauman/2014/01/23/geting-started-with-hadoop-2-2-0-building/

**3. 执行hadoop fs -ls出错**

ls: \`.': No such file or directory

问题是还没有在HDFS中创建当前用户的home目录。

解决：执行

hadoop fs -mkdir -p /user/\[current login user\]

如果是hadoop用户，执行下面的命令创建hadoop用户的home目录。

\[hadoop@Master hadoop\]$ hadoop fs -mkdir -p /user/hadoop

发表评论取消回复

表情：

评论列表（有 0 条评论，152人围观）

还没有评论，来说两句吧...

相关阅读

相关 MySQL集群部署时遇到的问题：实例与解决方案

在MySQL集群部署过程中，可能会遇到以下一些问题及相应的解决方案： 1. **一致性问题**：不同节点的数据可能存在不一致。解决方法是使用MySQL的复制特性（如二阶段提交

ゞ浴缸里的玫瑰/ 2025年02月04日 12:12/ 0 赞/ 30 阅读

相关 MySQL升级过程中遇到的问题与解决方法

在进行MySQL升级时，可能会遇到以下几种问题，以及相应的解决方法： 1. **版本不兼容**：新版本可能不支持老版本的功能。解决办法是确保新旧版本的API和特性兼容。 2

以你之姓@/ 2025年01月03日 15:24/ 0 赞/ 47 阅读

相关 Python项目部署：常见的问题与解决方法

在Python项目的部署过程中，可能会遇到以下一些常见问题和相应的解决方法： 1. **环境配置不一致**：解决方法：明确目标环境的要求，使用虚拟环境（如venv或c

今天药忘吃喽~/ 2024年12月27日 18:27/ 0 赞/ 38 阅读

相关 helm部署hadoop报错解决方法

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

古城微笑少年丶/ 2023年10月05日 18:54/ 0 赞/ 52 阅读

相关 windows上部署rabbitmq遇到的一些问题及解决方法

windows上部署rabbitmq遇到的一些问题及解决方法参考文章： [（1）windows上部署rabbitmq遇到的一些问题及解决方法][1_windows_rab

刺骨的言语ヽ痛彻心扉/ 2023年02月14日 13:29/ 0 赞/ 263 阅读

相关宝塔遇到的问题与解决

1. 项目部署到服务器上，运行项目的时候报错：Warning: require(): open\_basedir restriction in effect. 解

川长思鸟来/ 2022年10月14日 15:56/ 0 赞/ 41 阅读

相关 Hadoop与HBase中遇到的问题

1. Hadoop中遇到的问题以前所遇到的问题由于没有记录,所以忘了 (1)NameNode没有启动成功, 是由于你对HDFS多次格式化,导致datanode中与name

骑猪看日落/ 2022年08月27日 04:54/ 0 赞/ 264 阅读

相关 Hadoop Master/Slave部署遇到的问题与解决方法

本人学习Hadoop，尝试使用两台物理机器来安装部署，网上的参考比较多，推荐：http://www.cnblogs.com/xia520pi/archive/2012/05/1

た入场券/ 2022年08月26日 14:14/ 0 赞/ 153 阅读

相关最近遇到的问题及解决方法

1 主页被篡改了如何恢复？ 2 开机提示声音Dsound.dll找不见 3 开机system.exe找不到 4 摄像头没回必须从

川长思鸟来/ 2022年08月07日 07:58/ 0 赞/ 314 阅读

相关 Redis-复制(MasterSlave)

Redis的复制(Master/Slave) 是什么：行话：也就是我们所说的主从复制，主机数据更新后根据配置和策略，自动同步到备机的maste

蔚落/ 2021年11月11日 04:52/ 0 赞/ 420 阅读