大数据学习第6天

比眉伴天荒 2021-11-26 10:46 179阅读 0赞

HDFS安装-完全分布式

1、 先决条件

a) 三台机器（以上）

b) 每台机器时间一致，相差30秒以内。

c) 必须有主机名和ip映射。

d) 必须有JDK1.7,并且JDK的环境变量必须配置好。

i. rpm -ivh jdk-7u79-linux-x64.rpm 安装jdk

ii. 配置环境变量：vi ~/.bash\_profile

在文件的最后添加：

export JAVA\_HOME=/usr/java/default

export PATH=$PATH:$JAVA\_HOME/bin

source ~/.bash\_profile

e) 防火墙暂时关闭。

i. service iptables stop

ii. chkconfig iptables off

2、 上传tar，并且解压。并且配置hadoop的环境变量

a) tar -zxvf hadoop-2.5.2.tar.gz

export HADOOP\_HOME=/root/hadoop-2.5.1

export PATH=$PATH:$HADOOP\_HOME/bin:$HADOOP\_HOME/sbin

3、 编辑hadoop配置文件：hadoop-env.sh， core-site.xml， hdfs-site.xml，

Sleves。 所有的配置文件在/root/hadoop-2.5.2/etc/hadoop目录中

Hadoop-env.sh

更改第25行

export JAVA\_HOME=/usr/java/default

core-site.xml配置

<property>

<name>fs.defaultFS</name>

<value>hdfs://node5:9000</value> 表示namenode的主机名

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/hadoop</value>

</property>

Hdfs-site.xml 配置

<property>

<name>dfs.namenode.secondary.http-address</name> 配置SN的主机名

<value>node6:50090</value>

</property>

<property>

<name>dfs.namenode.secondary.https-address</name>

<value>node6:50091</value>

</property>

Slaves 配置

所有datanode的主机名

node1

node2

node3

4、 设置sshd免密码登陆。

a) 找一台主节点：启动服务。

i. 执行命令生成密钥。ssh-keygen

ii. 拷贝主节点的公钥到所有节点中去。

\\1. ssh-copy-id -i id\_rsa.pub root@node2

5、 拷贝文件：hosts，bash\_profile hadoop目录

a) scp /etc/hosts root@hadoop2:/etc/

b) scp ~/.bash\_profile root@hadoop2:~

c) scp -r /root/hadoop-2.5.2 root@hadoop2:~

6、 格式化HDFS: hdfs namenode –format 必须在主节点上

7、 在主节点上启动 start-dfs.sh

–分布式存储系统HDFS （Hadoop Distributed File System ）POSIX

• 分布式存储系统

• 提供了 高可靠性、高扩展性和高吞吐率的数据存储服务

–分布式计算框架MapReduce

• 分布式计算框架（计算向数据移动）

•具有 易于编程、高容错性和高扩展性等优点。

–分布式资源管理框架YARN（Yet Another Resource Management）

•负责集群资源的管理和调度

转载于:https://www.cnblogs.com/lkoooox/p/11005894.html

发表评论取消回复

表情：

评论列表（有 0 条评论，179人围观）

还没有评论，来说两句吧...

相关阅读

相关 Wannafly第6天

一，学习内容上午讲了FFT。又是自闭的一天。不过今天的题目教为简单，做题的时候没有那么自闭。最终我们今天做了6个题。可喜可贺，不过排名是70+.哭了下午比

叁歲伎倆/ 2023年06月30日 13:59/ 0 赞/ 12 阅读

相关每日作业 - JavaSE第6天

知识点编程基础练习题目1(综合) 通过键盘录入的方式输入星期数(1-7的整数)，显示今天的减肥活动，使用switch和if两种判断语句分别完成。周一

àì夳堔傛蜴生んèń/ 2023年06月08日 06:45/ 0 赞/ 20 阅读

相关 Collection学习第三天

今天主要学习了iterator迭代循环学习了next方法和hasNext方法以及对迭代器的重置 ![watermark_type_ZmFuZ3poZW5naGVpdGk_

喜欢ヅ旅行/ 2022年09月03日 14:12/ 0 赞/ 265 阅读

相关学习kotlin第三天

今天继续跟着kotlin官方文档踩坑，还是那句话，仅为记录我的学习过程，不喜勿喷。![抓狂][crazy.gif]为什么一发表文字颜色和格式就变了，都发了三遍了。坑1、对集

客官°小女子只卖身不卖艺/ 2022年06月15日 05:06/ 0 赞/ 331 阅读

相关 Java学习第四天（数据类型、运算符、类型转换、流程控制）6-27

【1】Java是一种强类型的语言：是因为常量需要有数据类型的，并且变量也必须声明它的数据类型。【2】变量的类型数据类型分为两部分：基本数据类型、引用数

Love The Way You Lie/ 2021年12月21日 01:23/ 0 赞/ 218 阅读

相关大数据学习第18天

storm通讯机制初解 Worker间的通信经常需要通过网络跨节点进行， Storm使用ZeroMQ或Netty(0.9以后默认使用)作为进程间通信的消息框架。 Wo

我就是我/ 2021年11月26日 10:46/ 0 赞/ 233 阅读

相关大数据学习第6天

HDFS安装-完全分布式 1、先决条件 a) 三台机器（以上） b) 每台机器时间一致，相差30秒以内。 c) 必须有主机名和ip映射。 d) 必须有JDK1.7,

比眉伴天荒/ 2021年11月26日 10:46/ 0 赞/ 180 阅读

相关 Git学习第五天

Git学习第五天别名、git refspec、注意事项、远程标签 git别名给branch命令起个别名叫br git config --global

亦凉/ 2021年11月10日 11:42/ 0 赞/ 382 阅读

相关 Git学习第四天

Git学习第四天 git远程操作、远程协作模型、git远程分支的最佳实践 git远程操作的基本命令 1.将本地仓库推送到远程 git remote ad

本是古典何须时尚/ 2021年11月10日 11:40/ 0 赞/ 436 阅读

相关 python学习第三天

python学习第三天首先把昨天欠下补上： for 循环 python中for循环可以循环任何序列的项目，如一个列表或者一个字符串可循环一个列表中的每一个元素语

深藏阁楼爱情的钟/ 2021年11月08日 22:42/ 0 赞/ 492 阅读