大数据开发技术Hadoop基础篇之运行环境的搭建

「爱情、让人受尽委屈。」 2023-09-24 12:31 115阅读 0赞

1.虚拟机环境准备

1) 克隆虚拟机

2) 修改克隆虚拟机的静态ip

3) 修改主机名

4) 关闭防火墙

5) 创建atguigu用户

6) 配置atguigu用户具有root权限

以上6条内容详见《尚硅谷大数据技术之Linux》文档。

![ddefd6b470b89976a25b2b60f59074ed.jpeg][]

7)在/opt目录下创建文件夹

(1)在/opt目录下创建module；software文件夹

\[atguigu@hadoop101 opt\]$ sudo mkdir module

\[atguigu@hadoop101 opt\]$ sudo mkdir software

(2)修改module、software文件夹的所有者

\[atguigu@hadoop101 opt\]$ sudo chown atguigu:atguigu module/ software/

\[atguigu@hadoop101 opt\]$ ll

总用量 8

drwxr-xr-x・ 2 atguigu atguigu 4096 1月 17 14:37 module

drwxr-xr-x・ 2 atguigu atguigu 4096 1月 17 14:38 software

2・安装jdk

1)卸载现有jdk

(1)查询是否安装java软件：

\[atguigu@hadoop101 opt\]$ rpm -qa | grep java

(2)如果安装的版本低于1.7，卸载该jdk：

\[atguigu@hadoop101 opt\]$ sudo rpm -e 软件包

2)用SecureCRT工具将jdk导入到opt目录下面的software文件夹下面

![b52f5962b0083a73b220ab366b8808b2.jpeg][]

“alt+p”进入sftp模式

![c692fa752763da229e72ccc3af4e9c85.jpeg][]

选择jdk1.8拖入

![c29b51cb34d555c084586a1af9de355d.jpeg][]

![d718e83302bd7c8d83b9250a6a658721.jpeg][]

3)在linux系统下的opt目录中查看软件包是否导入成功。

\[atguigu@hadoop101 opt\]$ cd software/

\[atguigu@hadoop101 software\]$ ls

hadoop-2・7・2・tar・gz jdk-8u144-linux-x64・tar・gz

4)解压jdk/opt/module目录下

\[atguigu@hadoop101 software\]$ tar -zxvf jdk-8u144-linux-x64・tar・gz -C /opt/module/

5)配置jdk环境变量

(1)先获取jdk路径：

\[atgui@hadoop101 jdk1・8・0\_144\]$ pwd

/opt/module/jdk1.8.0\_144

(2)打开/etc/profile文件：

\[atguigu@hadoop101 software\]$ sudo vi /etc/profile

在profile文件末尾添加jdk路径：

\#JAVA\_HOME

export JAVA\_HOME=/opt/module/jdk1.8.0\_144

export PATH=$PATH:$JAVA\_HOME/bin

(3)保存后退出：

:wq

(4)让修改后的文件生效：

\[atguigu@hadoop101 jdk1・8・0\_144\]$ source /etc/profile

6)测试jdk是否安装成功：

\[atguigu@hadoop101 jdk1・8・0\_144\]\# java -version

java version “1・8・0\_144”

注意：重启(如果java -version可以用就不用重启)

\[atguigu@hadoop101 jdk1・8・0\_144\]$ sync

\[atguigu@hadoop101 jdk1・8・0\_144\]$ sudo reboot

3・安装Hadoop

0)Hadoop下载地址：

https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/

用SecureCRT工具将hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面

切换到sftp连接页面，选择Linux下编译的hadoop jar包拖入

![dd22c13c3f002aa0e641aa1ac253e455.jpeg][]

![8de2836e37139945c23ab2927c016d35.jpeg][]

2)进入到Hadoop安装包路径下：

\[atguigu@hadoop101 ~\]$ cd /opt/software/

3)解压安装文件到/opt/module下面

\[atguigu@hadoop101 software\]$ tar -zxvf hadoop-2・7・2・tar・gz -C /opt/module/

4)查看是否解压成功

\[atguigu@hadoop101 software\]$ ls /opt/module/

hadoop-2・7・2

5)将hadoop添加到环境变量

(1)获取hadoop安装路径：

\[atguigu@ hadoop101 hadoop-2・7・2\]$ pwd

/opt/module/hadoop-2.7.2

(2)打开/etc/profile文件：

\[atguigu@ hadoop101 hadoop-2・7・2\]$ sudo vi /etc/profile

在profie文件末尾添加jdk路径：(shitf+g)

\#\#HADOOP\_HOME

export HADOOP\_HOME=/opt/module/hadoop-2.7.2

export PATH=$PATH:$HADOOP\_HOME/bin

export PATH=$PATH:$HADOOP\_HOME/sbin

(3)保存后退出：

:wq

(4)修改后的文件生效：

\[atguigu@ hadoop101 hadoop-2・7・2\]$ source /etc/profile

6)测试是否安装成功

\[atguigu@hadoop102 ~\]$ hadoop version

Hadoop 2・7・2

7)重启(如果hadoop命令不能用再重启)：

\[atguigu@ hadoop101 hadoop-2・7・2\]$ sync

\[atguigu@ hadoop101 hadoop-2・7・2\]$ sudo reboot

文章转载链接：http://www.atguigu.com/jsfx/747.html

[ddefd6b470b89976a25b2b60f59074ed.jpeg]: https://img-blog.csdnimg.cn/img_convert/ddefd6b470b89976a25b2b60f59074ed.jpeg
[b52f5962b0083a73b220ab366b8808b2.jpeg]: https://img-blog.csdnimg.cn/img_convert/b52f5962b0083a73b220ab366b8808b2.jpeg
[c692fa752763da229e72ccc3af4e9c85.jpeg]: https://img-blog.csdnimg.cn/img_convert/c692fa752763da229e72ccc3af4e9c85.jpeg
[c29b51cb34d555c084586a1af9de355d.jpeg]: https://img-blog.csdnimg.cn/img_convert/c29b51cb34d555c084586a1af9de355d.jpeg
[d718e83302bd7c8d83b9250a6a658721.jpeg]: https://img-blog.csdnimg.cn/img_convert/d718e83302bd7c8d83b9250a6a658721.jpeg
[dd22c13c3f002aa0e641aa1ac253e455.jpeg]: https://img-blog.csdnimg.cn/img_convert/dd22c13c3f002aa0e641aa1ac253e455.jpeg
[8de2836e37139945c23ab2927c016d35.jpeg]: https://img-blog.csdnimg.cn/img_convert/8de2836e37139945c23ab2927c016d35.jpeg