Hadoop安装教程以及注意事项！

太过爱你忘了你带给我的痛 2023-02-14 06:51 2阅读 0赞

**首先，为什么要使用hadoop**  
hadoop是一款可靠的、可伸缩的、分布式计算的开源软件. 是一个框架、允许跨越计算机集群的大数据集处理，使用简单的编程模型（MapReduce）。可从单个服务器扩展到几千台主机，每个节点提供了计算和存储的功能。而不是依赖高可用性的机器依赖于应用层面上的实现；而且处理海量数据的架构首选，非常快得完成大数据计算任务，因此，给大家说下hadoop安装心得；以Cloudera发行版：CDH安装为例。  
找到hadoop2.6版本 cdh5.14.2左右的就可以，找一个专门放压缩文件的文件夹开始解压  
tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz  
解压完后可以重命名便于记忆，在这里就叫hadoop260  
mv hadoop-2.6.0-cdh5.14.2 hadoop260  
接下来就是要开始配置环境变量：  
hadoop260/etc/hadoop下都是hadoop的配置文件，在hadoop-env.sh找java环境变量，把路径改成你的jdk路径  
vi hadoop-env.sh  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t0_pic_center][]  
配置core-site.xml，在里面配置4组  
vi core-site.xml  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70_pic_center][]  
设置副本个数，最少3个，这里因为是举例就设置成1个，也是在里面配置  
vi hdfs-site.xml  
![20200601162537700.png_pic_center][]  
拷贝一份mapred-site.xml.template配置文件到mapred-site.xml  
更改mapred-site.xml中配置文件，同样在里面配置  
cp mapred-site.xml.template mapred-site.xml  
vi mapred-site.xml  
![20200601163221480.png_pic_center][]  
配置resourcemanager站点名称和nodemanager 辅助节点管理  
vi yarn-site.xml

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70_pic_center 1][]  
配置hadoop的环境变量  
vi /etc/profile  
export HADOOP\_HOME=/opt/hadoop260  
export HADOOP\_MAPRED\_HOME=$ HADOOP\_HOME  
export HADOOP\_COMMON\_HOME=$ HADOOP\_HOME  
export HADOOP\_HDFS\_HOME=$ HADOOP\_HOME  
export YARN\_HOME=$ HADOOP\_HOME  
export HADOOP\_COMMON\_LIB\_NATIVE\_DIR=$ HADOOP\_HOME/lib/native  
export PATH=$ PATH:$ HADOOP\_HOME/sbin:$ HADOOP\_HOME/bin  
export HADOOP\_INSTALL=$ HADOOP\_HOME  
**注意**  
**$前后没有空格，HADOOP\_HOME的路径是你的hadoop解压后的路径，配置完后一定要去激活**![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70][]  
激活配置文件  
source /etc/profile  
格式化格式化NameNode  
hadoop namenode -format  
启动  
**start-all.sh**  
这时会提示输入密码的情况，当正确输入密码的时候，可能需要多输入几次，去开启一个个进程

查看配置的文件是否生效，查看进程情况  
jps  
![20200601170351970.png][]  
当出现上图的5个进程时，表示启动成功，当然除了jps时，  
去网站输入虚拟机的地址，端口号是50070，查看是否能显示网址  
http://192.168.xx.xxx:50070  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70 1][]  
这时，恭喜，启动成功！  
当然了，这里只是hadoop最基本的配置，后面的免密登录也会给大家讲解如何操作！

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t0_pic_center]: https://img-blog.csdnimg.cn/20200601160528337.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE=,size_16,color_FFFFFF,t0#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70_pic_center]: https://img-blog.csdnimg.cn/20200601161802761.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE=,size_16,color_FFFFFF,t_70#pic_center
[20200601162537700.png_pic_center]: https://img-blog.csdnimg.cn/20200601162537700.png#pic_center
[20200601163221480.png_pic_center]: https://img-blog.csdnimg.cn/20200601163221480.png#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70_pic_center 1]: https://img-blog.csdnimg.cn/20200601164116753.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/2020060116545489.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE=,size_16,color_FFFFFF,t_70
[20200601170351970.png]: https://img-blog.csdnimg.cn/20200601170351970.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200601171238622.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE=,size_16,color_FFFFFF,t_70