Hadoop 单机安装

清疚 2022-09-09 13:45 384阅读 0赞

**前提:**确保JDK环境已经配置好

步骤：

1、 下载并配置环境，本文默认安装目录 /opt/apps

配置安装目录并下载hadoop

  1. # 创建apps目录
  2. mkdir /opt/apps
  3. # 进入该路径
  4. cd /opt/apps
  5. # 下载hadoop压缩包
  6. wget http://archive.apache.org/dist/hadoop/core/hadoop-2.9.2/hadoop-2.9.2.tar.gz

解压并配置环境变量

  1. # 解压hadoop压缩包
  2. tar -zxvf hadoop-2.9.2.tar.gz
  3. # 更改名称
  4. mv hadoop-2.9.2.tar.gz hadoop
  5. # 删除下载的压缩包
  6. rm -r hadoop-2.9.2.tar.gz
  7. # 将hadoop添加到环境遍历中
  8. echo "export HADOOP_HOME=/opt/apps/hadoop" >> /etc/profile
  9. echo "export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin" >> /etc/profile
  10. # 环境变量生效
  11. source /etc/profile
  12. # 查看hadoop是否安装成功
  13. hadoop version

安装成功如下
在这里插入图片描述

2、配置hadoop文件，给改configuration里内容

  1. cd /opt/apps/hadoop/etc/hadoop

① vim core-site.xml (用于定义系统级别的参数，如HDFS URI 、Hadoop的临时目录等)

  1. <configuration>
  2.     <property>
  3.         <name>fs.defaultFS</name>
  4.         <value>hdfs://localhost:9000</value>
  5.         <description>配置hdfs端口,默认9000</description>
  6.     </property>
  7.     <property>
  8.         <name>hadoop.tmp.dir</name>
  9.         <value>/opt/apps/hadoop/tmp</value>
  10.         <description>hadoop临时工作目录</description>
  11.     </property>
  13.     <property>
  14.         <name>hadoop.native.lib</name>
  15.         <value>false</value>
  16.         <description>Should native hadoop libraries, if present, be used.</description>
  17.     </property>
  18. </configuration>

② vim hadoop-env.sh (用来定义hadoop运行环境相关的配置信息)
更改文件中 JAVA_HOME 为你的 JAVA_HOME 路径

在这里插入图片描述
③ vim hdfs-site.xml （如名称节点和数据节点的存放位置、文件副本的个数、文件的读取权限等）

  1. <configuration>
  2.     <property>
  3.            <name>dfs.replication</name>
  4.            <value>1</value>
  5.        </property>
  6.        <property>
  7.            <name>dfs.secondary.http.address</name>
  8.            <!--这里是你自己的ip，端口默认-->
  9.            <value>localhost:50090</value>
  10.        </property>
  11. </configuration>

④ cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

  1. <configuration>
  2.     <property>
  3.         <name>mapreduce.framework.name</name>
  4.         <value>yarn</value>
  5.     </property>
  6. </configuration>

⑤ vim yarn-site.xml

  1. <configuration>
  2.         <property>
  3.         <name>yarn.resourcemanager.hostname</name>
  4.         <!-- 自己的ip端口默认 -->
  5.         <value>localhost</value>
  6.     </property>
  7.     <property>
  8.         <name>yarn.nodemanager.aux-services</name>
  9.         <value>mapreduce_shuffle</value>
  10.     </property>
  11. </configuration>

3、启动Hadoop

  1. cd /opt/apps/hadoop/sbin
  2. # 格式化 
  3. hadoop namenode -format
  4. # 启动
  5. ./start-all.sh
  6. # 查看进程情况 
  7. jps

出现如下成功安装
在这里插入图片描述

访问端口 50070 可以访问网页端
在这里插入图片描述

发表评论

表情：
评论列表 （有 0 条评论，384人围观）

还没有评论，来说两句吧...

相关阅读

    相关 Hadoop 单机安装

    \\前提:\\确保JDK环境已经配置好 步骤： 1、 下载并配置环境，本文默认安装目录 /opt/apps 配置安装目录并下载hadoop 创建a

    清疚清疚/ 0 赞/ 385 阅读

    相关 linux安装Hadoop-单机环境

    如今大数据各种火，看看各种招聘网址，大数据、数据挖掘起薪20W啊，各种诱惑，所以，自己也学学大数据相关。 具体大数据什么，能做什么，发展史等等，我在这里就不描述了，网上一大堆

    小灰灰小灰灰/ 0 赞/ 413 阅读