Hadoop单机部署（转）

谁借莪１个温暖的怀抱￠ 2022-06-02 00:46 310阅读 0赞

#### 转载，来源于https://www.cnblogs.com/ee900222/p/hadoop\_1.html ####

# **1. Hadoop****介绍** #

Hadoop是一个能够对海量数据进行分布式处理的系统架构。

Hadoop框架的核心是：HDFS和MapReduce。

HDFS分布式文件系统为海量的数据提供了存储，

![868522-20151230151935964-1018291784.png][]

MapReduce分布式处理框架为海量的数据提供了计算。

![868522-20151230152018589-1796088340.png][]

# **2. Hadoop****安装** #

### 2.1 安装java ###

Hadoop是使用JAVA写的，所以需要先安装JAVA环境。

本次安装的是hadoop-2.7.0，需要JDK 7以上版本。

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code># yum install java-1.7.0-openjdk</code> 
     </div> 
     <div> 
      <code># yum install java-1.7.0-openjdk-devel</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

安装后确认

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code># java –version</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

![868522-20151230152608370-525883663.png][]

### 2.2 需要ssh和rsync ###

Linux系统一般都已经默认安装了，如果没有，yum安装。

### 2.3 下载Hadoop ###

从官网下载Hadoop最新版2.7.0

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code># wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.0/hadoop-2.7.0.tar.gz</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

将hadoop解压到/usr/local/下

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code># cd /usr/local/</code> 
     </div> 
     <div> 
      <code># tar zxvf /root/hadoop-2.7.0.tar.gz</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

### 2.4 设置环境变量 ###

设置JAVA的环境变量，JAVA\_HOME是JDK的位置

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code># vi /etc/profile</code> 
     </div> 
     <div> 
      <code>export</code> 
      <code>PATH=</code> 
      <code>/usr/local/hadoop-2</code> 
      <code>.7.0</code> 
      <code>/bin</code> 
      <code>:$PATH</code> 
     </div> 
     <div> 
      <code>export</code> 
      <code>JAVA_HOME=</code> 
      <code>/usr/lib/jvm/java-1</code> 
      <code>.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

让设置生效

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code># source /etc/profile</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

设置Hadoop的JAVA\_HOME

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code># cd hadoop-2.7.0/</code> 
     </div> 
     <div> 
      <code># vi etc/hadoop/hadoop-env.sh</code> 
     </div> 
     <div> 
      <code>export</code> 
      <code>JAVA_HOME=</code> 
      <code>/usr/lib/jvm/java-1</code> 
      <code>.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

到此，Hadoop的安装就算完成了，接下来进行部署和使用。

# 3. 单机部署 #

Hadoop部署方式分三种，Standalone mode、Pseudo-Distributed mode、Cluster mode，其中前两种都是在单机部署。

### 3.1 standalone mode（本地单独模式） ###

这种模式，仅1个节点运行1个java进程，主要用于调试。

#### 3.1.1 在Hadoop的安装目录下，创建input目录 ####

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code># mkdir input</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

#### 3.1.2 拷贝input文件到input目录下 ####

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code># cp etc/hadoop/*.xml input</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

#### 3.1.3 执行Hadoop job ####

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code># hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.0.jar grep input output 'dfs[a-z.]+'</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

上面的job是使用hadoop自带的样例，在input中统计含有dfs的字符串。

#### 3.1.4 确认执行结果 ####

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code># cat output/*</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

![868522-20151230154637151-747029866.png][]

#### 3.1.5 问题点 ####

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code>WARN io.ReadaheadPool: Failed readahead on ifile</code> 
     </div> 
     <div> 
      <code>EBADF: Bad </code> 
      <code>file</code> 
      <code>descriptor</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

如果出现上面的警告，是因为快速读取文件的时候，文件被关闭引起，也可能是其他bug导致，此处忽略。

### 3.2 pseudo-distributed mode（伪分布模式） ###

这种模式是，1个节点上运行，HDFS daemon的 NameNode 和 DataNode、YARN daemon的 ResourceManger 和 NodeManager，分别启动单独的java进程，主要用于调试。

#### 3.2.1 修改设定文件 ####

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> 
    <div>
      7 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code># vi etc/hadoop/core-site.xml</code> 
     </div> 
     <div> 
      <code>&lt;configuration&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;property&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;name&gt;fs.defaultFS&lt;</code> 
      <code>/name</code> 
      <code>&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;value&gt;hdfs:</code> 
      <code>//localhost</code> 
      <code>:9000&lt;</code> 
      <code>/value</code> 
      <code>&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;</code> 
      <code>/property</code> 
      <code>&gt;</code> 
     </div> 
     <div> 
      <code>&lt;</code> 
      <code>/configuration</code> 
      <code>&gt;</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> 
    <div>
      7 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code># vi etc/hadoop/hdfs-site.xml</code> 
     </div> 
     <div> 
      <code>&lt;configuration&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;property&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;name&gt;dfs.replication&lt;</code> 
      <code>/name</code> 
      <code>&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;value&gt;1&lt;</code> 
      <code>/value</code> 
      <code>&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;</code> 
      <code>/property</code> 
      <code>&gt;</code> 
     </div> 
     <div> 
      <code>&lt;</code> 
      <code>/configuration</code> 
      <code>&gt;</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

#### 3.2.2 设定本机的无密码ssh登陆 ####

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code># ssh-keygen -t rsa</code> 
     </div> 
     <div> 
      <code># cat ~/.ssh/id_rsa.pub &gt;&gt; ~/.ssh/authorized_keys</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

#### 3.2.3 执行Hadoop job ####

MapReduce v2 叫做YARN，下面分别操作一下这两种job

#### 3.2.4 执行MapReduce job ####

#### 3.2.4.1 格式化文件系统 ####

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code># hdfs namenode -format</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

#### 3.2.4.2 启动名称节点和数据节点后台进程 ####

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code># sbin/start-dfs.sh</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

![868522-20151230155950651-1494084439.png][]

在localhost启动一个1个NameNode和1个DataNode，在0.0.0.0启动第二个NameNode

#### 3.2.4.3 确认 ####

![868522-20151230160053307-321146360.png][]

#### 3.2.4.4 访问NameNode的web页面 ####

http://localhost:50070/

![868522-20151230160142807-1000295571.png][]

#### 3.2.4.5 创建HDFS ####

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code># hdfs dfs -mkdir /user</code> 
     </div> 
     <div> 
      <code># hdfs dfs -mkdir /user/test</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

#### 3.2.4.6 拷贝input文件到HDFS目录下 ####

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code># hdfs dfs -put etc/hadoop /user/test/input</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

确认，查看

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code># hadoop fs -ls /user/test/input</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

#### 3.2.4.7 执行Hadoop job ####

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code># hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.0.jar grep /user/test/input output 'dfs[a-z.]+'</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

#### 3.2.4.8 确认执行结果 ####

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code># hdfs dfs -cat output/*</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

![868522-20151230160746089-740880709.png][]

或者从HDFS拷贝到本地查看

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code># bin/hdfs dfs -get output output</code> 
     </div> 
     <div> 
      <code># cat output/*</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

#### 3.2.4.9 停止daemon ####

#### 3.2.5 执行YARN job ####

MapReduce V2框架叫YARN

#### 3.2.5.1 修改设定文件 ####

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> 
    <div>
      7 
    </div> 
    <div>
      8 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code># cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml</code> 
     </div> 
     <div> 
      <code># vi etc/hadoop/mapred-site.xml</code> 
     </div> 
     <div> 
      <code>&lt;configuration&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;property&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;name&gt;mapreduce.framework.name&lt;</code> 
      <code>/name</code> 
      <code>&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;value&gt;yarn&lt;</code> 
      <code>/value</code> 
      <code>&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;</code> 
      <code>/property</code> 
      <code>&gt;</code> 
     </div> 
     <div> 
      <code>&lt;</code> 
      <code>/configuration</code> 
      <code>&gt;</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> 
    <div>
      7 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code># vi etc/hadoop/yarn-site.xml</code> 
     </div> 
     <div> 
      <code>&lt;configuration&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;property&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;name&gt;yarn.nodemanager.aux-services&lt;</code> 
      <code>/name</code> 
      <code>&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;value&gt;mapreduce_shuffle&lt;</code> 
      <code>/value</code> 
      <code>&gt;</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>&lt;</code> 
      <code>/property</code> 
      <code>&gt;</code> 
     </div> 
     <div> 
      <code>&lt;</code> 
      <code>/configuration</code> 
      <code>&gt;</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

#### 3.2.5.2 启动ResourceManger和NodeManager后台进程 ####

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code># sbin/start-yarn.sh</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

#### ![868522-20151230161420354-522989004.png][] ####

#### 3.2.5.3 确认 ####

![868522-20151230161441604-292381601.png][]

#### 3.2.5.4 访问ResourceManger的web页面 ####

http://localhost:8088/

![868522-20151230161511339-1601485235.png][]

#### 3.2.5.5 执行hadoop job ####

#### 3.2.5.6 确认执行结果 ####

执行结果和MapReduce job相同

#### 3.2.5.7 停止daemon ####

#### 3.2.5.8 问题点 ####

1. 单节点测试情况下，同样的input，时间上YARN比MapReduce好像慢很多，查看日志发现DataNode上GC发生频率较高，可能是测试用VM配置比较低有关。

2. 出现下面警告，是因为没有启动job history server

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code>java.io.IOException: java.net.ConnectException: Call From test166</code> 
      <code>/10</code> 
      <code>.86.255.166 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: Connection refused;</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

启动jobhistory daemon

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code># sbin/mr-jobhistory-daemon.sh start historyserver</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

确认

![868522-20151230162529073-874732914.png][]

访问Job History Server的web页面

http://localhost:19888/

![868522-20151231114335307-1037127755.png][]

3. 出现下面警告，DataNode日志中有错误，重启服务后恢复

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code>java.io.IOException: java.io.IOException: Unknown Job job_1451384977088_0005</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

### 3.3 启动/停止 ###

也可以用下面的启动/停止命令，等同于start/stop-dfs.sh + start/stop-yarn.sh

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code># sbin/start-all.sh</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

### 3.4 日志 ###

日志在Hadoop安装路径下的logs目录下

# **4****、后****记** #

单机部署主要是为了调试用，生产环境上一般是集群部署，接下来会进行介绍。

[868522-20151230151935964-1018291784.png]: /images/20220602/53e391d4a645475d996a52cbc2f6a963.png
[868522-20151230152018589-1796088340.png]: /images/20220602/675ef3502b124e8f819e615e08988dc1.png
[868522-20151230152608370-525883663.png]: /images/20220602/74760317653b46d3b90ba2994d0115aa.png
[868522-20151230154637151-747029866.png]: /images/20220602/a4cb8ca038a74985ae9969e5873ff667.png
[868522-20151230155950651-1494084439.png]: /images/20220602/987827152b43404995d1a0e4fbbe0227.png
[868522-20151230160053307-321146360.png]: /images/20220602/d5c43cbc2f75461f81119a94c9dc73e5.png
[868522-20151230160142807-1000295571.png]: /images/20220602/be463c7eacf848bba64f3b5004c459ca.png
[868522-20151230160746089-740880709.png]: /images/20220602/50c13c8d6a3a4e59b49706177de6829b.png
[868522-20151230161420354-522989004.png]: /images/20220602/eafdac6cabf94c27a70700d3a2c2b176.png
[868522-20151230161441604-292381601.png]: /images/20220602/eb97d7d6e6d44e4eb2ab35fce9a89d4d.png
[868522-20151230161511339-1601485235.png]: /images/20220602/77a42375f3324ce7b7ffbb8f64837d74.png
[868522-20151230162529073-874732914.png]: /images/20220602/f4ce972d716044f18548f583091ef61a.png
[868522-20151231114335307-1037127755.png]: /images/20220602/99b11b4301f748bc8912e9cbebe35ae8.png