Hadoop-1.Hadoop入门

短命女 2022-03-26 03:10 352阅读 0赞

**目录：**

1.  Hadoop简介
2.  Hadoop架构
3.  Hadoop目录说明
4.  Hadoop文件系统HDFS介绍
5.  Hadoop环境搭建：伪分布式模式
6.  Hadoop修改存储路径和免密
7.  web界面访问HDFS与java操作HDFS

### 一.Hadoop简介 ###

请参考自己下载的Hadoop版本对应的文档：[Hadoop快速入门中文文档][Hadoop]

**1.Hadoop的由来**  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 1][]

**硬盘和服务器的关系：**一个服务器可以有多个硬盘，就像抽屉一样，拉开一个个抽屉，将硬盘放进去  
![20190115130457336.png][]

**2.简介**

1.  官网：http://hadoop.apache.org/
2.  Hadoop是一个分布式系统基础架构，有Apache基金会开发。用户可以不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。
3.  Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了储存，MapReduce为海量的数据提供了计算。
4.  Hadoop可运行于一般的商用服务器上，具有高容错、高可靠性、高扩展性等特点  
    特别适合写一次，读多次的场景
5.  适合
    
    1.  大规模数据
    2.  流式数据（写一次，读多次）
    3.  商用硬件（一般硬件）
6.  不适合
    
    1.  低延时的数据访问
    2.  大量的小文件
    3.  频繁修改文件（基本就是写1次）

## ##

### 二.Hadoop架构 ###

![aHR0cHM6Ly83bi53M2NzY2hvb2wuY24vYXR0YWNobWVudHMvaW1hZ2Uvd2svaGFkb29wL2FyY2hpdGVjdHVyZS5wbmc][]

*  **HDFS:** 分布式文件存储
 *  **YARN:** 分布式资源管理
 *  **MapReduce:** 分布式计算
 *  **Others:** 利用YARN的资源管理功能实现其他的数据处理方式
 *  **内部各个节点基本都是采用Master-Woker架构**

## ##

### 三.Hadoop目录说明 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 2][]

*  bin：Hadoop最基本的管理脚本和使用脚本，这些脚本是sbin目录下管理脚本的基础实现，用户可以用这些脚本管理和使用Hadoop。
 *  etc：Hadoop配置文件所在的目录，包括core-site.xml、hdfs-site.xml、mapred-site.xml等从Hadoop1.0继承而来的配置文件和yarn-site.xml等Hadoop2.0新增的文件。
 *  include：对外提供的编程库头文件（具体动态库和静态库在lib目录中），这些头文件均是C++定义的，通常用于C++程序访问HDFS或者变成MR程序。
 *  lib：该目录提供了对外编程的静态库和动态库，与include目录下的头文件结合使用。
 *  libexec：各个服务所对应你的shell配置文件所在目录，可用于配置日志输出目录、启动参数（比如JVM参数）等基本信息。
 *  sbin：Hadoop管理脚本所在目录，主要包括HDFS和YARN中各类服务的启动/关闭脚本。
 *  share：Hadoop各个模块编译后的jar包所在目录。

## ##

### 四.HDFS介绍 ###

**1.Hadoop和HDFS的关系：**

1.  HDFS（Hadoop Distributed File System）Hadoop分布式文件系统
2.  对外部客户机而言，HDFS就像一个传统的分组文件系统，可以创建、删除、移动或重命名文件等等。很多时候，我们就叫它DFS（Distributed File System）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 3][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 4][]

## ##

### 五.Hadoop环境搭建 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 5][]  
**步骤：**

1.  安装虚拟机
2.  安装jdk  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 6][]
3.  安装Hadoop 
    
    1.  Hadoop的安装模式
        
        1.  **单节点安装**  
            所有服务运行在一个JVM中，适合调试、单元测试。  
            只能本地电脑使用，外部人不能使用。
        2.  **伪集群**  
            所有服务运行在一台机器中，每个服务都在独立的JVM中，适合做简单、抽样测试。  
            可以对外提供入口、出口地址，外部的人可以通过这个配置访问hadoop，但是只有一台服务器。所有的服务全部都在一台服务器当中。
        3.  **多节点集群**  
            服务运行在不同的机器中，适合生产环境。  
            需要提供一个入口、出口地址。但是有多台服务器同时存在。服务可以分布到各台主机上。外部的人，也是通过统一的配置来访问。
        4.  问题：地址，我们在进行web项目测试的时候，比如：http://192.168.200.10:8080 这就是一个地址，它由  
            http:协议，192.168.200.10 ip，8080:端口 组成，那么hadoop所需要提供的地址是怎么样的呢？  
            hadoop的地址：hdfs://主机名:9000     （一定是主机名，而不是ip，具体见hadoop安装的3.2配制Hadoop的入口和出口）
    2.  Hadoop安装（linux下安装）  
        
        1.  上传tar.gz的文件
        2.  解压
        3.  配置
            
            1.  第一步：关联jdk  
                ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 7][]
            2.  第二步：配置hadoop的入口、出口  
                ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 8][]
            3.  第三步：设置hdfs的副本数  
                ![20190115225655747.png][]  
                什么是副本：  
                ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 9][]
        4.  第四步：启动  
            ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 10][]

## ##

### 六.Hadoop修改存储路径和免密 ###

1.  修改储存路径  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 11][]
2.  设置免密
    
    1.  免密的原因  
        ![20190115235517201.png][]
    2.  加密分类  
        ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 12][]
    3.  免密操作  
        ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 13][]
    4.  实例  
        ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 14][]

## ##

### 七.界面访问hdfs与java操作HDFS ###

**1.web界面访问hdfs**  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 15][]

**2.Java操作HDFS** ：  
示例：Java 将 hdfs:192.168.200.10:9000/user/yiguang/aaa.txt，复制存储在windows中e:/

1.  在HDFS中创建目录user/yiguang/，并在其目录下创建文件aaa.txt
    
        #第一步：在hdfs中创建文件目录/user/yiguang
        [root@kd01 ~]# hdfs dfs -mkdir /user
        [root@kd01 ~]# hdfs dfs -mkdir /user/yiguang
        
        #第二步：创建/test/aaa.txt文件，写入的内容为：我们一起学习hadoop。
        [root@kd01 test]# touch aaa.txt
        [root@kd01 /]# hdfs dfs -cat /aaa.txt
        我们一起学习hadoop。
        
        #第三步：将aaa.txt上传到hdfs中
        [root@kd01 /]# hdfs dfs -put /test/aaa.txt hdfs://kd01:9000/user/yiguang/
2.  创建maven项目
3.  加入以下pom依赖：注意版本对应
    
        <dependencies>
        	  <dependency>
        	    <groupId>org.apache.hadoop</groupId>
        	    <artifactId>hadoop-hdfs</artifactId>
        	    <version>2.7.3</version>
        	  </dependency>
        	  <dependency>
        	  	<groupId>org.apache.hadoop</groupId>
            	<artifactId>hadoop-common</artifactId>
            	<version>2.7.3</version>
        	  </dependency>
        	  <dependency>
        	    <groupId>org.apache.hadoop</groupId>
        	    <artifactId>hadoop-client</artifactId>
        	    <version>2.7.3</version>
        	  </dependency>
           </dependencies>
4.  编写代码
    
        package test;
        
        import java.io.FileOutputStream;
        import java.io.IOException;
        import java.net.URI;
        
        import org.apache.commons.compress.utils.IOUtils;
        import org.apache.hadoop.conf.Configuration;
        import org.apache.hadoop.fs.FSDataInputStream;
        import org.apache.hadoop.fs.FileSystem;
        import org.apache.hadoop.fs.Path;
        
        public class HadoopTest {
        	public static void main(String[] args) throws IOException {
        		//1.连接
        		FileSystem fs=FileSystem.get(URI.create("hdfs://192.168.200.10:9000"), new Configuration());
        		//2.拿数据
        		FSDataInputStream fsd=fs.open(new Path("/user/yiguang/aaa.txt"));
        		//3.处理
        		FileOutputStream fos=new FileOutputStream("e://bbb.txt");
        		//4.提供了一个工具类
        		IOUtils.copy(fsd, fos ,4096);
        		//5.关闭
        		fos.close();
        		fsd.close();
        		fs.close();
        		
        	}
        }
5.  运行，查看  
     
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 16][]

注意：问题补充：在上述内容操作过程中需要注意的问题  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 17][]  
![20190120164609836.png][]

[Hadoop]: http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70]: /images/20220326/3e2f1c6039e2435ead7be9b8e92db4c7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 1]: /images/20220326/c6116eac99ba47f29d83c94f23f2eda3.png
[20190115130457336.png]: /images/20220326/a63dc09b44f84b57a56f0af638ee582e.png
[aHR0cHM6Ly83bi53M2NzY2hvb2wuY24vYXR0YWNobWVudHMvaW1hZ2Uvd2svaGFkb29wL2FyY2hpdGVjdHVyZS5wbmc]: /images/20220326/682cec8bb7884352a03440fecf5f61f5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 2]: /images/20220326/b5a19766e7f64da785a48c77e7cc8e36.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 3]: /images/20220326/158099c2a0a140e8851e5dd8e083c5b6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 4]: /images/20220326/ed7529f211bb4b3f80621b277db78d61.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 5]: /images/20220326/4857d3d12a254b0eb65861c565df3661.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 6]: /images/20220326/f579ecf755924277815e9be2be8f002d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 7]: /images/20220326/a193f311fba34d919c894586577b32ba.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 8]: /images/20220326/262c74493ab0461ca188b9d0d8c4e0af.png
[20190115225655747.png]: /images/20220326/3732abb7e87d4f7abc4255bebf84220b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 9]: /images/20220326/a06da966c24248aa9467bdc64e813a3d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 10]: /images/20220326/57bdc0c15c404fcbb2a6ebf3f28f8f41.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 11]: /images/20220326/5d2cd958fc2843cf95236d39005ad03d.png
[20190115235517201.png]: /images/20220326/b676a5ae2325498ba3aad48adea459c8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 12]: /images/20220326/b00e1102211f4a9dac2ac90ba4ec5383.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 13]: /images/20220326/92a42f7332af4943882bd53eb9a1234f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 14]: /images/20220326/39a1872696b147d9aaf0c83c77de70b7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 15]: /images/20220326/0aa5977f93c0413590dcda94f5d7c732.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 16]: /images/20220326/5490f0508e624f339fe60f31507c0181.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 17]: /images/20220326/b6bc70abec394fd99035cdc7f2ea191b.png
[20190120164609836.png]: /images/20220326/3603f89c89a541259404321c091f4873.png