阿里云上安装hadoop并远程操作

今天药忘吃喽~ 2023-06-11 14:24 25阅读 0赞

前言: 在公司用到了hadoop,于是想搭建一个hadoop环境.从慕课网上找了门 Hadoop基础知识与电商网站日志数据分析课学了下,这是笔记,供本人复习之用.

**目录**

第一章 环境介绍

第二章 Hadoop的安装

2.1 jdk安装

2.2 配置ssh登陆

2.2.1 配置让服务器能自己登陆自己

2.2.2 让本地能通过ssh远程连接阿里云服务器

2.3 hadoop的安装

第三章 启动停止hadoop

3.1 格式化文件系统

3.2 启动集群

3.2.1 通过进程开启

3.2.2 通过网站验证开启

3.3 停止集群

3.4 start与stop与hadoop-daemons.sh的关系

第四章 HDFS 命令行操作

第五章 hadoop文件的存储机制

第七章 API编程开发HDFS

7.1 配置maven库

7.2 远程操作阿里云中的hadoop

7.2.1 上传文件副本数为3

--------------------

# 第一章 环境介绍 #

服务器版本centos7.3 在阿里云上买的,网络1M,单核,硬盘40GB,内存2G.

Hadoop:hadoop-2.6.0-cdh5.15.1

下载地址:[http://archive.cloudera.com/cdh5/cdh/5/][http_archive.cloudera.com_cdh5_cdh_5][hadoop-2.6.0-cdh5.15.1.tar.gz][]

Hadoop说明:[http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1/][http_archive.cloudera.com_cdh5_cdh_5_hadoop-2.6.0-cdh5.15.1]

装hadoop环境需要先配ssh与安装jdk.

jdk:1.8

# 第二章 Hadoop的安装 #

## 2.1 jdk安装 ##

[https://blog.csdn.net/q610376681/article/details/83902538][https_blog.csdn.net_q610376681_article_details_83902538]

最终java安装目录

![20191031215256614.png][]

## 2.2 配置ssh登陆 ##

**提醒:因为本人也是第一次配,可能有一些冗余操作,具体还是根据自己情况来,下面步骤只作为参考.**

附上几个常用的操作文件命令:

清空文件内容:cat /dev/null > file\_name

查找文件内的内容: 在命令行下输入“/关键字”

重启ssh服务:service sshd restart

### 2.2.1 配置让服务器能自己登陆自己 ###

即ssh localhost能够成功.

可参考:[https://blog.csdn.net/dongdong9223/article/details/81288378][https_blog.csdn.net_dongdong9223_article_details_81288378]

值得注意的是,出现are you sure 的时候要输入yes,不是直接回车.

![20191102131858176.png][]

### 2.2.2 让本地能通过ssh远程连接阿里云服务器 ###

1. 添加安全组规则:

[https://help.aliyun.com/document\_detail/25471.html?spm=a2c4g.11186623.2.14.d7837394Hhx40S\#concept-sm5-2wz-xdb][https_help.aliyun.com_document_detail_25471.html_spm_a2c4g.11186623.2.14.d7837394Hhx40S_concept-sm5-2wz-xdb]

2. 利用阿里云生成密钥对:

[https://help.aliyun.com/document\_detail/51793.html?spm=5176.2020520101.205.d51793.38cb4df5MgXi9M][https_help.aliyun.com_document_detail_51793.html_spm_5176.2020520101.205.d51793.38cb4df5MgXi9M]

3. 将密钥对放在ssh中,并在ssh规则中添加对应密钥:

[https://blog.csdn.net/mier9042/article/details/82908774][https_blog.csdn.net_mier9042_article_details_82908774]

我自己的环境:

my\_computer2.pem阿里云生成的密钥

![20191102132406430.png][]

将密钥添加到ssh中

![20191102132717404.png][]

在~/.ssh/下配置config(这里没尝试**之前的**github还能否连上,网上说可能要在改点别的配置,因为网上教程一堆,就没写,有问题再搜就行.HostName是ip,Host是我的远程主机设置host名.

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3E2MTAzNzY2ODE_size_16_color_FFFFFF_t_70][]

连接,注意连接的时候要**加上用户名如root**

![2019110213301896.png][]

## 2.3 hadoop的安装 ##

1. 下载并解压到指定目录

![20191102133841793.png][]

解压后hadoop文件夹下目录说明:

![20191102140004577.png][]

2.将java配置写入/etc/hadoop/hadoop-env.sh,如果环境变量里配置了java\_home,下图这样即可.

![20191102135718171.png][]

3. 配置默认的文件系统,切换到etc/hadoop/core-site.xml文件上,下面配置写入.

![20191102142827281.png][]

这里hadoop000要在host里进行配置

vi /etc/hosts

![20191109192345730.png][]

**特别特别特别注意地址不能写127.0.0.1和云服务器的外网ip**,这样都会导致导致等会儿不能在外网操作hadoop,要填写云服务器的内网地址.

4. 配置副本系数.现在是单机,所以是1.切换到etc/hadoop/hdfs-site.xml文件上,下面配置写入.

![20191102142949798.png][]

5.修改临时文件夹位置,此参数不改可能不影响使用,但是机器重启以后可能有问题.此目录下存放hdfs将文件切成的块,重启时tmp目录会被清空,容易造成数据丢失.

![20191102143208840.png][]

所以我们将文件放在:

![20191102151340707.png][]

6. 配置dataNode,hadoop的结构是主从结构,一个nameNode带几个dataNode,所以我们要配置dataNode,打开/etc/hadoop中的slaves,修改其中的localhost为hadoop000,效果是一样的,但是有利于我们后期修改为多节点.

# 第三章 启动停止hadoop #

## 3.1 格式化文件系统 ##

**注意:第一次执行的时候一定要格式化文件系统,不要重复执行**

将hadoop配置到环境变量中以方便使用

![20191102150832287.png][]

source /etc/profile 使其生效.

格式化文件系统

hdfs namenode -format

如下显示说明格式化成功.

![20191102151827985.png][]

## 3.2 启动集群 ##

切换到sbin中启动下图所示文件并启动

![20191102152056200.png][]

启动记录:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3E2MTAzNzY2ODE_size_16_color_FFFFFF_t_70 1][]

### 3.2.1 通过进程开启  ###

验证,当出现下图所示(除jps)即为成功,数字可以不一样,那是pid.

![20191102152724450.png][]

如果发现哪个进程不存在,去logs文件夹中找其中log文件.

![20191102152958265.png][]

### 3.2.2 通过网站验证开启 ###

访问ip:50070也可以校验是否成功,如果连接不上,考虑**防火墙**的问题,我这里用的是阿里云,打开下面的防火墙,即访问成功.

![20191102153426981.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3E2MTAzNzY2ODE_size_16_color_FFFFFF_t_70 2][]

## 3.3 停止集群 ##

在sbin目录下输入如下命令停止

./stop-dfs.sh

![20191102154036923.png][]

## 3.4 start与stop与hadoop-daemons.sh的关系  ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3E2MTAzNzY2ODE_size_16_color_FFFFFF_t_70 3][]

# 第四章 HDFS 命令行操作 #

输入hadoop,会出现提示

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3E2MTAzNzY2ODE_size_16_color_FFFFFF_t_70 4][]

看到fs是对文件系统进行操作,输入hadoop fs,看到一堆对文件的操作.将尝试较为常用的.

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3E2MTAzNzY2ODE_size_16_color_FFFFFF_t_70 5][]

首先查看hdfs中现存的文件

hadoop fs -ls /

发现空空如野,因为刚创建.

具体的命令实践:[https://www.jianshu.com/p/ba8e047a2216][https_www.jianshu.com_p_ba8e047a2216]

# 第五章 hadoop文件的存储机制 #

当我们将大于block的文件放入hdfs中去时,其会被拆成多个块.比如我们将jdk放入hdfs中.

![20191102161107796.png][]

因为一个block是128M,我们的jdk是182M,可以看到jdk被分成了两块存储到hdfs中.大小加起来刚好为182M.

![20191102161154599.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3E2MTAzNzY2ODE_size_16_color_FFFFFF_t_70 6][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3E2MTAzNzY2ODE_size_16_color_FFFFFF_t_70 7][]

我们去之前配置的/app/tmp下找,经过很多级目录可以找到这两个块.

并且cat之后也可以进行使用(这是视频上的块,我嫌麻烦没自己敲).

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3E2MTAzNzY2ODE_size_16_color_FFFFFF_t_70 8][]

# 第七章 API编程开发HDFS #

建立maven项目.

在本地中配置hosts地址如下,我本地是windows,路径为C盘 - > Windows - > System32 - > drivers-> etc - > hosts文件

![20191109204634504.png][]

## 7.1 配置maven库 ##

<repositories>
        <repository>
          <id>cloudera</id>
          <url>https://repository.cloudera.com/artifactory/cloudera-repos</url>
        </repository>
      </repositories>
    
    <dependency>
          <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-client</artifactId>
          <version>2.6.0-cdh5.15.1</version>
        </dependency>

## 7.2 远程操作阿里云中的hadoop ##

列举了几个常用的,其它的api可以网上搜搜,大同小异.

public class HDFSApp {
        public static final String HDFS_PATH = "hdfs://59.110.164.62:8020";
        FileSystem fileSystem = null;
        Configuration configuration = null;
    
        @Before
        public void setUp() throws URISyntaxException, IOException, InterruptedException {
            System.out.println("---setUp---");
            configuration = new Configuration();
            //设置true表示让它返回的是host名字,而不是地址,如果不设置
            //会返回内网地址导致失败.
            configuration.set("dfs.client.use.datanode.hostname", "true");
            fileSystem = FileSystem.get(new URI(HDFS_PATH),configuration,"root");
        }
        /**
         * 创建hdfs文件夹
         *       
         * @param 
         * @return 
         **/
        @Test
        public void mkdir() throws IOException {
            fileSystem.mkdirs(new Path("/hdfsapi/test"));
        }
        /**
         * 从hadoop中下载文件
         *       
         * @param 
         * @return 
         **/
        @Test
        public void text() throws IOException {
            FSDataInputStream in = fileSystem.open(new Path("/README.txt"));
            System.out.println("成功获取输入流");
            IOUtils.copyBytes(in,System.out,1024);
        }
        
        /**
         * 向hadoop中上传文件.
         *       
         * @param 
         * @return 
         **/
        @Test
        public void create() throws IOException {
            FSDataOutputStream out = fileSystem.create(new Path("/hdfsapi/test/a.txt"));
            out.writeUTF("hello zhangchen");
            out.flush();
            out.close();
        }
        /**
         * 关闭连接
         *       
         * @param 
         * @return 
         **/
        @After
        public void tearDown(){
            configuration = null;
            fileSystem = null;
            System.out.println("---tearDown---");
        }
    }

### 7.2.1 上传文件副本数为3 ###

同时值得注意的是我们上传的文件副本数为3,和我们在本地配置的1的副本数不一样,因为它上传时读取的是默认配置,可以在dependency下的hdfs依赖中的xml文件中找到.

![20191109205040547.png][]

可以看到副本数为3

![20191109205232543.png][]

[http_archive.cloudera.com_cdh5_cdh_5]: http://archive.cloudera.com/cdh5/cdh/5/
[hadoop-2.6.0-cdh5.15.1.tar.gz]: http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1.tar.gz
[http_archive.cloudera.com_cdh5_cdh_5_hadoop-2.6.0-cdh5.15.1]: http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1/
[https_blog.csdn.net_q610376681_article_details_83902538]: https://blog.csdn.net/q610376681/article/details/83902538
[20191031215256614.png]: /images/20230531/5f64d8c26e674a3296f3c62f1d79bafe.png
[https_blog.csdn.net_dongdong9223_article_details_81288378]: https://blog.csdn.net/dongdong9223/article/details/81288378
[20191102131858176.png]: /images/20230531/59367a71e40042a3894868c3083e316e.png
[https_help.aliyun.com_document_detail_25471.html_spm_a2c4g.11186623.2.14.d7837394Hhx40S_concept-sm5-2wz-xdb]: https://help.aliyun.com/document_detail/25471.html?spm=a2c4g.11186623.2.14.d7837394Hhx40S#concept-sm5-2wz-xdb
[https_help.aliyun.com_document_detail_51793.html_spm_5176.2020520101.205.d51793.38cb4df5MgXi9M]: https://help.aliyun.com/document_detail/51793.html?spm=5176.2020520101.205.d51793.38cb4df5MgXi9M
[https_blog.csdn.net_mier9042_article_details_82908774]: https://blog.csdn.net/mier9042/article/details/82908774
[20191102132406430.png]: /images/20230531/de11c6b7ceb24bf383e19e9db771eadb.png
[20191102132717404.png]: /images/20230531/54beb336dd5645348e613ff9b3a64c94.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3E2MTAzNzY2ODE_size_16_color_FFFFFF_t_70]: /images/20230531/a1d34748e11d452eb942c2bd3e5ae0d1.png
[2019110213301896.png]: /images/20230531/f8f9b5c15a90457b8fac6af81d347c1a.png
[20191102133841793.png]: /images/20230531/0c77d5c7c12c416e8f6dbd68a98b1d5b.png
[20191102140004577.png]: /images/20230531/e640dbc2e31647e497daef1d1fbb9c19.png
[20191102135718171.png]: /images/20230531/09af938b54fa4158a16083be1dbaab22.png
[20191102142827281.png]: /images/20230531/d5b0617aa8c24780aeab8da9aac50049.png
[20191109192345730.png]: /images/20230531/2456f67b6af046ceb90957b94d878139.png
[20191102142949798.png]: /images/20230531/6471eed7027748bd9024a72041670fca.png
[20191102143208840.png]: /images/20230531/17a41ca0e186470b8497e61f2042b452.png
[20191102151340707.png]: /images/20230531/3c261515874d42808718b3b700cc8529.png
[20191102150832287.png]: /images/20230531/237d6b7e62a74e11b997d2993782b3c1.png
[20191102151827985.png]: /images/20230531/44b87cc794bd41868a72abcb72073000.png
[20191102152056200.png]: /images/20230531/ee6f9a1a9e8c43d28af292018c6cc8cc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3E2MTAzNzY2ODE_size_16_color_FFFFFF_t_70 1]: /images/20230531/6bd11ee3d43842a8a4f049a75b34bf96.png
[20191102152724450.png]: /images/20230531/06037e4be70845e68474b964334bb287.png
[20191102152958265.png]: /images/20230531/04669a4eac364069a9062662780f5619.png
[20191102153426981.png]: /images/20230531/da72aaa8cf8b47a5b5462d3aea042857.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3E2MTAzNzY2ODE_size_16_color_FFFFFF_t_70 2]: /images/20230531/6ffa73543d6e4bd7aae5904eddf28f1c.png
[20191102154036923.png]: /images/20230531/dde3f28de5764e9ba25ae71ea6310945.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3E2MTAzNzY2ODE_size_16_color_FFFFFF_t_70 3]: /images/20230531/010ab9ece4554df3a0a1d297d60f26b5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3E2MTAzNzY2ODE_size_16_color_FFFFFF_t_70 4]: /images/20230531/ea63db27963949b79a5b2789973c6230.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3E2MTAzNzY2ODE_size_16_color_FFFFFF_t_70 5]: /images/20230531/0e4a16492a814348aab4ec4ebb0c1a95.png
[https_www.jianshu.com_p_ba8e047a2216]: https://www.jianshu.com/p/ba8e047a2216
[20191102161107796.png]: /images/20230531/f83f6d3ac7064bfebae303593ed415c0.png
[20191102161154599.png]: /images/20230531/60b156aa087c4dfd914adec724343538.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3E2MTAzNzY2ODE_size_16_color_FFFFFF_t_70 6]: /images/20230531/1ef57c1a0fa448a7b1289048fcb13b82.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3E2MTAzNzY2ODE_size_16_color_FFFFFF_t_70 7]: /images/20230531/65d160ec62164885a6ba9a6b70f8f55b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3E2MTAzNzY2ODE_size_16_color_FFFFFF_t_70 8]: /images/20230531/ca7fef298b834e17856bc46dfe8aa7e7.png
[20191109204634504.png]: /images/20230531/b265e47baf9e4038b9c603d049938803.png
[20191109205040547.png]: /images/20230531/023f7caaf4c147f8b3e56eca2af8fd29.png
[20191109205232543.png]: /images/20230531/9d244d3097e54bd39caf7745d1c740da.png