Hue的安装+集成(Hdfs,Yarn,Hive,Mysql,Hbase,Impala)

╰+哭是因爲堅強的太久メ 2022-10-24 01:46 365阅读 0赞

### 目录 ###

*  Hue的安装
 *   *  上传解压安装包
     *  编译初始化工作
     *  编译Hue（重点）
     *  启动Hue、Web UI访问
 *  Hue与软件的集成
 *   *  Hue集成HDFS
     *   *  修改core-site.xml配置
         *  修改hdfs-site.xml配置
         *  修改hue.ini
         *  重启HDFS、Hue
     *  Hue集成YARN
     *   *  修改hue.ini
         *  开启yarn日志聚集服务
         *  重启Yarn、Hue
     *  Hue集成Hive
     *   *  修改Hue.ini
         *  启动Hive服务、重启hue
     *  Hue集成Mysql
     *   *  修改hue.ini
         *  重启hue
     *  Hue集成Hbase
     *   *  修改hbase配置
         *  修改hadoop配置
         *  修改Hue配置
         *  启动hbase(包括thrift服务)、hue
     *  Hue集成Impala
     *   *  修改Hue.ini
         *  重启Hue

# Hue的安装 #

## 上传解压安装包 ##

Hue的安装支持多种方式，包括rpm包的方式进行安装、tar.gz包的方式进行安装以及cloudera manager的方式来进行安装等，我们这里使用tar.gz包的方式来进行安装。  
Hue的压缩包的下载地址：  
[http://archive.cloudera.com/cdh5/cdh/5/][http_archive.cloudera.com_cdh5_cdh_5]  
我们这里使用的是CDH5.14.0这个对应的版本，具体下载地址为  
[http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.0.tar.gz][http_archive.cloudera.com_cdh5_cdh_5_hue-3.9.0-cdh5.14.0.tar.gz]

链接：https://pan.baidu.com/s/1w7fYlY3uR7hSIBYn6pFKag 
    提取码：tp8k

解压

tar -zxvf hue-3.9.0-cdh5.14.0.tar.gz

## 编译初始化工作 ##

联网安装各种必须的依赖包

yum install -y asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make openldap-devel python-devel sqlite-devel gmp-devel

Hue初始化配置

cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf
    vim  hue.ini

#通用配置
    [desktop]
    secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o
    http_host=hadoop102
    is_hue_4=true
    time_zone=Asia/Shanghai
    server_user=root
    server_group=root
    default_user=root
    default_hdfs_superuser=root
    #配置使用mysql作为hue的存储数据库,大概在hue.ini的587行左右
    [[database]]
    engine=mysql
    host=hadoop102
    port=3306
    user=root
    password=123456
    name=hue

创建mysql中Hue使用的DB

create database hue default character set utf8 default collate utf8_general_ci;

## 编译Hue（重点） ##

如果你mysql是用的yum命令不会报错，如果不是会编译失败，没有MySQL环境，好像是缺少mariadb  
**编译成功之后，会在hue数据库中创建许多初始化表。**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70]

## 启动Hue、Web UI访问 ##

新增用户hue,并修改文件夹权限

useradd hue
     passwd hue
     chown -R hue:hue /export/servers/hue-3.9.0-cdh5.14.0

cd /export/servers/hue-3.9.0-cdh5.14.0/
    build/env/bin/supervisor

页面访问路径：

http://hadoop102:8888

第一次访问的时候，需要设置超级管理员用户和密码。记住它。  
**用户名最好设置成root，因为权限问题**

# Hue与软件的集成 #

## Hue集成HDFS ##

注意修改完HDFS相关配置后，需要把配置scp给集群中每台机器，重启hdfs集群。

### 修改core-site.xml配置 ###

<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
    </property>
    <property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
    </property>
    <property>
      <name>hadoop.proxyuser.hue.hosts</name>
      <value>*</value>
    </property>
    <property>
      <name>hadoop.proxyuser.hue.groups</name>
      <value>*</value>	
    </property>

### 修改hdfs-site.xml配置 ###

<property>
    	  <name>dfs.webhdfs.enabled</name>
    	  <value>true</value>
    </property>

### 修改hue.ini ###

cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf
    vim hue.ini

**`没有就添加`**

[[hdfs_clusters]]
        [[[default]]]
    fs_defaultfs=hdfs://hadoop102:9000
    webhdfs_url=http:/hadoop102:50070/webhdfs/v1
    hadoop_hdfs_home= /export/servers/hadoop102
    hadoop_bin=/export/servers/hadoop-2.7.7/bin
    hadoop_conf_dir=/export/servers/hadoop-2.7.7/etc/hadoop

### 重启HDFS、Hue ###

start-dfs.sh
    
    cd /export/servers/hue-3.9.0-cdh5.14.0/
    build/env/bin/supervisor

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 1]

## Hue集成YARN ##

### 修改hue.ini ###

[[yarn_clusters]]
        [[[default]]]
          resourcemanager_host=hadoop102
          resourcemanager_port=8032
          submit_to=True
          resourcemanager_api_url=http://hadoop103:8088
          history_server_api_url=http://hadoop102:19888

### 开启yarn日志聚集服务 ###

MapReduce 是在各个机器上运行的， 在运行过程中产生的日志存在于各个机器上，为了能够统一查看各个机器的运行日志，将日志集中存放在 HDFS 上， 这个过程就是日志聚集。  
yarn-site.xm

<property>  ##是否启用日志聚集功能。
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
    </property>
    <property>  ##设置日志保留时间，单位是秒。
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>106800</value>
    </property>

### 重启Yarn、Hue ###

build/env/bin/supervisor

要启动日志服务器  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 2]

## Hue集成Hive ##

如果需要配置hue与hive的集成，我们需要启动hive的metastore服务以及hiveserver2服务（impala需要hive的metastore服务，hue需要hvie的hiveserver2服务）。

### 修改Hue.ini ###

[beeswax]
      hive_server_host=hadoop102
      hive_server_port=10000
      hive_conf_dir=/export/servers/hive/conf
      server_conn_timeout=120
      auth_username=root
      auth_password=123456
    
    [metastore]
      #允许使用hive创建数据库表等操作
      enable_new_create_table=true

### 启动Hive服务、重启hue ###

去hadoop102机器上启动hive的metastore以及hiveserver2服务

cd /export/servers/hive
    nohup bin/hive --service metastore &
    nohup bin/hive --service hiveserver2 &

重新启动hue。

cd /export/servers/hue-3.9.0-cdh5.14.0/
    build/env/bin/supervisor

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 3]

## Hue集成Mysql ##

### 修改hue.ini ###

**`需要把mysql的注释给去掉。 大概位于1546行`**

[[[mysql]]]
          nice_name="My SQL DB"
          engine=mysql
          host=hadoop102
          port=3306
          user=root
          password=123456

### 重启hue ###

cd /export/servers/hue-3.9.0-cdh5.14.0/
    build/env/bin/supervisor

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 4]

## Hue集成Hbase ##

### 修改hbase配置 ###

在hbase-site.xml配置文件中的添加如下内容，开启hbase thrift服务。  
修改完成之后scp给其他机器上hbase安装包。

<property>
      <name>hbase.thrift.support.proxyuser</name>
      <value>true</value>
    </property>
    <property>
      <name>hbase.regionserver.thrift.http</name>
      <value>true</value>
    </property>

### 修改hadoop配置 ###

在core-site.xml中确保 HBase被授权代理，添加下面内容。  
把修改之后的配置文件scp给其他机器和hbase安装包conf目录下。

<property>
    <name>hadoop.proxyuser.hbase.hosts</name>
    <value>*</value>
    </property>
    <property>
    <name>hadoop.proxyuser.hbase.groups</name>
    <value>*</value>
    </property>

### 修改Hue配置 ###

[hbase]
      # Comma-separated list of HBase Thrift servers for clusters in the format of '(name|host:port)'.
      # Use full hostname with security.
      # If using Kerberos we assume GSSAPI SASL, not PLAIN.
      hbase_clusters=(Cluster|hadoop102:9090)
    
      # HBase configuration directory, where hbase-site.xml is located.
      hbase_conf_dir=/export/servers/hbase-1.3.1/conf
    
      # Hard limit of rows or columns per row fetched before truncating.
      ## truncate_limit = 500
    
      # 'buffered' is the default of the HBase Thrift Server and supports security.
      # 'framed' can be used to chunk up responses,
      # which is useful when used in conjunction with the nonblocking server in Thrift.
      thrift_transport=buffered

### 启动hbase(包括thrift服务)、hue ###

需要启动hdfs和hbase，然后再启动thrift。

start-dfs.sh
    start-hbase.sh
    hbase-daemon.sh start thrift

重新启动hue。

cd /export/servers/hue-3.9.0-cdh5.14.0/
    build/env/bin/supervisor

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 5]

## Hue集成Impala ##

### 修改Hue.ini ###

[impala]
      server_host=hadoop104
      server_port=21050
      impala_conf_dir=/etc/impala/conf

### 重启Hue ###

cd /export/servers/hue-3.9.0-cdh5.14.0/
    build/env/bin/supervisor

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 6]

[http_archive.cloudera.com_cdh5_cdh_5]: http://archive.cloudera.com/cdh5/cdh/5/
[http_archive.cloudera.com_cdh5_cdh_5_hue-3.9.0-cdh5.14.0.tar.gz]: http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.0.tar.gz
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70]: /images/20221024/c4dd7d395cc149ae807e0721c206de04.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 1]: /images/20221024/cc395cb5491c4f7ca3c396fe15fa3cbd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 2]: /images/20221024/42c1145aedba4e6987c76dfe5542dba4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 3]: /images/20221024/9d2e47e1c43f43299266a661e9aaa2fe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 4]: /images/20221024/262d6555c41745dca0cfac97db6d54e6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 5]: /images/20221024/d0b12a82eeee4e7c9f506daf93fc8387.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 6]: /images/20221024/d46ee63cbcc54e908d3039318423011c.png