四十一、使用Ganglia监控Flume

Love The Way You Lie 2021-09-07 06:11 409阅读 0赞

Ganglia是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu 、mem、硬盘利用率，I/O负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能起到重要作用。本文主要介绍使用Ganglia监控Flume。关注专栏[《破茧成蝶——大数据篇》][Link 1]，查看更多相关的内容~

--------------------

**目录**

一、Ganglia的安装与部署

1.1 首先需要安装epel源

1.2 安装相关插件

1.3 修改配置文件

1.4 启动Ganglia

1.5 查看

二、使用Ganglia监控Flume

2.1 修改flume-env.sh配置文件

2.2 测试

--------------------

# 一、Ganglia的安装与部署 #

## 1.1 首先需要安装epel源 ##

yum -y install epel-release

## 1.2 安装相关插件 ##

yum -y install httpd php rrdtool perl-rrdtool rrdtool-devel apr-devel ganglia-gmetad ganglia-web ganglia-gmond

## 1.3 修改配置文件 ##

1、/etc/httpd/conf.d/ganglia.conf

Require all granted

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70][]

2、/etc/ganglia/gmetad.conf

data_source "master" 192.168.0.82

3、/etc/ganglia/gmond.conf

![20210220155635147.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 2][]

## 1.4 启动Ganglia ##

systemctl start httpd.service
    systemctl start gmetad.service
    systemctl start gmond.service

## 1.5 查看 ##

在浏览器中输入如下地址进行查看：

http://192.168.0.82/ganglia

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 3][]

# 二、使用Ganglia监控Flume #

## 2.1 修改flume-env.sh配置文件 ##

在/opt/modules/flume/conf目录下修改flume-env.sh配置文件：

export JAVA_OPTS="-Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=192.168.0.82:8649 -Xms100m -Xmx200m"

![20210220161713839.png][]

## 2.2 测试 ##

启动Flume，并使用44444端口发送数据：

bin/flume-ng agent \
    --conf conf/ \
    --name a1 \
    --conf-file conf/flume-netcat-logger.conf \
    -Dflume.root.logger==INFO,console \
    -Dflume.monitoring.type=ganglia \
    -Dflume.monitoring.hosts=192.168.0.82:8649

通过Ganglia监控界面可以发现相关Flume的数据，如下所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 4][]

本文到此已经接近尾声了，本文主要讲述了如何安装部署Ganglia以及怎样使用Ganglia来监控Flume。你们在此过程中遇到了什么问题，欢迎留言，让我看看你们都遇到了哪些问题~

[Link 1]: https://blog.csdn.net/gdkyxy2013/category_10006538.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70]: /images/20210726/4c8fb36afae64b45abcac62b8884b22f.png
[20210220155635147.png]: /images/20210726/a4eb4287547348a584b6d4040e7dce7f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 1]: /images/20210726/e0bfee08f03c4be5896d6d04d09436e3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 2]: /images/20210726/24eb8bd3bf584ce1bf83c3f757fd9271.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 3]: /images/20210726/59e709f8cdd7450ab2a3c00742ec1633.png
[20210220161713839.png]: /images/20210726/bb38c7f6f2894dd384a5f29858584ba8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 4]: /images/20210726/f8b1de728e7047cbae4c13ec4d11c207.png