Telegraf+Influxdb+Grafana 轻量级监控系统部署

- 日理万妓 2022-11-25 10:19 477阅读 0赞

![format_png][]

本方案中采用 数据存储（InfluxDB），数据采集（Telegraf），数据展示（Grafana ）。

先简要介绍一下InfluxData这家公司。InfluxData是一家从事物联网设备数据捕捉、分析的大数据公司。InfluxDB是InfluxData的核心产品。InfluxDB是一个开源分布式时序、时间和指标数据库，使用Go语言编写，无需外部依赖。其设计目标是实现分布式和水平伸缩扩展。目前已经有超过40000个独立网站在使用InfluxDB，其中包括IBM、CISCO、ebay、NORDSTORM、Mozilla等知名公司。

# 一、InfluxDB的安装与部署 #

InfluxDB 是一个开源分布式时序、事件和指标数据库。使用 Go 语言编写，无需外部依赖。其设计目标是实现分布式和水平伸缩扩展。

1、官网下载rpm文件并安装

wget https://dl.influxdata.com/influxdb/releases/influxdb-1.8.1.x86_64.rpm
    yum localinstall influxdb-1.8.1.x86_64.rpm

2、启动服务

----systemctl start influxdb    启动服务
    systemctl status influxdb ----查看服务状态

3、登录验证

[root@aly ~]# influx
    Connected to http://localhost:8086 version 1.8.1
    InfluxDB shell version: 1.8.1
    >

4、登录数据库，创建数据库，并创建用户且授权

[root@manager ~]# influx
    > create database telegraf;
    > use telegraf;
    > create user "fxkj" with password '123456' with all privileges;
    > show users;
     user  admin
    ----  -----
    fxkj   true
    >

如果，InfluxDB要开启登入认证的话，需要修改 /etc/influxdb/influxdb.conf 文件中的\[http\]部分，将以下两个参数设置为true

[http]
      # Determines whether HTTP endpoint is enabled.
    enabled = true
    
      # Determines whether user authentication is enabled over HTTP/HTTPS.
    auth-enabled = true

修改完之后，记得重启influxdb

systemctl restart influxdb

5、 使用用户名，密码登录

[root@aly ~]# influx -username fxkj -password '123456'
     Connected to http://localhost:8086 version 1.8.1
    InfluxDB shell version: 1.8.1
    > show databases;
    name: databases
    name
    ----
    _internal
    telegraf
    >

6、influxdb 数据库常见操作命令

创建一个新的管理员用户
    >>CREATE USER <username> WITH PASSWORD '<password>' WITH ALL PRIVILEGES
    
    
    
    为一个已有用户授权管理员权限
    GRANT ALL PRIVILEGES TO <username>
    
    
    取消用户权限
    REVOKE ALL PRIVILEGES FROM <username>
    
    展示用户及其权限
    SHOW USERS
    
    非管理员用户管理：
    创建一个新的普通用户
    CREATE USER <username> WITH PASSWORD '<password>'
    
    
    为一个已有用户授权
    GRANT [READ,WRITE,ALL] ON <database_name> TO <username>
    
    取消权限
    REVOKE [READ,WRITE,ALL] ON <database_name> FROM <username>
    
    
    展示用户在不同数据库上的权限
    SHOW GRANTS FOR <user_name>
    
    
    重设密码
    >SET PASSWORD FOR <username> = '<password>'
    
    
    删除用户
    >>DROP USER <username>
      
      
      
     查看数据库
    > show databases
    
    除数据库
    >drop database telegraf
    #删除表
    > drop measurement cpu;
    
    #使用\切换数据库
    > use cpu
    
    #查看所有表
    > show measurements
    
    #查看表中有哪些字段
    >show field keys from cpu;

# 二、Telegraf的安装与部署 #

Telegraf 是实现 数据采集 的工具。Telegraf 具有内存占用小的特点，通过插件系统开发人员可轻松添加支持其他服务的扩展。

1、官网下载rpm文件并安装

wget https://dl.influxdata.com/telegraf/releases/telegraf-1.15.1-1.x86_64.rpm
    yum localinstall telegraf-1.15.1-1.x86_64.rpm

2、创建配置文件

修改Telegraf配置文件进行采集项的配置，配置文件默认位于/etc/telegraf/telegraf.conf 中

telegraf 官网有 Input Plugins 输出部分 对各个系统、应用、服务的监控项配的参考https://docs.influxdata.com/telegraf/v1.12/plugins/plugin-list/

备份原先的配置文件 mv /etc/telegraf/telegraf.conf /etc/telegraf/telegraf.conf-bak

创建一个 新的配置文件， vim /etc/telegraf/telegraf.conf

\#interval = "10s" 表示每10秒 telegraf 采集一次数据

\#flush\_interval = "10s" 表示 每10秒 telegraf 往 influxdb 里插入数据

\#logfile = "/tmp/telegraf.log" 定义telegraf 日志输出路径

\#\[\[outputs.influxdb\]\] 输出到influxdb 中，填写 数据库地址，数据库名称，数据库账户以及密码

\#\[\[inputs.\*\]\] 定义的是 telegraf 收集的内容，这里 收集了 CPU, 系统负载，内存，磁盘空间，磁盘IO，网卡流量 ；fieldpass 表示只 收集 需要的这些字段，过滤其他字段（同时也减轻数据收集入库的压力） 具体的 参数可以在 telegraf 的官网查询 帮助手册

[global_tags]
    [agent]
      interval = "10s"
      round_interval = true
      metric_batch_size = 1000
      metric_buffer_limit = 10000
      collection_jitter = "0s"
      flush_interval = "10s"
      flush_jitter = "0s"
      precision = ""
      debug = false
      quiet = false
      logfile = "/tmp/telegraf.log"
      hostname = ""
      omit_hostname = false
    
    [[outputs.influxdb]]
      urls = ["http://127.0.0.1:8086"]
      database = "telegraf"
      username = "fxkj"
      password = "123456"
    
    [[inputs.cpu]]
      percpu = false
      totalcpu = true
      collect_cpu_time = false
      report_active = false 
      fieldpass = ["usage_idle", "usage_iowait", "usage_system", "usage_user"]
    
    [[inputs.system]]
    fieldpass = ["load1", "load5", "load15"]
    
    [[inputs.mem]]
    fieldpass = ["available"]
    
    [[inputs.disk]]
    fieldpass = ["free", "inodes_free", "used_percent"]
    ignore_fs = ["tmpfs", "devtmpfs", "devfs", "overlay", "aufs", "squashfs"]
    
    [[inputs.diskio]]
    fieldpass = ["read_bytes", "write_bytes", "reads","writes"]
    
    [[inputs.net]]
      interfaces = ["eth*"]
      fieldpass = ["bytes_recv", "bytes_sent"]

3、启动服务

systemctl enable telegraf
    systemctl start telegraf

4、查看telegraf刷新的日志

2020-08-03T02:46:09Z I! Loaded inputs: cpu system mem disk diskio net
    2020-08-03T02:46:09Z I! Loaded aggregators: 
    2020-08-03T02:46:09Z I! Loaded processors: 
    2020-08-03T02:46:09Z I! Loaded outputs: influxdb
    2020-08-03T02:46:09Z I! Tags enabled: host=test
    2020-08-03T02:46:09Z I! [agent] Config: Interval:10s, Quiet:false, Hostname:"test", Flush Interval:10s

5、登录到Influxdb 中查看收集上来的数据

[root@aly ~]# influx -username fxkj -password '123456'
     
    Connected to http://localhost:8086 version 1.8.1
    InfluxDB shell version: 1.8.1
    > use telegraf        #进入到数据库中
    Using database telegraf
    > show measurements    #查询库中所有表
    name: measurements
    name
    ----
    cpu
    disk
    diskio
    mem
    net
    system
    > select * from mem   #查看mem内存 表里的内容
    name: mem
    time                available host
    ----                --------- ----
    1596423350000000000 899223552 test
    1596423360000000000 925679616 test
    1596423360000000000 899506176 test
    1596423370000000000 946384896 test
    >

可以看到采集到数据了

# 三、Grafana的安装与部署 #

1、安装Gfrafana

这里我采用docker 的方式安装

docker run -d --name=grafana -p 3000:3000 grafana/grafana

2、登录Grafana web 控制台

访问：http://127.0.0.1:3000 默认账户密码 admin , 初次登录会强制让你更改密码

![format_png 1][]

3、在Grafana 中添加 influxdb 数据源

点击 左侧，Configuration 选项

![format_png 2][]

点击 Data Sources 中 ， Add data source

![format_png 3][]

选择Influxdb

![format_png 4][]

填写数据源 ，Name 名称 (telegraf) ， URL 地址 ， 数据库名称，用户名，密码

点击 Save & Test 对添加的数据源进行检测，显示 Data source is working 即表示成功

![format_png 5][]

![format_png 6][]

4、创建图标

首先创建一个dashboards

点击左侧，+ 号

![format_png 7][]

点击 右上角 Dashboard settings 选项， name 名称 命名为 ：test

保存 Dashboard

![format_png 8][]

![format_png 9][]

点击右上角 ， Add panel 选项

![format_png 10][]

*  第一步： 选择数据源，选择我们刚刚创建的数据源，名称为teltegraf

![format_png 11][]

*  第二步： 选择一张表 （我们采集的数据源有 mem , cpu ,disk,diskio,system,net 等这些表 ）

这里我用system 这个负载表 来演示

![format_png 12][]

*  第三步： 选择 需要查询的字段 ，这里选择三个字段（load1,load5,load15 ）分别表示系统在这三个时间段的负载情况 ；

\#默认只显示一个字段，可以用过+ 号 ，增加字段

![format_png 13][]

\#增加alias() 可以给字段定义别名

![format_png 14][]

例如：

![format_png 15][]

\#Group BY 分组 选择，tag (host) 分组，如果 监控的是多台服务器，每台服务器的主机名 都不相同，就可以在一张图内 显示 多台主机 的监控信息

![format_png 16][]

*  第四步：图标参数调整

\#坐标轴 单位大小的定义

点击右边 AXES——>left Y , Unit 这里的单位我们选择none

![format_png 17][]

\#修改图表 的名称

点击 右边 settings——> panel title 修改名称 这里给这张表定义名称为 system 负载

![format_png 18][]

\#选择 图表 的类型

点击 右边 Visualization ，选择合适的图表 ，这里我们选择Graph 图表类型

![format_png 19][]

\#在 图表 下方 显示 数据（最小值，最大值，平均值，最新值 等）

点击 右边 Legend ——> Values , 这里我们选择 current 最新值

![format_png 20][]

![format_png 21][]

*  第五步：保存 图表

# 四、图表 展示 #

![format_png 22][]

来源：

https://www.toutiao.com/i6856560121930056204/

![format_png 23][]

好文章，我 在看❤

[format_png]: /images/20221124/0f9ee1a167014eda9f2062130fe7a5b3.png
[format_png 1]: /images/20221124/01c2e8899fd14d839bf6132e680feaa8.png
[format_png 2]: /images/20221124/f175b7940e434652a68c4542fe3ceada.png
[format_png 3]: /images/20221124/d66b6946791d44ac9fe913eaf3f9d9fa.png
[format_png 4]: /images/20221124/bb262c0ac2914a6cb7ee51cda22c2d9f.png
[format_png 5]: /images/20221124/22dbfb4df7d54860ba3c6952782d0139.png
[format_png 6]: /images/20221124/56699f480aab47e1918838ee71bf2463.png
[format_png 7]: /images/20221124/677caeb1300b48e9bd75337db4b62501.png
[format_png 8]: /images/20221124/24cd916066334cc5ac2c5ce4d3b771f4.png
[format_png 9]: /images/20221124/2a49d086f93a42359f405d8dde1cc03e.png
[format_png 10]: /images/20221124/dffe6d27076e4bebb6dc6f65365da73c.png
[format_png 11]: /images/20221124/ca986b50991843238d853b6e075b2c4a.png
[format_png 12]: /images/20221124/241b6da53c1947e382107606e94c8117.png
[format_png 13]: /images/20221124/eea1e4d8985c4f45976f9c738e7d64cd.png
[format_png 14]: /images/20221124/3152ddb97e34425582f784f36c61d029.png
[format_png 15]: /images/20221124/39241f702b5d44b2b4274f02135793af.png
[format_png 16]: /images/20221124/8c2429b67c65493aabd1510e26d5fc9f.png
[format_png 17]: /images/20221124/746e847654784991990ccd1c49092d09.png
[format_png 18]: /images/20221124/abb3a8415fc84254a2c4b50f3f746754.png
[format_png 19]: /images/20221124/e2152a849f87449ab716756b744a3d73.png
[format_png 20]: /images/20221124/a2b0b7fdde874d47becadf4347aef57c.png
[format_png 21]: /images/20221124/683c139c8f544e3fbcf430516e575a8d.png
[format_png 22]: /images/20221124/ea6c07a95378458abf5dbcd114bc302a.png
[format_png 23]: /images/20221124/36bdcad8417c451883d9a8b257b58e36.png