（一）logstash和beats的简单介绍

水深无声 2024-04-18 16:57 86阅读 0赞

# 一、logstash的一些名词介绍 #

**Pipeline**

*  input-filter-output 的 3个阶段的处理流程。
 *  队列管理。
 *  插件生命周期管理。

**Logstash Event**

*  他是logstash内部流转的数据的表现形式。
 *  原始数据在input 阶段被转换成 Event，在 output阶段 event 被转换成目标格式数据。
 *  在配置文件中可以对 Event 中的属性进行增删改查。

**架构图如下：**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODkxMzAw_size_16_color_FFFFFF_t_70]

# 二、queue #

## 1、分类（2类） ##

**In Memory**：无法处理进程 crash、机器宕机等情况，会导致数据丢失

**Persistent Queue In Disk**：

*  可处理进程crash 等情况，保证数据不会丢失
 *  保证数据至少消费一次
 *  充当缓冲区，可以替代kafka等消息队列的作用

## 2、Persistent Queue ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODkxMzAw_size_16_color_FFFFFF_t_70 1]  
**流程如下：**

*  1->input将data传给persistent queue
 *  2->persistent queue 将data 存储一份到 disk
 *  3，4->disk告诉input已经接收到信息（此处目的是input可以随时调整，避免数据进出过于不平衡的情况）
 *  5->persistent queue将data传给output
 *  6->output传送ack 信息给 persistent queue
 *  7->persistent queue将信息传送给disk，如果正常，此时disk就可以删除data 了

**基本配置：**

*  queue.type: persisted（默认是memory）
 *  queue.max\_bytes: 4gb（队列存储最大的数据量，默认是1gb）

# 三、启动参数 #

注：Visual VM 工具可以查看jvm情况。

*  pipeline.workers：pipeline线程数，即 filter\_output 的处理线程数，默认是cpu核数（启动时 -w即可指定）
 *  pipeline.batch.size：batcher 一次批量获取的待处理文档数，默认是125，可以根据输出进行调整，越大会 占用越多的heap 空间，可以通过 jvm.options 调整（启动时 -b即可指定）
 *  pipeline.batch.delay：batcher 等待的时长，单位是 ms（启动时 -u即可指定）
 *  config.string：指定pipeline 内容（启动时 -e即可指定，指定conf配置文件的位置）
 *  –path.data：持久化村塾数据的文件夹，默认是logstash根目录下的data（persistent queue才用到）
 *  –debug：日志等级
 *  –config.test\_and\_exit：顾名思义，检测conf文件内容是否正确并退出（启动时 -t 即可指定）

# 四、pipeline的配置（conf文件的配置） #

**在配置中引用logstash event 的属性（字段），主要有2中方式：直接引用字段值和在字符串中以sprintf方式应用**

*  直接引用字段值：使用\[\] 即可，嵌套字段写多层 \[\] （中括号）即可。
 *  字符串中引用字段值（sprintf）：使用%\{\} 来实现。

# 五、常见问题 #

**1、查看已安装插件**

bin/logstash-plugin list --verbose

**2、logstash 输入 elasticsearch 时间的处理**  
Elasticsearch原生支持date类型，json格式通过字符来表示date类型。所以在用json提交日期至elasticsearch的时候，es会隐式转换，把es认为是date类型的字符串直接转为date类型。  
date类型是包含时区信息的，如果我们没有在json代表日期的字符串中显式指定时区，对es来说没什么问题，但是如果通过kibana显示es里的数据时，就会出现问题，数据的时间会晚8个小时。因为kibana从es里读取的date类型数据，没有时区信息，kibana会默认当作0时区来解析，但是kibana在通过浏览器展示的时候，会通过js获取当前客户端机器所在的时区，也就是东八区，所以kibana会把从es得到的日期数据减去8小时。这里就会导致kibana经常遇到的“数据时间延迟8小时”的问题。  
所以最佳实践方案就是：我们在往es提交日期数据的时候，直接提交带有时区信息的日期字符串，如：“2016-07-15T12:58:17.136+0800”。  
索引中定义的日期格式与提交数据的日期格式要一致，否则会报错。  
格式化时间有2种方法：  
（1）存入 elasticsearch 前，将数据格式化好

创建索引是指定date format示例：
    PUT my_index
    {
      "mappings": {
        "_doc": {
          "properties": {
            "date": {
              "type":   "date",
              "format": "yyyy-MM-dd"
            }
          }
        }
      }
    }

（2）使用 elasticsearch-sql 查询时调用 date\_format(date, param)函数  
使用 elasticsearch-sql 查询时调用 date\_format(date, param)函数。  
此方法只针对一对一的date类型，对于 nested（一对多）的内部的date 类型无效（无法格式化）

# 六、filebeat之module #

filebeat 提供了众多开箱即用的 module。

./filebeat modules list 查看 module列表

./filebeat modules enable nginx 启用 nginx module

配置位于 module 文件夹中。

# 七、metricbeat介绍 #

## 1、module ##

metricbeat 收集指标的对象，比如linux、windows、mysql 等

## 2、metricset ##

*  metricbeat 收集指标的集合，该集合以减少收集指标调用次数为划分依据。
 *  1个module 可以有多个 metricset

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODkxMzAw_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/660888880830484cb6dbb4b81f09e1aa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODkxMzAw_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/29bf3e8118524f45ba4a94d630d75924.png