ELK-日志收集工具nxlog

淩亂°似流年 2022-03-15 07:08 821阅读 0赞

## ELK-日志收集工具nxlog ##

### 文章目录 ###

*   *  ELK-日志收集工具nxlog
 *  前言
 *  安装
 *  语法
 *   *  宏变量
     *   *  
     *  通用模块指令格式
     *   *  Module 模块名
         *  FlowControl
         *  InputType:指定输入类型
         *  OutputType：指定输出类型
         *  Exec: 执行命令
         *  Schedule：定时器
         *   *  Every
             *  First
             *  Exec
             *  When
     *  Route模块
     *  Extension模块
     *   *  Input
         *  output
         *   *  on\_tcp/om\_udp
             *  on\_file
             *  on\_ssl
     *  修改输出内容
 *  例子
 *   *  读取/var/log/message传给logstash
     *  读取windows事件发送给logstash

# 前言 #

nxlog配置有6个可配置的部分，Extension，Processor，Input，Output，Route。其中Route是路由，不需要指定模块，其它都有各自的模块可指定。  
[官方文档地址-英文][-]  
[一些内置函数][Link 1],左侧的3.6章节

# 安装 #

[官网下载地址][Link 2],下载nxlog-ce-2.10.2150.msi，点击安装。  
64位默认安装路径：C:\\Program Files (x86)\\nxlog，  
32位默认安装路径：C:\\Program Files\\nxlog，  
日志文件默认路径：C:\\Program Files (x86)\\nxlog\\data\\nxlog.log。  
配置文件路径：C:\\Program Files (x86)\\nxlog\\conf\\nxlog.conf。

# 语法 #

默认配置文件：

Panic Soft
    #NoFreeOnExit TRUE
    
    define ROOT     C:\Program Files (x86)\nxlog
    define CERTDIR  %ROOT%\cert
    define CONFDIR  %ROOT%\conf
    define LOGDIR   %ROOT%\data
    define LOGFILE  %LOGDIR%\nxlog.log
    LogFile %LOGFILE%
    
    Moduledir %ROOT%\modules
    CacheDir  %ROOT%\data
    Pidfile   %ROOT%\data\nxlog.pid
    SpoolDir  %ROOT%\data
    
    <Extension _syslog>
        Module      xm_syslog
    </Extension>
    <Extension _charconv>
        Module      xm_charconv
        AutodetectCharsets iso8859-2, utf-8, utf-16, utf-32
    </Extension>
    
    <Extension _exec>
        Module      xm_exec
    </Extension>
    
    <Extension _fileop>
        Module      xm_fileop
    
        # Check the size of our log file hourly, rotate if larger than 5MB
        <Schedule>
            Every   1 hour
            Exec    if (file_exists('%LOGFILE%') and \
                       (file_size('%LOGFILE%') >= 5M)) \
                        file_cycle('%LOGFILE%', 8);
        </Schedule>
    
        # Rotate our log file every week on Sunday at midnight
        <Schedule>
            When    @weekly
            Exec    if file_exists('%LOGFILE%') file_cycle('%LOGFILE%', 8);
        </Schedule>
    </Extension>

## 宏变量 ##

宏可以理解为定义一个变量并赋值。比如

define ROOT     C:\Program Files (x86)\nxlog

define指令可以定义宏变量，使用时用`两个%号`包裹，比如`%ROOT %`  
例子

define BASEDIR /var/log
    <Input messages>
        Module  im_file
        File    '%BASEDIR%/messages'
    </Input>

配置文件默认定义了很多宏，了解即可。

###  ###

## 通用模块指令格式 ##

### Module 模块名 ###

模块名在C:\\Program Files (x86)\\nxlog\\modules下以.dll后缀结尾(linux以.so格式结尾)，前缀分别是im\_, pm\_, om\_, or xm\_。

> im:input module缩写，pm：processor module,om:output module,xm:extension module

### FlowControl ###

是否启用流程控制，建议在使用im\_uds模块从/dev/log采集本地syslog 的时候禁用掉，不然syslog会阻塞所有写入的动作，假如输出队列还满掉了，系统可能就不响应了

### InputType:指定输入类型 ###

只对im\_exec, im\_ssl, im\_tcp, im\_udp, and im\_uds模块有效，`一般不会特意设置`  
有效值如下  
1. LineBased：一行为一个日志，用\\n或者\\r\\n区分

2. Dgram：一旦Buffer用完了，考虑合成一份日志，im_udp模块的时候是默认选项，因为UDP syslog 是分批到达的
    
      3. Binary：转成Nxlog二进制格式

例如

<Input tcp>
        Module    im_tcp
        Port        2345
        InputType   Binary
    </Input>

### OutputType：指定输出类型 ###

只能用于 om\_file, om\_exec, om\_ssl, om\_tcp, om\_udp, and om\_uds模块  
有效值如下：  
1. LineBased：一行为一个日志  
2. Dgram：一旦缓冲满了就把缓冲数据作为一行日志，om\_udp输出默认是开着的  
3. Binary：用nxlog binary格式化输出

### Exec: 执行命令 ###

每接收到一条日志信息都会执行一次。在input, processor, and output模块里完全支持，大部分extension模块都不支持（除了 xm\_multiline 和 xm\_rewrite模块）。每行是一条Exec指令，多行指令使用</kbd>换行,使用分号结尾，放在模块的最后面。

比如单行指令：

Exec    $Hostname = 'myhost';

在每行记录里定义了一个变量$Hostname  
比如多行指令：

Exec    log_info("first"); \
            log_info("second");

多行指令也可抱成块形势，上面和下面语句意思一样

<Exec>
        log_info("first");
        log_info("second");
    </Exec>

### Schedule：定时器 ###

#### Every ####

比如`Every 1 sec`表示每秒执行。一个整型数字加上单位组成值，缺省单位是秒，有sec, min, hour, day, or week单位可选

#### First ####

设置首次执行时间，使用datetime类型的值，比如First 2010-12-17 00:19:06

#### Exec ####

执行的指令

#### When ####

@yearly        Run once a year, "0 0 1 1 *".
    @annually      (same as @yearly)
    @monthly       Run once a month, "0 0 1 * *".
    @weekly        Run once a week, "0 0 * * 0".
    @daily         Run once a day, "0 0 * * *".
    @midnight      (same as @daily)
    @hourly        Run once an hour, "0 * * * *".

这些都是语法，例子

<Input in>
        Module  im_tcp
        Port    2345
    
        <Schedule>
            Every   1 sec
            First   2010-12-17 00:19:06
            Exec    log_info("scheduled execution at " + now());
        </Schedule>
    
        <Schedule>
            When    1 */2 2-4 * *
            Exec    log_info("scheduled execution at " + now());
        </Schedule>
    </Input>

## Route模块 ##

这个是最简单模块。指定路由方式。  
语法

比如

<Input in_file>
    	Module im_file
    	File "D:\\jar\\dongli\\logs\\spring-boot.log"
    	SavePos TRUE
    	Exec convert_fields("auto", "utf-8"); 
    </Input>
    
    <Output out_file>
    	Module om_file
    	File 'D:\666.log'
    </Output>
    
    
    <Route 1>
    	Path in_file => out_file
    </Route>

## Extension模块 ##

一些前期引入的操作  
这个模块一般我们不用动它，默认配置了几个

<Extension _syslog>
        Module      xm_syslog #收集事件日志，所有的事件日志默认都被收集
    </Extension>

将 xm\_syslog换成xm\_json表示系统日志格式为json。

<Extension charconv>
    
        Module      xm_charconv
    
    </Extension>

解决文件内容中解析失败问题

### Input ###

[参考][Link 3]  
数据输入，可选模块如下图：  
![在这里插入图片描述][20190301145500548.png]  
常用的是im\_msvistalog和im\_file

<Input in_win_system>
    	#im_msvistalog支持的是2003之后的版本
        Module      im_msvistalog
    	#im_mseventlog支持的是2003之前版本
    	# Module      im_mseventlog
    
    </Input>

<Input in_win_system>
    
        Module      im_msvistalog
    </Input>

具体例子  
im\_file模块：获取springboot.log日志  
注意文件使用\\

<Input test11>
    	Module im_file
    	File "D:\\jar\\dongli\\logs\\spring-boot.log"
    	SavePos TRUE
    	Exec convert_fields("auto", "utf-8"); 
    	Exec $name="chenyuan";
    </Input>

比如文件存在多个，使用,如：File "D:\\jar\\dongli\\logs\\.log"  
支持的配置：

1.  SavePos：保存上次读取位置，默认true
2.  Recursive：是否递归子目录文件，例如目录设置为/var/log/\*.log，那么/var/log/apache2/access.log也会被匹配，默认是true
3.  ReadFromLast:从最新文件去读，默认true,和SavePos配合使用，一般不设置。具体可参考英文描述

This optional boolean directive instructs the module to only read logs which arrived after NXLog was started if the saved position could not be read (for example on first start). When SavePos is TRUE and a previously saved position value could be read, the module will resume reading from this saved position. If ReadFromLast is FALSE, the module will read all logs from the file. This can result in quite a lot of messages, and is usually not the expected behavior. If this directive is not specified, it defaults to TRUE.

1.  PollInterval：多久检查文件变化，默认是1秒(1 second),如果设置为2秒，就是2 second
2.  DirCheckInterval:检查目录下文件变化，比如增加新文件，如果PollInterval设置了就以PollInterval时间为准，默认是2秒（2 seconds）  
    im\_exec执行命令：使用tail命令读取文件
3.  CloseWhenIdle:空闲时是否关闭输入流，默认是FALSE

<Input messages>
        Module  im_exec
        Command /usr/bin/tail
        Arg     -f
        Arg     /var/log/messages
    </Input>

### output ###

数据输入，可选模块如下图：  
![20190301151218677.png][]

模块指定发送方式  
om\_tcp/om\_udp：以tcp、udp方式发送  
om\_http：http方式发送  
on\_ssl:加密方式发送  
on\_file:输出到文本

#### on\_tcp/om\_udp ####

<Output out_tcp>
    	Module om_tcp
    	Host 192.168.1.238
    	Port 514
    </Output>

#### on\_file ####

<Output out_file>
    	Module om_file
    	File 'D:\666.log'
    </Output>

#### on\_ssl ####

语法

<Output out>
    
        Module             om_ssl
    
        Host                  DST_IP
    
        Port                   DST_PORT
    
        CAFile                CA_CERT
    
        CertFile              CLIENT_CERT
    
        CertKeyFile        CLENT_KET
    
        KeyPass             PASSWORD
    
        AllowUntrusted     TRUE
    
        Exec        $raw_event = to_json();
    
    </Output>

说明：

1.  DST\_IP：为发送的目的主机IP地址，或者也可以是域名
2.  DST\_PORT: 为发送目的主机端口
3.  CA\_CERT：为CA证书路径
4.  CLIENT\_CERT：为在服务端为客户机生成的证书
5.  CLIENT\_KEY：为在服务端为客户主机生成的key
6.  PASSWORD：证书密码，默认设置为“123456”可修改，根据证书生成时的密码决定

<Output out>
    
        Module       om_ssl
    
        Host             192.168.161.96
    
        Port              1514
    
        CAFile           %CERTDIR%\ca-cert.pem
    
        CertFile         %CERTDIR%\client-cert.pem
    
        CertKeyFile %CERTDIR%\client-key.pem
    
        KeyPass       123456
    
        AllowUntrusted     TRUE
    
        Exec               $raw_event = to_json();
    
    </Output>

## 修改输出内容 ##

使用$raw\_event变量  
比如，下面在输出的日志状况添加一个ip

<Output out_file>
    	Module om_file
    	File 'D:\666.log'
    	Exec $raw_event = "192.168.161.63 " + $raw_event;
    </Output>

# 例子 #

## 读取/var/log/message传给logstash ##

<Input messages>
        Module  im_file
        File    "/var/log/messages"
    </Input>
    
    <Output tcp>
        Module  om_tcp
        Host     192.168.1.238
        Port    514
    </Output>
    
    <Route messages_to_tcp>
        Path    messages => tcp
    </Route>

## 读取windows事件发送给logstash ##

<Extension _syslog>
        Module      xm_syslog
    </Extension>
    
    <Input in>
        Module      im_msvistalog
    # For windows 2003 and earlier use the following:
    #   Module      im_mseventlog
    
        ReadFromLast FALSE
        SavePos     FALSE
        Query       <QueryList>\
                        <Query Id="0">\
                            <Select Path="Security">*</Select>\ #配置为只发送Security Log
                        </Query>\
                    </QueryList>
    
    </Input>
    
    <Output out>
        Module      om_tcp
        Host        192.168.1.238
        Port        514
        Exec        to_syslog_snare();
    </Output>
    
    <Route 1>
        Path        in => out
    </Route>

配置为同时接收多个事件日志

<Input in>
        Module      im_msvistalog
    # For windows 2003 and earlier use the following:
    #   Module      im_mseventlog
    
        ReadFromLast FALSE
        SavePos     FALSE
        Query       <QueryList>\
                        <Query Id="0">\
                            <Select Path="Application">*</Select>\
                            <Select Path="System">*</Select>\
                            <Select Path="Security">*</Select>\
                        </Query>\
                    </QueryList>
    
    </Input>

[-]: https://nxlog.co/docs/nxlog-ce/nxlog-reference-manual.html#processor-modules
[Link 1]: https://nxlog.co/docs/nxlog-ce/nxlog-reference-manual.html#core_funcs
[Link 2]: https://nxlog.co/products/nxlog-community-edition/download
[Link 3]: https://nxlog.co/docs/nxlog-ce/nxlog-reference-manual.html#core_fields
[20190301145500548.png]: /images/20220315/a1e03e3d18a04021bd19d466b2f51e9a.png
[20190301151218677.png]: /images/20220315/d2962fd6f8ed4001994d673ed115cf0f.png