mac elk搭配kafka工作

男娘i 2022-12-13 14:11 163阅读 0赞

### 前面我已经搭建好了elk组件，也已经启动过elk了，也已经安装好了zookeeper和kafka服务并且启动了，能看到kafka在命令行的生产和消费流程，那么此时我想在kibana中看到kafka中的消息，那么此时就要让logstash的input，即输入不再是之前配置的file ###

input {
        
       file {
        
          path => ["/Users/java0904/Downloads/test.txt"]
        }
      }
     output {
        
       elasticsearch{
        
          hosts => ["http://localhost:9200"]
       }
    }

### 要改为kakfa，只需要更改配置文件就好了，我的配置文件的位置是 ###

cd /Users/java0904/Downloads/logstash-7.8.1

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbGtfamF2YQ_size_16_color_FFFFFF_t_70_pic_center]

### 于是我cp了一份conf文件，改为如下配置 ###

### 重新启动一下logstash ###

bin/logstash -f test_logstash.conf

报错：

![在这里插入图片描述][2020101211025971.png_pic_center]

### 解决方案 ###

cd /data
    rm .lock

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbGtfamF2YQ_size_16_color_FFFFFF_t_70_pic_center 1]

### 重新启动后ok ###

### 再次打开kibana界面[http://localhost:5601/][http_localhost_5601] ###

### 可以看到消息已经同步到es上面了 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbGtfamF2YQ_size_16_color_FFFFFF_t_70_pic_center 2]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbGtfamF2YQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/e6015b2b1c70458c9541634a4813293f.png
[2020101211025971.png_pic_center]: /images/20221123/4d3f4d41496a40cd9a4e75453a7d63ce.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbGtfamF2YQ_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/15746b56482d4b0297716d481921e15e.png
[http_localhost_5601]: http://localhost:5601/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbGtfamF2YQ_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/473a53864d1944d286dc619581e5d113.png