ELK 之 Logstash 安装以及 MovieLens数据集的导入

本是古典何须时尚 2022-11-28 05:56 139阅读 0赞

## 环境 ##

ElasticSearch 是用java写的，所以安装 ElasticSearch 之前需要先有java环境

*  jdk环境 设置 $JAVA\_HOME

## 下载地址 ##

官网：https://www.elastic.co/cn/downloads/logstash  
国内镜像：https://www.newbe.pro/Mirrors/Mirrors-Logstash/  
官网的下载速度是跟乌龟爬的一样，最好还是使用国内的一个镜像，注意下载的时候要与ElasticSearch的版本匹配

## MovieLens数据集 ##

在安装 logstatsh 之前，我们需要先下载一个数据集来测试 logstatsh 的数据管道功能。  
MovieLens数据集是一个包含多个用户对多部电影的评级数据，也包括电影元数据信息和用户属性信息。这个数据集经常用来做推荐系统，机器学习算法的测试数据集。

官网地址：https://grouplens.org/datasets/movielens/

下载那个只有 1M 大小的数据集便可以  
![在这里插入图片描述][2020081723560792.png_pic_center]  
moveilens的目录结构如上：

*  ratings.csv  
    文件里面的内容包含了每一个用户对于每一部电影的评分。数据格式如下：  
    userId, movieId, rating, timestamp  
    userId: 每个用户的id  
    movieId: 每部电影的id  
    rating: 用户评分，是5星制，按半颗星的规模递增(0.5 stars - 5 stars)  
    timestamp: 自1970年1月1日零点后到用户提交评价的时间的秒数  
    数据排序的顺序按照userId，movieId排列的。
 *  movies.csv  
    文件里包含了一部电影的id和标题，以及该电影的类别。数据格式如下：  
    movieId, title, genres  
    movieId:每部电影的id  
    title:电影的标题  
    genres:电影的类别
 *  links.csv  
    文件里包含了一些链接到电影来源的连接，数据格式如下：  
    movieId,imdbId,tmdbId

# 安装 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTgy_size_16_color_FFFFFF_t_70_pic_center]  
官网是有详细的安装教程的，按照这个教程去走基本就可以启动成功

1.  下载解压

[root@iZbp17kchfu5kwypzjeyqiZ logstash]# tar xvf logstash-7.3.2.tar.gz 
    logstash-7.3.2/x-pack/src/test/java/org/logstash
    logstash-7.3.2/x-pack/src/test/java/org/logstash/xpack
    logstash-7.3.2/x-pack/src/test/java/org/logstash/xpack/test
    logstash-7.3.2/x-pack/src/test/java/org/logstash/xpack/test/RSpecIntegrationTests.java
    logstash-7.3.2/x-pack/src/test/java/org/logstash/xpack/test/RSpecTests.java
    logstash-7.3.2/LICENSE.txt
    logstash-7.3.2/logstash-core/lib/logstash/build.rb

1.  准备配置文件  
    启动的时候是需要 logstash.conf 这个配置文件的，但是比较神奇的是，这个配置文件在下载包中没有，只有有一个 logstash-sample.conf 文件，这个文件提供了一些简单的配置，所以我们还需要基于这个文件做一些个性化的配置并且生成一个 logstash.conf 文件。  
    因为我们之前已经下载了moveilens数据集，所以这里需要配置一下数据集的位置。

*  修改 path 为你数据集的位置
 *  hosts 为你es的机器端口
 *  index 为索引名称

input { 
      file { 
        # path 为数据集的位置，需要你根据自己的位置去配置
        path => "/Users/yiruan/dev/elk7/logstash-7.0.1/bin/movies.csv"
        start_position => "beginning"
        sincedb_path => "/dev/null"
      }
    }
    filter { 
      csv { 
        separator => ","
        columns => ["id","content","genre"]
      }
    
      mutate { 
        split => {  "genre" => "|" }
        remove_field => ["path", "host","@timestamp","message"]
      }
    
      mutate { 
    
        split => ["content", "("]
        add_field => {  "title" => "%{[content][0]}"}
        add_field => {  "year" => "%{[content][1]}"}
      }
    
      mutate { 
        convert => { 
          "year" => "integer"
        }
        strip => ["title"]
        remove_field => ["path", "host","@timestamp","message","content"]
      }
    
    }
    output { 
       elasticsearch { 
         hosts => "http://localhost:9200"
         index => "movies"
         document_id => "%{id}"
       }
      stdout { }
    }

1.  启动  
    可以使用 -f 命令来指定你的logstash.conf 的位置

[elastic@iZbp17kchfu5kwypzjeyqiZ logstash-7.3.2]$ bin/logstash -f config/logstash.conf 
    { 
           "title" => "Flint",
        "@version" => "1",
              "id" => "193585",
            "year" => 2017,
           "genre" => [
            [0] "Drama"
        ]
    }
    { 
           "title" => "Bungo Stray Dogs: Dead Apple",
        "@version" => "1",
              "id" => "193587",
            "year" => 2018,
           "genre" => [
            [0] "Action",
            [1] "Animation"
        ]
    }
    { 
           "title" => "Andrew Dice Clay: Dice Rules",
        "@version" => "1",
              "id" => "193609",
            "year" => 1991,
           "genre" => [
            [0] "Comedy"
        ]
    }

当我们看到有这种数据格式的日志打印出来的时候，证明数据已经导入到我们的ElasticSearch·中了  
4. 查询数据  
我们可以通过 kibana 的索引管理来看一看先有的索引，可以发现，movies 这条索引已经建立并且还有9000多个文档在内。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTgy_size_16_color_FFFFFF_t_70_pic_center 1]

[2020081723560792.png_pic_center]: /images/20221124/3f05973dbefe4d148460102e120deef1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTgy_size_16_color_FFFFFF_t_70_pic_center]: /images/20221124/437a9a40513e47f1a169a46b3a9110ec.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTgy_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221124/e0350dd5a9994cb0961b63d392cef29f.png