Elasticsearch1.3.5 升级到Elasticsearch6.3.0

痛定思痛。 2022-02-19 12:19 202阅读 0赞

Elasticsearch1.3.5 一个古老级的版本，Elasticsearch6.3.0一个较为新的版本

说一下为啥升级：主要是因为1.3.5的多级排序不满足我的要求，最简单的需求：

水泥 价格10 2018-10-01

水泥 价格12 2018-11-01

水泥 价格11 2019-02-18

超找关键字：水泥 【默认只能做】文档相关性排序，没法做综合排序【我想既有文档相关性然后还兼容时间，或者价格】

这是我最基本的需求，也是往高版本不断寻找的一个原因：终于在6.0版本上发现了，这个版本能兼容。于是先安装一个版本试试再说，如果真的jian兼容需求，则准备shen升级至6.3.0。

因此本地装6.3.0 并且从数据库，使用Logstash 加载数据至Elasticsearch6.3.0:

# Logstash 6.3.0加载数据库数据至Elasticsearch6.3.0 #

*  logstash: [https://artifacts.elastic.co/downloads/logstash/logstash-6.3.0.zip][https_artifacts.elastic.co_downloads_logstash_logstash-6.3.0.zip]
 *  elasticsearch：[https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.0.zip][https_artifacts.elastic.co_downloads_elasticsearch_elasticsearch-6.3.0.zip]

head组件自己安装，我没用Kibana。

启动Elasticsearch 应该不复杂，就当大家都会了。

**第一步**：解压Logstash ,然后进入bin目录

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lleGlhb21vZGVtbw_size_16_color_FFFFFF_t_70][]

**第二步**：我们创建一个mysql的配置文件：mysqlconf.conf

input {
        stdin {
        }
        jdbc {
          # mysql 数据库链接,cdy为数据库名
          jdbc_connection_string => "jdbc:mysql://www.mysql.rds.aliyuncs.com:3306/gs_dev"
          # 用户名和密码
          jdbc_user => "dev"
          jdbc_password => "DEV2019"
          # 驱动
          jdbc_driver_library => "D:/elasticsearch-6.3.0-logstash-6.3.0/logstash-6.3.0/bin/mysql-connector-java-5.1.46.jar"
          # 驱动类名
          jdbc_driver_class => "com.mysql.jdbc.Driver"
          jdbc_paging_enabled => "true"
          jdbc_page_size => "5000"
          # 执行的sql
          statement => "select * from market_price "
          # 设置监听间隔  各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新
          #schedule => "* * * * *"
          # 索引类型
          #type => "content"
        }
    }
     
    filter {
        json {
            source => "message"
            remove_field => ["message"]
        }
    }
     
    output {
        elasticsearch {
            hosts => ["192.168.2.232:9200"]
            #索引名称
            index => "market"
    		document_type => "market_price"
            document_id => "%{id}"
        }
        stdout {
            codec => json_lines
        }
    }

**第三步**：我们将我们的MySQL驱动包放到解压的位置

![20190416153707691.png][]

版本没关系，跟你数据库一致就行，但是名称跟我的不一样的话，记得改上面的配置文件。

**第四步**：执行命令- windows:

logstash.bat -f mysqlconf.conf

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lleGlhb21vZGVtbw_size_16_color_FFFFFF_t_70 1][]

贴一个刷数据至ES的图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lleGlhb21vZGVtbw_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lleGlhb21vZGVtbw_size_16_color_FFFFFF_t_70 3][]

不断会自动加载数据至ES。然后数据加载就完成了，下一篇揭晓到底能不能做到综合排序

**第五步**：解决一下碰到的一些异常问题

问题一：错误: 找不到或无法加载主类 Files\\Java\\jdk1.8.0\_162\\lib;C:\\Program

参考：[https://blog.csdn.net/lvwenzhuye/article/details/81483479][https_blog.csdn.net_lvwenzhuye_article_details_81483479]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lleGlhb21vZGVtbw_size_16_color_FFFFFF_t_70 4][]

问题二：com.mysql.jdbc.Driver not loaded. Are you sure you've included the correct jdbc driver in :jdbc\_driver\_library

![20190416154910139.png][]

**这个是你的 jar包找不到，你再找一下你的配置文件下的路径下是否真的有那个文件**

**第六步**：其他细节参考

[https://blog.csdn.net/u010904188/article/details/81776737][https_blog.csdn.net_u010904188_article_details_81776737]

[https_artifacts.elastic.co_downloads_logstash_logstash-6.3.0.zip]: https://artifacts.elastic.co/downloads/logstash/logstash-5.5.0.zip
[https_artifacts.elastic.co_downloads_elasticsearch_elasticsearch-6.3.0.zip]: https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.0.zip
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lleGlhb21vZGVtbw_size_16_color_FFFFFF_t_70]: /images/20220219/f3185701b27246bdbc991e6e1b6e5a24.png
[20190416153707691.png]: /images/20220219/62f51e9cd1514bae8d48b6b9fbfd3e73.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lleGlhb21vZGVtbw_size_16_color_FFFFFF_t_70 1]: /images/20220219/135adb3d399c47b4b95f2873b9520ed0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lleGlhb21vZGVtbw_size_16_color_FFFFFF_t_70 2]: /images/20220219/a343deed16db49eeb0b8436fb414a634.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lleGlhb21vZGVtbw_size_16_color_FFFFFF_t_70 3]: /images/20220219/e9313b6321ca4bf2b0a2b13131f25679.png
[https_blog.csdn.net_lvwenzhuye_article_details_81483479]: https://blog.csdn.net/lvwenzhuye/article/details/81483479
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lleGlhb21vZGVtbw_size_16_color_FFFFFF_t_70 4]: /images/20220219/122320b08d3f4d7897fcb97d9f5ef751.png
[20190416154910139.png]: /images/20220219/df20a1d048614c4d875ab3c669fcfd7a.png
[https_blog.csdn.net_u010904188_article_details_81776737]: https://blog.csdn.net/u010904188/article/details/81776737