Elasticsearch系列(三)----Elasticsearch5.5.1与插件安装

╰+哭是因爲堅強的太久メ 2022-06-10 07:11 290阅读 0赞

**一、下载源码**

Elasticsearch官网地址:[https://www.elastic.co/cn/][https_www.elastic.co_cn] ,网上的教程用得比较多是2.x版本的,直到 2016-12 推出了5.x 版本 ，将版本号调为 5.X ,这是为了和Kibana、Beats、Logstash等产品版本号进行统一,Elasticsearch5.x加入了一些新特性,

具体可参考这:[http://www.cnblogs.com/zlslch/p/6619089.html][http_www.cnblogs.com_zlslch_p_6619089.html]

官网首页如下:

![20170813102432125][]

点击"Dowloads"选择Elasticsearch

![20170813102547980][]

选择发行版,默认当前版本为5.5.1然后进行下载

![20170813102709913][]

**二、进行安装**

下载下来之后,进行解压

![20170813103111777][]

进入bin目录下

![20170813103309501][]

执行elasticsearch.bat进行启动

![20170813103438758][]

启动成功,访问地址为:127.0.0.1:9200,输出信息如下

![20170813103627646][]

然后访问这个地址查看版本等一些信息,这不是图形化的界面,操作起来不是很方便,所以希望能有一个可视化的环境来操作它，可以通过安装Elasticsearch Head这个插件来进行管理。

**三、插件安装**

名词解释  
  
  
在刚接触Elasticsearch的时候，会有很多名词不能理解，或者不知道其中的关系。其中很多是为不同版本的Elasticsearch而存在的。  
  
  
Marvel  
  
Marvel插件：在簇中从每个节点汇集数据。这个插件必须每个节点都得安装。   
Marvel是Elasticsearch的管理和监控工具，在开发环境下免费使用。它包含了Sense。  
  
  
Sense  
  
交互式控制台，使用户方便的通过浏览器直接与Elasticsearch进行交互。  
  
  
Head  
  
  
在学习Elasticsearch的过程中，必不可少需要通过一些工具查看es的运行状态以及数据。如果都是通过rest请求，未免太过麻烦，而且也不够人性化。此时，Head插件可以实现基本信息的查看，rest请求的模拟，数据的检索等等。  
  
  
X-pack  
  
  
x-pack是elasticsearch的一个扩展包，将安全，警告，监视，图形和报告功能捆绑在一个易于安装的软件包中，也是官方推荐的。  
  
  
Kibana  
  
kibana是一个与elasticsearch一起工作的开源的分析和可视化的平台。使用kibana可以查询、查看并与存储在elasticsearch索引的数据进行交互操作。使用kibana能执行高级的数据分析，并能以图表、表格和地图的形式查看数据。  
  
kibana使得理解大容量的数据变得非常容易。它非常简单，基于浏览器的接口使我们能够快速的创建和分享显示elasticsearch查询结果实时变化的仪表盘。  
  
  
在Elasticsearch 5版本之前，一般都是通过安装Kibana，而后将Marvel、Hand等各种功能插件添加到Kibana上使用。在Elasticsearch 5版本之后，一般情况下只需要安装一个官方推荐的X-pack扩展包即可。

**1）Elasticsearch Head**

Elasticsearch Head是集群管理、数据可视化、增删改查、查询语句可视化工具,在最新的ES5中安装方式和ES2以上的版本有很大的不同,在ES2中可以直接在bin目录下执行plugin install xxxx 来进行安装,但是在ES5中这种安装方式变了,要想在ES5中安装Elasticsearch Head必须要安装NodeJs,然后通过NodeJS来启动Head。具体安装步骤如下:

首页去github下载源码:[https://github.com/mobz/elasticsearch-head][https_github.com_mobz_elasticsearch-head]

![20170813105206264][]

下载下来之后,要安装NodeJS,安装方式可参考我这篇文章: [http://blog.csdn.net/u011781521/article/details/53519225][http_blog.csdn.net_u011781521_article_details_53519225]

安装NodeJS之后,使用npm安装grunt

npm install -g grunt -cli

然后在目录下执行

cnpm install

![20170813105911720][]

安装好之后,还要修改Elasticsearch配置文件,编辑elasticsearch-5.5.1/config/elasticsearch.yml,加入以下内容：

![20170813110443371][]

编辑elasticsearch-head-master文件下的Gruntfile.js，修改服务器监听地址，增加hostname属性，将其值设置为\*。

以下两种配置都是OK的

\# Type1

connect: {
            hostname: '*',
            server: {
                    options: {
                            port: 9100,
                            base: '.',
                            keepalive: true
                    }
            }
    }

\# Type 2

connect: {
            server: {
                    options: {
                            hostname: '*',
                            port: 9100,
                            base: '.',
                            keepalive: true
                    }
            }
    }

编辑elasticsearch-head-master/\_site/app.js,修改head连接es的地址，将localhost修改为es的IP地址

\# 原配置

this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://localhost:9200";

![20170813113132386][]

\# 将localhost修改为ES的IP地址

this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://YOUR-ES-IP:9200";

注意:如果ES是在本地,就不要修改,默认就是localhost

在启动elasticsearch-head之前要先启动elasticsearch,在elasticsearch-head-master/目录下，运行启动命令：

grunt server

![20170813111623338][]

然后访问:127.0.0.1:9100这个地址

![20170813111757277][]

注意：

① 此时elasticsearch-head为前台启动，如果终端退出，那么elasticsearch-head服务也会随之关闭。

② 在非elasticsearch-head目录中启动server会失败！因为grunt需要读取目录下的Gruntfile.js。

**2）安装Kiabna**

Kibana是一个为 ElasticSearch 提供的数据分析的 Web 接口。可使用它对日志进行高效的搜索、可视化、分析等各种操作。  
  
  
Kiabna的介绍可查考官方的说明:[https://www.elastic.co/cn/products/kibana][https_www.elastic.co_cn_products_kibana]

下载地址为:[https://www.elastic.co/cn/downloads/kibana  
][https_www.elastic.co_cn_downloads_kibana]

![20170813113655990][]

下载下来,解压如下

![20170813114339660][]

修改config / kibana.yml文件,加入以下内容:

server.port: 5601  
    server.name: "kibana"  
    server.host: "127.0.0.1"  
    elasticsearch.url: "http://127.0.0.1:9200"

![20170813114533142][]

然后执行bin目录下的kibana.bat启动服务

![20170813114653502][]

浏览器访问地址:http://127.0.0.1:5601/

![20170813115800553][]

出现警告

Unable to fetch mapping. Do you have indices matching the pattern?

不管怎么弄,都是提示上面的错误!!!最后在网上找到中说法是,没有往Elasticsearch中插入数据所引起的:

[https://discuss.elastic.co/t/unable-to-fetch-mapping-do-you-have-indices-matching-the-pattern/73791/4][https_discuss.elastic.co_t_unable-to-fetch-mapping-do-you-have-indices-matching-the-pattern_73791_4]

![20170813231634993][]

[https://www.elastic.co/guide/en/kibana/current/tutorial-define-index.html][https_www.elastic.co_guide_en_kibana_current_tutorial-define-index.html]

[https://www.elastic.co/guide/en/kibana/current/tutorial-load-dataset.html][https_www.elastic.co_guide_en_kibana_current_tutorial-load-dataset.html]

在上面的两个网址中找到了解决方法:

在Sense中执行以下数据就可以了

PUT /logstash-2017.08.13
    {
      "mappings": {
        "log": {
          "properties": {
            "geo": {
              "properties": {
                "coordinates": {
                  "type": "geo_point"
                }
              }
            }
          }
        }
      }
    }

![20170813231918184][]

然后在返回到kibana首页,就会发现不会出现警告了!!!

![20170813232035383][]

然后点击"Create"

![20170813232133751][]

**3）安装Logstash**

Logstash是一款轻量级的日志搜集处理框架，可以方便的把分散的、多样化的日志搜集起来，并进行自定义的处理，然后传输到指定的位置，比如某个服务器或者文件。

![20170813120522543][]

官网下载地址为:[https://www.elastic.co/downloads/logstash][https_www.elastic.co_downloads_logstash]

![20170813120258111][]

下载下来之后,解压如下

![20170813120809304][]

然后添加配置文件

![20170813123013832][]

添加如下内容：

input {
      log4j {
        host => "127.0.0.1"
        port => 8801
      }
    }
    output {
        elasticsearch {
            hosts => [ "127.0.0.1:9200" ]
        }
    }

然后启动服务

logstash.bat -f first-pipeline.conf

![20170813122940454][]

**4）安装x-pack**

x-pack是elasticsearch的一个扩展包，将安全，警告，监视，图形和报告功能捆绑在一个易于安装的软件包中，虽然x-pack被设计为一个无缝的工作，但是你可以轻松的启用或者关闭一些功能，X-Pack主要是添加身份权限的验证，以及原先需要安装其他各种Marvel、Head等各种功能插件添加到Kibana上使用才能使用的功能。

X-PACK详细介绍可查看:[https://www.elastic.co/products/x-pack][https_www.elastic.co_products_x-pack]

安装的两种方式:

1.离线安装

xxx(路径)\\bin>.\\elasticsearch-plugin.bat install file:/G:\\Developer\\Elasticsearch5\\x-pack-5.5.1.zip  （Windows下file:/或者 file:///都行）

2.在线安装

xxx(路径)\\bin>.\\elasticsearch-plugin.bat install x-pack

注意的是能在线安装的插件和早先版本有所区别，可通过cmd cd至ES 的bin目录下elasticsearch-plugin.bat install -h 命令查看

5.5.1版本可在线安装的插件列表如下：

![20170813145537005][]

在线安装如下:

.\elasticsearch-plugin.bat install x-pack

![20170813131733750][]

然后在Kibana中也安装x-pack,安装方式如下:

.\kibana-plugin.bat install x-pack

![20170813133717769][]

安装好X-PACK之后,启动Elasticsearch就提示:

[2017-08-13T23:28:10,458][DEBUG][o.e.a.ActionModule       ] Using REST wrapper from plugin org.elasticsearch.xpack.XPackPlugin
    [2017-08-13T23:28:21,144][ERROR][o.e.b.Bootstrap          ] Exception
    org.elasticsearch.ElasticsearchException: Failed to create native process factories for Machine Learning
    	at org.elasticsearch.xpack.ml.MachineLearning.createComponents(MachineLearning.java:289) ~[?:?]
    	at org.elasticsearch.xpack.XPackPlugin.createComponents(XPackPlugin.java:288) ~[?:?]
    	at org.elasticsearch.node.Node.lambda$new$7(Node.java:411) ~[elasticsearch-5.5.1.jar:5.5.1]
    	at java.util.stream.ReferencePipeline$7$1.accept(ReferencePipeline.java:267) ~[?:1.8.0_131]
    	at java.util.ArrayList$ArrayListSpliterator.forEachRemaining(ArrayList.java:1374) ~[?:1.8.0_131]
    	at java.util.stream.AbstractPipeline.copyInto(AbstractPipeline.java:481) ~[?:1.8.0_131]
    	at java.util.stream.AbstractPipeline.wrapAndCopyInto(AbstractPipeline.java:471) ~[?:1.8.0_131]
    	at java.util.stream.ReduceOps$ReduceOp.evaluateSequential(ReduceOps.java:708) ~[?:1.8.0_131]
    	at java.util.stream.AbstractPipeline.evaluate(AbstractPipeline.java:234) ~[?:1.8.0_131]
    	at java.util.stream.ReferencePipeline.collect(ReferencePipeline.java:499) ~[?:1.8.0_131]
    	at org.elasticsearch.node.Node.<init>(Node.java:413) ~[elasticsearch-5.5.1.jar:5.5.1]
    	at org.elasticsearch.node.Node.<init>(Node.java:244) ~[elasticsearch-5.5.1.jar:5.5.1]
    	at org.elasticsearch.bootstrap.Bootstrap$5.<init>(Bootstrap.java:232) ~[elasticsearch-5.5.1.jar:5.5.1]
    	at org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:232) ~[elasticsearch-5.5.1.jar:5.5.1]
    	at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:351) [elasticsearch-5.5.1.jar:5.5.1]
    	at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:123) [elasticsearch-5.5.1.jar:5.5.1]
    	at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:114) [elasticsearch-5.5.1.jar:5.5.1]
    	at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:67) [elasticsearch-5.5.1.jar:5.5.1]
    	at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:122) [elasticsearch-5.5.1.jar:5.5.1]
    	at org.elasticsearch.cli.Command.main(Command.java:88) [elasticsearch-5.5.1.jar:5.5.1]
    	at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:91) [elasticsearch-5.5.1.jar:5.5.1]
    	at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:84) [elasticsearch-5.5.1.jar:5.5.1]
    Caused by: java.io.FileNotFoundException: \\.\pipe\controller_log_4992 (系统找不到指定的文件。)
    	at java.io.FileInputStream.open0(Native Method) ~[?:1.8.0_131]
    	at java.io.FileInputStream.open(FileInputStream.java:195) ~[?:1.8.0_131]
    	at java.io.FileInputStream.<init>(FileInputStream.java:138) ~[?:1.8.0_131]
    	at java.io.FileInputStream.<init>(FileInputStream.java:93) ~[?:1.8.0_131]
    	at org.elasticsearch.xpack.ml.utils.NamedPipeHelper$PrivilegedInputPipeOpener.run(NamedPipeHelper.java:297) ~[?:?]
    	at org.elasticsearch.xpack.ml.utils.NamedPipeHelper$PrivilegedInputPipeOpener.run(NamedPipeHelper.java:286) ~[?:?]
    	at java.security.AccessController.doPrivileged(Native Method) ~[?:1.8.0_131]
    	at org.elasticsearch.xpack.ml.utils.NamedPipeHelper.openNamedPipeInputStream(NamedPipeHelper.java:139) ~[?:?]
    	at org.elasticsearch.xpack.ml.utils.NamedPipeHelper.openNamedPipeInputStream(NamedPipeHelper.java:106) ~[?:?]
    	at org.elasticsearch.xpack.ml.job.process.ProcessPipes.connectStreams(ProcessPipes.java:140) ~[?:?]
    	at org.elasticsearch.xpack.ml.job.process.NativeController.<init>(NativeController.java:67) ~[?:?]
    	at org.elasticsearch.xpack.ml.job.process.NativeControllerHolder.getNativeController(NativeControllerHolder.java:50) ~[?:?]
    	at org.elasticsearch.xpack.ml.MachineLearning.createComponents(MachineLearning.java:279) ~[?:?]
    	... 21 more

Caused by: java.io.FileNotFoundException: \\\\.\\pipe\\controller\_log\_4992 (系统找不到指定的文件。)在网上找了半天才找到解决方法:

[https://discuss.elastic.co/t/unable-to-start-elasticsearch-5-4-0-in-docker/84800][https_discuss.elastic.co_t_unable-to-start-elasticsearch-5-4-0-in-docker_84800]

![20170814000249836][]

在Elasticsearch/config/elasticsearch.yml加入以下参数:

action.auto_create_index: .security,.monitoring*,.watches,.triggered_watches,.watcher-history*
    xpack.security.enabled: false
    xpack.monitoring.enabled: true
    xpack.graph.enabled: false
    xpack.watcher.enabled: false
    xpack.ml.enabled: false

再次启动

![20170814000442450][]

成功运行

**5）IK分词器和拼音分词器的安装**  
  
  
分词顾名思义，就是把一句话分成一个一个的词。  
  
  
安装中文分词器IK  
  
[https://github.com/medcl/elasticsearch-analysis-ik][https_github.com_medcl_elasticsearch-analysis-ik]  
  
执行以下命令:

.\elasticsearch-plugin.bat install https://github.com/medcl/elas
    ticsearch-analysis-ik/releases/download/v5.5.1/elasticsearch-analysis-ik-5.5.1.zip

安装拼音分词器pinyin  
  
[https://github.com/medcl/elasticsearch-analysis-pinyin][https_github.com_medcl_elasticsearch-analysis-pinyin]  
  
pinyin分词器可以让用户输入拼音，就能查找到相关的关键词。比如在某个商城搜索中，输入shuihu，就能匹配到水壶。这样的体验还是非常好的。  
  
执行以下命令:

.\elasticsearch-plugin.bat install https://github.com/medcl/elas
    ticsearch-analysis-pinyin/releases/download/v5.5.1/elasticsearch-analysis-pinyin-5.5.1.zip

**6)Elasticsearch SQL查询插件**

Elasticsearch-sql 是给予es的提供sql查询服务。你可以很方便的用sql的方式查询es的数据。不必困扰于ES变态的查询表达式，同时提供了超越sql的功能。Github地址: [https://github.com/NLPchina/elasticsearch-sql/][https_github.com_NLPchina_elasticsearch-sql]

5.5.1插件的安装方式如下

./bin/elasticsearch-plugin install https://github.com/NLPchina/elasticsearch-sql/releases/download/5.5.1.0/elasticsearch-sql-5.5.1.0.zip

然后下载客户端[https://github.com/NLPchina/elasticsearch-sql/releases/download/5.4.1.0/es-sql-site-standalone.zip][https_github.com_NLPchina_elasticsearch-sql_releases_download_5.4.1.0_es-sql-site-standalone.zip]

解压，进入site-server目录

![20170910114741832][]

执行以下命令

npm install express --save
    node node-server.js

进行安装与启动,然后访问: [http://localhost:8080/index.html][http_localhost_8080_index.html]

![20170910115506580][]

输入一个存在的索引，然后点击Search进行查询。

注意:

右上脚的连接地址，要改成你要连接的那个ES地址。

[https_www.elastic.co_cn]: https://www.elastic.co/cn/
[http_www.cnblogs.com_zlslch_p_6619089.html]: http://www.cnblogs.com/zlslch/p/6619089.html
[20170813102432125]: /images/20220610/5c1b2b9beb694d03bb611ecd4997b67a.png
[20170813102547980]: /images/20220610/394a2286e8734a6d812c12caf81101e0.png
[20170813102709913]: /images/20220610/a6c65f0690b744dba472ff9092755aab.png
[20170813103111777]: /images/20220610/5eabc8506d84454c87adb39e4fb1b386.png
[20170813103309501]: /images/20220610/1295db232afd4e17b02adb06d8535d59.png
[20170813103438758]: /images/20220610/dfde464189bd411f8dfb02456a07a310.png
[20170813103627646]: /images/20220610/a4f2f5e309a54e7da6b1dbb798405623.png
[https_github.com_mobz_elasticsearch-head]: https://github.com/mobz/elasticsearch-head
[20170813105206264]: /images/20220610/9d821dbc0ef4465abe111665bd9c1bdb.png
[http_blog.csdn.net_u011781521_article_details_53519225]: http://blog.csdn.net/u011781521/article/details/53519225
[20170813105911720]: /images/20220610/1eab4c5ad4624aff9eb444c28ddb5d78.png
[20170813110443371]: /images/20220610/9f3113032c71435fb6daeae23510c26b.png
[20170813113132386]: /images/20220610/f76fce7ee16746a989e692b2966af319.png
[20170813111623338]: /images/20220610/43d030181dba470e9fe9e5b08cb058c3.png
[20170813111757277]: /images/20220610/9f7343b1d1004c86aa5b94dff3cc0259.png
[https_www.elastic.co_cn_products_kibana]: https://www.elastic.co/cn/products/kibana
[https_www.elastic.co_cn_downloads_kibana]: https://www.elastic.co/cn/downloads/kibana
[20170813113655990]: /images/20220610/33d56876cf1148fe8a0f25b0f462ef6e.png
[20170813114339660]: /images/20220610/e47e2d796f1b488b8fd41dd1c1ac8acc.png
[20170813114533142]: /images/20220610/286750438cb24bf9ae6018d1d2d5c968.png
[20170813114653502]: /images/20220610/7c193d9c5db9442db9180f6e506013ed.png
[20170813115800553]: /images/20220610/e3aca1e5c96a4796b0ba8db0e7c83aca.png
[https_discuss.elastic.co_t_unable-to-fetch-mapping-do-you-have-indices-matching-the-pattern_73791_4]: https://discuss.elastic.co/t/unable-to-fetch-mapping-do-you-have-indices-matching-the-pattern/73791/4
[20170813231634993]: /images/20220610/5e4910e257da4b0d867e66e1508e9658.png
[https_www.elastic.co_guide_en_kibana_current_tutorial-define-index.html]: https://www.elastic.co/guide/en/kibana/current/tutorial-define-index.html
[https_www.elastic.co_guide_en_kibana_current_tutorial-load-dataset.html]: https://www.elastic.co/guide/en/kibana/current/tutorial-load-dataset.html
[20170813231918184]: /images/20220610/e1cfe92241fd4a049ab72c5496ade3ad.png
[20170813232035383]: /images/20220610/2fc6c99fa21149edb1f883fead52e4b7.png
[20170813232133751]: /images/20220610/bd1a68a6661e402fb5c7de40c8946d7e.png
[20170813120522543]: /images/20220610/be92317a50544d11926c2192f9b1562a.png
[https_www.elastic.co_downloads_logstash]: https://www.elastic.co/downloads/logstash
[20170813120258111]: /images/20220610/012ad798b8e14cc198d573ea47faab20.png
[20170813120809304]: /images/20220610/cf236a56afc747028ca7b6da2715d5eb.png
[20170813123013832]: /images/20220610/65d449b116f04617931e63f3d3ecae24.png
[20170813122940454]: /images/20220610/483a9010c9a749fc97f8b41835e09372.png
[https_www.elastic.co_products_x-pack]: https://www.elastic.co/products/x-pack
[20170813145537005]: /images/20220610/a9cfeba76277490597e4419bbed5bf37.png
[20170813131733750]: /images/20220610/7e898c02b1464aebb71ebfdde7438003.png
[20170813133717769]: /images/20220610/22aeee9e5aa8464fb29b483a1ecf7260.png
[https_discuss.elastic.co_t_unable-to-start-elasticsearch-5-4-0-in-docker_84800]: https://discuss.elastic.co/t/unable-to-start-elasticsearch-5-4-0-in-docker/84800
[20170814000249836]: /images/20220610/8ca517599ac54c78bd14f95535b0c50d.png
[20170814000442450]: /images/20220610/9dab2c44e6624b67bf8234ef234f0790.png
[https_github.com_medcl_elasticsearch-analysis-ik]: https://github.com/medcl/elasticsearch-analysis-ik
[https_github.com_medcl_elasticsearch-analysis-pinyin]: https://github.com/medcl/elasticsearch-analysis-pinyin
[https_github.com_NLPchina_elasticsearch-sql]: https://github.com/NLPchina/elasticsearch-sql/
[https_github.com_NLPchina_elasticsearch-sql_releases_download_5.4.1.0_es-sql-site-standalone.zip]: https://github.com/NLPchina/elasticsearch-sql/releases/download/5.4.1.0/es-sql-site-standalone.zip
[20170910114741832]: /images/20220610/87460b0898174b828057dce437431f39.png
[http_localhost_8080_index.html]: http://localhost:8080/index.html
[20170910115506580]: /images/20220610/f94b4f3947be4224aa9b285e79a28793.png