ElasticSearch 概念及安装

红太狼 2022-04-10 08:27 298阅读 0赞

# 1.概念 #

*1.介绍*

# elasticsearch #

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于[云计算][Link 1]中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

我们建立一个网站或应用程序，并要添加搜索功能，但是想要完成搜索工作的创建是非常困难的。我们希望搜索解决方案要运行速度快，我们希望能有一个零配置和一个完全免费的搜索模式，我们希望能够简单地使用JSON通过HTTP来索引数据，我们希望我们的搜索服务器始终可用，我们希望能够从一台开始并扩展到数百台，我们要实时搜索，我们要简单的多租户，我们希望建立一个云的解决方案。因此我们利用Elasticsearch来解决所有这些问题及可能出现的更多其它问题。

总结

1.elasticsearch是一个基于Lucene的高扩展的分布式搜索服务器，支持开箱即用。

2.elasticsearch隐藏了Lucene的复杂性，对外提供Restful 接口来操作索引、搜索

优点

1.扩展性好，可部署上百台服务器集群，处理PB级数据。

2.近实时的去索引数据、搜索数据。

搜索服务器该怎么选择?

目前比较流行的俩款搜索服务器分别是 solr  elasticsearch,我看了很多帖子, solr 在数据量不大的时候查询效率跟 es 差不多,但数据量大的时候效率就远远不行了,我也去咨询过上司,他给我的建议是     优先考虑es

2. 原理

## *索引结构* ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzk0MjY2_size_16_color_FFFFFF_t_70][]

逻辑结构图 采用的是倒排索引列表:

1.将要搜索的文档内容分词，所有不重复的词组成分词列表

2.将搜索的文档最终以Document方式存储起来

3.每个词和docment都有关联。

如下

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzk0MjY2_size_16_color_FFFFFF_t_70 1][]

假设我们搜索quick  brown,我们只需要查找包含每个词条的文档：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzk0MjY2_size_16_color_FFFFFF_t_70 2][]

可能会有人不理解什么是倒排索引,

*倒排索引-*\-

英文原名Inverted index，大概因为 Invert 有颠倒的意思，就被翻译成了倒排。但是倒排这个名称很容易让人理解为从A-Z颠倒成Z-A。个人认为翻译成转置索引可能比较合适。一个未经处理的数据库中，一般是以文档ID作为索引，以文档内容作为记录。而Inverted index 指的是将单词或记录作为索引，将文档ID作为记录，这样便可以方便地通过单词或记录查找到其所在的文档。

既然有倒排索引,那么相反  肯定会有正排索引  称为正向索引

就是以文档id 作为索引,以文档内容作为记录 如下图

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzk0MjY2_size_16_color_FFFFFF_t_70 3][]

3.如何使用es?

Elasticsearch提供 RESTful Api接口进行索引、搜索，并且支持多种客户端.

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzk0MjY2_size_16_color_FFFFFF_t_70 4][]

# 2.ElasticaSearch安装 #

安装配置

1.配置的jdk 版本至少1.8 以上

2.支持tar、zip、rpm等多

在windows下开发建议使用ZIP安装方式。

3、支持docker方式安装

详细参见 :[   https://www.elastic.co/guide/en/elasticsearch/reference/current/install-elasticsearch.html][https_www.elastic.co_guide_en_elasticsearch_reference_current_install-elasticsearch.html]

我找的教程的版本是  6.2.1 的版本,所以我一下6.2.1

[es 6.2.1][]

下载完成后解压 elasticsearch-6.2.1.zip

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzk0MjY2_size_16_color_FFFFFF_t_70 5][]

bin：脚本目录，包括：启动、停止等可执行脚本

config：配置文件目录

data：索引目录，存放索引文件的地方

logs：日志目录

modules：模块目录，包括了es的功能模块

plugins :插件目录，es支持插件机制

配置文件

有三个配置文件,ES的配置文件的地址根据安装形式的不同而不同：使用zip、tar安装，配置文件的地址在安装目录的config下,

使用RPM安装，配置文件在/etc/elasticsearch下。使用MSI安装，配置文件的地址在安装目录的config下，并且会自动将config目录地址写入环境变量ES\_PATH\_CONF

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzk0MjY2_size_16_color_FFFFFF_t_70 6][]

elasticsearch.yml ： 用于配置Elasticsearch运行参数

jvm.options ： 用于配置Elasticsearch JVM设置

log4j2.properties： 用于配置Elasticsearch日志

**elasticsearch.yml     **

配置格式有俩种

方式1：层次方式  
       path: data: /var/lib/elasticsearch logs: /var/log/elasticsearch  
方式2：属性方式  
      path.data: /var/lib/elasticsearch path.logs: /var/log/elasticsearch

我弄了一份配置提供参考

# ======================== Elasticsearch Configuration =========================
    #
    # NOTE: Elasticsearch comes with reasonable defaults for most settings.
    #       Before you set out to tweak and tune the configuration, make sure you
    #       understand what are you trying to accomplish and the consequences.
    #
    # The primary way of configuring a node is via this file. This template lists
    # the most important settings you may want to configure for a production cluster.
    #
    # Please consult the documentation for further information on configuration options:
    # https://www.elastic.co/guide/en/elasticsearch/reference/index.html
    #
    # ---------------------------------- Cluster -----------------------------------
    #
    # Use a descriptive name for your cluster:
    #
    #cluster.name: my-application
    #
    # ------------------------------------ Node ------------------------------------
    #
    # Use a descriptive name for the node:
    #
    #node.name: node-1
    #
    # Add custom attributes to the node:
    #
    #node.attr.rack: r1
    #
    # ----------------------------------- Paths ------------------------------------
    #
    # Path to directory where to store the data (separate multiple locations by comma):
    #
    #path.data: /path/to/data
    #
    # Path to log files:
    #
    #path.logs: /path/to/logs
    #
    # ----------------------------------- Memory -----------------------------------
    #
    # Lock the memory on startup:
    #
    #bootstrap.memory_lock: true
    #
    # Make sure that the heap size is set to about half the memory available
    # on the system and that the owner of the process is allowed to use this
    # limit.
    #
    # Elasticsearch performs poorly when the system is swapping the memory.
    #
    # ---------------------------------- Network -----------------------------------
    #
    # Set the bind address to a specific IP (IPv4 or IPv6):
    #
    #network.host: 192.168.0.1
    #
    # Set a custom port for HTTP:
    #
    #http.port: 9200
    #
    # For more information, consult the network module documentation.
    #
    # --------------------------------- Discovery ----------------------------------
    #
    # Pass an initial list of hosts to perform discovery when new node is started:
    # The default list of hosts is ["127.0.0.1", "[::1]"]
    #
    #discovery.zen.ping.unicast.hosts: ["host1", "host2"]
    #
    # Prevent the "split brain" by configuring the majority of nodes (total number of master-eligible nodes / 2 + 1):
    #
    #discovery.zen.minimum_master_nodes: 
    #
    # For more information, consult the zen discovery module documentation.
    #
    # ---------------------------------- Gateway -----------------------------------
    #
    # Block initial recovery after a full cluster restart until N nodes are started:
    #
    #gateway.recover_after_nodes: 3
    #
    # For more information, consult the gateway module documentation.
    #
    # ---------------------------------- Various -----------------------------------
    #
    # Require explicit names when deleting indices:
    #
    #action.destructive_requires_name: true
    #集群名称
    cluster.name: cluster01  
    
    #节点名，通常一台物理服务器就是一个节点，es会默认随机指定一个名字，建议指定一个有意义的名称，方便管里 
    #一个或多个节点组成一个cluster集群，集群是一个逻辑的概念，节点是物理概念，
    node.name: node_1
    #network.host: 设置绑定主机的ip地址，设置为0.0.0.0表示绑定任何ip，允许外网访问，生产环境建议设置为具体的ip。
    network.host: 127.0.0.1
    #http.port: 9200 设置对外服务的http端口，默认为9200。
    http.port: 9200
    #transport.tcp.port: 9300 集群结点之间通信端口
    transport.tcp.port: 9300
    #node.master: 指定该节点是否有资格被选举成为master结点，默认是true，如果原来的master宕机会重新选举新的master。 
    node.master: true
    # node.data: 指定该节点是否存储索引数据，默认为true。
    node.data: true
    #discovery.zen.ping.unicast.hosts: ["host1:port", "host2:port", "..."] 设置集群中master节点的初始列表。
    discovery.zen.ping.unicast.hosts: ["0.0.0.0:9300", "0.0.0.0:9301"]
    #discovery.zen.minimum_master_nodes: 主结点数量的最少值 ,此值的公式为：(master_eligible_nodes / 2) + 1 ，比如：有3个符合要求的主结点，那么这里要设置为2。
    discovery.zen.minimum_master_nodes: 1
    node.ingest: true
    #bootstrap.memory_lock: true 设置为true可以锁住ES使用的内存，避免内存与swap分区交换数据。
    bootstrap.memory_lock: false
    #node.max_local_storage_nodes: 单机允许的最大存储结点数，通常单机启动一个结点建议设置为1，开发环境如果单机启动多个节点可设置大于1.
    node.max_local_storage_nodes: 2
    #path.data: 设置索引数据的存储路径，默认是es根目录下的data文件夹，可以设置多个存储路径，用逗号隔开。
    path.data: D:\ElasticSearch\elasticsearch-6.2.1-1\data
    #path.logs: 设置日志文件的存储路径，默认是es根目录下的logs文件夹
    path.logs: D:\ElasticSearch\elasticsearch-6.2.1-1\logs
    
    http.cors.enabled: true
    http.cors.allow-origin: /.*/

**jvm.options**

设置最小及最大的JVM堆内存大小

在jvm.options中设置 -Xms和-Xmx：

1） 两个值设置为相等

2） 将 Xmx 设置为不超过物理内存的一半。

**系统配置**

在linux上根据系统资源情况，可将每个进程最多允许打开的文件数设置大些。

su limit -n 查询当前文件数
    使用命令设置limit:
    先切换到root，设置完成再切回elasticsearch用户
    sudo su
    ulimit ‐n 65536
    su elasticsearch

也可通过下边的方式修改文件进行持久设置

/etc/security/limits.conf

将下边的行加入此文件：

elasticsearch ‐ nofile 65536

**启动ES**

进入bin目录，在cmd下运行：elasticsearch.bat

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzk0MjY2_size_16_color_FFFFFF_t_70 7][]

浏览器访问

[http://localhost:9200/][http_localhost_9200]

显示结果如下（配置不同内容则不同）说明ES启动成功：

{
    "name" : "node_1",
    "cluster_name" : "cluster01",
    "cluster_uuid" : "J18wPybJREyx1kjOoH8T‐g",
    "version" : {
    "number" : "6.2.1",
    "build_hash" : "7299dc3",
    "build_date" : "2018‐02‐07T19:34:26.990113Z",
    "build_snapshot" : false,
    "lucene_version" : "7.2.1","minimum_wire_compatibility_version" : "5.6.0","minimum_index_compatibility_version" : "5.0.0"},"tagline" : "You Know, for Search"
    }

**head插件安装**

head插件是ES的一个可视化管理插件，用来监视ES的状态，并通过head客户端和ES服务进行交互，比如创建映  
射、创建索引等，head的项目地址在[https://github.com/mobz/elasticsearch-head][https_github.com_mobz_elasticsearch-head]

从ES6.0开始，head插件支持使得node.js运行。

1. 下载zip包

[head插件下载地址][https_github.com_mobz_elasticsearch-head] 下载ZIP包

2.解压zip包

cmd 进入包路径

3. 安装

依次执行如下命令

`npm install -g grunt-cli`

`npm install`

`检查是否安装成功 `

grunt -version
    
    出现 如下代表成功 
    grunt-cli v1.3.2
    grunt v1.0.1

启动server

`grunt server`

`浏览器访问`

[http://localhost:9100/][http_localhost_9100]

![20190102091702487.png][]

连接的es是默认端口 9300,

可以到文件中配置 cd head 目录

vim \_site/app.js

把

this.base\_uri = this.config.base\_uri || this.prefs.get("app-base\_uri") || "http://localhost:9200";

改为

this.base\_uri = this.config.base\_uri || this.prefs.get("app-base\_uri") || "http://192.168.1.101:9200";

然后重启一下head,  启动命令  `grunt server`

打开浏览器 报错

Origin null is not allowed by Access-Control-Allow-Origin

是跨域问题

设置elasticsearch允许跨域访问在config/elasticsearch.yml 后面增加以下参数：

\#开启cors跨域访问支持，默认为false

http.cors.enabled: true

\#跨域访问允许的域名地址，(允许所有域名)以上使用正则

http.cors.allow-origin: /.\*/

注意：将config/elasticsearch.yml另存为utf-8编码格式。

重启es

连接成功

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzk0MjY2_size_16_color_FFFFFF_t_70 8][]

[Link 1]: https://baike.baidu.com/item/%E4%BA%91%E8%AE%A1%E7%AE%97/9969353
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzk0MjY2_size_16_color_FFFFFF_t_70]: /images/20220401/9fda4519b2474a9f817ef7df785635a9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzk0MjY2_size_16_color_FFFFFF_t_70 1]: /images/20220401/eaa6f79a3a8d4a7fbb20c2c2fc8f8247.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzk0MjY2_size_16_color_FFFFFF_t_70 2]: /images/20220401/9c473c2f5da04f0eb5141799aa97a3e4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzk0MjY2_size_16_color_FFFFFF_t_70 3]: /images/20220401/36cfcaf67e104e05bcd7244ac90ca045.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzk0MjY2_size_16_color_FFFFFF_t_70 4]: /images/20220401/03322ac355fb45ca97586ddc75f0ffe4.png
[https_www.elastic.co_guide_en_elasticsearch_reference_current_install-elasticsearch.html]: https://www.elastic.co/guide/en/elasticsearch/reference/current/install-elasticsearch.html
[es 6.2.1]: https://www.elastic.co/downloads/past-releases
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzk0MjY2_size_16_color_FFFFFF_t_70 5]: /images/20220401/19b51377b1304463b354afd2c9f57f73.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzk0MjY2_size_16_color_FFFFFF_t_70 6]: /images/20220401/4aef6023d61340e1a9f3bfcf998cbfef.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzk0MjY2_size_16_color_FFFFFF_t_70 7]: /images/20220401/1fb4a908d847419d84012a8cfbea469a.png
[http_localhost_9200]: http://localhost:9200/
[https_github.com_mobz_elasticsearch-head]: https://github.com/mobz/elasticsearch-head
[http_localhost_9100]: http://localhost:9100/
[20190102091702487.png]: /images/20220401/7c2f43564f164b21a33d9cc2478e2589.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzk0MjY2_size_16_color_FFFFFF_t_70 8]: /images/20220401/7fdda0eed21f499f91970c4e76c7c272.png