ElasticSearch、Kibana的下载安装

布满荆棘的人生 2022-12-11 06:26 265阅读 0赞

### 目录 ###

*   *   *  概述
         *   *  全文索引
             *  ES简介
         *  ES的下载、安装、启动
         *   *  下载
             *  win版安装、启动
             *  linux版安装
             *  linux版启动、停止
         *  Kibana的安装、启动
         *   *  ES常见的调试方式
             *  Kibana的安装
             *  Kibana的启动、停止
             *  Kibana的使用
             *  常见问题
             *   *  再次启动es时抛出异常：某些文件没有权限
                 *  kibana粘贴代码报错

### 概述 ###

#### 全文索引 ####

数据可分为2类

*  结构化数据：格式固定、有长度限制，一般用关系数据库来存储。
 *  非结构化数据：无固定格式、不限制长度，eg. 邮件内容、word⽂档内容。

非结构化数据的2种处理方式

*  顺序扫描：从前往后依次扫描，eg. 在一篇文章中搜索“java”，会在这篇文章中从前往后扫描，找到“java”出现之处，效率低下。
 *  全文搜索：存储时提取关键字作为索引，根据预先建立的索引来检索，效率高。（全文索引的原理）

全文索引的特点|优点

*  检索效率高
 *  支持海量数据
 *  检索灵活、自动纠错
 *  索引易维护

全文索引的使用场景

*  存储、检索海量的非结构化文本数据
 *  需要使用交互式的⽂本查询，用户输入部分关键字，需要提供相应的预选项
 *  需要灵活的文本搜索，用户输入有误时需要自动纠错

全文索引关注的是搜索（读），写的性能相对差一些。

全文搜索引擎的实现方式

*  mysql：支持全文索引，但性能差、支持的数量级低。
 *  Lucene：Java编写的一个全文搜索引擎，并非完整的应⽤程序，只是⼀个代码库，强大但使用复杂。Solr、ES都是基于Lucene的，对Lucene进行了封装，简化了操作。
 *  Solr：支持分布式，成熟可靠、高容错、可扩展，支持GB级别的数据，常用于企业级应用。
 *  ElasticSearch：后起之秀，纯java编写，支持分布式，支持TB、PB级别的数据，提供Restful风格的API，可实现数据的聚合、分析。

#### ES简介 ####

es的特点

*  基于Lucene，支持全文索引、结构化检索
 *  纯java编写，支持分布式，高性能、可扩展
 *  可处理PB级别的海量数据
 *  提供Restful风格的API
 *  自动纠错
 *  支持数据的统计、分析，接近实时搜索

es的使用场景

*  文本内容的全文检索，eg.日志搜索，github、维基百科
 *  数据监控、聚合、分析，eg. 报表统计、分析

### ES的下载、安装、启动 ###

#### 下载 ####

官网下载地址：[https://www.elastic.co/cn/downloads/elasticsearch][https_www.elastic.co_cn_downloads_elasticsearch]

如果觉得下载速度慢，可以使用华为云的镜像：[https://mirrors.huaweicloud.com/elasticsearch/][https_mirrors.huaweicloud.com_elasticsearch]

win下载zip，linux下载tar.gz。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoeV8xODg4MzcwMTE2MQ_size_16_color_FFFFFF_t_70]

es是纯java编写的，需要jdk的支持。es默认自带了一个jdk，在解压目录下的jdk目录下，这个也是es默认使用（需要）的jdk版本。

如果已经配置了jdk的环境变量，会优先使用系统环境变量中配置的jdk。如果系统环境变量中配置的jdk版本与自带的jdk版本（需要的jdk版本）不一致，es启动时会报警告

> future versions of Elasticsearch will require Java 11; your Java version from \[/usr/local/jdk/jre\] does not meet this requirement

es向下兼容jdk8，不影响正常使用。

官方说后续要移除不自带jdk的es，不推荐使用，我们下载带jdk的es即可。自带的jdk版本很新，不稳定，通常在系统环境变量中配置jdk，不使用自带的jdk。

#### win版安装、启动 ####

1、解压，修改配置文件 conf/elasticsearch.yml

#当前节点名称
    node.name: node-1
    
    #集群的初始主节点
    cluster.initial_master_nodes: ["node-1"]

不配置这2项也可以启动es，但启动kibana时会连接不上es，导致kibana启动失败。

2、双击bin/elasticsearch.bat启动，×掉窗口即停止

打印出 started、访问地址 则说明启动成功，浏览器访问打印的地址（127.0.0.1:9200）可看到es服务器信息。

#### linux版安装 ####

把安装包放到/usr/local下

1、解压

tar -zxvf elasticsearch-7.6.2-linux-x86_64.tar.gz
    
    mv elasticsearch-7.6.2-linux-x86_64 es
    
    rm elasticsearch-7.6.2-linux-x86_64.tar.gz -I

2、修改 config/elasticsearch.yml

#集群名称，默认是elasticsearch，es会自动把同一网段中集群名称相同的节点作为一个集群
    # cluster.name: elasticsearch
    
    
    #当前节点的名称，一般以node-1，node-2，node-x来命名
    node.name: node-1
    
    #此节点是否有选举成为master的资格，默认true
    #node.master: true
    
    #此节点是否要存储数据，默认true
    #node.data: true
    
    
    #默认绑定127.0.0.1，只允许本地连接，将其设置为0.0.0.0即可允许其它机器连接
    network.host: 0.0.0.0
    
    #默认使用9200端口
    #http.port: 9200
    
    
    #集群的初始主节点
    cluster.initial_master_nodes: ["node-1"]

日志、数据的默认存储位置分别是es主目录的logs、data目录，不用修改。

3、修改config/jvm.options

es处理的数据量级很大，排序、聚合很消耗内存，正式服需要给es设置较大的jvm堆内存。

默认设置的堆内存是1g，官方推荐设置为可用内存的一半，剩下的内存留给Lucene，但尽量不要超过32g，过大的堆内存会降低cpu性能、gc回收垃圾的速度。建议设置为服务器可用内存的1/2或者2/3。

#如果是虚拟机、个人服务器，可以设置小些，eg. 500m
    -Xms10g
    -Xmx10g

如果服务器提供不了设置的内存，会报错

> error:  
> Java HotSpot™ 64-Bit Server VM warning: INFO: os::commit\_memory(0x00007f7826330000, 274790678528, 0) failed; error=‘Cannot allocate memory’ (errno=12)  
> at org.elasticsearch.tools.launchers.JvmErgonomics.flagsFinal(JvmErgonomics.java:126)  
> at org.elasticsearch.tools.launchers.JvmErgonomics.finalJvmOptions(JvmErgonomics.java:88)  
> at org.elasticsearch.tools.launchers.JvmErgonomics.choose(JvmErgonomics.java:59)  
> at org.elasticsearch.tools.launchers.JvmOptionsParser.jvmOptions(JvmOptionsParser.java:137)  
> at org.elasticsearch.tools.launchers.JvmOptionsParser.main(JvmOptionsParser.java:95)

4、修改文件描述符的最大数量

es很吃资源，要求fd的最大数量至少是65535，而linux一般默认是4096

# 查看fd最大数量限制，如果没有达到65535，则进行修改
    ulimit -Hn
    
    vim /etc/security/limits.conf
    
    # 在 #End of file 这一行前面加上2行
    # es根据 #End of file 判断文件结尾，配置要放在这行之前
    * soft nofile 65536
    * hard nofile 65536

\*表示linux所有的用户，也可以换为要启动es的用户。

5、修改vm.max\_map\_count

默认为65530，es要求至少为262144

vim /etc/sysctl.conf
    
    #添加一行
    vm.max_map_count=262144
    
    #立刻生效
    sysctl -p

说明：另一种方式 sysctl -w vm.max\_map\_count=262144 只是临时修改，重启linux就失效。

6、防火墙中开放对应的端口

firewall-cmd --add-port=9200/tcp --zone=public --permanent
    
    firewall-cmd --reload

#### linux版启动、停止 ####

1、es不能用root账户启动。如果没有其它账号，可以添加一个

useradd 用户名

2、启动es的账户要有解压目录的rwx权限

#以root（解压目录的属主）身份执行，注意要加 -R 表示递归
    chmod 777 -R es

3、执行 解压目录下/bin 下的 elasticsearch 即可启动es服务器

#可以加 -d 后台运行
    ./bin/elasticsearch

启动时会生成一些文件，对于新生成的文件没有权限，可以切回root重新授权。

打印出 started 说明启动成功，可查看es服务器信息：

# ip:port , 也可以在浏览器中直接访问该地址
    curl 127.0.0.1:9200

4、停止

jps 或 ps -ef|grep elasticsearch 找到es进程的pid，kill -9杀掉即可。

ps -ef|grep elasticsearch 会显示一堆信息，杀掉第一个进程即可。

logs下面有es的慢查询日志、gc日志。

### Kibana的安装、启动 ###

#### ES常见的调试方式 ####

*  curl：win、linux命令行通用

curl get http://127.0.0.1:9200
    
    #缺省请求方式时默认get，缺省协议时默认http
    curl 127.0.0.1:9200

*  Postman
 *  Kibana：专业的es调试工具，有代码提示，很方便，推荐

kibana是使用node.js写的，运行kibana会起一个node server，十分占内存。

#### Kibana的安装 ####

1、下载好放到 /usr/local 下

官网下载地址：[https://www.elastic.co/cn/downloads/kibana][https_www.elastic.co_cn_downloads_kibana]

如果觉得官网下载速度慢，可以使用华为云的镜像，只是没有最新的版本：[https://mirrors.huaweicloud.com/kibana/][https_mirrors.huaweicloud.com_kibana]

win下载zip，linux下载tar.gz，kibana的版本尽量与es版本保持一致，不一致可能出现一些问题。

2、解压、重命名

tar -zxvf kibana-7.8.0-linux-x86_64.tar.gz
    
    mv kibana-7.8.0-linux-x86_64 kibana
    
    rm kibana-7.8.0-linux-x86_64.tar.gz -I

3、修改配置文件 config/kibana.yml

#设置kibana绑定的网络地址，默认localhost，只允许本地访问kibana的页面
    server.host: "0.0.0.0"
    
    #指定es集群节点，默认为["http://localhost:9200"]
    elasticsearch.hosts: ["http://localhost:9200"]
    
    #es的用户名、密码，如果有
    #elasticsearch.username: "chy"
    #elasticsearch.password: "abcd"

如果只连接本地es，则无需修改配置

4、防火墙开放5601端口

firewall-cmd --add-port=5601/tcp --zone=public --permanent
    
    firewall-cmd --reload

#### Kibana的启动、停止 ####

1、和es一样，kibana要以非root账户启动，且该账户要具有kibana目录的rwx权限

#切换到kibana的上级目录，查看是否具有kibana的rwx权限
    ls -l | grep kibana
    
    #如果没有，切换到root账户添加权限。注意要加-R表示递归
    chmod 777 kibana -R

2、执行 bin/kibana 启动kibana

bin/kibana &

win版是双击 bin/kibana.bat 启动。

kibana是使用node.js编写的，启动时会启动一个node server，启动慢、占内存。

3、浏览器访问 ip:5601 进入kibana主页

4、kibana的停止

win版×掉kibana的命令行窗口关闭，linux通过kill -9杀掉kibana的进程来关闭

#### Kibana的使用 ####

Management -> Dev Tool 进入调试页面  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoeV8xODg4MzcwMTE2MQ_size_16_color_FFFFFF_t_70_pic_center]  
url不用写 http://host:port 部分，会自动使用kibana.yml中配置的es集群节点。eg. http://192.168.1.2:9200/mall/\_mapping，可以直接写 /mall/\_mapping或 mall/\_mapping

在Search Profiler中可查看本次操作的耗时、性能分析。

kibana常用快捷键

Ctrl+/  #打开当前相关的api文档
    
    Ctrl+I  #自动缩进
    
    Ctrl+Enter  #执行

注释用 \# ，单独成行

#### 常见问题 ####

##### 再次启动es时抛出异常：某些文件没有权限 #####

原因：第一次启动es时会生成一些文件，这些新生成的文件没有授权。虽然抛出了异常，但es仍是启动成功的。

解决：切换到root（es目录属主），重新授权

chmod 777 /usr/local/es -R

##### kibana粘贴代码报错 #####

一般是：每行开头有多余的空格，行尾有多余的换行符，将每行行首多余的空格、行尾多余的换行符删掉，Ctrl+I 自动缩进。

[https_www.elastic.co_cn_downloads_elasticsearch]: https://www.elastic.co/cn/downloads/elasticsearch
[https_mirrors.huaweicloud.com_elasticsearch]: https://mirrors.huaweicloud.com/elasticsearch/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoeV8xODg4MzcwMTE2MQ_size_16_color_FFFFFF_t_70]: /images/20221123/208126efff434c92b5450711eccbd830.png
[https_www.elastic.co_cn_downloads_kibana]: https://www.elastic.co/cn/downloads/kibana
[https_mirrors.huaweicloud.com_kibana]: https://mirrors.huaweicloud.com/kibana/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoeV8xODg4MzcwMTE2MQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/b1f5f8f522c845d0b345018193a0563b.png