ElasticSearch - 快速搭建属于我们的ES

超、凢脫俗 2022-11-27 00:44 40阅读 0赞

### 文章目录 ###

*  ElasticSearch - 快速搭建属于我们的ES
 *   *  1.ElasticSearch下载
     *  2.ElasticSearch安装
     *  3.ElasticSearch配置远程访问
     *  4.目录结构功能介绍

# ElasticSearch - 快速搭建属于我们的ES #

## 1.ElasticSearch下载 ##

>  前面我们介绍了ES是一个怎么样的东西，这里我们直接就开始上手搭建感受一下。  
>    
>  这里我们直接来到官网[【开源搜索与分析 · Elasticsearch | Elastic】][_ Elasticsearch _ Elastic]。  
>    
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70_pic_center]  
>  我们选择`开始使用ElasticSearch`跳到下面这个界面，在这里我们可以去查看ES的官方文档、下载ES以及阅读官方发布的博客文章。  
>    
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70_pic_center 1]  
>  这里我们先来下载ES。这里可以看到ES已经更新到`7.8.1`，大家可以看一下ES的整个发布历史，这个更新速度其实是很快的。我们在这里可以看到官网提供了各种系统的支持，我们这里就直接下载一个Linux的最新版ES。  
>    
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70_pic_center 2]  
>  如果大家想要下载更早版本的话可以把下载界面拉到最下面，找到`Repositories in the Guide`。  
>    
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70_pic_center 3]  
>  这里可以选择不同的版本进行下载，大家自行选择即可。  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70_pic_center 4]  
>  每次大家从国外服务下载这些安装包的时候就陷入了无尽的等待，这里我们走[【华为开源镜像站】][Link 1]下载，来下一个最新的`7.8.0`。  
>    
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70_pic_center 5]  
>  大家根据系统选择就好了。  
>    
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70_pic_center 6]  
>  另外有几个需要注意的事项，由于ES是需要JDK支持的，所以我们需要先安装配置好JDK环境才能够使用ES。怎么安装配置JDK我们就不多提，但是这里我们需要注意ES版本和其他的环境是需要版本对应的。  
>    
>  大家可以通过[【Elastic Support Matrix】][Elastic Support Matrix]查看到各个版本的ES和`JDK`、`Kibana`、`Logstash`等相互对应的版本。以JDK为例，这里可以看到ES最低版本也需要JDK1.8才能够支持，而我们使用的`ES-7.8.0`官方建议是至少JDK11。不过我这台机器上已经有了JDK8，就勉强凑合先用了。  
>    
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70_pic_center 7]

## 2.ElasticSearch安装 ##

>  安装比较简单，这里我们直接把安装包传到服务器上，用`tar`命令进行解压即可。
> 
>     tar -zxvf elasticsearch-7.8.0-linux-x86_64.tar.gz
> 
>  解压完成后我们先不着急启动，如果大家服务器配置不是很好的首先找到ES目录下的`/config/jvm.options`，修改`-Xms512m -Xmx512m`参数。  
>    
>  这里我们通过`./bin/elasticsearch`启动，会出现下面的错误。  
>    
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70_pic_center 8]  
>  这里我们可以通过`./bin/elasticsearch -Des.insecure.allow.root=true`或者在`bin/elasticsearch`中添加`ES_JAVA_OPTS="-Des.insecure.allow.root=true"`。  
>    
>  启动之后依然出现问题，这是系统出于安全考虑设置的条件。由于ElasticSearch可以接收用户输入脚本并执行，为了系统安全建议创建一个单独的用户来运行ElasticSearch。  
>    
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70_pic_center 9]  
>  这里我们来新建一个es操作专用用户组和用户并且授权
> 
>     # 创建用户组以及用户
>     groupadd esgroup
>     useradd esuser -g esgroup -p espassword
>     
>     # 更改elasticsearch文件夹以及内部文件的所属用户及组
>     chown -R esuser.esgroup elasticsearch-7.8.0
>     
>     # 切换用户
>     su esuser
> 
>  我们通过`./bin/elasticsearch -d`后台启动。当然在启动过程中还会出现一种情况则是需要我们清理一下磁盘空间即可。  
> ![在这里插入图片描述][2019030619452397.png]  
>  启动成功后我们通过`curl 127.0.0.1:9200`相关的ES信息，则说明我们的elasticsearch服务已经搭建启动完成了。
> 
>     [esuser@aliyun elasticsearch-7.8.0]$ curl 127.0.0.1:9200
>     { 
>      "name" : "aliyun",
>      "cluster_name" : "elasticsearch",
>      "cluster_uuid" : "SIqJpwwQRgKUEt7pHKe0tg",
>      "version" : { 
>       >   "number" : "7.8.0",
>      "build_flavor" : "default",
>        "build_type" : "tar",
>        "build_hash" : "757314695644ea9a1dc2fecd26d1a43856725e65",
>        "build_date" : "2020-06-14T19:35:50.234439Z",
>        "build_snapshot" : false,
>        "lucene_version" : "8.5.1",
>        "minimum_wire_compatibility_version" : "6.8.0",
>        "minimum_index_compatibility_version" : "6.0.0-beta1"
>      },
>      "tagline" : "You Know, for Search"
>     }

## 3.ElasticSearch配置远程访问 ##

>  我们使用ES当然是需要支持远程可以访问的，这里我们先来开放9200的端口。
> 
>     sudo firewall-cmd --zone=public --add-port=9200/tcp --permanent 
>     
>     #重载生效刚才的端口设置 
>     sudo firewall-cmd --reload
> 
>  然后我们找到`config/elasitcsearch.yml`进行配置修改
> 
>     network.host: xxx.xx.xxx.xx(这里修改为自己服务器的ip)
>     http.port: 9200
> 
>  修改配置之后启动，此时启动失败，可能会出现以下几个错误，我们逐个解决。  
>    
> ![在这里插入图片描述][20200813150031788.png_pic_center]

**\[1\]: max file descriptors \[65535\] for elasticsearch process is too low, increase to at least \[65536\]**

>  出现这种错误表示进程最大同时打开文件数太小，我们可以通过下面2个命令查看当前数量
> 
>     ulimit -Hn
>     ulimit -Sn
> 
>    
>  这个问题在`/etc/security/limits.conf`配置文件中加入或修改几行配置即可，需要注意的是这个配置修改后需要重新登录用户才会生效。  
>  
> 
>     esuser soft nofile 65536
>     esuser hard nofile 65536
>     esuser soft nproc 4096
>     esuser hard nproc 4096

**\[2\]: max virtual memory areas vm.max\_map\_count \[65530\] is too low, increase to at least \[262144\]**

>  这个问题在`/etc/sysctl.conf`配置文件中加入下面这行参数之后执行`sysctl -p`生效即可。
> 
>     vm.max_map_count=655360

**\[3\]: the default discovery settings are unsuitable for production use; at least one of \[discovery.seed\_hosts, discovery.seed\_providers, cluster.initial\_master\_nodes\] must be configured**

>  这里提示我们至少需要配置`[discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes]`三个中的一个。这里我们找到`config/elasitcsearch.yml`配置一个默认的主节点即可。
> 
>     cluster.initial_master_nodes: ["es-node-1"]

**3.4 启动完成访问测试**

>  上面问题解决后，可能有的同学还会出现`max number of threads [3790] for user [esuser] is too low,increase to at least [4096]`，这里需要我们修改`/etc/security/limits.d/20-nproc.conf`配置文件中  
>  
> 
>     * soft nproc 4096 -> esuser soft nproc 4096
> 
>    
>  启动一切ok后，我们通过浏览器访问`ip:9200`。  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70_pic_center 10]

## 4.目录结构功能介绍 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70_pic_center 11]

>  既然安装好了ES，那我们对它的目录主要结构也进行一个了解。

<table> 
 <thead> 
  <tr> 
   <th align="center">目录</th> 
   <th align="center">文件</th> 
   <th align="center">描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">bin</td> 
   <td align="center"></td> 
   <td align="center">启动脚本</td> 
  </tr> 
  <tr> 
   <td align="center">conf</td> 
   <td align="center"></td> 
   <td align="center">配置文件</td> 
  </tr> 
  <tr> 
   <td align="center">conf</td> 
   <td align="center">log4j2.properties</td> 
   <td align="center">日志配置文件</td> 
  </tr> 
  <tr> 
   <td align="center">conf</td> 
   <td align="center">jvm.options</td> 
   <td align="center">JVM相关的配置</td> 
  </tr> 
  <tr> 
   <td align="center">conf</td> 
   <td align="center">elasticsearch.yml</td> 
   <td align="center">ES配置文件</td> 
  </tr> 
  <tr> 
   <td align="center">data</td> 
   <td align="center"></td> 
   <td align="center">每个节点上索引和分片的数据文件位置</td> 
  </tr> 
  <tr> 
   <td align="center">lib</td> 
   <td align="center"></td> 
   <td align="center">ES所需相关JAR包</td> 
  </tr> 
  <tr> 
   <td align="center">logs</td> 
   <td align="center"></td> 
   <td align="center">日志文件</td> 
  </tr> 
  <tr> 
   <td align="center">modules</td> 
   <td align="center"></td> 
   <td align="center">功能模块</td> 
  </tr> 
  <tr> 
   <td align="center">plugins</td> 
   <td align="center"></td> 
   <td align="center">插件文件</td> 
  </tr> 
 </tbody> 
</table>

[_ Elasticsearch _ Elastic]: https://www.elastic.co/cn/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221124/105660ff7ca4402497a2c435fc102c74.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221124/d36ee08553dc4f1c89c5f340cc281cd0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221124/0c2257a5605d417794607f5aa8ffc9cc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221124/492db2584e424e31b51ffd70091145b0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221124/72b07d1c2f2b47f6987e6f0730d5be3d.png
[Link 1]: https://mirrors.huaweicloud.com/elasticsearch/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221124/1ac516712b014a87b69045a047324614.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221124/6a7ce4121fc54e1d9002ee644aef17a4.png
[Elastic Support Matrix]: https://www.elastic.co/cn/support/matrix
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221124/7b84f3da4d514b8f924bffb2ae88f1e9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20221124/71f0d6c964904d02aa65d3365f845873.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70_pic_center 9]: /images/20221124/07ea4d3f7af54ab38cb1e9765c4310c4.png
[2019030619452397.png]: /images/20221124/cd6ac5d54c1e4ae9a85b075d7912220b.png
[20200813150031788.png_pic_center]: /images/20221124/f644579b2f534487ab822658c0d07406.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70_pic_center 10]: /images/20221124/c5bf2ca985454b1b812f3ed831ef6538.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70_pic_center 11]: /images/20221124/7adb0fd27b5f4e6fbe11ad18832149fd.png