elasticsearch集群部署服务器问题

我会带着你远行 2022-03-06 15:10 582阅读 0赞

环境 centos

### 文章目录 ###

*  公有问题
 *   *  1. 不能使用root启动es
 *  部署到阿里云的启动问题
 *   *  1. 打开安全组策略后还是访问不到
     *  2. 启动报错65536
     *  3. 启动报错2048
     *  4. 启动报错262144
     *  5. 启动报错：65536
 *  网络问题
 *   *  1. \[IOException\] Connection reset by peer
     *  \[IOException\] listener timeout after waiting for \[10000\] ms
 *  数据安全问题
 *  后台运行

# 公有问题 #

## 1. 不能使用root启动es ##

需要创建用户  
`useradd es` 创建用户es  
`passwd es` 给已创建的用户es设置密码

删除 userdel es  
改变文件所有者 -R递归  
`chown -R es:es /usr/local/elasticsearch`

# 部署到阿里云的启动问题 #

## 1. 打开安全组策略后还是访问不到 ##

您好，如果是elasticsearch，还需要在配置文件yml中修改监听地址为0.0.0.0

network.host: 0.0.0.0
    http.port: 9200
    http.cors.enabled: true
    http.cors.allow-origin: "*"

## 2. 启动报错65536 ##

max file descriptors \[4096\] for elasticsearch process likely too low, increase to at least \[65536\]  
max number of threads \[1024\] for user \[lishang\] likely too low, increase to at least \[2048\]

**解决：** 切换到root用户，编辑limits.conf 添加类似如下内容

vi /etc/security/limits.conf

添加如下内容:

* soft nofile 65536
    
    * hard nofile 131072
    
    * soft nproc 2048
    
    * hard nproc 4096

## 3. 启动报错2048 ##

max number of threads \[1024\] for user \[lish\] likely too low, increase to at least \[2048\]

**解决：** 切换到root用户，进入limits.d目录下修改配置文件。

vi /etc/security/limits.d/90-nproc.conf

修改如下内容：

* soft nproc 1024

\#修改为

* soft nproc 2048

## 4. 启动报错262144 ##

max virtual memory areas vm.max\_map\_count \[65530\] likely too low, increase to at least \[262144\]  
**解决**：切换到root用户修改配置sysctl.conf  
`vi /etc/sysctl.conf`

添加下面配置：

vm.max_map_count=655360

并执行命令：  
`sysctl -p`

## 5. 启动报错：65536 ##

max file descriptors \[4096\] for  
elasticsearch process likely too low, increase to at least \[65536\]  
解决：修改切换到root用户修改配置limits.conf 添加下面两行

命令:vi /etc/security/limits.conf

*        hard    nofile           65536
    *        soft    nofile           65536

切换到es的用户。  
然后，重新启动elasticsearch，即可启动成功。

# 网络问题 #

## 1. \[IOException\] Connection reset by peer ##

ElasticSearch服务器默认需要开通9200、9300 这两个端口。  
引出异常前，先介绍一个网络相关的关键词，`keepalive ：Http keep-alive`和`Tcp keepalive`。HTTP1.1中默认启用"Connection: Keep-Alive"，表示这个HTTP连接可以复用，下次的HTTP请求就可以直接使用当前连接，从而提高性能，一般HTTP连接池实现都用到keep-alive；TCP的keepalive的作用和HTTP中的不同，TPC中主要用来实现连接保活，相关配置主要是net.ipv4.tcp\_keepalive\_time这个参数，表示如果经过多长时间（默认2小时）一个TCP连接没有交换数据，就发送一个心跳包，探测下当前链接是否有效，正常情况下会收到对方的ack包，表示这个连接可用。下面介绍具体异常信息，描述如下：两台业务服务器，用restClient（基于HTTPClient，实现了长连接）连接的ES集群（集群有三台机器），与ES服务器分别部署在不同的网段，有个异常会有规律的出现：每天8点左右会发生异常Connection reset by peer. 而且是连续有三个Connection reset by peer

java.io.IOException: Connection reset by peer
    	 at org.elasticsearch.client.RestClient$SyncResponseListener.get(RestClient.java:948) ~[elasticsearch-rest-client-6.4.3.jar!/:6.7.2]
    	 at org.elasticsearch.client.RestClient.performRequest(RestClient.java:227) ~[elasticsearch-rest-client-6.4.3.jar!/:6.7.2]
    	 at org.elasticsearch.client.RestHighLevelClient.internalPerformRequest(RestHighLevelClient.java:1764) ~[elasticsearch-rest-high-level-client-6.7.2.jar!/:6.7.2]
    	 at org.elasticsearch.client.RestHighLevelClient.performRequest(RestHighLevelClient.java:1734) ~[elasticsearch-rest-high-level-client-6.7.2.jar!/:6.7.2]

发现这个异常是和上面提到keepalive关键词相关（多亏运维组的同事帮忙）。实际线上环境，业务服务器和ES集群之间有一道防火墙，而防火墙策略定义空闲连接超时时间为例如为1小时，与上面提到的linux服务器默认的例如为2小时不一致。由于我们当前系统晚上访问量较少，导致某些连接超过2小时没有使用，在其中1小时后防火墙自动就终止了当前连接，到了2小时后服务器尝试发送心跳保活连接，直接被防火墙拦截，若干次尝试后服务端发送RST中断了链接，而此时的客户端并不知情；当第二天早上使用这个失效的链接请求时，服务端直接返回RST，客户端报错Connection reset by peer，尝试了集群中的三台服务器都返回同样错误，所以连续报了3个相同的异常。解决方案也比较简单，修改服务端keepalive超时配置，小于防火墙的1小时即可。

另一种解决方案,代码层面捕获异常,重试重新请求

## \[IOException\] listener timeout after waiting for \[10000\] ms ##

java.io.IOException: listener timeout after waiting for [10000] ms
    	at org.elasticsearch.client.RestClient$SyncResponseListener.get(RestClient.java:899) ~[elasticsearch-rest-client-6.4.3.jar!/:6.7.2]
    	at org.elasticsearch.client.RestClient.performRequest(RestClient.java:227) ~[elasticsearch-rest-client-6.4.3.jar!/:6.7.2]
    	at org.elasticsearch.client.RestHighLevelClient.internalPerformRequest(RestHighLevelClient.java:1764) ~[elasticsearch-rest-high-level-client-6.7.2.jar!/:6.7.2]

# 数据安全问题 #

数据安全是至关重要的环节，主要通过以下三点提供数据的访问安全控制：  
• XPACKXPACK提供了Security插件，可以提供基于用户名密码的访问控制，可以提供一个月的免费试用期，过后收取一定的费用换取一个license。  
• IP白名单是指在ES服务器开启防火墙，配置只有内网中若干服务器可以直接连接本服务。  
• 代理一般不允许业务系统直连ES服务进行查询，需要对ES接口做一层包装，这个工作就需要代理去完成；并且代理服务器可以做一些安全认证工作，即使不适用XPACK也可以实现安全控制。

# 后台运行 #

#1 进入bin目录
    sh elasticsearch -d
    #2 进入bin目录 回车两下
    nohup ./elasticsearch &