Linux系列之solr集群版环境搭建（六）

逃离我推掉我的手 2022-09-25 06:14 198阅读 0赞

# SolrCloud简介 #

SolrCloud是solr提供的分布式搜索方案，当需要大规模容错、分布式索引和检索能力时使用。当一个系统的索引数量少时，不需要使用SolrCloud；当索引量很大，搜索请求并发很高时，需要使用SolrCloud。

SolrCloud是基于Solr和Zookeeper的分布式搜索方案，它的主要思想是使用Zookeeper作为集群的配置信息中心。

它有几个特色功能：

1） 集中式的配置信息

2） 自动容错

3） 近实时搜索

4） 查询时自动负载均衡

# Zookeeper简介 #

顾名思义zookeeper就是动物园管理员，他是用来管理hadoop（大象）、Hive（蜜蜂）、pig（小猪）的管理员，Apache Hbase和Apache Solr的分布式集群都用到了zookeeper。Zookeeper是一个分布式的、开源的程序协调服务，是hadoop项目下的一个子项目。

zookeeper：集群管理工具，集群入口。

1.  集群管理

主从的管理、负载均衡、高可用的管理。集群的入口。Zookeeper必须是集群才能保证高可用。Zookeeper有选举和投票的机制。集群中至少应该有三个节点。

1.  配置文件的集中管理

搭建solr集群时，需要把Solr的配置文件上传zookeeper，让zookeeper统一管理。每个节点都到zookeeper上取配置文件。

1.  分布式锁

# SolrCloud结构    #

SolrCloud为了降低单击的处理压力，需要由多态服务器共同来完成索引的搜索任务。实现的思路是将索引数据进行Shard（分片）拆分，每个分片由多态服务器共同完成，当一个索引或搜索请求过来时，会分别从不同的shard的服务器中操作索引。

SolrCloud需要Solr基于Zookeeper部署，Zookeeper是一个集群管理软件，由于SolrCloud需要由多台服务器组成，由zookeeper来进行协调管理。

![Center][]

# 搭建步骤 #

## Zookeeper集群搭建 ##

第一步：需要把zookeeper-3.4.6.tar.gz的安装包上传到服务器。

第二步：把zookeeper解压：tar –zxvfzookeeper-3.4.6.tar.gz

第三步：把zookeeper向/usr/local/solr-cloud目录下复制三份。

![Center 1][]

第三步：配置zookeeper。

1.在zookeeper01目录下创建一个data文件夹。

2.在data目录下创建一个myid的文件

3.myid的内容为1（02对应“2”，03对应“3”）

![Center 2][]

在data文件夹下建立一个myid文件，并在myid文件中，写入内容1

![Center 3][]

4.zookeeper02、03以此类推。

5.进入conf文件，把zoo\_sample.cfg文件改名为zoo.cfg；或者复制zoo\_sample.cfg一份，并命名为zoo.cfg

![Center 4][]

6.修改zoo.cfg，把dataDir=属性指定为刚创建的data文件夹。

（本demo路径：/usr/local/solr-cloud/zookeeper01/data/）

7.修改zoo.cfg，把clientPort指定为不冲突的端口号（01:2181、02:2182、03:2183）

（2181：这个端口是客户端连接端口

8.在zoo.cfg中添加如下内容：

server.1=192.168.33.10:2881:3881

server.2=192.168.33.10:2882:3882

server.3=192.168.33.10:2883:3883

（这个端口是服务器连接端口，不能重复）

![Center 5][]

第四步：启动zookeeper。

Zookeeper的目录下有一个bin目录。使用zkServer.sh启动zookeeper服务。

启动命令：./zkServer.sh start

另一种启动zookeeper的方式：./zkServer.sh start-foreground    //这种启动方式，能够查看zookeeper的日志

关闭命令：./zkServer.sh stop

查看服务状态：./zkServer.sh status

![Center 6][]

## **Solr集群搭建** ##

第一步：安装四个tomcat，修改其端口号不能冲突。8080~8083

![Center 7][]

端口号分别修改为：8005-8006-8007-8008

8080-8081-8082-8083

8009-8010-8011-8012

![Center 8][]

![Center 9][]

![Center 10][]

第二步：向tomcat下部署solr。把单机版的solr工程复制到tomcat下即可。

（将单机版的solr/tomcat/webapps下的solr复制到solr-cloud/tomcat01/webapps/下面）

第三步：为每个solr实例创建一solrhome。

将单机版的solr/下的solrhome复制到solr-cloud/目录下,分别命名为solrhome01-solrhome04

第四步：为每个solr实例关联对应的solrhome。修改web.xml（为tomcat关联solrhome）

修改solr-cloud/tomcat01/webapps/solr/WEB-INF/web.xml文件

![Center 11][]

第五步：修改每个solrhome下的solr.xml文件。修改host、hostPort两个属性。分别是对应的ip及端口号。

host：当前实例运行的ip地址

port：当前实例运行的端口号，是当前tomcat的端口号

![Center 12][]

第六步：把配置文件上传到zookeeper。需要使用

/root/solr-4.10.3/example/scripts/cloud-scripts/zkcli.sh命令上传配置文件。

把/usr/local/solr-cloud/solrhome01/collection1/conf目录上传到zookeeper。

需要zookeeper集群已经启动。

（上传任意一个）

<table> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-family:KaiTi_GB2312; font-size:18px">./zkcli.sh -zkhost 192.168.33.10:2181,192.168.<span style="background:white">33.10</span>:2182,192.168.<span style="background:white">33.10</span>:2183 -cmd upconfig -confdir /usr/local/solr-cloud/solrhome01/collection1/conf -confname myconf</span></p> </td> 
  </tr> 
 </tbody> 
</table>

第七步：查看是否上传成功。

使用zookeeper的zkcli.sh命令。

zkcli.sh存在位置：/usr/local/solr-cloud/zookeeper01/bin

（注：zookeeper只要连接上任意节点，就行了）

第八步：告诉solr实例zookeeper的位置。需要修改tomcat的catalina.sh添加    (tomcat/bin/catalina.sh)

JAVA\_OPTS="-DzkHost=192.168.33.10:2181,192.168.33.10:2182,192.168.33.10:2183"

![Center 13][]

在使用JAVA\_OPTS之前添加这句话：

每个节点都需要添加。

第九步：启动每个solr实例。

使用脚本，启动所有solr实例

vi start-all.sh  
![Center 14][]

查看启动日志 ：tail -f tomcat01/logs/catalina.out

查看solrCloud搭建是否成功，使用浏览器查看solr，点击Cloud可以看到solr集群

![Center 15][]

第十步：集群分片。

将集群分为两片，每片两个副本。（numShards：分成两片；replicationFactor：两个副本）

在浏览器中运行下面的链接：

http://192.168.33.10:8080/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2

看到success，就说明成功了。

![Center 16][]

拆分结果：

![Center 17][]

第十一步：删除不用collection1

在浏览器中打开下面的链接：

[http://192.168.33.10:8080/solr/admin/collections?action=DELETE&name=collection1][http_192.168.33.10_8080_solr_admin_collections_action_DELETE_name_collection1]

看到success，就说明成功了。

![Center 18][]

删除之后的效果：

![Center 19][]

## 问题解决 ##

问题一：查看zookeeper服务状态时，报错：Error contacting service. It is probably not running.

启动没有问题，但是查看solr集群状态时，总是报错。solr明明显示已经起来了，但是查看solr状态时，却提示没有启动：

![Center 20][]

原因：因为zookeeper集群，配置的数量若为3，则至少启动两个才能正常使用，所以，当你启动了两个zookeeper之后，再回来查看刚刚的zookeeper状态，发现已经启动了。

解决办法：启动的zookeeper数目一定要是配置zookeeper数目的一半以上，zookeeper才能正常启动。

问题二：用日志方式启动zookeeper时，报错：

Unexpected exception, exiting abnormally

java.net.BindException: Address already in use

原因：端口被占用

解决方法：1、如果使用ps aux|grep 2181，查看不到端口被占用。

2、使用lsof -i:2181命令查看端口占用情况

3、若执行lsof -i:2181命令提示：-bash: lsof: command not found

4、执行yum install lsof命令

5、再查看端口占用情况，停调被占用的端口，即可。

问题三：启动solr集群后，浏览器打开solr链接，报错：

![Center 21][]

原因：正如问题一一样，显示zookeeper已经启动成功了，但实际，没有真正启动成功。

解决办法：重新启动

[Center]: /images/20220718/6d84bb631e854f0293eff464ffbdd188.png
[Center 1]: /images/20220718/9774cd14c4d04d859b40ba50ee39cd82.png
[Center 2]: /images/20220718/bee85aea8aa94200925a33e19a1389e4.png
[Center 3]: /images/20220718/fe6a8d4ce9ed4e4786abf230680a9c9c.png
[Center 4]: /images/20220718/de162413c841420f932e7d983ff9decc.png
[Center 5]: /images/20220718/edace08fdd674b90b7b6b705b28ec74e.png
[Center 6]: /images/20220718/004401809e2144749a7cad4a5a947754.png
[Center 7]: /images/20220718/b5460b487d184b00a1f106e63cad01f3.png
[Center 8]: /images/20220718/4078ec40750d4388901da04f28e2ca56.png
[Center 9]: /images/20220718/0360c44ccdb24692b064838b7317035b.png
[Center 10]: /images/20220718/83b83553ca6d4814bcff5d328fc44e11.png
[Center 11]: /images/20220718/febae72258dd49c8b0ef741d132ce4df.png
[Center 12]: /images/20220718/a73d49da67c644d5a8ef18b9ccc49517.png
[Center 13]: /images/20220718/bbbce38a49db44f280e9aecf6342f301.png
[Center 14]: /images/20220718/910cbfe39829412e870106e87e456cc9.png
[Center 15]: /images/20220718/4dc95d7ed89844a783aee481ede48d80.png
[Center 16]: /images/20220718/cd88de887d474e84b9515c049ac78c68.png
[Center 17]: /images/20220718/b104846462604ed3add6f116074dc648.png
[http_192.168.33.10_8080_solr_admin_collections_action_DELETE_name_collection1]: http://192.168.33.10:8080/solr/admin/collections?action=DELETE&name=collection1
[Center 18]: /images/20220718/690f6d2ebf904056883c01d126f66e8f.png
[Center 19]: /images/20220718/fcedf4fbdafe413792d62cd75a7aa078.png
[Center 20]: /images/20220718/337869b8c7f24a849aa3ab5cd35b05ca.png
[Center 21]: /images/20220718/17449838c69144aeb2b494cbf69deddc.png