一台虚拟机模拟zookeeper集群管理solr集群搭建步骤（伪分布式zookeeper管理solr集群）及solrJ连接测试

素颜马尾好姑娘i 2022-05-11 03:22 238阅读 0赞

** 导言**：用zookeeper集群来管理solr集群，即通过zookeeper的访问来间接访问solr；zookeeper决定来调用哪台solr服务器，为了使zookeeper实现高可用，故也搭建成集群；因为zookeeper使用投票机制，判断是否宕机需其他服务器投票决定，超过半数视为宕机，所以搭建集群的个数最好为奇数个；zookeeper和solr集群中，一台为主服务器，其他为备份服务器，当主服务器挂掉后，备份服务器可升级为主服务器；一个Collection可分为n片，solr服务器均为相应n片中对应片的备份

*注：本步骤如下图所示模式的集群，并且是在一台虚拟机上进行模拟。*

![70][]

--------------------

一、先参考博客[一台linux虚拟机模拟搭建zookeeper集群及可能遇到的问题解决][linux_zookeeper]搭建zookeeper集群

二、solr集群搭建

**1、参考博客**[linux环境下搜索引擎Solr4.10（索引库）基础与安装][linux_Solr4.10]安装一个solr和tomcat，安装路径和zookeeper集群同一个目录，即：/myfile/programfiles/solr\_cloud。注意根据自己路径修改相关的路径配置。

**2、同目录下再复制三个solr和安装solr.war的tomcat**

如图所示:

![70 1][]

**3、修改tomcat的端口号**

修改tomcat01/conf/server.xml文件

[root@linhaijing solr_cloud]# vim tomcat01/conf/server.xml

在只读模式下输入/port，搜索port：

![70 2][]

将搜索到的3个port分别改为：

![70 3][]

![70 4][]

![70 5][]

接下来修改tomcat02/conf/server.xml, tomcat03/conf/server.xml, tomcat04/conf/server.xml文件的端口号，为8205,8280,8209；8305,8380,8309；8405,8480,8409。

**4、修改solr01/example/solr/solr.xml文件，添加对应tomcat所在ip和端口号**

![70 6][]

同理，修改solr02/example/solr/solr.xml，solr03/example/solr/solr.xml，solr04/example/solr/solr.xml的ip和端口号，端口号分别为,8280，8380，8480。

**5、修改tomcat下solr工程的solr\_home**

由于tomcat01在搭建时已经配好，现修改tomcat02, tomcat03, tomcat04的solr\_home

[root@linhaijing solr]# vim /myfile/programfiles/solr_cloud/tomcat02/webapps/solr/WEB-INF/web.xml

如下图：

![70 7][]

同理，修改 tomcat03, tomcat04的solr\_home。

**6、配置zookeeper和solr工程的关联关系**

编辑/myfile/programfiles/solr\_cloud/tomcat01/bin/catalina.sh文件

[root@linhaijing solr]# vim /myfile/programfiles/solr_cloud/tomcat01/bin/catalina.sh

在最上面添加如下这句话，即安装的zookeeper的ip和端口号：

JAVA_OPTS="-DzkHost=192.168.25.130:2181,192.168.25.130:2182,192.168.25.130:2183"

如图：

![70 8][]

同理，修改tomcat02/bin/catalina.sh ，tomcat03/bin/catalina.sh ，tomcat04/bin/catalina.sh ，都加上上面这句话。

**7、上传solrhome的配置文件到zookeeper中统一管理**

进入：/myfile/programfiles/solr\_cloud/solr01/example/scripts/cloud-scripts/目录下，使用zkcli.sh命令上传

![70 9][]

执行命令：

[root@linhaijing cloud-scripts]# ./zkcli.sh -zkhost 192.168.25.130:2181,192.168.25.130:2182,192.168.25.130:2183 -cmd upconfig -confdir /myfile/programfiles/solr_cloud/solr01/example/solr/collection1/conf/ -confname myconf

**任意选择上传一个solrhome下的conf文件到zookeeper即可。**

**8、查看上传到zookeeper是否成功**

进入目录：/myfile/programfiles/solr\_cloud/zookeeper01/bin/

![70 10][]

** 9、启动zookeeper**

进入：/myfile/programfiles/solr\_cloud/zookeeper01/bin目录下，执行如下命令启动zookeeper

默认启动2181端口执行如下命令：

[root@linhaijing bin]# ./zkCli.sh

如果要启动其他端口，执行如下命令：

[root@linhaijing bin]# ./zkCli.sh -server 192.168.1.130:2181

启动结果如下：

![70 11][]

退出：quit

**10、查看配置文件是否上传成功**

第9步完成后未退出的情况下执行如下1,2,3步，即可查看上传的配置文件。**所有zookeeper都共用这一份配置文件。**

![70 12][]

** 11、启动tomcat,开启solr服务**

输入quit,退出zookeeper,进入/myfile/programfiles/solr\_cloud目录，执行如下命令新建并编辑启动tomcat的批处理脚本文件start-tomcat.sh

***注意：启动tomcat（solr）集群前确保zookeeper集群已启动。***

[root@linhaijing solr_cloud]# vim start-tomcat.sh

输入一下内容：

/myfile/programfiles/solr_cloud/tomcat01/bin/startup.sh
    /myfile/programfiles/solr_cloud/tomcat02/bin/startup.sh
    /myfile/programfiles/solr_cloud/tomcat03/bin/startup.sh
    /myfile/programfiles/solr_cloud/tomcat04/bin/startup.sh

保存退出后，执行如下命令赋予执行权限：

[root@linhaijing solr_cloud]# chmod +x start-tomcat.sh

如图所示：

![70 13][]

**12、 用批处理文件启动tomcat，在/myfile/programfiles/solr\_cloud目录下执行如下命令：**

[root@linhaijing solr_cloud]# ./start-tomcat.sh

**13、浏览器访问：**

发现8081端口报错：

![70 14][]

8082、8083、8084端口访问没问题：

![70 15][]

查找原因发现：重新启动机器开启服务访问就正常了。

** 14、浏览器查看集群结构**：

![70 16][]

**15、分片**

浏览器执行如下命令：

**注：numShards=2：一个collection2分为2个分片节点，replicationFactor=2：1个分片节点2个solr备份节点（可参考本文开始的架构图）**

http://192.168.25.130:8180/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2

结果：

![70 17][]

查看cloud节点情况：

![70 18][]

删除collection1,浏览器执行如下命令:

http://192.168.25.130:8180/solr/admin/collections?action=DELETE&name=collection1

结果显示：

![70 19][]

查看cloud节点情况，即搭建成功了本章开头所示图的模式集群。

![70 20][]

**16、对上传到zookeeper中的文件进行修改和删除操作**

请参考博文：[ 对solr集群上传到zookeeper集群中的collection文件进行修改和删除操作 （更新solrcloud+zookeeper的schema.xml配置文件）][_solr_zookeeper_collection_ _solrcloud_zookeeper_schema.xml]

--------------------

**三、利用Java客户端进行集群测试**

**注意：要保证添加域对应的索引在zookeeper集群管理的schema.xml文件中已存在，如果没有请参照上一步进行配置；项目中要引入solrJ的jar包（可参考博客[Java连接单机版solr测试代码之solrJ的运用][Java_solr_solrJ]第2步进入jar包）；**

测试代码：

//新增数据
        @Test
        public void testSolrCloud()throws Exception{
            //新建一个solr集群服务器对象
            CloudSolrServer cloudSolrServer = new CloudSolrServer("192.168.25.130:2181,192.168.25.130:2182,192.168.25.130:2183");
            //设置默认的collection
            cloudSolrServer.setDefaultCollection("collection2");
            //创建一个文档对象
            SolrInputDocument document = new SolrInputDocument();
            document.setField("id",10000001);
            document.setField("item_title","你是我的小宝贝");
            document.setField("item_price",9999999);
            //添加数据到索引库
            cloudSolrServer.add(document);
            //服务器提交数据
            cloudSolrServer.commit();
        }

执行结果：

![70 21][]

--------------------

**集群搭建命令总结：**

1、tomcat的catalinda.sh中的配置：  
JAVA\_OPTS="-DzkHost=192.168.25.154:2181,192.168.25.154:2182,192.168.25.154:2183"

2、上传配置文件至zookeeper的命令：  
./zkcli.sh -zkhost 192.168.25.154:2181,192.168.25.154:2182,192.168.25.154:2183 -cmd upconfig -confdir /usr/local/solr-cloud/solrhome01/collection1/conf/ -confname myconf

3、连接zookeeper的命令：  
./zkCli.sh -server 192.168.25.154:2182

4、SolrCloud创建Collection的命令  
http://192.168.25.154:8180/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2

5、SolrCloud删除Collection的命令  
http://192.168.25.154:8180/solr/admin/collections?action=DELETE&name=collection1

[70]: /images/20220511/1f3b47b2d3b2445f9b635246830b9b16.png
[linux_zookeeper]: https://blog.csdn.net/jinhaijing/article/details/82762427
[linux_Solr4.10]: https://mp.csdn.net/postedit/82662377
[70 1]: /images/20220511/86594a3210a44447b0a0e575278a9e71.png
[70 2]: /images/20220511/4ea69ae546b64b21bafdabe322c468ac.png
[70 3]: /images/20220511/8f9dfafb09d341d6b787de247188a5f0.png
[70 4]: /images/20220511/0914bd9bc7fd4b0fb832724d9bb2bf87.png
[70 5]: /images/20220511/446b1c6ee2294d3c81e612895d64eaa8.png
[70 6]: /images/20220511/9365729357ed466f8483607b35be2b21.png
[70 7]: /images/20220511/43bee6a01caa482388858cf7d436884b.png
[70 8]: /images/20220511/44074333f0d8425fa96f9b16ea0f68d8.png
[70 9]: /images/20220511/d511f8ca809346abba91bd944267618f.png
[70 10]: /images/20220511/86008e52dc03458f85365ed2b6f7e269.png
[70 11]: /images/20220511/48c8deea10384f0393da4e36bca37b22.png
[70 12]: /images/20220511/c1735b0e8c9f441985561883ed2f9c50.png
[70 13]: /images/20220511/60d578bae0fd4ca0ad5e6e0ced80843d.png
[70 14]: /images/20220511/d76b9890ef4f4daeb04ba13b706be438.png
[70 15]: /images/20220511/936b2b7c2eed4bd5b4c2d4263715cf52.png
[70 16]: /images/20220511/4e70838d0ac74fbf87508c0a513c47eb.png
[70 17]: /images/20220511/8f2d3925217e4dee9194cdd6778ed2f4.png
[70 18]: /images/20220511/ec31a3e8a4c54f20a385f9faffeb4d9f.png
[70 19]: /images/20220511/399f7d6d93234076952cf8566f9ca6d1.png
[70 20]: /images/20220511/491d6f34a13747808b488014b1d24527.png
[_solr_zookeeper_collection_ _solrcloud_zookeeper_schema.xml]: https://blog.csdn.net/jinhaijing/article/details/82788260
[Java_solr_solrJ]: https://blog.csdn.net/jinhaijing/article/details/82746221
[70 21]: /images/20220511/320b675e5a984a35a3bb39f380f11535.png