Linux Centos 搭建 SolrCloud 分布式

左手的ㄟ右手 2022-04-12 07:30 199阅读 0赞

#### SolrCloud简介 ####

在这里插入代码片SolrCloud(solr 云)是 Solr 提供的分布式搜索方案，当你需要大规模，容错，分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用 SolrCloud的，当索引量很大，搜索请求并发很高，这时需要使用 SolrCloud 来满足这些需求。  
SolrCloud 是基于 `Solr` 和`Zookeeper`的分布式搜索方案，它的主要思想是使用 Zookeeper作为集群的配置信息中心。  
SolurCloud主要有以下几个特色功能

*  集中式的配置信息
 *  自动容错
 *  近实时搜索
 *  查询时自动负载均衡

#### SolorCloud系统架构 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70]  
1、物理结构

> 三个 Solr 实例（ 每个实例包括两个 Core），组成一个 SolrCloud。

2、逻辑结构

> 索引集合包括两个 Shard（shard1 和 shard2），shard1 和 shard2 分别由三个 Core 组成，其中一个 Leader 两个 Replication，Leader 是由 zookeeper 选举产生，zookeeper 控制每个shard上三个 Core 的索引数据一致，解决高可用问题。  
> 用户发起索引请求分别从 shard1 和 shard2 上获取，解决高并发问题。

2.1、Collection

> Collection 在 SolrCloud 集群中是一个逻辑意义上的完整的索引结构。它常常被划分为一个或多个 Shard（分片），它们使用相同的配置信息。  
> 比如：针对商品信息搜索可以创建一个 collection。  
> collection=shard1+shard2+…+shardX

2.2、Core

> 每个 Core 是 Solr 中一个独立运行单位，提供索引和搜索服务。一个 shard 需要由一个Core 或多个 Core 组成。由于 collection 由多个 shard 组成所以 collection 一般由多个 core 组成。

2.3、Master或 Slave

> Master 是 master-slave 结构中的主结点（通常说主服务器），Slave 是 master-slave 结构中的从结点（通常说从服务器或备服务器）。同一个 Shard 下 master 和 slave 存储的数据是一致的，这是为了达到高可用目的。

2.4、Shard

> Collection 的逻辑分片。每个 Shard 被化成一个或者多个 replication，通过选举确定哪个是 Leader。

#### 搭建SolrCloud ####

本次搭建的solor架构  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 1]  
Zookeeper作为集群管理工具  
1、集群管理：容错、负载均衡。  
2、配置文件的集中管理  
3、集群的入口

> 需要实现 zookeeper 高可用，需要搭建zookeeper集群。建议是奇数节点。需要三个 zookeeper 服务器。

*  搭建 solr 集群需要 7 台服务器（这里同样是伪分布式）
 *  需要三个Zookeeper节点
 *  需要四个Tomcat节点。

#### 准备工作 ####

1、环境准备

*  Linux Centos服务器（本次使用腾讯云）
 *  JDK1.8
 *  Tomcat8.5
 *  Zookeeper3.4.10
 *  Solor4.10.3

2、搭建步骤  
2.1、搭建Zookeeper集群（已单独搭建好，请参考上篇文章：[链接地址][Link 1]）  
2.2、上传部署完成Solor的tomcat的上传到服务器（Solor部署请参考我的SOlor搭建：[链接地址][Link 2]）  
2.3、在服务器上创建文件夹 `/usr/local/solr-cloud`创建4个tomcat实例

mkdir /usr/local/solr-cloud
    cp -r apache-tomcat-solr /usr/local/solr-cloud/tomcat-1
    cp -r apache-tomcat-solr /usr/local/solr-cloud/tomcat-2
    cp -r apache-tomcat-solr /usr/local/solr-cloud/tomcat-3
    cp -r apache-tomcat-solr /usr/local/solr-cloud/tomcat-4

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 2]

2.4、上传solorhome到服务器  
2.5、在服务器创建文件夹 `/usr/local/solrhomes`，将solrhome复制4份

mkdir /usr/local/solrhomes
    cp -r solrhome /usr/local/solrhomes/solrhome-1
    cp -r solrhome /usr/local/solrhomes/solrhome-2
    cp -r solrhome /usr/local/solrhomes/solrhome-3
    cp -r solrhome /usr/local/solrhomes/solrhome-4

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 3]  
2.6、修改每个solr的web.xml文件，关联solrhome，对应目录`/usr/local/solr-cloud/tomcat-1/webapps/solr/WEB-INF/web.xml`，每个tomcat的对应每个solorhome。

<env-entry>
       <env-entry-name>solr/home</env-entry-name>
       <env-entry-value>/usr/local/solrhomes/solrhome-1</env-entry-value>
       <env-entry-type>java.lang.String</env-entry-type>
    </env-entry>

2.7、修改每个tomcat的端口，原端口分别为 8085 8080 8009。对应目录`/usr/local/solr-cloud/tomcat-1/conf/server.xml`。

> 8005端口是用来关闭TOMCAT服务的端口。  
> 8080端口，负责建立HTTP连接。在通过浏览器访问Tomcat服务器的Web应用时，使用的就是这个连接器。  
> 8009端口，负责和其他的HTTP服务器建立连接。在把Tomcat与其他HTTP服务器集成时，就需要用到这个连接器。

修改:tomcat-1 8185  8180  8109
    修改:tomcat-2 8285  8280  8209
    修改:tomcat-3 8385  8380  8309
    修改:tomcat-4 8485  8480  8409

每个一一对应

#### 集群配置 ####

1、修改每个tomcat实例bin目录下的 `catalina.sh`文件。  
添加以下配置（位置大概在230到300行之间）

JAVA_OPTS="-DzkHost=119.29.181.129:2181,119.29.181.129:2182,119.29.181.129:2183"

*  JAVA\_OPTS 是用来设置JVM相关运行参数的变量。此配置用于在tomcat启动时找到 zookeeper集群。  
    2、配置好solrCloud相关的配置，第个solrhome下都有一个solr.xml，把IP及端口号配置好（对应的是tomcat的IP和端口）
 *  /usr/local/solrhomes/solrhome-1/solr.xml

<solrcloud>
      <str name="host">119.29.181.129</str>
      <int name="hostPort">8180</int>
      <str name="hostContext">${hostContext:solr}</str>
      <int name="zkClientTimeout">${zkClientTimeout:30000}</int>
      <bool name="genericCoreNodeNames">${genericCoreNodeNames:true}</bool>
    </solrcloud>

*  /usr/local/solrhomes/solrhome-2/solr.xml

<solrcloud>
      <str name="host">119.29.181.129</str>
      <int name="hostPort">8280</int>
      <str name="hostContext">${hostContext:solr}</str>
      <int name="zkClientTimeout">${zkClientTimeout:30000}</int>
      <bool name="genericCoreNodeNames">${genericCoreNodeNames:true}</bool>
    </solrcloud>

*  /usr/local/solrhomes/solrhome-3/solr.xml

<solrcloud>
      <str name="host">119.29.181.129</str>
      <int name="hostPort">8380</int>
      <str name="hostContext">${hostContext:solr}</str>
      <int name="zkClientTimeout">${zkClientTimeout:30000}</int>
      <bool name="genericCoreNodeNames">${genericCoreNodeNames:true}</bool>
    </solrcloud>

*  /usr/local/solrhomes/solrhome-4/solr.xml

<solrcloud>
      <str name="host">119.29.181.129</str>
      <int name="hostPort">8480</int>
      <str name="hostContext">${hostContext:solr}</str>
      <int name="zkClientTimeout">${zkClientTimeout:30000}</int>
      <bool name="genericCoreNodeNames">${genericCoreNodeNames:true}</bool>
    </solrcloud>

3、让 zookeeper 统一管理配置文件。需要把 solrhome下collection1/conf 目录上传到zookeeper。上传任意 solrhome 中的配置文件即可。  
这里我们需要使用到solr提供的工具上传配置文件，下载solr-4.10.3解压，进到`solr-4.10.3/example/scripts/cloud-scripts`目录

wget http://archive.apache.org/dist/lucene/solr/4.10.3/solr-4.10.3.tgz
    tar -xzvf solr-4.10.3.taz
    cd solr-4.10.3/example/scripts/cloud-scripts

执行命令

./zkcli.sh -zkhost 119.29.181.129:2181,119.29.181.129:2182,119.29.181.129:2183 -cmd upconfig -confdir /usr/local/solrhomes/solrhome-1/collection1/conf -confname myconf
    参数解释
    -zkhost：指定zookeeper地址列表
    -cmd：指定命令。upconfig 为上传配置的命令
    -confdir：配置文件所在目录
    -confname：配置名称

#### 启动集群 ####

1、启动每个tomcat实例，要保证Zookeeper集群是启动状态。  
这边需要注意一个问题，需要给`solr-cloud`文件夹授权，不授权的情况下不能执行启动文件。

chmod -R 777 solr-cloud

看到变成绿色即可执行  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 4]  
启动

tomcat-1/bin/startup.sh
    tomcat-2/bin/startup.sh
    tomcat-3/bin/startup.sh
    tomcat-4/bin/startup.sh

2、访问集群  
地址栏输入 `http://ip:8180/solr`，可以看到以下界面，就说明搭建成功。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 5]  
此时可以看到有一个主节点，三个从节点。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 6]

#### SpringDataSolr连接SolorCloud ####

在SolorJ中提供一个叫做CloudSolrServer的类，它是SolrServer的子类，用于连接solrCloud 它的构造参数就是zookeeper的地址列表，另外它要求要指定defaultCollection属性（默认的 collection名称）  
修改工程的Solor配置文件

<bean id="solrServer" class="org.apache.solr.client.solrj.impl.CloudSolrServer">
    	<constructor-arg value="119.29.181.129:2181,119.29.181.129:2182,119.29.181.129:2183"></constructor-arg>
    	<property name="defaultCollection" value="collection1"></property>
    </bean>
    
    
    <bean id="solrTemplate" class="org.springframework.data.solr.core.SolrTemplate">
    	<constructor-arg ref="solrServer" />
    </bean>

#### 分片配置 ####

1、创建新的 Collection 进行分片处理，在浏览器输入以下地址，可以按照我们的要求 创建新的Collection。

http://119.29.181.129:8180/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2

参数解释

*  name:将被创建的集合的名字
 *  numShards:集合创建时需要创建逻辑碎片的个数
 *  replicationFactor:分片的副本数。

看到success表示分片成功  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 7]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 8]  
2、删除不用的 Collection1。执行命令

http://119.29.181.129:8180/solr/admin/collections?action=DELETE&name=collection1

删除成功会看到  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 9]

#### 模拟集群异常测试 ####

1、停止第一个tomcat节点，看查询是否能正常工作 – 能！因为还有从节点  
2、停止第三个tomcat节点，看看查询能够正常工作 – 不能，因为整个一片数据全没了，无法正常工作。  
3、恢复第三个tomcat节点，看看能否正常工作。–能！因为节点重新恢复了。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70]: /images/20220412/e74f99e751b94bb3b26d89c40e874d87.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 1]: /images/20220412/1bcf9e5e620b4c8eb6b582f596d67f4a.png
[Link 1]: https://blog.csdn.net/qq_22067469/article/details/84674205
[Link 2]: https://blog.csdn.net/qq_22067469/article/details/83825790
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 2]: /images/20220412/28871c01feda4e57b9f0069f6a0620dc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 3]: /images/20220412/40e9d79cd6d44cb093862780c1061d5f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 4]: /images/20220412/af46c4cac5b147d68dddf9a91fedf416.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 5]: /images/20220412/fd33584d42a34cfea8d383772d9f275e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 6]: /images/20220412/e65b7bff29c94faa9f32f5dd2cb97d0d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 7]: /images/20220412/73c85e273efe4bb19d3a6af5a148c9c4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 8]: /images/20220412/fd5ec06b9d1d4a85b99a188334b07bcd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 9]: /images/20220412/894f92aeaeee418c9b819209aac6f089.png