Solr-2

忘是亡心i 2021-12-10 18:05 240阅读 0赞

## 一、增量导入 ##

自动的概念  
**1.1定时的自动导入**  
**1.1.1配置文件**  
![在这里插入图片描述][20190711172231658.png]  
Spring-task.xml

**1.1.2注解**  
![在这里插入图片描述][20190711172251243.png]  
**1.2 实现增量导入**  
每次都是15 全部导入特别耗费性能（数据库的读取性能，solr的写入性能）  
**1.2.1 增量导入的原理**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0MDEzNzkw_size_16_color_FFFFFF_t_70]  
**1.2.2 数据库给t\_goods 添加一个字段**  
![在这里插入图片描述][20190711172310361.png]  
以后使用该字段记录商品的改变时间  
修改完成后，重新生成domain 和mapper ，以及xml文件，导入  
![在这里插入图片描述][20190711172315556.png]  
**1.2.3 增量的实现**

/**
    	 * 起始时间
    	 * 将起始时间设置为1970 ，怎意味着第一次导入是全部导入
    	 * 以后这个起始时间总会让end时间来替换，它完成的就是增量导入
    	 */
    	private Date start = new Date(0);//1970 0 0 的时间
    	
    	/**
    	 * 从数据里面导入到solr 里面，要求：
    	 * 第一次需要全部导入
    	 * 后面都是增量的导入
    	 * cron="" 使用cron 表达来决定该方法什么时候执行（通用性高，java，linux ，windows）
    	 * initialDelay：项目初始化多少时间后执行
    	 * fixedDelay:固定多少时间执行一次
    	 */
    	@Scheduled(initialDelay=10*1000,fixedDelay=15*1000)
    	public void import2Solr() {
        
    		System.out.println("开始执行定时任务");
    		// 第一步查询数据库的商品(分页导入)
    //		 start+15min = t2 的时间，就是定时任务行后的时间
    		Date end  = new Date(System.currentTimeMillis());
    		// 只需要判断，在start 时间和end 时间内的新增的数据，和修改的数量
    		GoodsExample goodsExample = new GoodsExample();
    		Criteria createCriteria = goodsExample.createCriteria();
    		createCriteria.andUpdateTimeBetween(start, end);
    		// 1 计算总页数
    		long total = goodsMapper.countByExample(goodsExample);//总条数
    		System.out.println("本次需要导入"+total+"条");
    		long totalPage = total % pageSize == 0?total / pageSize: (total / pageSize +1);
    		for (int i = 1; i <= totalPage; i++) {
        
    			PageHelper.startPage(i,pageSize); // 不涉及增量导入 
    			List<Goods> goods = goodsMapper.selectByExample(goodsExample); // 全部查询时不行的，因为数据量太大，导致可以导入失败，我们可以把数据库的数据分批导入（数据库的分页查询）
    			List<SolrInputDocument> docs = goods2Docs(goods);
    			try {
        
    				solrServer.add(docs);
    				solrServer.commit();
    				System.out.println("第"+i+"导入完成");
    			} catch (SolrServerException e) {
        
    				e.printStackTrace();
    				System.out.println("第"+i+"导入完成");
    			} catch (IOException e) {
        
    				e.printStackTrace();
    				System.out.println("第"+i+"导入完成");
    			}
    		}
    //		 start 和end 的时刻内新增的数据和修改的数据导入完成，等待下一轮导入
    		start = end ; // 做一个时间的推移
    		
    	}

## 二、搜索 ##

**2.1 分页**

/**
    	 * 分页搜索
    	 */
    	@Override
    	public List<Goods> query(String keyword, int page, int size) {
        
    		Assert.notNull(keyword, "搜索时关键字不能为null");
    		String q = "goods_name:"+keyword; // goods_name:*
    		SolrQuery solrQuery = new SolrQuery(q); // 关键字查询
    		//1 分页查询 limt start,rows
    		solrQuery.setStart((page-1)*size);
    		solrQuery.setRows(size);
    		
    		List<Goods> goodsList = new ArrayList<Goods>() ;
    		try {
        
    			QueryResponse query = solrServer.query(solrQuery);
    			SolrDocumentList results = query.getResults();
    			for (SolrDocument solrDocument : results) {
        
    				Goods goods = doc2Goods(solrDocument);
    				goodsList.add(goods);
    			}
    		} catch (SolrServerException e) {
        
    			e.printStackTrace();
    		}
    		return goodsList;
    	}
    
    /**
    	 * 将solr的文档对象转换为goods 对象
    	 * @param solrDocument
    	 * @return
    	 */
    	private Goods doc2Goods(SolrDocument solrDocument) {
        
    		Goods goods = new Goods();
    		Object id = solrDocument.getFieldValue("id");// 通过字段的名称得到字段的值
    		goods.setId(Integer.valueOf(id.toString()));
    		Object goodsName = solrDocument.getFieldValue("goods_name");
    		goods.setGoodsName(goodsName.toString());
    		Object goodsImg = solrDocument.getFieldValue("goods_img");
    		goods.setGoodsImg(goodsImg.toString());
    		Object  goodsPrice= solrDocument.getFieldValue("goods_price");
    //		BigDecimal
    		goods.setGoodsPrice(new BigDecimal(goodsPrice.toString()));
    		Object goodsCommentNun = solrDocument.getFieldValue("goods_comment_num");
    		goods.setGoodsCommentNum(Integer.valueOf(goodsCommentNun.toString()));
    		return goods;
    	}

**2.2 排序**

![在这里插入图片描述][20190711172415605.png]  
**2.2.1 修改接口**  
![在这里插入图片描述][20190711172422608.png]  
**2.2.2 实现类**  
![在这里插入图片描述][20190711172429585.png]  
**2.3 高亮**  
**2.3.1 概念**  
![在这里插入图片描述][20190711172444251.png]  
在网页上使用颜色，字体大小来突出显示

**2.3.2 高亮的实现**  
*1 设置高亮*

// 3 高亮设置
    		solrQuery.setHighlight(true);
    		solrQuery.setHighlightSimplePre("<font color='red'>");
    		solrQuery.setHighlightSimplePost("</font>");
    		solrQuery.addHighlightField("goods_name");

*2 处理高亮的内容*  
![在这里插入图片描述][20190711172525241.png]  
**2.4 过滤查询  
2.4.1 概念**  
从查询的结果里面取出一些特定的值  
价格区间 999-1500  
那种特定属性的值 我买的内存是4GB  
**2.4.2 区间查询**

// 过滤查询
    		if(priceScope!=null&&priceScope.contains("-")) {
        
    			String[] split = priceScope.split("-");
    			float minPrice = Float.valueOf(split[0]);
    			float maxPrice = Float.valueOf(split[1]);
    			solrQuery.addFilterQuery("goods_price:["+minPrice+" TO "+ maxPrice+"]");
    			//1000-2000 goods_price[1000 TO 2000]
    		}

**2.4.3 匹配**  
![在这里插入图片描述][20190711172554211.png]  
![在这里插入图片描述][20190711172558667.png]

## 三、Solr集群的搭建 ##

**3.1 集群原理**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0MDEzNzkw_size_16_color_FFFFFF_t_70 1]  
**3.2 规划**  
机器编号 ip 端口  
1 192.168.231.143 8080  
2 192.168.231.143 8081  
3 192.168.231.143 8082  
4 192.168.231.143 8083

**3.3 搭建过程**  
**3.3.1 新建文件夹**  
![在这里插入图片描述][20190711172641390.png]  
![在这里插入图片描述][20190711172646849.png]  
**3.3.2 复制4份solr 进来**  
![在这里插入图片描述][20190711172656176.png]  
![在这里插入图片描述][20190711172659682.png]  
**3.3.3 准备4个solr-home**  
A: 准备文件夹  
新建一个solr-cloud-home的文件夹  
![在这里插入图片描述][201907111727050.png]

新建4 个solr home  
![在这里插入图片描述][2019071117270910.png]  
B:给solr-home复制配置文件  
![在这里插入图片描述][20190711172712743.png]  
**3.3.4 给每个solr 配置solr-home**

vi /usr/local/solr-cloud/solr-[1:4]/apache-tomcat-7.0.92/webapps/solr/WEB-INF/web.xml

Solr1：  
![在这里插入图片描述][20190711172730740.png]  
Solr2：  
![在这里插入图片描述][20190711172734841.png]  
Solr3：  
![在这里插入图片描述][20190711172739397.png]  
Solr4：  
![在这里插入图片描述][20190711172742671.png]  
**3.3.5 修改tomcat的端口**  
只修改8080 还不行，因为还有占用别的端口  
server.xml 只有见到端口+10  
Solr1: 不改变  
Solr2: 端口统统+10  
Solr3:端口统统+20  
Solr4:端口统统+30  
**3.3.6 使用zk 做配置文件中心**  
上传配置文件  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0MDEzNzkw_size_16_color_FFFFFF_t_70 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0MDEzNzkw_size_16_color_FFFFFF_t_70 3]

A: 启动zk 集群  
![在这里插入图片描述][20190711172806877.png]  
B:上传到zk 集群里面  
![在这里插入图片描述][20190711172811516.png]  
![在这里插入图片描述][20190711172816437.png]

./zkcli.sh -zkhost 192.168.231.143:2181,192.168.231.143:2182,192.168.231.143:2183 -cmd upconfig -confdir /usr/local/solr4/solr-home/collection1/conf  -confname myconf

![在这里插入图片描述][20190711172819709.png]

上传成功后的zk数据  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0MDEzNzkw_size_16_color_FFFFFF_t_70 4]  
**3.3.7 solr启动下载配置文件**  
在solr 启动时，加上一个参数  
zkHost=””,若solr 里面发现有这个地址，则去下载该zkHost 里面下载配置文件  
JAVA\_OPTS=”-D名称=值” 这样tomcat或java启动时，就可以把该参数传递进去  
在tomcat [里面有个catalina.sh][catalina.sh]: 启动tomcat的文件  
./startup.sh = [catalina.sh][catalina.sh 1] run  
[我们需要修改catalina.sh][catalina.sh 2] 文件，添加JAVA\_OPTS=”-D”  
搜索该项： /JAVA\_OPTS 使用n 代表往下搜索  
![在这里插入图片描述][20190711172841690.png]

修改为：  
![在这里插入图片描述][20190711172845311.png]  
Solr1-4 都需要修改  
复制solr1 [里面catalina.sh][catalina.sh 3] 到（2,3,4 里面）  
![在这里插入图片描述][20190711172851523.png]  
检查  
![在这里插入图片描述][20190711172854956.png]  
**3.3.8修改solr.xml 配置**  
solr-cloud-home里面  
Solr-1-home：  
![在这里插入图片描述][20190711172900768.png]  
Solr-2-home：  
![在这里插入图片描述][20190711172904758.png]

Solr-3-home：  
![在这里插入图片描述][20190711172908201.png]  
Solr-4-home：  
![在这里插入图片描述][20190711172911752.png]  
**3.3.9 启动4 台solr**  
停止单机版的solr  
![在这里插入图片描述][20190711172919865.png]  
![在这里插入图片描述][20190711172923115.png]  
**3.3.10 在页面创建solr-core**  
执行：  
[http://ip][http_ip]:port/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2  
![在这里插入图片描述][20190711172945286.png]

**3.3.11 删除不用的solr-core**  
[http://ip][http_ip]:port/solr/admin/collections?action=DELETE&name=collection  
[http://192.168.231.143:8080/solr/admin/collections?action=DELETE&name=collection1][http_192.168.231.143_8080_solr_admin_collections_action_DELETE_name_collection1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0MDEzNzkw_size_16_color_FFFFFF_t_70 5]

## 四、solr集群的使用 ##

4.1 使用solr集群  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0MDEzNzkw_size_16_color_FFFFFF_t_70 6]

String zkHost = "192.168.231.143:2181,192.168.231.143:2182,192.168.231.143:2183";
    		CloudSolrServer cloudSolrServer = new CloudSolrServer(zkHost );
    		cloudSolrServer.setDefaultCollection("sxt");

**4.2 原理分析**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0MDEzNzkw_size_16_color_FFFFFF_t_70 7]  
路由规则  
SolrCloud中对于文档分布在哪个shard上，提供了两种路由算法：compositeId和implicit  
在创建Collection时，需要通过router.name指定路由策略，默认为compositeId路由。  
compositeId  
该路由为一致性哈希路由，shards的哈希范围从80000000~7fffffff。初始创建collection是必须指定numShards个数，compositeId路由算法根据numShards的个数，计算出每个shard的哈希范围，因此路由策略不可以扩展shard。  
implicit  
该路由方式指定索引具体落在路由到哪个Shard，这与compositeId路由方式索引可均匀分布在每个shard上不同。同时只有在implicit路由策略下才可创建shard。  
doc.addField(“*route*”, “shard\_X”);  
一般是使用compositeId算法来实现  
**4.3 使用solr-cloud 来完成对商品的搜索**  
![在这里插入图片描述][20190711173103156.png]  
![在这里插入图片描述][20190711173109546.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0MDEzNzkw_size_16_color_FFFFFF_t_70 8]  
我们发现我们复制的solr 里面已经有ik分词器了，我们只要想办法改scheam.xml（zk） 就可以  
我们只需要将改好的solr-home/sxt/conf文件夹上传一次就OK了

./zkcli.sh -zkhost 192.168.231.143:2181,192.168.231.143:2182,192.168.231.143:2183 -cmd upconfig -confdir /usr/local/solr4/solr-home/sxt/conf  -confname myconf

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0MDEzNzkw_size_16_color_FFFFFF_t_70 9]  
上传成功后，重启solr 集群

[20190711172231658.png]: /images/20211210/32a086668a2e4ec38ea97056b0e779c3.png
[20190711172251243.png]: /images/20211210/fc852124b34142088d4b45cd9f55a3e4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0MDEzNzkw_size_16_color_FFFFFF_t_70]: /images/20211210/a0a2dee0789d4b57aefa1b29b7b047d5.png
[20190711172310361.png]: /images/20211210/b19812f76b60443daa56524938a207ea.png
[20190711172315556.png]: /images/20211210/18872d2f72d1433a8b8e4c56a4c68221.png
[20190711172415605.png]: /images/20211210/15826b115c634ed4b98911d2ea7458a7.png
[20190711172422608.png]: /images/20211210/900c4c5dcbb44efe8195502406ac1844.png
[20190711172429585.png]: /images/20211210/4484ec1bf3534adc936ca3a765d87295.png
[20190711172444251.png]: /images/20211210/6e00f7041a7448b296d60914bb062f87.png
[20190711172525241.png]: /images/20211210/9ce251972a04414287446808ae66575c.png
[20190711172554211.png]: /images/20211210/3d0440c10ead4a76b2aac2e7506c2ba6.png
[20190711172558667.png]: /images/20211210/7220f39ffcc8457c95d66ee04278b7bc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0MDEzNzkw_size_16_color_FFFFFF_t_70 1]: /images/20211210/a2fdfce4605c4881859d86d44b762e36.png
[20190711172641390.png]: /images/20211210/e2ab1b28a65d4113b5e73a75dcf6ad5c.png
[20190711172646849.png]: /images/20211210/adc498881ccd4f55a282c1052e6d319f.png
[20190711172656176.png]: /images/20211210/e5893a1cc59c4a3ab645e3ca8d0e184c.png
[20190711172659682.png]: /images/20211210/770828e384a247878678b142d8f464ed.png
[201907111727050.png]: /images/20211210/cfd5fd1d34e34d989aa12471577f8eba.png
[2019071117270910.png]: /images/20211210/316e3bd410944980953c03823afa1959.png
[20190711172712743.png]: /images/20211210/a84f32a1e6304f10a1724435751b6834.png
[20190711172730740.png]: /images/20211210/0d65c05f7c90426fa35907235d5e12be.png
[20190711172734841.png]: /images/20211210/9028eef7c6a14966af9f069f4d8f2a55.png
[20190711172739397.png]: /images/20211210/4b92abb100a84df6b22abf87df05d83b.png
[20190711172742671.png]: /images/20211210/fa3a919e635e41b280ffa5c08b71b0ca.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0MDEzNzkw_size_16_color_FFFFFF_t_70 2]: /images/20211210/a330f8dd3b254a24a0d2999b6edeeade.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0MDEzNzkw_size_16_color_FFFFFF_t_70 3]: /images/20211210/7db07698dc284c4ca42f88c96e71e61f.png
[20190711172806877.png]: /images/20211210/5d74f26b861044b992373292aee5f4f4.png
[20190711172811516.png]: /images/20211210/93711509aacc4d32aa7a10e441c15121.png
[20190711172816437.png]: /images/20211210/1edee54aeca8417299f991cff17911ba.png
[20190711172819709.png]: /images/20211210/98b9b202b4d44f5aa8d586c101342f65.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0MDEzNzkw_size_16_color_FFFFFF_t_70 4]: /images/20211210/4e988037d21b4b85b0ebafe495b3b045.png
[catalina.sh]: http://xn--catalina-sc0m076rqkxfk9n.sh
[catalina.sh 1]: http://catalina.sh
[catalina.sh 2]: http://xn--catalina-or1mh7fgt4fd6h176j8qtb.sh
[20190711172841690.png]: /images/20211210/afc4b80fdb1547b9b0c1a67dbe561a0f.png
[20190711172845311.png]: /images/20211210/f1039f62280b47fba3d2c94b112a2b90.png
[catalina.sh 3]: http://xn--catalina-yj7yu22b.sh
[20190711172851523.png]: /images/20211210/94679990155f476192de0ac935541116.png
[20190711172854956.png]: /images/20211210/d91d5a24eed84788afa87348bd8bafed.png
[20190711172900768.png]: /images/20211210/9f156b47d6904cd49e7be02f7792d903.png
[20190711172904758.png]: /images/20211210/dbb2fac0386643e78f1fa638c413efc7.png
[20190711172908201.png]: /images/20211210/13756149879e4a4c88b255cf1cbd9831.png
[20190711172911752.png]: /images/20211210/63f60a8de33147cab4e311ab541fbca1.png
[20190711172919865.png]: /images/20211210/02ecd833864c49228b7f465b87f8a863.png
[20190711172923115.png]: /images/20211210/3860ff6ad1f940d198d10f1f8336554a.png
[http_ip]: http://ip
[20190711172945286.png]: /images/20211210/29b436fc1ea44006b9019cfe8085a0c3.png
[http_192.168.231.143_8080_solr_admin_collections_action_DELETE_name_collection1]: http://192.168.231.143:8080/solr/admin/collections?action=DELETE&name=collection1
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0MDEzNzkw_size_16_color_FFFFFF_t_70 5]: /images/20211210/f05bb6cb6dbb41c6b968feec7968e40f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0MDEzNzkw_size_16_color_FFFFFF_t_70 6]: /images/20211210/c732d5f732bd4402b9f4bcef9970442e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0MDEzNzkw_size_16_color_FFFFFF_t_70 7]: /images/20211210/b02713e6efe84d96a3ac5d3943165e49.png
[20190711173103156.png]: /images/20211210/0b3100b25ccb4c64997b46c710785180.png
[20190711173109546.png]: /images/20211210/ee08b385d7784187a83a5ca3add93e1f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0MDEzNzkw_size_16_color_FFFFFF_t_70 8]: /images/20211210/1bb0bcfa02644693be9a34144f91a77e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0MDEzNzkw_size_16_color_FFFFFF_t_70 9]: /images/20211210/3429a14fb8e04fca93ac8b9f144b9662.png