Elasticsearch分页

迈不过友情╰ 2022-09-30 04:59 213阅读 0赞

**1、概述**

Elasticsearch中数据都存储在分片中，当执行搜索时每个分片独立搜索后，数据再经过整合返回。ElasticSearch的搜索请求一次请求最大量为10000。如果超过则会发生错误。那么，如果数据量很大，就必须实现分页查询。如果我想查询前10条数据，按照一般的查询流程来说，会经历以下步骤：  
（1）客户端请求发给某个节点  
（2）节点转发给个个分片，查询每个分片上的前10条  
（3）结果返回给节点，整合数据，提取前10条  
（4）返回给请求客户端  
那么当我想要查询第100条到第200条的数据该怎么办呢？这个时候就用到分页查询了。

**2、from-size分页**

from-size分页可以理解为简单意义上的分页。它的原理很简单，就是查询前200条数据，然后截断前100条，只返回100-200的数据。这样其实白白浪费了前100条的查询。

查询的方法如：

SearchResponse scrollResp = client.prepareSearch()
                    .setSearchType(SearchType.SCAN)
                    .setIndices("")
                    .setTypes("")
                    .setFrom(100)
                    .setSize(200)
                    .setQuery(QueryBuilders.matchAllQuery())
                    .execute().actionGet();

其中，from定义了目标数据的偏移值，size定义当前返回的数目。默认from为0，size为10，即所有的查询默认仅仅返回前10条数据。

越往后的分页，执行的效率越低。它会随着from的增加，消耗时间也会增加。而且数据量越大，效果越明显！也就是说，分页的偏移值越大，执行分页查询时间就会越长！

**2、Scroll分页**

一般搜索请求默认返回一”页”数据，无论数据量多大都只返回默认的数据给用户，Scroll API可以允许我们检索大量数据（甚至全部数据），它允许我们做一个初始阶段搜索并且持续批量从Elasticsearch里拉取结果直到没有结果剩下。这有点像传统数据库里的cursors（游标）。

相对于from和size的分页来说，使用scroll可以模拟一个传统数据的游标，记录当前读取的文档信息位置。这个分页的用法，不是为了实时查询数据，而是为了一次性查询大量的数据（甚至是全部的数据）。因为这个scroll相当于维护了一份当前索引段的快照信息，这个快照信息是你执行这个scroll查询时的快照。在这个查询后的任何新索引进来的数据，都不会在这个快照中查询到。但是它相对于from和size，不是查询所有数据然后剔除不要的部分，而是记录一个读取的位置，保证下一次快速继续读取。代码如下：

import org.elasticsearch.action.search.SearchResponse;
    import org.elasticsearch.action.search.SearchType;
    import org.elasticsearch.client.Client;
    import org.elasticsearch.client.transport.TransportClient;
    import org.elasticsearch.common.settings.Settings;
    import org.elasticsearch.common.transport.InetSocketTransportAddress;
    import org.elasticsearch.common.unit.TimeValue;
    import org.elasticsearch.index.query.QueryBuilder;
    import org.elasticsearch.search.SearchHit;
    import org.elasticsearch.search.SearchHits;
    
    import java.net.InetAddress;
    
    /** * elasticSearch-2.3.3 */
    public class ScrollTest {
    
        private static Client client;
    
        static {
            try {
                Settings settings = Settings.settingsBuilder().put("cluster.name", "elasticsearch-cluster").build();
                TransportClient transportClient = TransportClient.builder().settings(settings).build();
                transportClient.addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName(""), 9500));
                transportClient.addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName(""), 9500));
                client = transportClient;
            }catch (Exception e){
    
            }
        }
    
        /* * 利用from-size分页，获取较小数据量查询 */
        private void getSearchData(QueryBuilder queryBuilder) {
    
            SearchResponse searchResponse = client
                    .prepareSearch("")
                    .setTypes("")
                    .setQuery(queryBuilder)
                    .setFrom(0)
                    .setSize(100)
                    .execute()
                    .actionGet();
    
            SearchHits searchHits = searchResponse.getHits();
            for (SearchHit searchHit : searchHits) {
    //            Integer id = (Integer) searchHit.getSource().get("id");
    //            ids.add(id);
            }
        }
    
        /* * 利用scrollId深度分页，获取大量数据 */
        private void getSearchDataByScrolls(QueryBuilder queryBuilder) {
    
            SearchResponse searchResponse = client.prepareSearch()
                    .setIndices("")
                    .setTypes("")
                    .setScroll(TimeValue.timeValueMinutes(1)) //游标维持时间
                    .setSearchType(SearchType.SCAN)//用Scan提高性能，但第一次不返回结果，返回scrollId
                    .setSize(1000)//实际返回的数量为1000*index的主分片数
                    .execute()
                    .actionGet();
    
            TimeValue timeValue = new TimeValue(80000);
            while(true) {
                try {
                    //第一次查询，只返回数量和一个scrollId
                    //注意第一次运行没有结果
                    for (SearchHit hit : searchResponse.getHits().getHits()) {
                        //
                    }
                    //使用上次的scrollId继续访问
                    //初始搜索请求和每个后续滚动请求返回一个新的滚动ID,只有最近的滚动ID才能被使用
                    searchResponse = client.prepareSearchScroll(searchResponse.getScrollId())
    
                    if (searchResponse.getHits().getHits().length == 0) {
                        break;
                    }
                } catch (Exception e) {
    
                }
            }
        }
    }