elasticsearch 深分页问题以及解决方法

系统管理员 2022-09-30 07:28 248阅读 0赞

# elasticsearch 深分页问题以及解决方法 #

本文主要参考：

1、https://www.elastic.co/guide/en/elasticsearch/reference/current/search-request-scroll.html

2、《Elasticsearch权威指南》

好，下面上货。

首先介绍一下，什么是深分页问题。

当使用elasticsearch进行分页查询的时候我们使用的语法是这样的：

POST xytest/sutdent/\_search  
\{  
  "from": 0,  
  "size": 2  
\}

这样的查询在10000-50000条数据（1000到5000页）以内的时候还是可以的，但是如果数据过多的话，就会出现深分页问题。这个问题和elasticsearch的内部原理有关。比如，现在要取第5001页的数据，在分页的时候，elasticsearch需要首先在每一个节点上取出50020的数据，然后和每一个节点的所有数据进行排序，取出排序后在50010到50020的数据，然后返回。这样随着数据量的增大，每次分页时排序的开销会越来越大。

为了解决上面的问题，elasticsearch提出了一个scroll滚动的方式，这个滚动的方式原理就是通过每次查询后，返回一个scroll\_id。根据这个scroll\_id 进行下一页的查询。可以把这个scroll\_id理解为通常关系型数据库中的游标。但是，这种scroll方式的缺点是不能够进行反复查询，也就是说，只能进行下一页，不能进行上一页。

经过分析，如果数据达到了50000条以上，那么用户基本上是不会考虑每条都去看的，用户需要的是最后对数据分析处理后的结果。而如果小于50000条的时候我们可以使用from size的方式进行分页的查询。那么这种方式存在是为了什么情景呢。应该是为了分批次的检索所有数据。

下面，介绍一下如何使用这种scroll的方式进行分页查询。

我们的环境里一共有6条数据，我们每次取出4条。

1、首先取出前4条，并且得到scroll\_id（这里的3m代表的是持续滚动时间，如果过了3分钟，还没有查询下一页，那么这个scroll\_id就会失效）。

POST /xytest/sutdent/\_search?scroll=3m  
\{  
    "size": 4  
\}

再次查询下一页，注意，这里查询时不需要指定index，只需要指定scroll\_id和本次的持续滚动时间。

POST /\_search/scroll  
\{  
    "scroll" : "3m",  
    "scroll\_id":"DnF1ZXJ5VGhlbkZldGNoBQAAAAAAAAueFjZoLTd3UEptUXFXR2Z6Nm5iZ3FqalEAAAAAAAALnBY2aC03d1BKbVFxV0dmejZuYmdxampRAAAAAAAAC58WNmgtN3dQSm1RcVdHZno2bmJncWpqUQAAAAAAAAudFjZoLTd3UEptUXFXR2Z6Nm5iZ3FqalEAAAAAAAALoBY2aC03d1BKbVFxV0dmejZuYmdxampR"  
\}

发现这次只有两条数据，我们再次根据返回的scroll\_id查询

已经没有数据了，说明已经滚动到最后了。

这个时候我们可以删除这个scroll\_id。

使用如下方法：

DELETE /\_search/scroll/DnF1ZXJ5VGhlbkZldGNoBQAAAAAAAAueFjZoLTd3UEptUXFXR2Z6Nm5iZ3FqalEAAAAAAAALnBY2aC03d1BKbVFxV0dmejZuYmdxampRAAAAAAAAC58WNmgtN3dQSm1RcVdHZno2bmJncWpqUQAAAAAAAAudFjZoLTd3UEptUXFXR2Z6Nm5iZ3FqalEAAAAAAAALoBY2aC03d1BKbVFxV0dmejZuYmdxampR

也可以删除所有scroll\_id：

DELETE /\_search/scroll/\_all