ES：mget批量查询

素颜马尾好姑娘i 2022-05-28 06:58 173阅读 0赞

1.批量查询的好处

1）一条一条查询，需要发送多次，网络开销大，批量查询可以解决很多网络的开销

2）使用mget

2.使用mget进行查询操作

1）如果批量查询的对象不是在一个index中，那么可以用下面的语法

GET /\_mget  
\{  
  "docs":\[  
    \{  
      "\_index":"test\_index",  
      "\_type":"test\_type",  
      "\_id":10  
    \},  
    \{  
      "\_index":"test\_index",  
      "\_type":"test\_type",  
      "\_id":8  
    \},  
    \{  
      "\_index":"ecommerce",  
      "\_type":"product",  
      "\_id":5  
    \}  
    \]  
\}

执行结果：结果也是封装到一个docs中

\{  
  "docs": \[  
    \{  
      "\_index": "test\_index",  
      "\_type": "test\_type",  
      "\_id": "10",  
      "\_version": 7,  
      "found": true,  
      "\_source": \{  
        "test\_field": "test\_201712291052",  
        "test\_field2": "test002"  
      \}  
    \},  
    \{  
      "\_index": "test\_index",  
      "\_type": "test\_type",  
      "\_id": "8",  
      "\_version": 2,  
      "found": true,  
      "\_source": \{  
        "test\_field": "xxx81"  
      \}  
    \},  
    \{  
      "\_index": "ecommerce",  
      "\_type": "product",  
      "\_id": "5",  
      "\_version": 1,  
      "found": true,  
      "\_source": \{  
        "name": "zhuyan yagao",  
        "desc": "meibai jiankang",  
        "price": 54,  
        "producer": "zhuyan producer",  
        "tags": \[  
          "fangzhu",  
          "meibai",  
          "jiankang"  
        \]  
      \}  
    \}  
  \]  
\}

2）如果获取的document是一个index中的不同type中的时候

GET /test\_index/\_mget  
\{  
  "docs":\[  
    \{  
      "\_type":"test\_type",  
      "\_id":10  
    \},  
      
    \{  
      "\_type":"test\_type",  
      "\_id":8  
    \}  
    \]  
\}

执行结果：

3）如果document在同一个index，同一个type中时

GET /test\_index/test\_type/\_mget  
\{  
  "docs":\[  
    \{  
      "\_id":10  
    \},  
    \{  
      "\_id":8  
    \}  
    \]  
\}

同样也可以查询

上面3）中的语法也可以写成

GET /test\_index/test\_type/\_mget  
\{  
  "ids":\[1,2,10\]    
\}

结果：

\{  
  "docs": \[  
    \{  
      "\_index": "test\_index",  
      "\_type": "test\_type",  
      "\_id": "1",  
      "\_version": 2,  
      "found": true,  
      "\_source": \{  
        "test\_field": "xxx",  
        "test\_field2": "xxx2"  
      \}  
    \},  
    \{  
      "\_index": "test\_index",  
      "\_type": "test\_type",  
      "\_id": "2",  
      "\_version": 1,  
      "found": true,  
      "\_source": \{  
        "test\_field": "xxxxx000"  
      \}  
    \},  
    \{  
      "\_index": "test\_index",  
      "\_type": "test\_type",  
      "\_id": "10",  
      "\_version": 7,  
      "found": true,  
      "\_source": \{  
        "test\_field": "test\_201712291052",  
        "test\_field2": "test002"  
      \}  
    \}  
  \]  
\}

3.见解

mget的重要性：很重要

一般来说，在进行查询的时候，如果一次性查询多条数据，那么一定要用batch批量操作的api，

尽可能一次请求网络，减少网路的消耗。

4.bulk size的最佳大小

bulk request会加载到内存中，如果太大的话，性能反而下降，因此需要反复尝试一个最大的bulk size。一般从1000~5000条数据开始，尝试逐渐增加。另外，如果看大小的话，最好在5M~15M之间