ElasticSearch使用Kibana实现批量操作（二）

野性酷女 2022-03-06 09:12 1332阅读 0赞

# ElasticSearch使用Kibana实现批量操作-Bulk API #

和 mget 允许我们一次性检索多个文档一样， bulk API允许我们使用单一请求来实现多个文档的 create 、 index 、 update 或 delete 。 这对索引类似于日志活动这样的数据流非常有用， 它们可以以成百上千的数据为一个批次按序进行索引。

1、bulk请求体

2、bulk分类

3、create 和index的区别

4、批量添加:

5、批量删除文档

对人工智能感兴趣的同学，可以点击以下链接：

[现在人工智能非常火爆，很多朋友都想学，但是一般的教程都是为博硕生准备的，太难看懂了。最近发现了一个非常适合小白入门的教程，不仅通俗易懂而且还很风趣幽默。所以忍不住分享一下给大家。点这里可以跳转到教程。][Link 1]

[https://www.cbedai.net/u014646662][Link 1]

###    1、bulk请求体 ###

bulk 请求体如下， 它有一点不同寻常：

{ action: { metadata }}\n
    { request body }\n
    { action: { metadata }}\n
    { request body }\n
    ...

这种格式类似于用 "\\n" 符号连接起来的一行一行的JSON文档流(stream)。 两个重要的点需要注意：

*  每行必须以 "\\n" 符号结尾， 包括最后一行。 这些都是作为每行有效的分离而做的标记。
 *  每一行的数据不能包含未被转义的换行符， 它们会干扰分析，这意味着JSON不能被美化打印。

action/metadata这一行定义了文档行为(what action)发生在某个文档(which document)之上。

### 2、bulk分类 ###

<table> 
 <tbody> 
  <tr> 
   <td style="text-align:center;vertical-align:middle;">行为</td> 
   <td style="text-align:center;vertical-align:middle;">解释</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;vertical-align:middle;">create</td> 
   <td style="text-align:left;vertical-align:middle;">当文档不存在时创建之</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;vertical-align:middle;">index</td> 
   <td style="text-align:left;vertical-align:middle;">创建新文档或替换已有文档</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;vertical-align:middle;">update</td> 
   <td style="text-align:left;vertical-align:middle;">局部更新文档</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;vertical-align:middle;">delete</td> 
   <td style="text-align:left;vertical-align:middle;">删除一个文档</td> 
  </tr> 
 </tbody> 
</table>

在索引、 创建、 更新或删除时必须指定文档的 \_index 、 \_type 、 \_id 这些元数据(metadata)。

### 3、create 和index的区别 ###

如果数据存在，使用create操作失败，会提示文档已经存在，使用index则可以成功执行。

请求体(request body)由文档的 \_source 组成文档所包含的一些字段以及其值。 它被 index 和 create 操作所必须， 这是有道理的： 你必须提供文档用来索引。  
这些还被 update 操作所必需， 而且请求体的组成应该与 update API（ doc , upsert ,script 等等） 一致。 删除操作不需要请求体(request body)。

删除请求看起来像这样：

{"delete":{"_index":"lib","_type":"user","_id":"1"}}

### 4、批量添加: ###

POST /lib2/books/_bulk
    {"index":{"_id":1}}
    {"title":"Java","price":55}
    {"index":{"_id":2}}
    {"title":"Html5","price":45}
    {"index":{"_id":3}}
    {"title":"Php","price":35}
    {"index":{"_id":4}}
    {"title":"Python","price":50}

执行结果：

{
      "took": 35,
      "errors": false,        #如果成功，这里是false
      "items": [
        {
          "index": {
            "_index": "lib2",
            "_type": "books",
            "_id": "1",
            "_version": 3,
            "result": "updated",
            "_shards": {
              "total": 2,
              "successful": 1,
              "failed": 0
            },
            "_seq_no": 2,
            "_primary_term": 4,
            "status": 200       #如果该文档添加成功，状态码是2开头
          }
        },
        {
          "index": {
            "_index": "lib2",
            "_type": "books",
            "_id": "2",
            "_version": 3,
            "result": "updated",
            "_shards": {
              "total": 2,
              "successful": 1,
              "failed": 0
            },
            "_seq_no": 5,
            "_primary_term": 4,
            "status": 200
          }
        },
        {
          "index": {
            "_index": "lib2",
            "_type": "books",
            "_id": "3",
            "_version": 4,
            "result": "updated",
            "_shards": {
              "total": 2,
              "successful": 1,
              "failed": 0
            },
            "_seq_no": 3,
            "_primary_term": 4,
            "status": 200
          }
        },
        {
          "index": {
            "_index": "lib2",
            "_type": "books",
            "_id": "4",
            "_version": 2,
            "result": "updated",
            "_shards": {
              "total": 2,
              "successful": 1,
              "failed": 0
            },
            "_seq_no": 6,
            "_primary_term": 4,
            "status": 200
          }
        }
      ]
    }

POST /_bulk
    {"delete":{"_index":"lib2","_type":"books","_id":3}}
    {"create":{"_index":"ttt","_type":"ttt","_id":"100"}}
    {"name":"lisi"}
    {"index":{"_index":"ttt","_type":"ttt"}}
    {"name":"zhaosi"}
    {"update":{"_index":"lib2","_type":"books","_id":"4"}}
    {"doc":{"price":58}}

执行结果：

{
      "took": 248,
      "errors": false,
      "items": [
        {
          "delete": {
            "_index": "lib2",
            "_type": "books",
            "_id": "3",
            "_version": 5,
            "result": "deleted",
            "_shards": {
              "total": 2,
              "successful": 1,
              "failed": 0
            },
            "_seq_no": 4,
            "_primary_term": 4,
            "status": 200
          }
        },
        {
          "create": {
            "_index": "ttt",
            "_type": "ttt",
            "_id": "100",
            "_version": 1,
            "result": "created",
            "_shards": {
              "total": 2,
              "successful": 1,
              "failed": 0
            },
            "_seq_no": 0,
            "_primary_term": 1,
            "status": 201
          }
        },
        {
          "index": {
            "_index": "ttt",
            "_type": "ttt",
            "_id": "R0gGkGkBug_RHjHB2juP",
            "_version": 1,
            "result": "created",
            "_shards": {
              "total": 2,
              "successful": 1,
              "failed": 0
            },
            "_seq_no": 1,
            "_primary_term": 1,
            "status": 201
          }
        },
        {
          "update": {
            "_index": "lib2",
            "_type": "books",
            "_id": "4",
            "_version": 3,
            "result": "updated",
            "_shards": {
              "total": 2,
              "successful": 1,
              "failed": 0
            },
            "_seq_no": 7,
            "_primary_term": 4,
            "status": 200
          }
        }
      ]
    }

bulk一次最大处理多少数据量:

bulk会把将要处理的数据载入内存中，所以数据量是有限制的，最佳的数据量不是一个确定的数值，它取决于你的硬件，你的文档大小以及复杂性，你的索引以及搜索的负载。

一般建议是1000-5000个文档，大小建议是5-15MB，默认不能超过100M，可以在es的配置文件（即$ES\_HOME下的config下的elasticsearch.yml）中。

### 5、批量删除文档 ###

delete lib/user/_query
    {
      "query": {
        "match": { "first_name": "zhou"}
      }
    }

[Link 1]: https://www.cbedai.net/u014646662