定期删除elasticsearch集群10天以上的索引

深碍√TFBOYSˉ_ 2022-06-07 05:20 260阅读 0赞

背景  
需要定期清理的索引的后缀日期格式为YYYY.MM.DD，如：project-index-2017.10.01

思路  
通过\_cat/indices接口可以获取当前ES全部索引信息，取第三列为索引名。过滤出索引名中带有的日期字符串，然后进行日期比较，早于10天前的日期便可通过日期模糊匹配索引来删除。

完整的脚本如下：

#!/bin/bash 
    ###################################
    #删除早于十天的ES集群的索引
    ###################################
    function delete_indices() {
        comp_date=`date -d "10 day ago" +"%Y-%m-%d"`
        date1="$1 00:00:00"
        date2="$comp_date 00:00:00"
    
        t1=`date -d "$date1" +%s` 
        t2=`date -d "$date2" +%s` 
    
        if [ $t1 -le $t2 ]; then
            echo "$1时间早于$comp_date，进行索引删除"
            #转换一下格式，将类似2017-10-01格式转化为2017.10.01
            format_date=`echo $1| sed 's/-/\./g'`
            curl -XDELETE http://es-cluster-ip:9200/*$format_date
        fi
    }
    
    curl -XGET http://es-cluster-ip:9200/_cat/indices | awk -F" " '{print $3}' | awk -F"-" '{print $NF}' | egrep "[0-9]*\.[0-9]*\.[0-9]*" | sort | uniq  | sed 's/\./-/g' | while read LINE
    do
        #调用索引删除函数
        delete_indices $LINE
    done

将脚本配置到定时任务定期执行即可。

发表评论取消回复

表情：

评论列表（有 0 条评论，260人围观）

还没有评论，来说两句吧...

相关阅读

相关定时删除10天的es索引脚本

定时shell脚本如下 ip='127.0.0.1' port=9200 endUnixTime=`date -d "10 day ago" +%

落日映苍穹つ/ 2023年06月28日 15:25/ 0 赞/ 12 阅读

相关 Elasticsearch之删除索引

1、 \删除指定索引 \ curl -XDELETE -u elastic:changeme http://localhost:9200/acc-apply-

梦里梦外;/ 2023年05月31日 07:00/ 0 赞/ 95 阅读

相关 ElasticSearch入门知识（集群索引插入信息教程）

[上篇索引创建][Link 1] 以ElasticSearch为界面入门（[ElasticSearch搭建教程][ElasticSearch]）：索引插入信息：

痛定思痛。/ 2023年05月30日 14:56/ 0 赞/ 41 阅读

相关删除elasticsearch大于7天前的索引

<table> <tbody> <tr> <td> <p><code>curl -u 用户名:密码  -H</code><code>'Cont

曾经终败给现在/ 2023年02月13日 14:50/ 0 赞/ 117 阅读

相关 Elasticsearch集群

集群节点 ELasticsearch的集群是由多个节点组成的，通过cluster.name设置集群名称，并且用于区分其它的集群，每个节点通过node.name指定节

冷不防/ 2022年10月31日 13:44/ 0 赞/ 402 阅读

相关 hadoop集群故障排除(定期更新)

故障一：某个datanode节点无法启动我是以用户名centos安装和搭建了一个测试用的hadoop集群环境，也配置好了有关的权限，所有者、所属组都配成cento

妖狐艹你老母/ 2022年09月28日 14:22/ 0 赞/ 218 阅读

相关 Elasticsearch-核心篇(10)-集群配置

文章目录一、集群管理 1.1 单机&集群 1.2 集群Cluster 1.3 节点Node 二、Windows集群

今天药忘吃喽~/ 2022年09月07日 09:54/ 0 赞/ 278 阅读

相关定期删除elasticsearch集群10天以上的索引

背景需要定期清理的索引的后缀日期格式为YYYY.MM.DD，如：project-index-2017.10.01 思路通过\_cat/indices接口可以获取当

深碍√TFBOYSˉ_/ 2022年06月07日 05:20/ 0 赞/ 261 阅读

相关 PostgreSQL定期删除七天以前的记录

定期删除在mysql通过创建存储过程和触发器比较容易，在postgresql中的方式会有些不一样，这里用到的是postgresql的函数（存储过程和触发器） postgres

秒速五厘米/ 2022年01月31日 04:06/ 0 赞/ 312 阅读

相关 Elasticsearch 集群、节点、索引、分片、副本概念

[https://www.cnblogs.com/chenmz1995/p/12034130.html][https_www.cnblogs.com_chenmz1995_p_

╰+攻爆jí腚メ/ 2021年06月10日 20:40/ 0 赞/ 627 阅读