解析elasticsearch的mapping生成Excel数据结构文档

骑猪看日落 2022-10-07 13:00 135阅读 0赞

### 解析elasticsearch的mapping生成Excel数据结构文档 ###

*  重点必看
 *  如何使用
 *  使用截图
 *  代码

# 重点必看 #

python写的，看不懂直接运行就成。我会把如何运行也写出来。能看

# 如何使用 #

1、手动将ES的mapping复制出来，按照索引单独复制  
2、每个索引创建一个索引名.json文件，然后将索引的mapping放进去  
3、创建文件夹将所有的json文件放一起  
4、运行代码，把文件夹目录输入进去  
5、在json文件夹内找excel文件已经生成完毕

# 使用截图 #

整理完成的文件  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1MzQyMTA3MDU2_size_16_color_FFFFFF_t_70]

执行代码并输入路径  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1MzQyMTA3MDU2_size_16_color_FFFFFF_t_70 1]  
生成成功（切记文件名和索引名要一致）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1MzQyMTA3MDU2_size_16_color_FFFFFF_t_70 2]  
生成结果  
用的递归所以无论几成都可以生成出来  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1MzQyMTA3MDU2_size_16_color_FFFFFF_t_70 3]

# 代码 #

# coding=utf8
    
    import xlwt
    import os
    import json
    import io
    
    print "基于Elasticsearch中索引的Mapping结构，生成excel文档"
    print "需要将每个索引的mapping单独放到一个json文件中"
    print "多个json文件可以放到同一文件夹内"
    print "一个excel会生成文件夹内所有的json文件对应表格，会按照json文件名创建多个sheet展示"
    # 输入的路径
    basic_path = ''
    # 路径集合
    list_file = []
    
    # 运行操作
    while 1:
        try:
            basic_path = raw_input("\033[0;34;40m请输入json文件路径（不含文件名）:\033[0m")
            if basic_path == '':
                continue
            else:
                list_file = [file for file in os.listdir(basic_path) if file.endswith('json')]
                if len(list_file) == 0:
                    print("\033[0;31;40m路径下并没有找到json，请从新输入路径\033[0m")
                    continue
                else:
                    print "解析成功，读取文件数量：", len(list_file)
                    for f in list_file: print '文件名：', f
        except:
            print("\033[0;31;40m路径解析发生错误，请从新输入路径\033[0m")
            continue
        else:
            break
    workbook = xlwt.Workbook(encoding='utf8')
    # 回写文件路径
    total_basic_path = os.path.join(basic_path, "kg_total_index.xls")
    # 初始化写入行数坐标
    index = 1
    # 0为第一列，初始值给与-1
    cellIndex = -1
    
    
    # indexNum行数 cellStyle样式 cellIndex初始写入列 *vartuple具体值，从第一列开始
    def writeSheet(indexNum, cellStyle, cellIndex, *vartuple):
        # i = -1;
        for var in vartuple:
            # i += 1
            if var == '': continue
            # indexNum行数 cellIndex列数 var值 cellStyle样式
            worksheet.write(indexNum, cellIndex, var, cellStyle)
            cellIndex += 1
        return True
    
    
    # 根据写入的内容和开始的列写入数据
    def saveProperties(pro_value, cellIndex):
        cellIndex += 1
        global index
        # 用来判断是否为第一次执行，是的话需要写入表头并添加表头样式
        pro_row = 0
        # 循环数据集进行写入
        for pro_key, pro_value in pro_value['properties'].items():
            # 获取字段类型
            if 'type' in pro_value:
                pro_type = pro_value['type']
            else:
                pro_type = ''
            # 第一次执行写入表头
            if pro_row == 0:
                writeSheet(index, style, cellIndex, '字段', '类型', '名称', '备注')
                pro_row += 1
                index += 1
            # 写入字段信息
            writeSheet(index, styleFont, cellIndex, pro_key, pro_type)
            workbook.save(total_basic_path)
            index += 1
            # 判断是否有子集，有子集执行子集写入
            if 'properties' in pro_value:
                saveProperties(pro_value, cellIndex)
        return True
    
    
    # 循环读取到的文件
    for file in list_file:
        file_path = os.path.join(basic_path, file)
        print '开始解析文件：', file_path
        # 执行文件解析
        with io.open(file_path, 'r', encoding='utf8')as f:
            json_data = json.load(f)
            file_name = file.split('.json')[0]
            excel_path = file_path.replace('json', 'xls')
            # 新建sheet
            worksheet = workbook.add_sheet(file_name)
            # 初始化写入行号为第一行
            index = 0
    
            # 表头样式
            style = xlwt.XFStyle()  # 初始化样式-表头
            font = xlwt.Font()  # 为样式创建字体
            font.name = u'微软雅黑'  # 设置其字体为微软雅黑
            font.bold = True  # 字体加粗
            font.underline = False  # 下划线
            font.italic = False  # 斜体字
            # https://blog.csdn.net/apollo_miracle/article/details/105087548 颜色参考博文
            font.colour_index = 1  # 白色字体
            style.font = font  # 表头样式
            pattern = xlwt.Pattern()
            pattern.pattern = xlwt.Pattern.SOLID_PATTERN  # 设置背景颜色的模式
            pattern.pattern_fore_colour = 30    # 设置蓝色背景色
            style.pattern = pattern
    
            # 字段样式
            styleFont = xlwt.XFStyle()  # 初始化样式-字段
            styleFont.font = xlwt.Font()
            styleFont.font.colour_index = 0  # 字段颜色为黑色
            styleFont.font.bold = False  # 字段不需要加粗
            styleFont.font.name = u'微软雅黑'
            # 取得写入数据集
            pro_dict = json_data[file_name]['mappings']
            # 执行递归写入excel
            saveProperties(pro_dict, cellIndex)
    print "生成excel已经放到："
    print total_basic_path

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1MzQyMTA3MDU2_size_16_color_FFFFFF_t_70]: /images/20221005/689e00c23b47478ca2961a7410422fc4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1MzQyMTA3MDU2_size_16_color_FFFFFF_t_70 1]: /images/20221005/1b7179502bb14b7c9e9c4dd700af9a85.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1MzQyMTA3MDU2_size_16_color_FFFFFF_t_70 2]: /images/20221005/7847ecb82f6d4e1787ecbecdfd195cc6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1MzQyMTA3MDU2_size_16_color_FFFFFF_t_70 3]: /images/20221005/3abe3f7c8b3f4748aae82ae177607c10.png