Echarts数据可视化第10章文本挖掘可视化实践

以你之姓@ 2024-03-25 20:46 16阅读 0赞

#### Echarts数据可视化 ####

#### 文章目录 ####

*   *   *  Echarts数据可视化
         *  第10章 文本挖掘可视化实践
         *   *  10.1 文本挖掘技术与分析目标
             *  10.2 文本挖掘具体流程
             *  10.3 文本挖掘可视化与结论

> Echarts数据可视化：入门、实战与进阶

#### 第10章 文本挖掘可视化实践 ####

##### 10.1 文本挖掘技术与分析目标 #####

文本挖掘(Text Mining) 是指从文本数据中抽取有价值的信息和知识的计算机处理技术，属于数据挖掘的一个分支。

文本挖掘主要包括：

*  文本分类
 *  文本聚类
 *  信息抽取
 *  文本摘要生成
 *  文本压缩
 *  等

北京市文件公开网站：[http://kw.beijing.gov.cn/col/col2386/index.html][http_kw.beijing.gov.cn_col_col2386_index.html]

![在这里插入图片描述][8cc06bf8afdc408b9834d1008872dda5.png_pic_center]

这里笔者就不自己下了，用老师的

![在这里插入图片描述][319bd066c0034ea29d5d89c00fbca1f3.png_pic_center]

这是网站中2010年到2020 年7月的规章文件。

##### 10.2 文本挖掘具体流程 #####

通过Python 实现文本的分词和关键词提取，直接上代码了

导包

import os
    import jieba
    import math
    import pandas as pd

关键词提取

cut_list_dict = {
        }
    dot = ['、', '。', '.', ',', '，', '；', '!', '！', '《', '》', '(', ')', '（', '）', '\u3000', '\n', '【', '】', ' ', '：']
    
    path = "E:\\ECharts\\北京市科技法规规章文件\\"
    filelist = [path + i for i in os.listdir(path)]
    
    # 二元新词发现
    for file in filelist:
        if file.split('.')[1] == "txt":
            with open(file, encoding='utf-8') as f:
                content = f.read()
                cut_list = list(jieba.cut(content))
                for i in range(len(cut_list)):
                    if i != len(cut_list) - 1 and cut_list[i] not in dot \
                            and cut_list[i + 1] not in dot:
                        if cut_list[i] + cut_list[i + 1] not in cut_list_dict:
                            cut_list_dict[cut_list[i] + cut_list[i + 1]] = 1
                        else:
                            cut_list_dict[cut_list[i] + cut_list[i + 1]] += 1
    list_all = sorted(cut_list_dict.items(), key=lambda x: x[1], reverse=True)
    print(list_all)

运行结果

![在这里插入图片描述][c00adb39e40440798173474516993d90.png_pic_center]

数据转换

df = pd.DataFrame(list_all)
    df.head()

![在这里插入图片描述][5a4e03ecaec0460d97d7827f097d14a6.png_pic_center]

存到本地为Excel

df.to_excel("E:\\ECharts\\北京市科技法规规章文件\\二元新词.xlsx")

![在这里插入图片描述][6e430e71267e4ac0a8a942b0ef8c27ff.png_pic_center]

手工简单提取一下

基础研究
    企业研发
    技术研发
    工业设计
    技术交易
    技术转移
    专业技术服务
    检验检测
    专业技术
    专业服务
    企业孵化
    科技成果转化
    科技成果转移
    职务科技成果
    技术中介
    专利中介
    中介服务体系
    知识产权保护
    自主知识产权
    知识产权战略
    知识产权运营
    专利保护
    知识产权中介
    专家咨询
    资本市场
    创新券
    创业投资引导
    创新基金
    股权投资
    贷款贴息
    企业融资
    投资基金
    资金管理
    风险补偿
    金融产品
    信用信息
    科普基地
    科普工作
    科普教育
    科普经费
    技术市场
    创业中心
    创新中心
    企业孵化器
    大学科技园
    众创空间
    特色产业基地
    中关村
    科技城
    创业服务中心
    公共服务平台
    功能性平台
    信息服务平台
    政府网站
    重点实验室
    大型科学仪器
    科学仪器设备
    科研设施
    研发机构
    科研事业单位
    研发中心
    科技特派员
    领军人才
    高端人才
    高校毕业生
    北京学者
    大数据
    互联网
    云计算
    物联网
    移动互联网
    数据应用
    服务外包
    科技合作
    国家安全
    可再生能源
    农业科技
    清洁能源
    医药健康
    绿色电力
    高端装备制造
    清洁生产
    新能源汽车
    大气污染防治
    一带一路
    新材料
    新技术
    共性技术
    工程技术研究
    科技创新
    协同创新
    创新资源
    创新成果
    自主创新能力
    创新体系
    创新平台
    创新产品
    万众创新
    产业技术创新
    创新主体
    创新载体
    区域创新
    中小企业技术创新
    创新服务体系
    创新驱动发展
    新产品
    文化创意
    高新技术企业
    科技企业
    科技型小微企业
    科技型中小企业
    创新型企业
    外商投资企业
    生产性服务业
    高新技术产业
    战略性新兴产业
    集成电路产业
    产业集聚
    产业集群
    重点产业
    高精尖产业
    创意产业
    创业教育
    创业创新
    大学生创业
    大众创业
    创业服务
    毕业生就业
    创业就业
    人民政府
    市科委
    市财政局
    商务委
    市国资委
    奖励委员会
    人才引进
    扶持政策
    引导基金
    科技计划项目
    科学技术奖
    政府信息
    政府采购
    行政审批
    经费管理
    政府购买
    行政执法
    企业所得税
    科技体制改革
    信息共享
    信息公开
    能力建设
    体系建设
    融合发展
    职责分工负责
    先行先试

![在这里插入图片描述][a988546d4f684093848f4ed469d8e80e.png_pic_center]

将所有文本内容汇总

txt_list = []
    
    # 将文本文件汇总
    path = "E:\\ECharts\\北京市科技法规规章文件\\"
    filelist = [path + i for i in os.listdir(path)]
    for file in filelist:
        if file.split('.')[1] == "txt":
            with open(file, encoding='utf-8') as f:
                content = f.read()
            txt_list.append(content)
    
    print(len(txt_list))

![在这里插入图片描述][ffa421e625084277ae7e1d717e03b6fd.png_pic_center]

意思是有74个文本

将新词存入words\_list

# 打开筛选过的新词文件
    with open('E:\\ECharts\\user_dict.txt', encoding='utf8') as f:
        words = f.read()
    words_list = words.split('\n')
    words_list

![在这里插入图片描述][55465a8e4af44937822c0552aab1c427.png_pic_center]

查看words\_list 中关键词数量

![在这里插入图片描述][d33c887259fa455bb699a3194e907016.png_pic_center]

显示有155 个关键词

将所有不同的关键词两两组合在一起，目的是为了之后探索词与词之间的关系做准备

list_pair = [item1 + '-' + item2 for item1 in words_list for item2 in words_list if item1 > item2]
    list_pair = list(set(list_pair))

统计筛选出的关键词在所有文本中出现的总次数，作为该关键词的重要性，并通过字典 word\_count\_dict 存放该关键词和它出现的次数

# 统计单个词出现的频次
    word_count_dict = {
        }
    for item in words_list:
        for content in txt_list:
            if item in content:
                if item not in word_count_dict:
                    word_count_dict[item] = 1
                else:
                    word_count_dict[item] += 1
    
    word_count_dict

![在这里插入图片描述][2a53853a81884043a0b611fe6957db8c.png_pic_center]

统计两两配对的关键词是否同时出现在某个文本中，如果同时出现在某个文本中，则共现次数 + 1

pair_count_dict = {
        }
    for item in list_pair:
        if len(item.split('-')) == 2:
            a, b = item.split('-')
            for content in txt_list:
                if (a in content) and (b in content):
                    if a + '-' + b not in pair_count_dict:
                        pair_count_dict[a + '-' + b] = 1
                    else:
                        pair_count_dict[a + '-' + b] += 1
    pair_count_dict

![在这里插入图片描述][72cd543a0ecf45b1b14c0d43b84e7b87.png_pic_center]

计算关键词之间的相关系数

# 词语间的相关系数计算
    relation_number_dict = {
        }
    for item in pair_count_dict:
        a, b = item.split('-')
        a_count = word_count_dict.get(a)
        b_count = word_count_dict.get(b)
        relation_number = pair_count_dict.get(item) \
                          / ((math.sqrt(a_count)) \
                             * (math.sqrt(b_count)))
        relation_number_dict[item] = relation_number
    
    relation_number_dict

![在这里插入图片描述][1e6e7b9b185e49e5acf1781895c0b1ef.png_pic_center]

筛选出相关系数最高的30对关键词对

list_top30 = sorted(relation_number_dict.items()
                        , key=lambda x: x[1]
                        , reverse=True)[:30]
    list_top30

![在这里插入图片描述][37500fb8d9574aa9a22ccf498e57c899.png_pic_center]

然后将这些关键词对中的关键词全部存入集合 top30\_set 中

# 获取关系最强的30对词语的词
    top30_set = set()
    for item in list_top30:
        if item[0].split('-')[0] not in top30_set:
            top30_set.add(item[0].split('-')[0])
        if item[0].split('-')[1] not in top30_set:
            top30_set.add(item[0].split('-')[1])
    top30_set

![在这里插入图片描述][54c47d9148b3468392615146ec250cb6.png_pic_center]

最后通过Echarts 可视化展现相关系数最高的30 对关键词以及它们之间的联系。

# 制作适用于ECharts的格式数据
    links = []
    for item in list_top30:
        links.append({
        "source": item[0].split('-')[0]
                         , "target": item[0].split('-')[1],
                      "lineStyle":
                          {
        "normal":
                               {
        "width": 10 * relation_number_dict.get(item[0])}}})
    print(links)

![在这里插入图片描述][8164f22387eb4889856d5b9d93104037.png_pic_center]

将关键词的词频作重要性的数据转换格式

# 制作适用于ECharts的格式数据
    data = []
    for item in top30_set:
        symbolSize = word_count_dict.get(item)
        data.append(
            {
        
                'name': item,
                'draggable': 'true',
                'symbolSize': symbolSize,
                'label': {
        
                    'normal': {
        
                        'color': 'black',
                    },
                },
            })
    data

![在这里插入图片描述][1b4f50ac9a874604aa6460fa5ac481fa.png_pic_center]

最后将两部分数据整合到 Echarts 的option参数框架中，

完整的option 代码如下：

option = {
        
        backgroundColor: // 背景色
        new echarts.graphic.RadialGradient(
            0.3, 0.3, 0.8, [{
        
        offset: 0,
        color: '#ffffff'
        }]),
        series: [{
        
            type: 'graph', // 节点关系图
            layout: 'force', // 力导向布局图
            symbolSize: 300, // 图形的大小
            roam: true, // 支持鼠标缩放及平移
            // 鼠标移到节点上的时候突出显示节点、边和邻接节点
            focusNodeAdjacency: true, 
            label: {
        
                normal: {
        
                    show: true, // 控制非高亮时节点名称是否显示
                    position: '',
                    fontSize: 18, // 字体大小
                    color: 'black'
                },
                emphasis: {
         
                    show: true,
                    position: 'right',
                    fontSize: 16,
                    color: 'black'
                },
            },
            force: {
         // 力的相关设置
                x: 'center',y: '50px',
                edgeLength: 150,
                repulsion: 400 // 节点之间的斥力因子
            },
            edgeLabel: {
         // 线条的边缘标签设置
                normal: {
        
                    show: false,
                    textStyle: {
        fontSize: 12},
                    formatter: "{c}" // 显示形式
                },
                emphasis: {
        
                    show: true,
                    textStyle: {
        fontSize: 14}
                },
            },
            data: [{
        'name': '创新资源', // 关键词数据
         'draggable': 'true', // 可拖拽
         'symbolSize': 25, // 节点大小
         // 标签设置
         'label': {
        'normal': {
        'color': 'black'}}}, 
        {
        'name': '企业孵化','draggable': 'true','symbolSize': 12,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '创业服务','draggable': 'true','symbolSize': 12,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '一带一路','draggable': 'true','symbolSize': 5,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '政府信息','draggable': 'true','symbolSize': 2,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '新技术','draggable': 'true','symbolSize': 48,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '创新中心','draggable': 'true','symbolSize': 33,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '中小企业技术创新','draggable': 'true','symbolSize': 7,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '创新成果','draggable': 'true','symbolSize': 24,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '众创空间','draggable': 'true','symbolSize': 6,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '万众创新','draggable': 'true','symbolSize': 5,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '新材料','draggable': 'true','symbolSize': 19,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '政府采购','draggable': 'true','symbolSize': 23,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '中关村','draggable': 'true','symbolSize': 42,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '企业孵化器','draggable': 'true','symbolSize': 10,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '专利中介','draggable': 'true','symbolSize': 1,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '创新驱动发展','draggable': 'true','symbolSize': 21,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '科技型中小企业','draggable': 'true','symbolSize': 10,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '科技成果转化','draggable': 'true','symbolSize': 27,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '科普教育','draggable': 'true','symbolSize': 4,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '市财政局','draggable': 'true','symbolSize': 29,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '科技创新','draggable': 'true','symbolSize': 50,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '政府网站','draggable': 'true','symbolSize': 2,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '体系建设','draggable': 'true','symbolSize': 35,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '大学科技园','draggable': 'true','symbolSize': 10,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '高端装备制造','draggable': 'true','symbolSize': 14,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '创意产业','draggable': 'true','symbolSize': 16,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '科普工作','draggable': 'true','symbolSize': 4,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '创业投资引导','draggable': 'true','symbolSize': 8,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '人民政府','draggable': 'true','symbolSize': 74,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '大众创业','draggable': 'true','symbolSize': 5,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '科技企业','draggable': 'true','symbolSize': 16,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '新产品','draggable': 'true','symbolSize': 32,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '中介服务体系','draggable': 'true','symbolSize': 1,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '市科委','draggable': 'true','symbolSize': 33,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '文化创意','draggable': 'true','symbolSize': 17,
         'label': {
        'normal': {
        'color': 'black'}}},
        {
        'name': '高精尖产业','draggable': 'true','symbolSize': 9,
         'label': {
        'normal': {
        'color': 'black'}}}],
       links: [{
        'source': '中介服务体系', // 关键词关系数据 
         'target': '专利中介', // 起始和终止节点
         'lineStyle': {
        'normal': {
        'width': 10.0}}}, // 连接线宽
        {
        'source': '大众创业','target': '万众创新',
         'lineStyle': {
        'normal': {
        'width': 9.999999999999998}}},
        {
        'source': '政府网站','target': '政府信息',
         'lineStyle': {
        'normal': {
        'width': 9.999999999999998}}},
        {
        'source': '企业孵化器','target': '企业孵化',
         'lineStyle': {
        'normal': {
        'width': 9.128709291752768}}},
        {
        'source': '文化创意','target': '创意产业',
         'lineStyle': {
        'normal': {
        'width': 9.095085938862486}}},
        {
        'source': '科技企业','target': '企业孵化',
         'lineStyle': {
        'normal': {
        'width': 8.660254037844387}}},
        {
        'source': '大学科技园','target': '中小企业技术创新',
         'lineStyle': {
        'normal': {
        'width': 8.366600265340756}}},
        {
        'source': '科技创新','target': '人民政府',
         'lineStyle': {
        'normal': {
        'width': 8.219949365267865}}},
        {
        'source': '新产品','target': '政府采购',
         'lineStyle': {
        'normal': {
        'width': 8.109307588519343}}},
        {
        'source': '科技成果转化','target': '创新资源',
         'lineStyle': {
        'normal': {
        'width': 8.08290376865476}}},
        {
        'source': '市财政局','target': '市科委',
         'lineStyle': {
        'normal': {
        'width': 8.08135229794045}}},
        {
        'source': '科技创新','target': '中关村',
         'lineStyle': {
        'normal': {
        'width': 8.074061938731717}}},
        {
        'source': '新技术','target': '人民政府',
         'lineStyle': {
        'normal': {
        'width': 8.053872662568292}}},
        {
        'source': '创新驱动发展','target': '创新中心',
         'lineStyle': {
        'normal': {
        'width': 7.977240352174656}}},
        {
        'source': '高端装备制造','target': '新材料',
         'lineStyle': {
        'normal': {
        'width': 7.970811413304554}}},
        {
        'source': '新材料','target': '创新成果',
         'lineStyle': {
        'normal': {
        'width': 7.960979398444399}}},
        {
        'source': '科技企业','target': '企业孵化器',
         'lineStyle': {
        'normal': {
        'width': 7.905694150420947}}},
        {
        'source': '科技创新','target': '创新中心',
         'lineStyle': {
        'normal': {
        'width': 7.877855422677294}}},
        {
        'source': '大学科技园','target': '创业投资引导',
         'lineStyle': {
        'normal': {
        'width': 7.826237921249264}}},
        {
        'source': '新技术','target': '新产品',
         'lineStyle': {
        'normal': {
        'width': 7.65465544619743}}},
        {
        'source': '新技术','target': '体系建设',
         'lineStyle': {
        'normal': {
        'width': 7.563225565351132}}},
        {
        'source': '人民政府','target': '中关村',
         'lineStyle': {
        'normal': {
        'width': 7.53370803500884}}},
        {
        'source': '科普教育', 'target': '科普工作', 
         'lineStyle': {
        'normal': {
        'width': 7.5}}},
        {
        'source': '科技创新','target': '新产品',
         'lineStyle': {
        'normal': {
        'width': 7.499999999999999}}},
        {
        'source': '高精尖产业','target': '一带一路',
         'lineStyle': {
        'normal': {
        'width': 7.453559924999299}}},
        {
        'source': '新产品','target': '中关村',
         'lineStyle': {
        'normal': {
        'width': 7.364853795464742}}},
        {
        'source': '科技创新','target': '新技术',
         'lineStyle': {
        'normal': {
        'width': 7.3484692283495345}}},
        {
        'source': '科技型中小企业','target': '创业服务',
         'lineStyle': {
        'normal': {
        'width': 7.302967433402214}}},
        {
        'source': '众创空间','target': '万众创新',
         'lineStyle': {
        'normal': {
        'width': 7.302967433402214}}},
        {
        'source': '大众创业','target': '众创空间',
         'lineStyle': {
        'normal': {
        'width': 7.302967433402214}}}]
       }]
    }; // 使用刚指定的配置项和数据显示图表。

##### 10.3 文本挖掘可视化与结论 #####

将我们处理出来的option 绘制出来

![在这里插入图片描述][a981cb42a4a442518019f4b4e7d7c902.png_pic_center]

OK就这样。

[http_kw.beijing.gov.cn_col_col2386_index.html]: http://kw.beijing.gov.cn/col/col2386/index.html
[8cc06bf8afdc408b9834d1008872dda5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/ec0ac6175d954ef2920e6b6ba9904864.png
[319bd066c0034ea29d5d89c00fbca1f3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/4736379a3a26467e82b8c6ce88a66a15.png
[c00adb39e40440798173474516993d90.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/31ed88c8667e476ba9d7631954838104.png
[5a4e03ecaec0460d97d7827f097d14a6.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/55cc77ae36e54163858504f2344883f1.png
[6e430e71267e4ac0a8a942b0ef8c27ff.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/00799587ca2b4f1e8be4948c7afc1056.png
[a988546d4f684093848f4ed469d8e80e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/211e5ef1494d4f6c8a09fdd084706d37.png
[ffa421e625084277ae7e1d717e03b6fd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/134b1e1d31bb45a5b1d8fc8597329f83.png
[55465a8e4af44937822c0552aab1c427.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/090210c260704cd695188ded7f455a50.png
[d33c887259fa455bb699a3194e907016.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/6882b14a5790490b98cd33f39a35679e.png
[2a53853a81884043a0b611fe6957db8c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/681a2f6a539b40639dd949e91590f89e.png
[72cd543a0ecf45b1b14c0d43b84e7b87.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/fd048df4da0547edae94e7dd8d0e8251.png
[1e6e7b9b185e49e5acf1781895c0b1ef.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/3d6596b164404455b75937ebd4c4ce97.png
[37500fb8d9574aa9a22ccf498e57c899.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/d308dd40730044c597bc719a9538461d.png
[54c47d9148b3468392615146ec250cb6.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/c8a9d8ded82b47a1a7cef93396a623f9.png
[8164f22387eb4889856d5b9d93104037.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/8f75cb653e3a4dd38f449d198c13af0c.png
[1b4f50ac9a874604aa6460fa5ac481fa.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/447527f557da4232be44b6cd1d453bbd.png
[a981cb42a4a442518019f4b4e7d7c902.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/88da890dda62471a985ffa4c97e0de0b.png