中文文本挖掘处理流程

喜欢ヅ旅行 2023-05-31 12:29 11阅读 0赞

**1、 中文文本挖掘预处理特点**  
首先我们看看中文文本挖掘预处理和英文文本挖掘预处理相比的一些特殊点。  
　 首先，中文文本是没有像英文的单词空格那样隔开的，因此不能直接像英文一样可以直接用最简单的空格和标点符号完成分词。所以一般我们需要用分词算法来完成分词，在文本挖掘的分词原理中，我们已经讲到了中文的分词原理，这里就不多说。  
　　第二，中文的编码不是utf8，而是unicode。这样会导致在分词的时候，和英文相比，我们要处理编码的问题。  
**2、 中文文本挖掘预处理一：数据收集**  
　 在文本挖掘之前，我们需要得到文本数据，文本数据的获取方法一般有两种：使用别人做好的语料库和自己用爬虫去在网上去爬自己的语料数据。  
　 对于第一种方法，常用的文本语料库在网上有很多，如果大家只是学习，则可以直接下载下来使用，但如果是某些特殊主题的语料库，比如“机器学习”相关的语料库，则这种方法行不通，需要我们自己用第二种方法去获取。  
对于第二种使用爬虫的方法，开源工具有很多，通用的爬虫比如beautifulsoup。但是我们我们需要某些特殊的语料数据，比如上面提到的“机器学习”相关的语料库，则需要用主题爬虫（也叫聚焦爬虫）来完成。这个我一般使用ache。 ache允许我们用关键字或者一个分类算法来过滤出我们需要的主题语料，比较强大。

**3、 中文文本挖掘预处理二：除去数据中非文本部分**  
这一步主要是针对我们用爬虫收集的语料数据，由于爬下来的内容中有很多html的一些标签，需要去掉。少量的非文本内容的可以直接用Python的正则表达式(re)删除, 复杂的则可以用beautifulsoup来去除。去除掉这些非文本的内容后，我们就可以进行真正的文本预处理了。

**4、中文文本挖掘预处理三：处理中文编码问题**

**5、中文文本挖掘预处理四：中文分词**  
常用的中文分词软件有很多，这里采用结巴分词。  
首先我们准备了两段文本，这两段文本在两个文件中。两段文本的内容分别是nlp\_test0.txt和nlp\_test2.txt：

'''
       沙瑞金赞叹易学习的胸怀，是金山的百姓有福，可是这件事对李达康的触动很大。易学习又回忆起他们三人分开
       的前一晚，大家一起喝酒话别，易学习被降职到道口县当县长，王大路下海经商，李达康连连赔礼道歉，觉得对不起大家，他最对不起的是王大路，就和易学习一起给王大路凑了5万块钱，王大路自己东挪西撮了5万块，开始下海经
    商。没想到后来王大路竟然做得风生水起。沙瑞金觉得他们三人，在困难时期还能以沫相助，很不容易。
    '''
    '''
    沙瑞金向毛娅打听他们家在京州的别墅，毛娅笑着说，王大路事业有成之后，要给欧阳菁和她公司的股权，她们没有
    要，王大路就在京州帝豪园买了三套别墅，可是李达康和易学习都不要，这些房子都在王大路的名下，欧阳菁好像去
    住过，毛娅不想去，她觉得房子太大很浪费，自己家住得就很踏实。
    '''
    import jieba
    
    with open('./nlp_test0.txt') as f:
        document = f.read()
        
        document_decode = document.decode('GBK')
        document_cut = jieba.cut(document_decode)
        #print  ' '.join(jieba_cut)  //如果打印结果，则分词效果消失，后面的result无法显示
        result = ' '.join(document_cut)
        result = result.encode('utf-8')
        with open('./nlp_test1.txt', 'w') as f2:
            f2.write(result)
    f.close()
    f2.close()
    #结果：
    '''
    沙 瑞金 赞叹 易 学习 的 胸怀 ， 是 金山 的 百姓 有福 ， 可是 这件 事对 李达康 的 触动 很大 。 易 学习 
    又 回忆起 他们 三人 分开 的 前一晚 ， 大家 一起 喝酒 话别 ， 易 学习 被 降职 到 道口 县当 县长 ， 
    王 大路 下海经商 ， 李达康 连连 赔礼道歉 ， 觉得 对不起 大家 ， 他 最 对不起 的 是 王 大路 ， 就 和 易 
    学习 一起 给 王 大路 凑 了 5 万块 钱 ， 王 大路 自己 东挪西撮 了 5 万块 ， 开始 下海经商 。 没想到 
    后来 王 大路 竟然 做 得 风生水 起 。 沙 瑞金 觉得 他们 三人 ， 在 困难 时期 还 能 以沫 相助 ， 
    很 不 容易 。    
    
    '''

可以发现对于一些人名和地名，jieba处理的不好，不过我们可以帮jieba加入词汇如下：

jieba.suggest_freq('沙瑞金', True)
    jieba.suggest_freq('易学习', True)
    jieba.suggest_freq('王大路', True)
    jieba.suggest_freq('京州', True)

输出的文本内容如下：

沙瑞金 赞叹 易学习 的 胸怀 ， 是 金山 的 百姓 有福 ， 可是 这件 事对 李达康 的 触动 很大 。 易学习 又 回忆起 他们 三人 分开 的 前一晚 ， 大家 一起 喝酒 话别 ， 易学习 被 降职 到 道口 县当 县长 ， 王大路 下海经商 ， 李达康 连连 赔礼道歉 ， 觉得 对不起 大家 ， 他 最 对不起 的 是 王大路 ， 就 和 易学习 一起 给 王大路 凑 了 5 万块 钱 ， 王大路 自己 东挪西撮 了 5 万块 ， 开始 下海经商 。 没想到 后来 王大路 竟然 做 得 风生水 起 。 沙瑞金 觉得 他们 三人 ， 在 困难 时期 还 能 以沫 相助 ， 很 不 容易 。

分词的效果还不错。  
**6、 中文文本挖掘预处理五：引入停用词**  
在上面我们解析的文本中有很多无效的词，比如“着”，“和”，还有一些标点符号，这些我们不想在文本分析的时候引入，因此需要去掉，这些词就是停用词。常用的中文停用词表是1208个，一般会有专门的停用词库。  
我们在处理文档时往往会将停用词去除。  
7、 中文文本挖掘预处理六：特征处理  
即我们前面所讲的特征向量化。  
我们也讲到了TF-IDF特征处理的方法。这里我们就用scikit-learn的TfidfVectorizer类来进行TF-IDF特征处理。

with open('./nlp_test1.txt') as f3:
        res1 = f3.read()
    print(res1)
    with open('./nlp_test3.txt') as f4:
        res2 = f4.read()
    print(res2)
    这里的输出还是我们上面分完词的文本。现在我们可以进行向量化，TF-IDF和标准化三步处理了。注意，这里我们引入了我们上面的停用词表。
    from sklearn.feature_extraction.text import TfidfVectorizer
    corpus = [res1,res2]
    vector = TfidfVectorizer(stop_words=stpwrdlst)
    tfidf = vector.fit_transform(corpus)
    print tfidf

![在这里插入图片描述][20191025111356557.png]  
词和TF-IDF的对应关系

wordlist = vector.get_feature_names()#获取词袋模型中的所有词  
    # tf-idf矩阵 元素a[i][j]表示j词在i类文本中的tf-idf权重
    weightlist = tfidf.toarray()  
    #打印每类文本的tf-idf词语权重，第一个for遍历所有文本，第二个for便利某一类文本下的词语权重
    for i in range(len(weightlist)):  
        print "-------第",i,"段文本的词语tf-idf权重------"  
        for j in range(len(wordlist)):  
            print wordlist[j],weightlist[i][j]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70]

[20191025111356557.png]: /images/20230531/e51e40499b074132a9990cc8c15f97d4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTYxMTA0NQ_size_16_color_FFFFFF_t_70]: /images/20230531/1486f58cb9af4d8285cb6e15ec0c8cb9.png