基于Matlab的文本特征提取系统的设计与实现

男娘i 2023-10-14 20:44 18阅读 0赞

目录  
摘 要 1  
Abstract 2  
1绪论 3  
1.1课题研究的目的和意义 3  
1.1.1课题研究的目的 3  
1.1.2课题研究的意义 4  
1.2研究现状 4  
1.3发展趋势 4  
1.4研究主要内容及方法 5  
1.4.1研究内容 5  
1.4.2研究方法 5  
2模型算法 6  
2.1词袋模型 6  
2.2IF-IDF算法 8  
2.3DBSCAN算法 8  
2.4MATLAB软件 9  
参考文献 9  
致谢 10  
1.4研究主要内容及方法  
1.4.1研究内容  
文本的表示及其特征项的选取是文本挖掘、信息检索的一个基本问题，它把从文本中抽取出的特征词进行量化来表示文本信息。由于文本是非结构化的数据，要想从大量的文本中挖掘有用的信息就必须首先将文本转化为可处理的结构化形式。目前人们通常采用向量空间模型来描述文本向量，但是如果直接用分词算法和词频统计方法得到的特征项来表示文本向量中的各个维，那么这个向量的维度将是非常的大。这种未经处理的文本矢量不仅给后续工作带来巨大的计算开销，使整个处理过程的效率非常低下，而且会损害分类、聚类算法的精确性，从而使所得到的结果很难令人满意。因此，必须对文本向量做进一步净化处理，在保证原文含义的基础上，找出对文本特征类别最具代表性的文本特征。为了解决这个问题，最有效的办法就是通过特征提取来降维。  
1.4.2研究方法  
1、文本处理预处理：选用词袋模型，词袋模型将一段文本作为一个个分离的词进行处理，通过不同类文本中可能出现词的差异对文本进行分类。使用one-hot编码来处理离散型特征。  
2、特征提取：选用IF-IDF算法，实现提取文章中关键词的目的。  
3、聚类算法的选取：选用DBSCAN算法。由于并不清楚聚类的簇数量，并且海量文本迭代的效率较低。  
4、系统实现：基于Matlab GUI实现，系统初步设计完成后，对系统进行性能测试及可行性分析。

clear;
    doc_N=20;  %前N篇文章
    %%%%%%%%%%%%%%%考虑词性预处理
    POS_tagging_table= textread('.\rid_POS_tagging.txt','%s','delimiter','\n','whitespace','');%读取预去除的词性表
    
    
    %读取预处理的文本
    pre=cell(1,doc_N);prePosTag1=cell(1,doc_N);term=[];prePosTag=cell(1,doc_N);
    for i=1:doc_N
        %path=['.\实验文本\编程小文本测试\spit_' int2str(i) '.txt'];%文件路径 ----注意参数N_tic的设置
        path=['.\实验文本\训练文本\spit_' int2str(i) '.txt'];%文件路径 ----注意参数N_tic的设置
        file=textread(path,'%s','whitespace','','bufsize',40938);   %读取预处理的文本
        pre{
        i}=file;
        prePosTag{
        i}=rid_POS_tagging(pre{
        i},POS_tagging_table); %去掉冗余词性
        term=strcat(term,prePosTag{
        i});%获得词项
    end
    
    term=regexprep(term{
        1},'/x[\w]*[ ]',''); %去掉/x词性
    term=regexprep(term,'\s{2,}',' ');  %去掉至少连续出现两次的空格
    term=textscan(term,'%s'); %将字符串转换成cell元组
    term=unique(term{
        1});  %获得term词项表term
    
    %统计term-doc矩阵
    term_doc=zeros(doc_N,size(term,1)); %建立term-doc矩阵
    for i=1:size(prePosTag,2)
        for j=1:size(term,1)
            temp=findstr(prePosTag{
        i}{
        1},term{
        j});    %通过term词项在处理过的文本中查找
            if(~isempty(temp))
            term_doc(i,j)=size(temp,2);  %统计词频
            end
        end
    end
    
    %计算tfidf
    fea = tfidf(term_doc);
    
    %聚类
    kmeans(fea,2)

![在这里插入图片描述][32b9b12b201d4911b982d0903189dcb1.png_pic_center]  
![在这里插入图片描述][731953bc1d774e1aa563f2a3f2154baf.png_pic_center]  
![在这里插入图片描述][306fc150c594445c80649afa62ea4b6e.png_pic_center]  
![在这里插入图片描述][0e8466c9768a4319a91474434b3096df.png_pic_center]  
![在这里插入图片描述][983073c4319849f58017dcb56cf191ba.png_pic_center]  
![在这里插入图片描述][3f82567a81884ad7bfa6ea905be00f59.png_pic_center]  
![在这里插入图片描述][4642850b3e6948d69e73b932b32ec0de.png_pic_center]  
![在这里插入图片描述][5cf0044e669f41b6b65ad1259e90311a.png_pic_center]  
![在这里插入图片描述][0de676c0cf2f40c1abf3cc4a780a874c.png_pic_center]

[32b9b12b201d4911b982d0903189dcb1.png_pic_center]: https://img-blog.csdnimg.cn/32b9b12b201d4911b982d0903189dcb1.png#pic_center
[731953bc1d774e1aa563f2a3f2154baf.png_pic_center]: https://img-blog.csdnimg.cn/731953bc1d774e1aa563f2a3f2154baf.png#pic_center
[306fc150c594445c80649afa62ea4b6e.png_pic_center]: https://img-blog.csdnimg.cn/306fc150c594445c80649afa62ea4b6e.png#pic_center
[0e8466c9768a4319a91474434b3096df.png_pic_center]: https://img-blog.csdnimg.cn/0e8466c9768a4319a91474434b3096df.png#pic_center
[983073c4319849f58017dcb56cf191ba.png_pic_center]: https://img-blog.csdnimg.cn/983073c4319849f58017dcb56cf191ba.png#pic_center
[3f82567a81884ad7bfa6ea905be00f59.png_pic_center]: https://img-blog.csdnimg.cn/3f82567a81884ad7bfa6ea905be00f59.png#pic_center
[4642850b3e6948d69e73b932b32ec0de.png_pic_center]: https://img-blog.csdnimg.cn/4642850b3e6948d69e73b932b32ec0de.png#pic_center
[5cf0044e669f41b6b65ad1259e90311a.png_pic_center]: https://img-blog.csdnimg.cn/5cf0044e669f41b6b65ad1259e90311a.png#pic_center
[0de676c0cf2f40c1abf3cc4a780a874c.png_pic_center]: https://img-blog.csdnimg.cn/0de676c0cf2f40c1abf3cc4a780a874c.png#pic_center