第一个R语言爬虫

傷城~ 2021-09-26 15:02 436阅读 0赞

参考博客[https://blog.csdn.net/wzgl\_\_wh/article/details/72804687\#][https_blog.csdn.net_wzgl_wh_article_details_72804687] 写了我的第一个爬虫  
第一步：  
安装必要的程序包及其相关依赖程序包。  
用到的程序包主要有三个：  
1. rvest 用于爬虫  
2. jiebaR 用于分词，统计词频  
3. wordcloud2 用于对文本进行可视化  
王亨的博客爬取的是政府工作报告（2017年），笔者选取了2018年的政府工作报告[http://www.gov.cn/zhuanti/2018lh/2018zfgzbg/zfgzbg.htm][http_www.gov.cn_zhuanti_2018lh_2018zfgzbg_zfgzbg.htm]。  
笔者还下载了两个谷歌插件：SelectorGadget 和 数据抓取分析工具。  
在待爬取的界面上，审查元素，选择要爬取的数据，数据抓取分析工具会提供相应的建议，如：  
![这里写图片描述][70]  
第一步：爬虫

library(xml2)  #加载包
    library(rvest)  #加载包
    url<-'http://www.gov.cn/zhuanti/2018lh/2018zfgzbg/zfgzbg.htm' 
    web<-read_html(url,encoding="utf-8") #读取数据，规定编码 
    position<-web %>% html_nodes("div.event_box div p") %>% html_text()

代码解析：

> url 存放网页地址  
> read\_html(url,encoding=”utf-8”)函数用来读取网页数据，存储到web 中  
> html\_nodes()获取网页节点  
> html\_text() 获取标签内的文本信息  
> %>%管道函数，将左边变量赋值给右边函数作为第一个参数的值

实验结果如下：  
![这里写图片描述][70 1]

第二步：分析，统计词频

library(jiebaRD)  #加载包
    library(jiebaR) #加载包
    engine_s<-worker(stop_word = "E:\\Source\\R\\firstScrapy\\stopwords.txt")#初始化分词引擎并加载停用词。 
    seg<-segment(position,engine_s)#分词 
    f<-freq(seg) #统计词频 
    f<-f[order(f[2],decreasing=TRUE),] #根据词频降序排列

代码分析：

> 停用词表来自于博客[https://blog.csdn.net/shijiebei2009/article/details/39696571][https_blog.csdn.net_shijiebei2009_article_details_39696571]  
> 在这里注意的是文本文件默认编码为ASCII编码，我们需要将文本另存为UTF-8格式的编码  
> segment()分词  
> freq(）统计词频

实验结果如下：  
![这里写图片描述][70 2]

第三步：对文本进行可视化

library(yaml)# 加载包
    library(wordcloud2)#加载包 
    f1<-f[1:100,]     #提取前100词
    wordcloud2(f1, size = 0.8 ,shape='circle')    #形状设置为圆形

实验结果（鼠标放在词上会显示词频）：  
![这里写图片描述][70 3]

[https_blog.csdn.net_wzgl_wh_article_details_72804687]: https://blog.csdn.net/wzgl__wh/article/details/72804687#
[http_www.gov.cn_zhuanti_2018lh_2018zfgzbg_zfgzbg.htm]: http://www.gov.cn/zhuanti/2018lh/2018zfgzbg/zfgzbg.htm
[70]: /images/20210923/b048b5cd8189425887512f979f79f3dd.png
[70 1]: /images/20210923/ced89c112a7c43408970f5204a71ce62.png
[https_blog.csdn.net_shijiebei2009_article_details_39696571]: https://blog.csdn.net/shijiebei2009/article/details/39696571
[70 2]: /images/20210923/37aab1513597435791773e7b761a6246.png
[70 3]: /images/20210923/2e28a2fdf0e249cc894ea59b85189d33.png