20 w 新闻数据集分享

痛定思痛。 2022-10-19 04:08 149阅读 0赞

新闻系列的分享进入尾声了，在开启这个系列前，我说过一个目标是，让 nlper 有足够多的新闻语料数据集去训练。

不知不觉中，新闻聚合网站（https://xt98.tech:9494) 自从 2021/03/28 上线以来，已经稳定运行 3 个月整了，这三个月来，澎湃新闻爬虫、腾讯新闻爬虫每天都在不辞辛劳地抓取数据并保存在阿里云服务器上，最近由于阿里云服务器快到期了，原本不到 200 一年的服务器今年续费价格快 2000 了，不打算续费了，所以想把这些保存的数据免费分享出来，算是对一直默默关注我的粉丝的小福利，看了下，大概有 20 多w 条新闻，10 多个字段，具体的字段信息可参考下表。

<table> 
 <thead> 
  <tr> 
   <th>字段名</th> 
   <th>含义</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>timestamp</td> 
   <td>新闻被抓取的时间</td> 
  </tr> 
  <tr> 
   <td>title</td> 
   <td>新闻标题</td> 
  </tr> 
  <tr> 
   <td>source</td> 
   <td>新闻来源，标识来自腾讯或者澎湃</td> 
  </tr> 
  <tr> 
   <td>head_img</td> 
   <td>新闻头图</td> 
  </tr> 
  <tr> 
   <td>publish_time</td> 
   <td>新闻发布时间</td> 
  </tr> 
  <tr> 
   <td>url</td> 
   <td>新闻链接</td> 
  </tr> 
  <tr> 
   <td>category</td> 
   <td>新闻类别</td> 
  </tr> 
  <tr> 
   <td>keyword</td> 
   <td>新闻关键词，多个关键词以英文分号分隔</td> 
  </tr> 
  <tr> 
   <td>tag</td> 
   <td>新闻标签，多个标签以英文分号分隔</td> 
  </tr> 
  <tr> 
   <td>description</td> 
   <td>新闻描述</td> 
  </tr> 
  <tr> 
   <td>content</td> 
   <td>新闻内容</td> 
  </tr> 
 </tbody> 
</table>

这份数据可以用来干什么？

其中的新闻类别，包括财经、军事、经济等几十个分类，所以这可以是一份新闻文本分类数据集。

而新闻描述、新闻标签、新闻关键词等字段，则可以做文本信息抽取任务。

或者可以做多维度的数据分析，再不行，拿数据做展示也行。

所以

怎么获取这份数据集

很简单！

关注公众号【月小水长】，后台回复关键词 新闻数据集，即可或者下载地址，约 1 个 G，建议在 wifi 网络环境下食用，由此消耗的移动流量所产生的费用，概不负责~