利用 Python 自动抓取微博热搜，并定时发送至邮箱

清疚 2022-09-10 07:22 207阅读 0赞

点击上方“**Python爬虫与数据挖掘**”，进行关注

回复“**书籍**”即可获赠Python从入门到进阶共10本电子书

今

日

鸡

汤

夜阑卧听风吹雨，铁马冰河入梦来。

最近微博的瓜一个接一个，本文就将介绍如何**用 Python 自动抓取微博热搜，并定时发送到QQ邮箱**。主要分为三部分：

*  爬取微博热搜
 *  整理数据与发送邮箱
 *  定时执行

## 一、抓取热搜数据 ##

进入微博热搜榜`https://s.weibo.com/top/summary`后，整体页面如下：![8c552cfed3a4df132ce9c1b2a1f2be64.png][]

可以看到，我们需要的热搜榜单信息在页面的正中央（总共50条热搜），这里我们需要爬取的信息有热搜标题、话题搜索量、以及话题指数。按`F12`进入网页源代码页面，点击`element`内容如下：![2e03d3583245898503a5aedd21180554.png][]

选中鼠标选项，点击你要爬取的信息，就可以看到对应的html源码。这里我们爬取的分为三个部分：标题、数量、指数、网址四个信息，而我们可以从网页源代码发现如下规律：

<table> 
 <thead> 
 <tr> 
 <th>信息</th> 
 <th>源代码规律</th> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td>标题</td> 
 <td>&lt;a href="……" target="_blank"&gt;标题&lt;/a&gt;</td> 
 </tr> 
 <tr> 
 <td>数量</td> 
 <td>&lt;span&gt;数量&lt;/span&gt;</td> 
 </tr> 
 <tr> 
 <td>指数</td> 
 <td>&lt;td class="td-03"&gt;指数&lt;/td&gt;</td> 
 </tr> 
 <tr> 
 <td>指数1</td> 
 <td>&lt;i class="……"&gt;(.*?)&lt;/i&gt;</td> 
 </tr> 
 <tr> 
 <td>连接</td> 
 <td>&lt;a href="连接" target="_blank"&gt;标题&lt;/a&gt;</td> 
 </tr> 
 </tbody> 
</table>

**注意**：这里之所以有指数和指数1源代码是因为前者获取到的数据是有杂音的，所以需要再次用到指数1获得最终的信息。

之后我们运用`requests`包爬取网页源代码并通过`re`模块对爬取内容进行正则提取，因为每天仅执行一次，也就不用考虑请求头什么的，Python代码如下：

import requests
 import re
 url = 'https://s.weibo.com/top/summary?cate=realtimehot' #微博网址
 ret = requests.get(url)
 test = ret.text
 u_href = '<a href="(.*?)" target="_blank">.*?</a>'
 u_title = '<a href=".*?" target="_blank">(.*?)</a>'
 u_amount = '(.*?)'
 u_category = '<td class="td-03">(.*?)</td>'
 u_href = '<a href="(.*?)" target="_blank">.*?</a>'
 title = re.findall(u_title,test)
 amount = re.findall(u_amount,test)
 category = re.findall(u_category,test)
 href = re.findall(u_href,test)

## 二、数据清洗 ##

上面获取到的`title`、`amount`、`category`、`href`四个指标是未经处理的话题、话题搜索量、话题指数、话题连接。接下来我们对其进行处理，先上代码

import pandas as pd
 title = title[:-2]
 title = title[1:]
 href = href[:-2]
 href = href[1:]
 for j in range(len(href)):
     href[j] = 'https://s.weibo.com/' + href[j]
 while '' in amount:
     amount.remove('')
 for i in range(len(category)):
     if category[i] != '':
         category[i] = re.findall('<i class=".*?">(.*?)',category[i])[0]
     if category[i] == '':
         category[i] = '空'
 category = category[1:]
 while '荐' in category:
     category.remove('荐')
 df = pd.DataFrame()
 df['关键词'] = title
 df['amount'] = amount
 df['category'] = category
 df['href'] = href
 df = df.sort_values('amount')
 df2 = df[df['category']=='爆']
 df3 = df[df['category']=='沸']
 df4 = df[df['category'] == '热']
 df5 = df[df['category'] == '新']
 df6 = df[df['category'] == '空']
 df = pd.concat([df2,df3,df4,df5,df6],ignore_index = True)
 df.to_csv('微博热搜.csv',encoding = 'gbk')#输出为csv文本格式

下面对title进行处理，第一节爬取到的title是这样的，![dccadb0d24ec1aaa7f5fee6076da214c.png][]

总共只有50条热搜，怎么多出来3条？可以看到最后的两条是不需要的，所以用列表提取的方法提取前50行。还有一个元素多出来？就是我们的第一个元素，即是title\[0\]，title\[0\]是没有序号与热搜搜索量的，如图：![1a4be6ce5ba66d77dd4ed11b6d3345df.png][]

“天问一号成功着陆”这一话题有指数无搜索量，是属于缺失数据，这里我们删除它，同样用到列表提取元素方法。

对`href`连接的处理与`title`的处理相同。

接着对搜索量做处理，采用了删除空格的语句。原因是热搜榜中会出现推荐的话题，而推荐的话题是没有搜索量的，故我们删除它。

最后轮到指数处理，先看未处理前的指数，![70aea50582dce333f9e2c27660f24ae1.png][]

上面显而易见我们要提取的指数信息就在每个元素里面，同样利用`re`模块正则提取，提取出来后做三件事：

*  去除第一个元素（原因已在title处理上讲解）
 *  空字符串部分以中文空子代替
 *  去除推荐的话题

上面三步的代码已附上。代码里最后的步骤就是运用`pandas`模块对数据进行整理得到美观的数据框形式。效果如下：![8e92802a9dcc55c389d9b05cd2a1f942.png][]

## 三、发邮箱与设置定时 ##

用Python可以模拟许多大厂的邮箱发送，本文选择常用的腾讯QQ邮箱。在此之前需要做一个准备(获取SMTP授权码)：

登录QQ邮箱并单击设置按钮，然后进入账户这个页面![655a2520b0d2ac51ffdc7d8da5bfa73c.png][]

进入之后向下拖动来到`POP3/IMAP/SMTP/Exchange/CardDAV/CalDAV服务`这栏，这里单击`POP3/SMTP服务`右侧的开启，单击后会有一个验证密保的过程，按照提示即可。最终会弹出一个框，里面包含**SMTP授权码**，这里可以找个地方记录起来，Python代码就可以用到。

先上发送QQ邮箱的代码模板：

import smtplib
 from email.mime.text import MIMEText
 from email.mime.multipart import MIMEMultipart
 number = '你的QQ邮箱号码'
 smtp = '邮箱对应的STMP授权码'
 to = '需要发送到的QQ邮箱号码'  # 可以是非QQ的邮箱
 
 mer = MIMEMultipart()
 # 设置邮件正文内容
 head = '''
 微博热搜榜信息
 最热门词条为
 <a href="{}">{}</a>
 排名前五的热搜
 <a href="{}">{}</a>
 <a href="{}">{}</a>
 <a href="{}">{}</a>
 <a href="{}">{}</a>
 <a href="{}">{}</a>
 '''.format(df.iloc[0,:]['href'],df.iloc[0,:]['关键词'],
            df.iloc[1,:]['href'],df.iloc[1,:]['关键词'],
            df.iloc[2,:]['href'],df.iloc[2,:]['关键词'],
            df.iloc[3,:]['href'],df.iloc[3,:]['关键词'],
            df.iloc[4,:]['href'],df.iloc[4,:]['关键词'],
            df.iloc[5,:]['href'],df.iloc[5,:]['关键词'])
 mer.attach(MIMEText(head, 'html', 'utf-8'))
 fujian = MIMEText(open('微博热搜.csv', 'rb').read(), 'base64', 'utf-8')
 fujian["Content-Type"] = 'application/octet-stream'  #附件内容
 fujian.add_header('Content-Disposition', 'file', filename=('utf-8', '', '微博热搜.csv'))  
 mer.attach(fujian)
 
 mer['Subject'] = '每日微博热搜榜单' #邮件主题
 mer['From'] = number   #发送人
 mer['To'] = to        #接收人
 
 # 5.发送邮件
 s = smtplib.SMTP_SSL('smtp.qq.com', 465)
 s.login(number, smtp)
 s.send_message(mer)  # 发送邮件
 s.quit()
 print('成功发送')

代码框架基本如此，你需要更改的地方有如下，其余的内容可以不改：

*  邮件主题
 *  发送人
 *  接收人
 *  SMTP授权码
 *  附件内容

运行成功后，输出框会有“成功发送”打印，如果你的微信绑定了你的发送QQ邮箱，那么你就可以点击其中的附件，也就是csv文件。![8ef8bec83023bf2dea616fa5fbdaf919.png][]

按照我们设置的格式，把最热门的词条和排名前五的词条放入head正文内容中，效果如下：![54596df96e8f968fc99add521239c554.png][]

(这里存在延时，所以热搜榜和上面不一)

最后就是设置定时执行这个代码也即是发送微博热搜榜信息，利用`Schedule`库可以实现。

`schedule`模块设置定时的模板只需改2个地方，一个是`schedule.every().day.at("18:00").do(email)`中的时间，一个是def函数里面运行的内容。While True的作用就是让程序不停止。

我们定每晚6点进行自动发送，代码如下：

import schedule
 import time
 def email():
     number = '你的QQ邮箱号码'
     smtp = '邮箱对应的STMP授权码'
     to = '需要发送到的QQ邮箱号码'  # 可以是非QQ的邮箱
 
     mer = MIMEMultipart()
     # 设置邮件正文内容
     head = '''
     微博热搜榜信息
     最热门词条为
     <a href="{}">{}</a>
     排名前五的热搜
     <a href="{}">{}</a>
     <a href="{}">{}</a>
     <a href="{}">{}</a>
     <a href="{}">{}</a>
     <a href="{}">{}</a>
     '''.format(df.iloc[0,:]['href'],df.iloc[0,:]['关键词'],
                df.iloc[1,:]['href'],df.iloc[1,:]['关键词'],
                df.iloc[2,:]['href'],df.iloc[2,:]['关键词'],
                df.iloc[3,:]['href'],df.iloc[3,:]['关键词'],
                df.iloc[4,:]['href'],df.iloc[4,:]['关键词'],
                df.iloc[5,:]['href'],df.iloc[5,:]['关键词'])
     mer.attach(MIMEText(head, 'html', 'utf-8'))
     fujian = MIMEText(open('微博热搜.csv', 'rb').read(), 'base64', 'utf-8')
     fujian["Content-Type"] = 'application/octet-stream'  #附件内容
     fujian.add_header('Content-Disposition', 'file', filename=('utf-8', '', '微博热搜.csv'))  
     mer.attach(fujian)
 
     mer['Subject'] = '每日微博热搜榜单' #邮件主题
     mer['From'] = number   #发送人
     mer['To'] = to        #接收人
 
     # 5.发送邮件
     s = smtplib.SMTP_SSL('smtp.qq.com', 465)
     s.login(number, smtp)
     s.send_message(mer)  # 发送邮件
     s.quit()
     print('成功发送')
     
 schedule.every().day.at("18:00").do(email)
 while True:
     schedule.run_pending()
     time.sleep(5)

这样，我们就完成了利用 Python 自动爬取微博热搜，并在每天指定时间自动发送整理后的结果至邮箱。当然你也可以自已更改逻辑，例如 当出现指定关键词、指定tag时发送邮箱，感兴趣的读者可以来一波三连～

![62bab327d213848be5cd3175bf087401.png][]

**---\--\---\---\---\--\---** End **---\--\---\--\---\---\--\-**

往期精彩文章推荐：

*  [手把手教你采集京东销售数据并做简单的数据分析和可视化][Link 1]  
    
 *  [手把手教你用Pyecharts库对淘宝数据进行可视化展示][Pyecharts]
 *  [手把手教你用Pandas库对淘宝原始数据进行数据处理和分词处理][Pandas]
 *  [盘点Flask与数据库的交互插件--Flask-Sqlalchemy][Flask_--Flask-Sqlalchemy]

![25dc128b4f6754face6ebb2cb97ae268.png][]

欢迎大家**点赞，****留言，****转发，转载，**感谢大家的相伴与支持

想加入Python学习群请在后台回复【**入群**】

万水千山总是情，点个【**在看**】行不行

**/今日留言主题/**

随便说一两句吧~~

[8c552cfed3a4df132ce9c1b2a1f2be64.png]: /images/20220829/ad497e58e0944b6ab6d571d56a222a75.png
[2e03d3583245898503a5aedd21180554.png]: /images/20220829/3b265b65bb8c447181d053a6f1eb91ba.png
[dccadb0d24ec1aaa7f5fee6076da214c.png]: /images/20220829/4f8d90f090764a96877f57b1105ac016.png
[1a4be6ce5ba66d77dd4ed11b6d3345df.png]: /images/20220829/d4604e53eaf948fa9b4517e5f743a8d8.png
[70aea50582dce333f9e2c27660f24ae1.png]: /images/20220829/adfb3eae948b49eda70631d2cb81cc3d.png
[8e92802a9dcc55c389d9b05cd2a1f942.png]: /images/20220829/0f8ace297c7a4a97b943fa1c8ab03f38.png
[655a2520b0d2ac51ffdc7d8da5bfa73c.png]: /images/20220829/571d688bbf6c4d26b57b635c621a5a71.png
[8ef8bec83023bf2dea616fa5fbdaf919.png]: /images/20220829/ea9f297b715a4badba2b3dd71cffef28.png
[54596df96e8f968fc99add521239c554.png]: /images/20220829/5c98cf12738e48b69e8d0c5dd3d04bd7.png
[62bab327d213848be5cd3175bf087401.png]: /images/20220829/7ed1432ee8fe416cbe490c2aab147ef7.png
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0b39dcbb73a8b9fcf4d04678b7c4eed3092183c9550593be754f51ed4815b5272e7cf249d&idx=1&mid=2247497142&scene=21&sn=2317d8b28822b9df6da8527db8627987#wechat_redirect
[Pyecharts]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0b33ccbb73a2a1f4d56275c695dbe8e9ad08cbd54bffa1f20c4de6a434378c9e63967390a&idx=1&mid=2247496983&scene=21&sn=b3db9b4cf5f129b660448bb3d7beed8c#wechat_redirect
[Pandas]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0b32ecbb73a3899a12142429ce31e0758595bb6f46d69be7559f84d5814a48dfcf9a0b05d&idx=1&mid=2247496965&scene=21&sn=f34b655ead49dadd8abb24463e2e607f#wechat_redirect
[Flask_--Flask-Sqlalchemy]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0b2bdcbb73bab9267a53ac5bd3a6f4af4cc76c521f4c5ebef7aa1351039776291289f2b48&idx=1&mid=2247496854&scene=21&sn=60c64c22e97ce97756857b7dae96996e#wechat_redirect
[25dc128b4f6754face6ebb2cb97ae268.png]: /images/20220829/d226ee6a6c6d4c8084ebb9b9f035533f.png