微博热搜榜html源码,几行代码完成微博热搜榜爬虫

柔光的暖阳◎ 2022-10-06 10:46 533阅读 0赞

每天微博热搜都在不定时的变，通过抓取热搜数据，可以方便我们知道每天的热搜内容。

python的几行代码就能简单爬取到热搜的数据。

1.数据抓取

首先，我们得知道微博热搜内容的具体链接。

如下图所示，通过访问网站链接，可以拿到当天此时的热搜数据。接下来，我们需要通过代码去实现它。

![160a10f8e543][]

image.png

def get\_html\_data(self):

res = requests.get(self.url, headers=self.headers).text

return res

通过requests模块包，我们就能得到网页的html文件，接下来就是要对html文件的处理解析。

2.数据处理

为了更好的分析html文件内容，我复制到编辑器上分析文本数据。

通过分析，不难发现，我们所想要的数据如下图所示结构中。

![160a10f8e543][]

image.png

这里主要是获取四个要素 热搜排名，热搜话题，话题热度，热搜标签。

简单实现代码如下：

def deal\_html\_data(self, res):

res = BeautifulSoup(res, "lxml")

\# 遍历热搜的标签

\# \#pl\_top\_realtimehot 根据id, > table > tbody > tr 逐层查找

for item in res.select("\#pl\_top\_realtimehot > table > tbody > tr"):

\# 按类名.td-01提取热搜排名

\_rank = item.select\_one('.td-01').text

if not \_rank:

continue

\# 按类名.td-02提取热搜关键词

keyword = item.select\_one(".td-02 > a").text

\# 提取热搜热度

heat = item.select\_one(".td-02 > span").text

\# 提取热搜标签

icon = item.select\_one(".td-03").text

self.hot\_list.append(\{"rank": \_rank, "keyword": keyword, "heat": heat, "icon": icon, "time":

datetime.now().strftime("%Y-%m-%d %H:%M:%S")\})

这里采用BeautifulSoup中select，和select\_one去解析html文件。

这里对select和select\_one做一下简单补充。

\# 通过标签名查找

soup.select\_one('a')

\# 通过类名查找

soup.select\_one('.td-02')

\# 通过ID去查找

soup.select\_one('\#pl\_top\_realtimehot')

\# 组合查找，根据ID及标签层级关系查找

res.select("\#pl\_top\_realtimehot > table > tbody > tr")

通过以上处理，我们就能得到所需要的数据。

![160a10f8e543][]

image.png

3.数据存储

这里仅是把数据简单存储到数据库中，具体看效果图。

![160a10f8e543][]

image.png

更多源码，请参考原文

[160a10f8e543]: /images/20221005/07eeb669b336460baa794cbbaa39a9fc.png

发表评论取消回复

表情：

评论列表（有 0 条评论，533人围观）

还没有评论，来说两句吧...

相关阅读

相关 python百度热搜榜爬取

terminal中安装库 bs4 requests pip install bs4 requests import requests fro

矫情吗；*/ 2022年12月25日 06:57/ 0 赞/ 254 阅读

相关绝了！Python定时爬取微博热搜+pyecharts动态图展示

![cd66a514068fd370c51fe93f8783b33a.gif][] 作者：叶庭云来源：凹凸数据 > 本文介绍了可以实现定时执行任务的schedule模块

阳光穿透心脏的1/2处/ 2022年11月19日 01:20/ 0 赞/ 323 阅读

相关挺进CSDN热搜榜，纪念一下

文章《window中使用bat启动springboot项目，并解决乱码问题》https://blog.csdn.net/jlq\_diligence/article/detai

逃离我推掉我的手/ 2022年10月08日 05:56/ 0 赞/ 303 阅读

相关微博热搜榜html源码,几行代码完成微博热搜榜爬虫

每天微博热搜都在不定时的变，通过抓取热搜数据，可以方便我们知道每天的热搜内容。 python的几行代码就能简单爬取到热搜的数据。 1.数据抓取首先，我们得知道微博热搜内

柔光的暖阳◎/ 2022年10月06日 10:46/ 0 赞/ 534 阅读

相关利用 Python 自动抓取微博热搜，并定时发送至邮箱

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤夜阑卧听风吹雨，铁马冰河入梦来。最

清疚/ 2022年09月10日 07:22/ 0 赞/ 175 阅读

相关 JAVA——微博热搜爬虫

源代码：https://gitee.com/my-zstu/myzstu/blob/develop/myzstu-spyder/src/main/java/club/zstuc

小鱼儿/ 2022年09月08日 14:50/ 0 赞/ 202 阅读

相关从零到一学爬虫-爬取微博热搜示例

爬取微博热搜榜-简单示例使用爬虫模拟浏览器向微博热搜的服务器发送请求，得到响应，然后将响应的信息进行打印。当我们直接打开浏览器，输入https://s.weibo

迷南。/ 2022年09月08日 00:16/ 0 赞/ 273 阅读

相关【爬虫】python爬取微博热搜榜top50

1.说明微博热搜很有用，不用登录可以访问网页版[https://s.weibo.com/top/summary][https_s.weibo.com_top_summa

待我称王封你为后i/ 2022年08月30日 05:30/ 0 赞/ 361 阅读

相关 Python网络爬虫-爬取微博热搜

微博热搜的爬取较为简单，我只是用了lxml和requests两个库　　url=[https://s.weibo.com/top/summary?Refer=top\_hot

雨点打透心脏的1/2处/ 2022年01月07日 08:37/ 0 赞/ 359 阅读

相关 node puppeteer爬虫，爬取微博热搜数据

> 确保自己熟练使用async与await以及分析dom结构 `npm i puppeteer` 在node引用 const puppeteer = requ

刺骨的言语ヽ痛彻心扉/ 2021年10月01日 11:20/ 0 赞/ 430 阅读