python爬虫难度排行_python爬虫全国最低气温排行

缺乏、安全感 2022-10-28 00:51 110阅读 0赞

![2ff34e647e2e3cdfd8dca593e17d9b0a.png][]

总述

爬取中国天气网中各省份，各城市的最低气温，并且对爬取的数据进行排序以及数据可视化。

分析html结构

映入眼帘的是一个名为conMidtab2的div盒子，这个盒子里放了一张表格，表格正文tbody里放了十多

个表行tr，每个tr中有几个标准单元格td。下面的div盒子结构完全一致，不再分析，结合下图：

我们知道，一个tbody中的第3个tr中的第1个td与第2个td中 ，分别存放着省份信息与第1个城市信息；

第4个tr中的第1个td中存放着第2个城市的信息；注意第1个城市的特殊情况！

![97eb7324ea536bbf80e74ad57ba2bbd6.png][]

![24c8e392a5ac881722c8b0eb39679847.png][]

requests & BeautifulSoup

1.requests

requests 是基于urllib的开源HTTP库

我们首先定制header，模拟浏览器访问网站

键入 r = requests.get('http://jueluo.xin')获取一个网页，键入 r.text 获取网页内容

2.BeautifulSoup

BeautifulSoup是一个从HTML或者XML中提取数据的python库。

键入conMidtab = soup.find('div', class\_='conMidtab')

搜索第一个带有 conMidtab 属性的div标签。

键入 conMidtab2\_list = conMidtab.find\_all('div', class\_='conMidtab2')

搜索所有带有conMidtab2属性的div标签

获取省份与城市

通过for循环遍历BeautifulSoup获取到的conMidtab2\_list数据

键入 tr\_list = x.find\_all('tr')\[2:\] 查找第三个及其以后的tr

再对tr\_list进行遍历，这里按照上面分析分为两类。，即第3个tr中第1个td是省份，第2个td是城市，

第8个td是最低气温；第4个tr及其以后tr中第1个td是城市；

![4971f34b8aaa4a8279a8893a1940b331.png][]

排序

使用sorted对爬取得到的各省份各城市的最低气温进行排序

键入 SORTED\_TEMPERATURE\_LIST = sorted(TEMPERATURE\_LIST, key=lambda x: (int(x\['min'\])))

为了展示需要，这里我只选择前20低的数据进行数据可视化

TOP20\_TEMPERATURE\_LIST = SORTED\_TEMPERATURE\_LIST\[0:20\]

数据可视化

选取排序后的20个数据进行数据可视化，我采取柱状图

bar = Bar('主标题','副标题')

bar.add("tem", 横坐标值, 纵坐标值, is\_more\_utils=True )

键入 bar.show\_config()

bar.render()

返回一个html在你的文件夹里

![9ad0c01482cac2b28114c1bcfadd3367.png][]

点击即可看见图表

![5de392616812af21b2e8bc89cb1df5bb.png][]

源码

[2ff34e647e2e3cdfd8dca593e17d9b0a.png]: /images/20221024/1a20db554864469a82725fa3e60fac78.png
[97eb7324ea536bbf80e74ad57ba2bbd6.png]: /images/20221024/7b9826d08f6742b8acdbddf34d058b07.png
[24c8e392a5ac881722c8b0eb39679847.png]: /images/20221024/450a4ea4c27b459cbde6269687947994.png
[4971f34b8aaa4a8279a8893a1940b331.png]: /images/20221024/40735dc581bd4ffa802faec71f8fd5fe.png
[9ad0c01482cac2b28114c1bcfadd3367.png]: /images/20221024/72a2b5d454d74b2e8d8a1ec4baaffff9.png
[5de392616812af21b2e8bc89cb1df5bb.png]: /images/20221024/fa91f526b3cc42a8941bfeaf12ba5f1b.png

发表评论取消回复

表情：

评论列表（有 0 条评论，110人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python爬虫新手入门教学（一）：爬取豆瓣电影排行信息

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 Python爬虫、数据分析、网站开发等案例教程视频免费在线观

雨点打透心脏的1/2处/ 2023年01月10日 10:17/ 0 赞/ 194 阅读

相关 python爬虫难度排行_python爬虫全国最低气温排行

![2ff34e647e2e3cdfd8dca593e17d9b0a.png][] 总述爬取中国天气网中各省份，各城市的最低气温，并且对爬取的数据进行排序以及数据可视化。

缺乏、安全感/ 2022年10月28日 00:51/ 0 赞/ 111 阅读

相关 python排行反思

编程语言2012排行榜2月版已经出来了，这份2012年2月编程语言排行榜由TIOBE发布。与 [1月份的编程语言排行榜相比][1]，前三的位置并无变化。仍然是java、C、C\

骑猪看日落/ 2022年06月12日 05:07/ 0 赞/ 152 阅读

相关 Python爬虫

最近两天学习了一下python，并自己写了一个网络爬虫的例子。 python版本: 3.5 IDE : pycharm 5.0.4 要用到的包可以用pycharm下

红太狼/ 2022年06月03日 08:26/ 0 赞/ 235 阅读

相关 python 爬虫

超级简单，首先先学会python的文件操作，因为要写入到文件中去。python把一切都封装好了，而且非常简洁，也简单。基础 1、导入requests模块 i

分手后的思念是犯贱/ 2022年03月29日 11:56/ 0 赞/ 307 阅读

相关 python爬虫

爬虫定义请求网站并提取数据的自动化程序基本流程向服务器发起请求：即发送一个Request，请求可以包含额外的headers等信息，等待服务器的

逃离我推掉我的手/ 2022年02月23日 13:38/ 0 赞/ 289 阅读

相关 python爬虫

from bs4 import BeautifulSoup import requests url="https://www.tripadvis

拼搏现实的明天。/ 2022年02月21日 09:14/ 0 赞/ 311 阅读

相关 python爬虫-全国列车信息查询

列车信息代码： python import urllib from urllib.request import urlopen f

你的名字/ 2022年02月17日 15:50/ 0 赞/ 167 阅读

相关 Python 爬虫

一、爬虫是什么？从技术层面来说就是通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据（图片、视频）爬到本地，进而提取自己需要的数据

落日映苍穹つ/ 2021年11月10日 14:54/ 0 赞/ 414 阅读

相关 Python_爬虫

爬虫介绍一、什么是爬虫？　　爬虫，学名叫网络蜘蛛，主要的功能是模拟人浏览记录网络信息，主要由三方面组成：抓取页面、分析页面和存储数据。二、为什么常见的是P

秒速五厘米/ 2021年11月01日 10:31/ 0 赞/ 551 阅读