python中国大学排名爬虫写明详细步骤-【Python爬虫】从html里爬取中国大学排名...

Dear 丶 2022-11-21 14:09 218阅读 0赞

from bs4 import BeautifulSoup

import requests

import bs4 \#bs4.element.Tag时用的上

\#获取网页页面HTML

def getHTMLText(url):

try:

r = requests.request("get", url,timeout=30)

r.raise\_for\_status() \#如不是200报错

r.encoding = r.apparent\_encoding \#猜测编码然后赋予给解码 编码模式

demo = r.text

soup = BeautifulSoup(demo, "html.parser") \#做汤

return soup

except:

return ""

\#分析并返回列表

def fillUnivList(ulist,html):

soup = html

for tr in soup.find("tbody").children: \#从汤里找tbody标签的儿子遍历

if isinstance(tr,bs4.element.Tag): \#如果标签是标签名字

tds = tr("td") \#寻找tr里所有td列表，然后赋予tds

ulist.append(\[tds\[0\].string,tds\[1\].string,tds\[3\].string\]) \#加入013号

pass \#？？？

\#打印表格

def printUnivList(ulist,num):

tplt = "\{0:^10\} \{1:\{3\}^8\} \{2:^10\}" \#模板

print(tplt.format("排名","学校名称","总分",chr(12288))) \#3号中文空格

for i in range(num):

u = ulist\[i\] \#列表中的0是一个拥有三个元素的列表

print(tplt.format(u\[0\], u\[1\], u\[2\],chr(12288))) \#拥有三个元素的列表按模板打印

print("Suc" + str(num))

\#主函数

def main():

uinfo = \[\] \#创建一个列表

url = "http://www.zuihaodaxue.com/zuihaodaxuepaiming2016.html"

html = getHTMLText(url)

fillUnivList(uinfo,html)

printUnivList(uinfo,20) \#打印20个大学

main()

原文地址：https://www.cnblogs.com/naraka/p/8998107.html

发表评论取消回复

表情：

评论列表（有 0 条评论，218人围观）

还没有评论，来说两句吧...

相关阅读

相关爬取中国大学排名

看到结果真是伤心~~~~~。 import requests from bs4 import BeautifulSoup import bs4

ゞ浴缸里的玫瑰/ 2024年02月19日 12:09/ 0 赞/ 78 阅读

相关中国大学排名定向爬虫实例

功能描述： ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV

男娘i/ 2023年07月18日 14:03/ 0 赞/ 39 阅读

相关【Pyhton爬虫】中国大学排名爬虫

[http://www.zuihaodaxue.com/zuihaodaxuepaiming-zongbang-2020.html][http_www.zuihaodaxue.

淡淡的烟草味﹌/ 2023年02月25日 02:10/ 0 赞/ 106 阅读

相关 python中国大学排名爬虫写明详细步骤-Python爬虫——定向爬取“中国大学排名网”...

内容整理自中国大学MOOC——北京理工大学-蒿天-Python网络爬虫与信息提取相关实战章节我们预爬取的url如下网页节选 ![1571555-2020021111

偏执的太偏执、/ 2022年11月21日 14:28/ 0 赞/ 373 阅读

相关 python中国大学排名爬虫写明详细步骤-【Python爬虫】从html里爬取中国大学排名...

from bs4 import BeautifulSoup import requests import bs4 \bs4.element.Tag时用的上 \获取网页页面

Dear 丶/ 2022年11月21日 14:09/ 0 赞/ 219 阅读

相关 python中国大学排名爬虫写明详细步骤-python网络爬虫入门实例：中国大学排名定向爬虫...

中国大学排名定向爬虫的设计和实现一、环境安装： 1.选择一个适合自己的IDE(以下代码用Jupyter Notebook编写) 2.打开cmd，安装requests

女爷i/ 2022年11月21日 14:09/ 0 赞/ 257 阅读

相关爬虫实例（中国大学排名定向排名）

功能：输入：大学排名URL链接输出：大学排名信息的屏幕输出（排名，大学名称，总分）技术路线：requests-bs4 定向爬虫：仅对输入的URL进行爬取，不扩展爬

雨点打透心脏的1/2处/ 2022年05月25日 11:11/ 0 赞/ 384 阅读

相关 python爬取中国大学排名信息

运行环境：python3.6.0 功能：爬取个中国大学排名玩玩，网页链接：[http://gaokao.afanti100.com/university.html][http

r囧r小猫/ 2022年01月21日 01:31/ 0 赞/ 469 阅读

相关中国大学排名

1 -- coding: utf-8 -- 2 ''' 3 获取中国大学的排名 4 @author: bpf 5 '''

迈不过友情╰/ 2021年12月03日 04:13/ 0 赞/ 478 阅读

相关 python爬虫实战：爬取中国大学排名网站的 2019年中国大学排名情况

爬取这个网页：[软科中国最好大学排名2019][2019] 采用bs4--Beautiful库实现 import requests from

小咪咪/ 2021年11月10日 16:48/ 0 赞/ 486 阅读