Python网络爬虫总结

墨蓝 2022-04-03 10:14 373阅读 0赞

## 一、网络爬虫之规则 ##

（1）requests库的应用

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MzkyNTg5_size_16_color_FFFFFF_t_70][]

requests库的7个主要方法：

①requests.request()：构造一个请求，支撑以下个方法的基础方法

②requests.get()：获取HTML网页的主要方法，对应于HTTP的GET

③requests.head()：获取HTML网页头信息的方法，对应于HTTP的HEAD

④requests.post()：向HTML网页提交POST请求的方法，对应于HTTP的POST

⑤requests.put()：向HTML网页提交PUT请求的方法，对应于HTTP的PUT

⑥requests.patch()：向HTML网页提交局部修改请求，对应于HTTP的PATCH

⑦requests.delete()：向HTML网页提交删除请求，对应于HTTP的DELETE

Response对象的属性：

①r.status\_code：HTTP请求的返回状态，200标识连接成功，404表示失败

②r.text：HTTP响应内容的字符串形式，即url对应的页面内容

③r.encoding：从HTTP header中猜测的响应内容编码方式

④r.apparent\_encoding：从内容中分析出的响应内容编码方式（备选编码方式）

⑤r.content：HTTP响应内容的二进制形式

r.raise\_for\_status()：如果不是200，产生异常requests.HTTPError

更改user-agent的值，然后以POST请求访问指定网址
    import requests
    
    hd = {'user-agent':'Chrome/10'}
    r = requests.request('POST','http://httpbin.org/post',headers=hd)
    print(r.text)

\#注释，\*代表所有，/代表根目录

User-agent：\*

Disallow：/

## 二、网络爬虫之提取 ##

（2）Beautiful Soup库入门

Beautiful Soup库是解析、遍历、维护“标签树”的功能库。

..：标签Tag：..  属性：class="title"。

引用Beautiful Soup库：from bs4 import BeautifulSoup，import bs4。

BeautifulSoup对应一个HTML/XML文档的全部内容。

Beautiful Soup库解析器：

①bs4的HTML解析器：BeautifulSoup(mk,'html.parser')，安装bs4库

②lxml的HTML解析器：BeautifulSoup(mk,'lxml')，pip install lxml

③lxml的XML解析器：BeautifulSoup(mk,'xml')，pip install lxml

④html5lib的解析器：BeautifulSoup(mk,'html5lib')，pip install html5lib

Beautiful Soup类的基本元素：

Tag：标签，最基本的信息组织单元，分别用<>和</>标明开头和结尾

Name：标签的名字，..的名字是'p'，格式：<tag>.name

Attributes：标签的属性，字典形式组织，格式：<tag>.attrs

NavigableString：标签内非属性字符串，<>...</>中字符串，格式：<tag>.string

Comment：标签内字符串的注释部分，一种特殊的Comment类型

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MzkyNTg5_size_16_color_FFFFFF_t_70 1][]

HTML标签树的遍历功能：上行遍历、下行遍历、平行遍历

标签树的下行遍历：①.contents：子节点的列表，将<tag>所有儿子节点存入列表

②.children：子节点的迭代类型，与.contents类似，用于循环遍历儿子节点

③.descendants：子孙节点的迭代类型，包含所有子孙节点，用于循环遍历

标签树的上行遍历：①.parent：节点的父亲标签

②.parents：节点先辈标签的迭代类型，用于循环遍历先辈节点

标签树的平行遍历（平行遍历发生在同一个父节点下的各节点间）：①.next\_sibling：返回按照HTML文本顺序的下一个平行节点标签

②.previous\_sibling：返回按照HTML文本顺序的上一个平行节点标签

③.next\_siblings：迭代类型，返回按照HTML文本顺序的后续所有平行节点标签

④.previous\_siblings：迭代类型，返回按照HTML文本顺序的前续所有平行节点标签

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MzkyNTg5_size_16_color_FFFFFF_t_70 2][]

## 三、网络爬虫之实例 ##

python网络爬虫爬取电影天堂网站上的部分电影并存储到数据库中

1. 解析网页的内容，返回一个soup对象备用

2. 获取电影的详细信息

3.获取所给url页面中的所有电影链接

4.根据path创建数据库表

5.把数据添加到数据库

6.执行以上步骤的函数

部分代码如下：

def get_movie_from_page(url):
        # 获取所给url页面中的所有电影链接
    
        print('获取所给url页面中的所有电影链接......')
        # i = 1
    
        temp_list = []                                  # 一个临时的列表，用来存电影信息
        soup = read_page(url)                           # 解析页面
        # 以下解析过程也可以使用xpath
        for a in soup.select('.ulink'):                 # 选择所有class=ulink 下的所有的 a 节点
            # i += 1
            time.sleep(2)
            link = url_start+a['href']                  # 构造每个电影的网页链接
            print('当前电影的链接是：'+link)
            temp_tuple = get_movie_detail(link)
    
            print(temp_tuple)
    
            if temp_tuple:
                temp_list.append(temp_tuple)    # 解析电影的详细信息，每解析一个就放到列表里
            # if i == 3:
            # break                                       # 先解析一个，等所有的代码都写好再整个进行循环
        print('获取完毕，所有电影信息放进临时列表......')
        return temp_list                                # 解析完所有内容后，返回列表
    
    
    def create_table(path):
        # 根据path创建数据库表
    
        print('创建数据库表......')
        if os.path.exists(dbPath):      # 只有data.sqlite⽂件不存在时才创建该⽂件
            conn = sqlite3.connect(dbPath)
            return conn
    
        conn = sqlite3.connect(dbPath)  # 创建SQLite数据库
        c = conn.cursor()               # 获取sqlite3.Cursor对象
        # 创建movies表
        c.execute('''CREATE TABLE movies
            (id INT PRIMARY KEY NOT NULL,
            name TEXT NOT NULL,
            pianming TEXT NOT NULL,
            niandai TEXT NOT NULL,
            chandi TEXT NOT NULL,
            leibie TEXT NOT NULL,
            shangyingriqi TEXT NOT NULL,
            douban TEXT NOT NULL,
            daoyan TEXT NOT NULL,
            zhuyan TEXT NOT NULL,
            jianjie TEXT NOT NULL );''')
    
        conn.commit()               # 修改数据库后必须调⽤commit⽅法提交才能⽣效
        print("创建完成！")
        return conn
    
    
    def add_data_to_table(conn, lst):
        # 把数据添加到数据库
    
        print('插入数据......')
        # try:
        c = conn.cursor()
        for item in lst:
            # print('待处理：'+item[1])
    
            c.execute('''INSERT INTO movies (ID,name, pianming, niandai,
                chandi,leibie,shangyingriqi,
                douban, daoyan, zhuyan, jianjie)
                VALUES(?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?);''', item)
            conn.commit()
        print('插入成功！')
    
    
    def main():
    
        # 思路：遍历所有页面，得到页面里的所有电影，获取电影里的详细信息，存入数据库
    
        # for i in range(1, 198):
        for i in range(12, 13):
    
            time.sleep(2)
            # 得到链接
            target_page = r'http://dytt8.net/html/gndy/dyzz/list_23_%s.html' % (i)
    
            print('当前页面：'+target_page)
    
            # 得到目标页中的所有电影
            move_list = get_movie_from_page(target_page)
    
            # 把目标页中的电影存入数据库
            try:
                db_conn = create_table(dbPath)
                add_data_to_table(db_conn, move_list)
            except Exception as e:
                print(e)

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MzkyNTg5_size_16_color_FFFFFF_t_70]: /images/20220403/15080425cbc8463abb45baced2726f2e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MzkyNTg5_size_16_color_FFFFFF_t_70 1]: /images/20220403/399daa81a9e94b2e9479975ebc81fe0f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MzkyNTg5_size_16_color_FFFFFF_t_70 2]: /images/20220403/2e77366ad53d4bb5abb94b00ea0a0432.png