Python学习（三）：多线程写Python爬虫

阳光穿透心脏的1/2处 2022-03-29 17:26 265阅读 0赞

人人车网站为例

总体框架：

# 爬取人人车车辆信息
    # 多线程/多进程：提高代码执行效率，提高爬取效率，实现使用多个多个进程对多个页面发起请求
    
    from urllib.request import urlopen
    # 进程池: 比较方便，使用简单
    from multiprocessing import Pool
    
    import re, sqlite3
    
    class RRCSpider(object):
        """
        人人车爬虫类
        """
        def __init__(self):
            # 建立数据库对象和游标对象
            self.connect = sqlite3.connect('rrc.db')
            self.cursor = sqlite3.connect().cursor()
    
        def get_list_html(self, page_num):
            """
            获取列表页源代码
            :param list_url:列表页的url
            :return: 返回列表页源代码
            """
            pass
    
        def parse_list_html(self, list_html):
            """
            解析列表页源代码
            :param list_html:解析列表页源代码
            :return: 返回每一个数据的详细地址
            """
            pass
    
        def get_detail_html(self, detail_url):
            """
            获取详情页页源代码
            :param detail_url:详情页源代码
            :return: 返回详情页源代码
            """
            pass
    
        def parse_detail_html(self, detail_html):
            """
            详情列表页源代码
            :param detail_html: 解析详情页源代码
            :return: None
            """
            pass
    
    
        def start_spider(self):
            """
            爬虫启动入口
            :return:
            """
            pass
    
    
    if __name__ == '__main__':
        obj = RRCSpider()
        obj.start_spider()

各个函数：

def get_list_html(self, page_num):
            """
            获取列表页源代码
            :param list_url:列表页的url
            :return: 返回列表页源代码
            """
            list_url = 'https://www.renrenche.com/zz/ershouche/p{}/'.format(page_num)
            try:
                list_html = urlopen(list_url).read().decode()
            except HTTPError as e:
                print("列表页异常：url={}, error={}".format(list_url, e))
                return None, None
            else:
                return list_html, list_url

def parse_list_html(self, list_html, list_url):
 """
 解析列表页数据
 :param list_html: 列表页网页源代码
 :return: 返回每一个数据的详情页地址
 """
 # 利用正则表达式提取列表页中所有二手车的详情页的链接。
 detail_urls = re.findall(re.compile(r'<li class="span6 list-item.*?".*?<a.*?href="(.*?)".*?class="thumbnail"', re.S), list_html)
 if detail_urls:
 return detail_urls
 else:
 print('列表页数据为空：url={}'.format(list_url))
 return None

def get_detail_html(self, detail_url):
            """
            获取详情页页源代码
            :param detail_url:详情页源代码
            :return: 返回详情页源代码
            """
            try:
                detail_html = urlopen(detail_url).read().decode()
            except HTTPError as e:
                print("详情页异常：url={}, error={}".format(detail_url, e))
                return None, None
            else:
                return detail_html, detail_url

def parse_detail_html(self, detail_html, detail_url):
 """
 详情列表页源代码
 :param detail_html: 解析详情页源代码
 :return: None
 """
 data = re.findall(re.compile(r'<h1 class="title-name rrc.*?">(.*?)</h1>.*?(.*?).*?.*?<ul class=".*?box-list-primary-detail">.*?(.*?).*?(.*?).*?<strong.*?id="car-licensed">(.*?).*?.*?(.*?).*?.*?<strong.*?>(.*?)', re.S), detail_html)[0]
 print(data)

def start_spider(self, num):
            """
            爬虫程序启动入口
            :return:
            """
            print('正在请求第{}页'.format(num))
            list_html, list_url = self.get_list_html(num)
            if list_html:
                detail_urls = self.parse_list_html(list_html, list_url)
                if detail_urls:
                    for detail_url in detail_urls:
                        url = 'https://www.renrenche.com' + detail_url
                        detail_html, d_url = self.get_detail_html(url)
                        if detail_html:
                            self.parse_detail_html(detail_html, d_url)