python爬虫之JS链接跳转内容爬取

ゝ一世哀愁。 2023-06-22 08:30 14阅读 0赞

## **民政部网站数据抓取** ##

**目标**

1、URL: http://www.mca.gov.cn/ - 民政数据 - 行政区划代码
       即: http://www.mca.gov.cn/article/sj/xzqh/2019/
    2、目标: 抓取最新中华人民共和国县以上行政区划代码

**实现步骤**

*  **1、从民政数据网站中提取最新行政区划代码**

# 特点
    1、最新的在上面
    2、命名格式: 2019年X月中华人民共和国县以上行政区划代码
    # 代码实现
    import requests
    from lxml import etree
    import re
    
    url = 'http://www.mca.gov.cn/article/sj/xzqh/2019/'
    headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'}
    html = requests.get(url, headers=headers).text
    parse_html = etree.HTML(html)
    article_list = parse_html.xpath('//a[@class="artitlelist"]')
    
    for article in article_list:
        title = article.xpath('./@title')[0]
        # 正则匹配title中包含这个字符串的链接
        if re.findall(r'.*?中华人民共和国县以上行政区划代码.*?', title, re.S):
            # 获取到第1个就停止即可，第1个永远是最新的链接
            two_link = 'http://www.mca.gov.cn' + article.xpath('./@href')[0]
            print(two_link)
            break

*  **2、从二级页面链接中提取真实链接（反爬-响应内容中嵌入JS，指向新的链接）**
    
        1、向二级页面链接发请求得到响应内容，并查看嵌入的JS代码
        2、正则提取真实的二级页面链接
        # 相关思路代码
        two_html = requests.get(two_link, headers=headers).text
        # 从二级页面的响应中提取真实的链接（此处为JS动态加载跳转的地址）
        new_two_link = re.findall(r'window.location.href="(.*?)"', html2, re.S)[0]
 *  **3、在数据库表中查询此条链接是否已经爬取，建立增量爬虫**
    
        1、数据库中建立version表，存储爬取的链接
        2、每次执行程序和version表中记录核对，查看是否已经爬取过
        # 思路代码
        cursor.execute('select * from version')
        result = self.cursor.fetchall()
        if result:
            if result[-1][0] == two_link:
                print('已是最新')
            else:
                # 有更新，开始抓取
                # 将链接再重新插入version表记录
 *  **4、代码实现**
    
        '''民政部网站数据抓取（增量爬虫）'''
        import requests
        from lxml import etree
        import re
        import pymysql
        
        class Govement(object):
            def __init__(self):
                self.one_url = 'http://www.mca.gov.cn/article/sj/xzqh/2019/'
                self.headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'}
                self.db = pymysql.connect('127.0.0.1','root','123456','govdb')
                self.cursor = self.db.cursor()
        
            # 获取二级页面真实链接，并和数据库中比对
            def get_two_link(self):
                html = requests.get(self.one_url,headers=self.headers).text
                # 此处隐藏了真实的二级页面的url链接，通过js脚本生成，保存本地文件查看
                parse_html = etree.HTML(html)
                a_list = parse_html.xpath('//a[@class="artitlelist"]')
                for a in a_list:
                    title = a.xpath('./@title')[0]
                    # 正则匹配title中包含这个字符串的链接
                     # 利用正则找到第一个自己需要的title里面的地址(第一个一般都是最新的)
                    if re.findall(r'.*?中华人民共和国县以上行政区划代码.*?',title,re.S):
                        # 获取到第1个就停止即可，第1个永远是最新的链接
                        two_link = 'http://www.mca.gov.cn' + a.xpath('./@href')[0]
                        break
        
                # 从已提取的two_link中提取二级页面的真实链接
                two_html = requests.get(two_link, headers=self.headers).text
                # 从二级页面的响应中提取真实的链接（此处为JS动态加载跳转的地址）
                real_two_link = re.findall(r'window.location.href="(.*?)"', two_html, re.S)[0]
                # 实现增量爬取
                self.cursor.execute('select * from version')
                result = self.cursor.fetchall()
                if result:
                    if result[-1][0] == real_two_link:
                        print('已是最新')
                else:
                    self.get_data(real_two_link)
                    self.cursor.execute('insert into version values(%s)',[real_two_link])
                    self.db.commit()
        
            # 用xpath直接提取数据
            def get_data(self,real_two_link):
                real_two_html = requests.get(real_two_link,headers=self.headers).text
                parse_html = etree.HTML(real_two_html)
                # 基准xpath,提取每个信息的节点列表对象
                tr_list = parse_html.xpath('//tr[@height=19]')
                city_info = { }
                for tr in tr_list:
                    city_info['code'] = tr.xpath('./td[2]/text()')
                    city_info['name'] = tr.xpath('./td[3]/text()')
                    print(city_info)
        
        if __name__ == '__main__':
            spider = Govement()
            spider.get_two_link()

注：爬虫有风险，爬取需谨慎 ！

附git代码地址：https://github.com/RyanLove1/spider\_code