python爬虫实践----爬取京东图片

╰+攻爆jí腚メ 2022-06-08 02:16 337阅读 0赞

爬虫思路：  
1.分析url:

http://list.jd.com/list.html?cat=9987,653,655&page=1
    
    # url只有page变化，而page代表了页数

![这里写图片描述][SouthEast]

1.  提取url内容并正则匹配出需要的内容

urllib.request.urlopen(url).read();
    # 读取指定url的全部内容

下面是根据正则的re库匹配出所需要的dom节点

3.根据匹配出的图片url筛选出图片并下载图片

4.最后通过循环，遍历出所有的页数

#### 完整代码： ####

import re
    import urllib.request
    
    
    def craw(url,page):
        ## 读取url地址中的页面
        html1 = urllib.request.urlopen(url).read();
        ## 读取url的全部信息并转为字符串
        html1 = str(html1);
    
        ##匹配元素1---父节点
        pat1 = '<div id="plist".+? <div class="page clearfix">';
        result1 = re.compile(pat1).findall(html1);
        result1 = result1[0];
    
        ##匹配元素2--子节点
        pat2='<img width="220" height="220" data-img="1" data-lazy-img="//(.+?\.jpg)">';
    
        imagelist=re.compile(pat2).findall(result1);
        x=1;
        for imgurl in imagelist:
            #设置地址跟爬取图片的地址
            imagename="F:/pythonB/img/"+str(page)+str(x)+".jpg";
            imgurl= "http://" +imgurl;
            print(imgurl);
            try:
                #保存图片并定义图片名字
                urllib.request.urlretrieve(imgurl,filename=imagename)
            except urllib.error.URLError as e:
                if hasattr(e, "code"):
                    x+=1;
                if hasattr(e, "reason"):
                    x+=1;
            x+=1;
    
    for i in range(1,79):
        url = 'http://list.jd.com/list.html?cat=9987,653,655&page='+str(i)
        craw(url,i);

最后得到所有的图片：  
![这里写图片描述][SouthEast 1]

[SouthEast]: /images/20220608/a0973fc18ed74e1098dccb9b16791a1a.png
[SouthEast 1]: /images/20220608/0f529069986342d49ac90faa7973e17e.png