scrapy 中的xpath 和 css选择器

傷城~ 2022-02-15 03:07 217阅读 0赞

# 项目创建 #

1.	首先确定要爬取的网站,确定想要爬取的信息，分析页面结构和url。
    
    以伯乐在线为例 http://python.jobbole.com/
    
    2.	我们发现 http://blog.jobbole.com/all-posts/  这是所有文章
        那么我们不需要深度优先或广度优先的遍历算法了，因为all-posts就已经可以获取所有的url了。
    
    3.
    all-posts为第一页
    http://blog.jobbole.com/all-posts/
    http://blog.jobbole.com/all-posts/page/564/ 为564页
    因为文章是增长的，所以最后的一页是不确定的，所以我们需要获取下一页

安装环境

pip install scrapy
    如果安装出现错误 Failed building wheel for Twisted
    手动下载 Twisted
    https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
    下载完成后 pip install .\路径.whl
    
    pip install scrapy

创建项目
    scrapy startproject BoleOnline #伯乐在线
    
    项目目录结构
    └─BoleOnline
        │ scrapy.cfg
        │
        └─BoleOnline
            │  items.py
            │  middlewares.py
            │  pipelines.py
            │  settings.py
            │  __init__.py
            │
            ├─spiders
            │  │  __init__.py
            │  │
            │  └─__pycache__
            └─__pycache__

进入到目录 F:\code\bole_online_spider\BoleOnline\ 
    
    创建一个爬虫应用
    scrapy genspider bole blog.jobbole.com
                     名字  要爬取的网站主域名
    
    在F:\code\bole_online_spider\BoleOnline\BoleOnline\spider
    生成了一个 bole.py文件
    
    class BoleSpider(scrapy.Spider):
        name = 'bole'
        allowed_domains = ['blog.jobbole.com']
        start_urls = ['http://blog.jobbole.com/']
    
        def parse(self, response):
            pass
            
    启动命令 scrapy crawl bole
    #windows下缺少包 pip install pypiwin32

pycharm 不能调试scrapy工程的，为了可以调试方便，我们编写一个main.py 程序入口
    
    from scrapy.cmdline import execute
    
    import sys
    import os
    
    sys.path.append(os.path.dirname(os.path.abspath(__file__)))
    #os.path.abspath(__file__) 当前路径
    # os.path.dirname 文件的父目录
    
    
    # bole 对应 bole.py
    execute(["scrapy","crawl","bole"])

启动前，将 robots协议  改为False
    ROBOTSTXT_OBEY = False

# xpath #

8xpath节点的一些术语

父节点
    子节点
    同胞节点
    先辈节点
    后辈节点

xpath语法

<table> 
 <thead> 
  <tr> 
   <th>表达式</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>article</td> 
   <td>选取article元素所有子节点</td> 
  </tr> 
  <tr> 
   <td>/article</td> 
   <td>选取根元素 /article</td> 
  </tr> 
  <tr> 
   <td>article/a</td> 
   <td>代表 属于article的子元素，并且为a的节点</td> 
  </tr> 
  <tr> 
   <td>//div</td> 
   <td>获取所有div子元素</td> 
  </tr> 
  <tr> 
   <td>article//div</td> 
   <td>article里面所有的div节点</td> 
  </tr> 
  <tr> 
   <td>//@class</td> 
   <td>获取所有属性为class的节点</td> 
  </tr> 
  <tr> 
   <td>/article/div[1]</td> 
   <td>获取article子元素为div的，第一个div元素</td> 
  </tr> 
  <tr> 
   <td>/article/div[last()]</td> 
   <td>最后一个</td> 
  </tr> 
  <tr> 
   <td>/article/div[last() -1 ]</td> 
   <td>倒数第二个</td> 
  </tr> 
  <tr> 
   <td>//div[ @lang ]</td> 
   <td>获取所有拥有属性lang的div元素</td> 
  </tr> 
  <tr> 
   <td>//div[ @lang=‘eng’ ]</td> 
   <td>获取所有lang属性为eng的div元素</td> 
  </tr> 
  <tr> 
   <td>//div/*</td> 
   <td>获取属于div元素的子节点</td> 
  </tr> 
  <tr> 
   <td>//*</td> 
   <td>所有节点</td> 
  </tr> 
  <tr> 
   <td>//div[@*]</td> 
   <td>获取所有带属性的div元素</td> 
  </tr> 
  <tr> 
   <td>/div/a | //div/p</td> 
   <td>获取所有div元素的a和p元素</td> 
  </tr> 
  <tr> 
   <td>//span | //ul</td> 
   <td>获取文档中的span和ul元素</td> 
  </tr> 
  <tr> 
   <td>/article/div/p | //span</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

class BoleSpider(scrapy.Spider):
        name = 'bole'
        allowed_domains = ['blog.jobbole.com']
        start_urls = ['http://blog.jobbole.com/114364/'] #
    
        def parse(self, response):
    
            // 获取 标题 发布时间 点赞、收藏、评论数
             
            pass

进入 shell 模式

scrapy shell http://blog.jobbole.com/114364/

利用xpath匹配标题 创建时间等

# -*- coding: utf-8 -*-
    import scrapy
    import re
    
    class BoleSpider(scrapy.Spider):
        name = 'bole'
        allowed_domains = ['blog.jobbole.com']
        start_urls = ['http://blog.jobbole.com/114364/'] #
    
        def parse(self, response):
            # 标题
            title = response.xpath('//*[@id="post-114364"]/div[1]/h1/text()').extract()[0]
            # 创建时间
            create_time = response.xpath('// *[ @id="post-114364"]/div[2]/p/text()[1]').extract()[0].strip().replace('·','').strip()
            # 点赞数
            like_nums = response.xpath('//span[contains(@class,"vote-post-up")]/h10/text()').extract()[0]
            # 收藏数
            collection_nums = response.xpath('//span[contains(@class,"bookmark-btn")]/text()').extract()[0]
            match_re = re.match(".*(\d+).*",collection_nums)
            if match_re:
                collection_nums = match_re.group(1)
            #评论数
            commens_nums = response.xpath('//a[@href="#article-comment"]/span/text()').extract()[0]
            match_re = re.match(".*(\d+).*", commens_nums)
            if match_re:
                commens_nums = match_re.group(1)
    
            # 提取正文(保留html格式 不做详细处理)
            content = response.xpath('//div[@class="entry"]').extract()[0]
    
            # 获取标签tag
            tag_list = [i  for i in response.xpath('//p[@class="entry-meta-hide-on-mobile"]/a/text()').extract() if not i.strip().endswith('评论')]
            tags = ",".join(tag_list)
            pass

# css选择器 #

<table> 
 <thead> 
  <tr> 
   <th>表达式</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>*</td> 
   <td>选择所有节点</td> 
  </tr> 
  <tr> 
   <td>#container</td> 
   <td>选择id=container的节点</td> 
  </tr> 
  <tr> 
   <td>.container</td> 
   <td>class = container的节点</td> 
  </tr> 
  <tr> 
   <td>li a</td> 
   <td>li元素下 所有的a节点</td> 
  </tr> 
  <tr> 
   <td>ul + p</td> 
   <td>选择ul后边的第一个p元素(兄弟节点)</td> 
  </tr> 
  <tr> 
   <td>div#container &gt; ul</td> 
   <td>div&lt;id=container&gt; 中的 第一个ul （子元素）</td> 
  </tr> 
  <tr> 
   <td>ul ~ p</td> 
   <td>选取ul相邻的所有p元素</td> 
  </tr> 
  <tr> 
   <td>a[title]</td> 
   <td>有titile这个属性的所有a元素</td> 
  </tr> 
  <tr> 
   <td>a[href=“<a href="http://jobbole.com" rel="nofollow">http://jobbole.com</a>”]</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>a[href*=“jobbole”]</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>a[href^=“http”]</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>a[href$=".jpg"]</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>input[type=radio]:checked</td> 
   <td>选中状态的raido</td> 
  </tr> 
  <tr> 
   <td>div:not(#container)</td> 
   <td>div id 不等于container</td> 
  </tr> 
  <tr> 
   <td>li:nth-child(3)</td> 
   <td>选取第3个li</td> 
  </tr> 
  <tr> 
   <td>tr:nth-child(2n)</td> 
   <td>第偶数个tr</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

scrapy shell
    response.css(".entry-header h1::text").extract()
    # ::是伪类选择器