Beautifulsoup 爬取页面试题

怼烎@ 2023-08-17 16:05 72阅读 0赞

假设有一个页面，页面中有n道选择题，每道选择题有若干个选项。题干部分用h6 标签标记。选项部分用的是td 下的div 标签。如下图所示：

整个页面是将如下的HTML 段落循环n次。

<div style="" class="qItemType qItemDetail1" value="10000#1" id="quest2436">                                    
        <div>
            <div class="breadcrumb">
                <div>
                    <ul style="list-style-type:none;">
                        <li><h6><a name="qnum1" style="color: red;">第1题.</a>  选一二三还是四五六呢。</h6></li>
                    </ul>
                </div>
                <ul style="list-style-type:none">
                    <li>
                        <table>                                                
                            <tbody><tr>
                                    　<td>
                                        <div>A.一二三</div>        
                                    　</td>
                                    </tr>
                                    <tr>
                                      <td>
                                         <div>B.四五六</div>                    
                                      </td>
                                     </tr>                                            
                             </tbody></table>
                     </li>
                </ul>
            </div>            
    <div>

下面想要用beautifulsoup 库中的方法将页面上的题目和选项提取出来。

首先要引入需要用到的包：

from bs4 import BeautifulSoup
    from urllib import request,parse
    import re

然后可以用多种方法提取页面源码，：

#既可以打开一个html文件：
    soup = BeautifulSoup(open("page_source_code.html"))
    #或者直接传入HTML代码：
    soup = BeautifulSoup("<html>data</html>")
    #也可以发送并且拦截请求：
    url = “http://fake.html”
    response = request.urlopen(url,timeout = 20)
    responseUTF8 = response.read().decode("utf-8")
    soup = BeautifulSoup(responseUTF8,'lxml')

总之，这样我们就得到了一个soup 对象。接下来只要根据对象的标签结构，通过一定方法定位到目标标签，就可以了。

方法一：下面这种方法比较基本，用的是“绝对路径”找寻标签

# 通过观察发现，题干部分全部都是h6标签，和h6标签下的a标签。页面其余部分没有用到h6标签，所以用.find_all方法来抓取所有的题干。得到一个标签 list
    h6lbs = soup.find_all('h6')
    # 定义一个二维数组，用来盛放抓取到的选择题。选择题的题干和选项可作为每一个数组成员的成员。
    item_question = []
    for i in range(len(h6lbs)):
        #定义一个一维数组，可以用来盛放题干和选项。先把刚刚拿到的题干保存进数组中
        item = []
        item.append(h6lbs[i].text)
        #通过以上的HTML 结构可以知道，找到题干后，题干标签的“太爷爷”的“三弟弟”是保存选项的地方，所以这里用了很多个.parent 和 .next_sibling方法，通过绝对路径的方式定位标签
        tag1 = h6lbs[i].parent.parent.parent.next_sibling.next_sibling
        # check if this is choice question. or it must be a Yes/No questionnaire
        if tag1 is not None and tag1.li is not None:
            #刚刚说到太爷爷的三弟弟是存放选项的地方。太爷爷的三弟弟下的li标签下的table标签下的tbody标签下存放了多个选项，从这里开始需要遍历，将每一个选项都提取出
            tag = h6lbs[i].parent.parent.parent.next_sibling.next_sibling.li.table.tbody
            for child in tag.children:
                #因为抓取出来有空对象，所以此处加入了一个判断。如果是None，就不保存了。
                if child.string is None:
                    tag_string = child.td.div.string
                    #遍历每一个标签，取出其中的选项内容，用.string方法
                    #将取到的选项内容加入刚刚创建的一维数组中
                    item.append(tag_string)
            # print(item)
        #将每次得到的一维数组保存进二维数组中
        item_question.append(item)
    print(item_question)

方法二（推荐）：还可以用相对路径的方法定位标签：

#通过观察可以发现，每一个试题都是在一个div标签，并且value 为11111#1，11111#2，11111#3的标签下的。所以我们先将这个标签取到，作为一个参照。re.compile是正则表达式方法
    the_tag = soup.find_all('div',value = re.compile('11111#\d'))
    print(len(the_tag))
    #创建二维数组，用来保存试题
    item_question = []
    for tag in the_tag:
        #创建一维数组，用来保存题干和选项
        item = []
        #遍历刚刚选好的参照标签 
        for child_tag in tag.descendants:
            #每一个参照标签下的h6标签都是题干，提取出来保存。 
            if child_tag.name == "h6":
                item.append(child_tag.get_text("", strip=True))
            #每一个参照标签下的td标签都是选项，提取出来保存
            elif child_tag.name == "td":
                if child_tag.div is not None:
                    item.append(child_tag.div.get_text("", strip=True))
        item_question.append(item)
    print(item_question)

转载于:https://www.cnblogs.com/testertry/p/11516536.html