python3 编写原生爬虫 --爬虫入门

「爱情、让人受尽委屈。」 2022-04-01 03:40 337阅读 0赞

> **使用 python3 抓取,csdn [某篇文章][Link 1] 的标题,注释写的很全就不多废话了**

#coding=utf-8
    from urllib import request
    import re
    
    class Spider():
        #我要爬取的链接
        start_url = "https://blog.csdn.net/weixin_42144379/article/details/85332330"
        # 目标内容的正则
        regex = '<h1 class="title-article">([\s\S]*?)</h1>'
    
        #抓取内容,默认 url 参数为 start_url
        def getContent(self,url = start_url):
            #发送请求,获取请求数据
            source = request.urlopen(self.start_url)
            #读取请求数据,直接读取的是 byte
            html = source.read()
            #把读取的数据转为 utf-8 字符串
            html = str(html, encoding="utf-8")
            #打印抓取的网页
            print(html)
            return html
    
        def parse(self,url=start_url):
            #调用上的方法,抓取网页
            html = self.getContent(url)
            #使用正则,抓取标题
            title = re.findall(self.regex,html)
            #打印标题,re.findall 获取的是一个 list
            print(title)
    #实例化爬虫,运行程序
    Spider().parse()

> **如果报错,少了 urllib  网络库 re 正则库,请使用 pip 安装 **
> 
> **python 爬虫 最主要的是 对 urllib 里面 request 和 regex (正则) 的运用**

[Link 1]: https://blog.csdn.net/weixin_42144379/article/details/85332330

发表评论取消回复

表情：

评论列表（有 0 条评论，337人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python3网络爬虫快速入门：打造高效爬虫程序

Python3网络爬虫快速入门：打造高效爬虫程序网络爬虫是一种高效获取互联网信息的工具。Python语言优美简洁的语法和强大的库支持，使得编写网络爬虫程序变得非常容易。本文

不念不忘少年蓝@/ 2024年03月25日 01:25/ 0 赞/ 45 阅读

相关 python python3 爬虫模板、爬虫功能大全

欢迎补充、欢迎点赞~~~ coding:utf-8 import time import json import random i

超、凢脫俗/ 2023年05月31日 07:21/ 0 赞/ 18 阅读

相关 python3+Scrapy爬虫入门

创建项目 > scrapy startproject douban ![在这里插入图片描述][20200619103551518.png] 红框中是指出创建一个新爬

Love The Way You Lie/ 2023年02月19日 05:24/ 0 赞/ 58 阅读

相关 Python爬虫入门

Python爬虫入门之初识爬虫 > 简单介绍Python爬虫相关的知识文章目录 Python爬虫入门之初识爬虫 1. 什么是爬虫？

快来打我*/ 2023年01月01日 03:49/ 0 赞/ 273 阅读

相关 06-python爬虫库urllib，开始编写python爬虫代码

终于要开始写爬虫代码了我们首先了解一下 Urllib 库，它是 Python 内置的 HTTP 请求库，也就是说我们不需要额外安装即可使用，它包含四个模块：第一个

Myth丶恋晨/ 2022年12月09日 05:00/ 0 赞/ 280 阅读

相关 python网络爬虫入门小程序_python编写爬虫小程序的方法

\ coding:utf-8 import urllib domain = 'http://www.liaoxuefeng.com' \廖雪峰的域名 path = r'C

待我称王封你为后i/ 2022年10月28日 00:54/ 0 赞/ 227 阅读

相关 python3 爬虫-入门

1.最简单的爬虫爬百度的首页，并打印数据： -- coding: utf-8 -- 导入库 from urllib import requ

太过爱你忘了你带给我的痛/ 2022年06月14日 12:15/ 0 赞/ 489 阅读

相关 python3 爬虫入门

这里爬取猫眼电影 TOP100 榜的信息，作为学习的第一个Demo。今天开始接触的python,从爬虫开始。语言相对来说比较简单，环境配置到是花了不少时间。作为

悠悠/ 2022年06月09日 10:07/ 0 赞/ 291 阅读

相关 python3 编写原生爬虫 --爬虫入门

> 使用 python3 抓取,csdn [某篇文章][Link 1] 的标题,注释写的很全就不多废话了 coding=utf-8 from urllib i

「爱情、让人受尽委屈。」/ 2022年04月01日 03:40/ 0 赞/ 338 阅读

相关 python爬虫入门

python爬虫入门之爬取小说 [https://blog.csdn.net/qq\_41813030/article/details/82764061][https_b

ゞ浴缸里的玫瑰/ 2021年11月09日 05:52/ 0 赞/ 453 阅读