爬虫入门第一章

雨点打透心脏的1/2处 2022-12-06 05:48 221阅读 0赞

## 什么是爬虫 ##

> 简单理解就是获取网络上面的数据 比如爬取视频，小说，图片，音乐等等

## 直接开始 ##

为什么不介绍爬虫的历史，以及一些详细的东西，学习一个东西，为什么非要去学前面那么多没有用的呢？我们哪里不会学哪里，虽然听着不靠谱，但学起来节约时间

## 爬虫的核心 ##

1.你要爬什么（好确定爬取界面的具体网址）
    2.怎么只爬下来你想要的（专业术语，数据解析）
    	有这三种方式（正则，xpath,BeautifulSoup）
    3.爬下来的数据是直接打印还是存起来(数据存储)

## 基本思路 ##

1.爬取的网页地址
    	（1）可能是分页的，多页或整站的
    2.如何从爬取到的网页中，筛选出想要的数据
    	（1）正则表达式
    	 （2）b4
    	 （3）xpath
    3.存储到本地还是数据库，是什么形式的
    	（1）可以保存为txt
    	（2）可以保存成excel
    	 等多种格式

###### 第一个案例爬取百度界面 ######

import requests #导入要进行爬取的包
    url='https://www.baidu.com'#既然要爬取那就要知道具体的位置
    page=requests.get(url).text.encode('utf-8')#将爬取到的文本赋值给变量
    print(page)#打印出来爬取的结果

## 爬取P站图片 ##

import requests
    import re
    # 导入需要的包
    url="http://acg17.com/65482.html"
    #要爬取的地址
    res=requests.get(url).text
    #获取到爬取下来的页面内容
    pic_url=re.findall(r"https:.+\.jpg",res)
    #使用正则解析
    add='https://ae01.alicdn.com/kf/HTB18ehESIfpK1RjSZFOq6y6nFXaf.jpg'
    
    with open('nv.jpg','wb') as op:
        q=requests.get(add).content
        op.write(q)
    #保存
    for key in pic_url:
        print(key)
    #输出

发表评论取消回复

表情：

评论列表（有 0 条评论，221人围观）

还没有评论，来说两句吧...

相关阅读

相关第一章Java开发入门

学习目标： 1.JAVA如何实现跨平台？ 2.了解 JDK、JVM、JRE开发环境。 3.掌握 jdk 8.0 LTS 开发环境。 4.掌握 jdk 17.0 LT

- 日理万妓/ 2024年03月16日 07:23/ 0 赞/ 90 阅读

相关第一章 RocketMQ入门笔记

一、RocketMQ介绍 kafka最初是LinkedIn的一个内部基础设施系统。最初开发的起因是LinkedIn虽然有了数据库和其他系削峰填谷的能力，同时也具备互联网应

╰半橙微兮°/ 2023年06月11日 14:26/ 0 赞/ 209 阅读

相关第一章 kafka入门笔记

一、Kafka简介 1、什么是Kafka kafka最初是LinkedIn的一个内部基础设施系统。最初开发的起因是LinkedIn虽然有了数据库和其他系统可以用来存

电玩女神/ 2023年06月08日 15:59/ 0 赞/ 429 阅读

相关第一章 zookeeper入门

1.1概述 zookeeper 是一个开源的分布式，为分布式应用提高协调服务的apache项目实质： zookeeper =文件系统+通知机制 zookeeper

谁践踏了优雅/ 2022年12月27日 09:23/ 0 赞/ 153 阅读

相关第一章linux入门

文章目录思维脑图：第一章：Linux 入门 1.1 Linux 的介绍 1. 概述 2. 操作系统

电玩女神/ 2022年12月11日 13:48/ 0 赞/ 171 阅读

相关爬虫入门第一章

什么是爬虫 > 简单理解就是获取网络上面的数据比如爬取视频，小说，图片，音乐等等直接开始为什么不介绍爬虫的历史，以及一些详细的东西，学习一个东西，为什么非要

雨点打透心脏的1/2处/ 2022年12月06日 05:48/ 0 赞/ 222 阅读

相关爬虫入门第一课

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][] 什么叫爬虫？ 1. spider

淩亂°似流年/ 2022年10月02日 00:56/ 0 赞/ 226 阅读

相关 Python爬虫入门第一章 Requests库入门

第一章 Requests库入门 1. 使用命令行安装： > pip install requests 2. Requests库的7个主要方法 <table>

缺乏、安全感/ 2022年06月18日 05:10/ 0 赞/ 317 阅读

相关第一章-入门

第1章-入门让我们开始我们的tango之旅吧。在开始之前，我们需要确定tango包被正确的安装和配置。关于tango的安装配置信息在附录B里透彻地讲解，在开始这里

悠悠/ 2022年05月12日 15:50/ 0 赞/ 316 阅读

相关第一章--什么是网络爬虫

文章目录初识网络爬虫网络爬虫的组成网络爬虫的类型爬虫扩展--聚焦爬虫网络爬虫技能总览

电玩女神/ 2022年04月17日 05:55/ 0 赞/ 258 阅读