python 爬虫

分手后的思念是犯贱 2022-03-29 11:56 334阅读 0赞

超级简单，首先先学会python的文件操作，因为要写入到文件中去。python把一切都封装好了，而且非常简洁，也简单。

## 基础 ##

1、导入requests模块

import requests

2、设置url

url = 'http://www.baidu.com'

3、发送请求

result = requests.get(url)

4、获取内容

# 获取二进制内容
    content = result.content

5、获取解码的内容

content = result.content.decode()

6、查看请求头

header = result.request.headers
    print(header)

### User-Agent ###

User Agent中文名为用户代理，简称 UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。  
每个浏览器都会有一个User-Agent，来标识自己的什么浏览器，以及版本等一些信息。服务器在接收请求的时候，会判断这个User-Agent，如果不正常，只返回部分数据。

#### 查看浏览器的UA ####

随便打开一个浏览器，我这里是Chrome。

![2019010815581295.png][]

--------------------

## 小例子，下载百度首页 ##

""" 谷歌代理： Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 S """
    
    import requests
    
    url = 'http://www.baidu.com'
    header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 S'}
    response = requests.get(url, headers=header)
    ret = response.content.decode()
    
    with open('1.html', mode='w', encoding='utf-8') as req:
        req.write(ret)

然后打开1.html  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RpbmtfYmVsbA_size_16_color_FFFFFF_t_70]

[2019010815581295.png]: /images/20220329/7d1f66b8d71d426c89ec221564d0914b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RpbmtfYmVsbA_size_16_color_FFFFFF_t_70]: /images/20220329/06b156bff33e49a3b9160be83b6e12a2.png