Python爬虫基础讲解（三）：网络面板

缺乏、安全感 2023-01-20 08:06 40阅读 0赞

### **Python爬虫、数据分析、网站开发等案例教程视频免费在线观看** ###

https://space.bilibili.com/523606542

# [Python学习交流群：1039649593][Python_1039649593] #

网络(Network)面板记录页面上每个网络操作的相关信息，包括详细的耗时数据、HTTP请求与响应标头和Cookie，等等。这就是我们通常说的抓包。

![fed2d6972bf5604e75614473c8adaf1c.png][]

# 工具箱 #

![ecd5780cc4abbedf31dfa6a3880700b1.png][]

### Stop recording network log ###

默认情况下，只要开发者工具在开启状态，会记录所有的网络请求，当然，记录都是在Network 面板展示的。红色表示开启，灰色表示关闭。

### Clear ###

清空所有数据，每一次重新分析是都需要清空之前的数据。

### Filter ###

数据包过滤器。红色表示打开，蓝色表示关闭。

经常来使用它来过滤出一些HTTP请求，例如过滤出使用Ajax发起的异步请求、图片、视频等。

最大的窗格叫 **Requests Table**，此表格会列出了检索的每一个HTTP请求。默认情况下，此表格按时间顺序排序，最早的资源在顶部。点击资源的名称可以显示更多信息。

![4a26fe1d871fbb89361e9666e0b1fcd2.png][]

Requests Table参数:

*  **all**：所有请求数据（图片、视频、音频、js代码、css代码\*)
 *  **XHR**：XMLHttpRequest的缩写，是ajax技术的核心，动态加载完成经常分析的一个内容\* \* \* **css**：css样式文件
 *  **JS**：JavaScript文件，js解密是常分析的一个页面
 *  **lmg**：lmages图片文件
 *  **Font**：字体文件（字体反扒)
 *  **DoC**：Document，文档内容
 *  **wS**：WebSocket，web端的socket数据通信，一般用于一些实时更新的数据
 *  **Manifest**：显示通过manifest缓存的资源。包括很多信息，如js库文件会显示文件地址、大小和类型;

### Search ###

搜索框，只要在ALL里面出现的过的内容，就可以被直接搜索到。常用与数据检索与JS解密

### reserve log ###

保留日志。当分析在多个页面跳转的内容时，一定要勾上，不然当页面发生新的跳转是，历史数据全部都会被清空。保留日志，做爬虫是一定需要勾上

### Disable cache ###

清空JavaScript、css文件的缓存，获取最新的。

### Hide data URLS ###

用于是否隐藏dataurl，那么什么是dataurl呢?传统的通常img标记的src属性指定了一个远程服务器的资源，浏览器针对每个外部资源需要向服务器发送一次拉取资源请求。而Data URL技术是图片数据以base64字符串格式嵌入到了页面中，和HTML融为一体。

# Requests详情: #

### 请求头 ###

**Headers**是显示HTTP请求的 Headers，我们通过这个能看到请求的方式，以及携带的请求参数等。

*  **General**  
    **Request url** ：实际请求的网址  
    **Request Method**：请求方法  
    **Status Code**：状态码，成功时为200
 *  **Response Headers**  
    服务器返回时设置的一些数据，例如服务器更新的cookie数据最新是在这里出现修改
 *  **Requests Headers**  
    请求体，请求不到数据的原因一般出在这里。反扒也是反扒请求体里面的数据Accept:服务器接收的数据格式（一般忽略)  
    **Accept-Encoding**：服务器接收的编码（—般忽略)  
    **Accept-Language**：服务器接收的语言(一般忽略)  
    **Connection**：保持连接（一般忽略)  
    **Cookies**： cookies信息，是身份信息，爬取VIP资源是需要携带身份信息  
    **Host**：请求的主机地址  
    **User-Agent**：用户身份代理，服务器根据这个判断用户的大概信息  
    **Sec-xxx-xXx**：其他信息，可能没用，可能是反扒。具体情况具体分析

### 预览 ###

**Preview**是请求结果的预览。一般用来查看请求到的图片，对于抓取图片网站比较给力。

### 响应体 ###

**Response**是请求返回的结果。一般的内容是整个网站的源代码。如果该请求是异步请求，返回的结果内容一般是Json文本数据。

此数据与浏览器展示的网页可能不一致，因为浏览器是动态加载的

[Python_1039649593]: https://jq.qq.com/?_wv=1027&k=SBLaYU2c
[fed2d6972bf5604e75614473c8adaf1c.png]: /images/20221021/7f848657825146f4847c9045c8311a3f.png
[ecd5780cc4abbedf31dfa6a3880700b1.png]: /images/20221021/3d43629a666842c7973b49867553ebbe.png
[4a26fe1d871fbb89361e9666e0b1fcd2.png]: /images/20221021/a129d9fabcaa429799adf1bcbbec6641.png