网络协议从入门到底层原理（11）网络爬虫、无线网络、HTTP缓存、即时通信、流媒体

àì夳堔傛蜴生んèń 2023-01-12 11:37 71阅读 0赞

### 补充知识 ###

*  网络爬虫
 *   *  网络爬虫的简易实例
     *  robots.txt
 *  无线网络
 *  HTTP 缓存（Cache）
 *   *  缓存 - 响应头
     *  缓存 - 请求头
     *  缓存的使用流程
 *  即时通信（IM）
 *   *  XMPP
     *  MQTT
 *  流媒体 - 常见协议（RTP、RTCP、RTSP、RTMP、HLS）

> [【网络协议从入门到底层原理】学习笔记汇总][Link 1]

# 网络爬虫 #

**网络爬虫 (Web Crawler)**，也叫做**网络蜘蛛 (Web Spider)**

*  模拟人类使用浏览器操作页面的行为，对页面进行相关的操作
 *  常用爬虫工具：Python 的 [Scrapy][]框架  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_1_color_FFFFFF_t_70]

> **网络爬虫 - 搜索引擎**  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_1_color_FFFFFF_t_70 1]

## 网络爬虫的简易实例 ##

可以使用Java的一个小框架**Jsoup**爬一些简单的数据

*  jar包：jsoup、commons-io  
    [https://jsoup.org/packages/jsoup-1.13.1.jar][https_jsoup.org_packages_jsoup-1.13.1.jar]  
    [https://mirror.bit.edu.cn/apache//commons/io/binaries/commons-io-2.8.0-bin.zip][https_mirror.bit.edu.cn_apache_commons_io_binaries_commons-io-2.8.0-bin.zip]
 *  爬取目标：[https://ext.se.360.cn/webstore/categor][https_ext.se.360.cn_webstore_categor]

import org.apache.commons.io.FileUtils;
    import org.jsoup.Jsoup;
    import org.jsoup.nodes.Document;
    import org.jsoup.nodes.Element;
    import org.jsoup.select.Elements;
    import java.io.File;
    import java.net.URL;
    
    public class Main { 
        public static void main(String[] args) throws Exception { 
            // 请求网站：https://ext.se.360.cn/webstore/category
            // Jsoup使用CSS选择器来查找元素
            String dir = "C:/Users/yusael/Desktop/imgs/"; // 爬取后的存放路径
            String url = "https://ext.se.360.cn/webstore/category";
            Document doc = Jsoup.connect(url).get();
            Elements eles = doc.select(".applist .appwrap");
            for (Element ele : eles) { 
                String img = ele.selectFirst("img").attr("src");
                String title = ele.selectFirst("h3").text();
                String intro = ele.selectFirst(".intro").text();
    
                // 下载图片
                String filepath = dir + (title + ".png");
                FileUtils.copyURLToFile(new URL(img), new File(filepath));
            }
        }
    }

## robots.txt ##

robots.txt 是存放于网站根目录下的文本文件，比如 [https://www.baidu.com/robots.txt][https_www.baidu.com_robots.txt]

*  **用来告诉爬虫：哪些内容是不应被爬取的，哪些是可以被爬取的**
 *  因为一些系统中的URL是大小写敏感的，所以 robots.txt 的**文件名应统一为小写**

robots.txt 并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私

*  只能防君子，不能防小人
 *  无法阻止不讲 “武德” 的年轻爬虫爬取隐私信息

> 一般格式：  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_1_color_FFFFFF_t_70 2]

> 例如：京东的 robots.txt：[https://www.jd.com/robots.txt][https_www.jd.com_robots.txt]
> 
>     User-agent: * 
>     Disallow: /?* 
>     Disallow: /pop/*.html 
>     Disallow: /pinpai/*.html?* 
>     User-agent: EtaoSpider 
>     Disallow: / 
>     User-agent: HuihuiSpider 
>     Disallow: / 
>     User-agent: GwdangSpider 
>     Disallow: / 
>     User-agent: WochachaSpider 
>     Disallow: /
> 
> 京东不允许 EtaoSpider、HuihuiSpider、GwdangSpider、WochachaSpider 爬取网站所有网页；  
> 京东不允许一般用户爬取根目录下pop目录里所有html网页 (`Disallow: /pop/*.html`)，pinpai目录里所有html带`?`问号的页面 (`Disallow: /pinpai/*.html?*`)；  
> 不允许一般用户爬取根目录下带`?`问号的所有页面 (`Disallow: /?*`)。  
> 除了这些外，其他的都可以爬取。

# 无线网络 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_1_color_FFFFFF_t_70 3]

# HTTP 缓存（Cache） #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_1_color_FFFFFF_t_70 4]  
实际上，HTTP 的缓存机制远远比上图的流程要复杂

通常会缓存的情况是：**GET请求 + 静态资源（比如HTML、CSS、JS、图片等）**

Ctrl + F5：可以强制刷新缓存

## 缓存 - 响应头 ##

**Pragma**：作用类似于Cache-Control，HTTP/1.0的产物

**Expires**：缓存的过期时间 (GMT格式时间)，HTTP/1.0的产物

> 在http协议中规定，所有时间都要转换为GMT时间，例如date: Sat, 19 May 2018 17:17:24 GMT

**Cache-Control**：设置缓存策略

*  **no-storage**：不缓存数据到本地
 *  **public**：允许用户、代理服务器缓存数据到本地
 *  **private**：只允许用户缓存数据到本地
 *  **max-age**：缓存的有效时间（多长时间不过期），单位**秒**
 *  **no-cache**：每次需要发请求给服务器询问缓存是否有变化，再来决定如何使用缓存

> 优先级：Pragma > Cache-Control > Expires

**Last-Modified**：资源的最后一次修改时间

**ETag**：资源的唯一标识（根据文件内容计算出来的摘要值）

> 优先级：ETag > Last-Modifie

## 缓存 - 请求头 ##

**If-None-Match**

*  如果上一次的响应头中有ETag，就会将ETag的值作为请求头的值
 *  服务器发现资源的最新摘要值跟If-None-Match不匹配，就会返回新的资源 (200 OK)
 *  否则，就不会返回资源的具体数据 (304 Not Modified)

**If-Modified-Since**

*  如果上一次的响应头中没有ETag，有Last-Modified，就会将Last-Modified的值作为请求头的值
 *  如果服务器发现资源的最后一次修改时间晚于If-Modified-Since，就会返回新的资源 (200 OK)
 *  否则，就不会返回资源的具体数据 (304 Not Modified)

--------------------

Last-Modified 缺陷

*  只能精确到**秒**级别，如果资源在1秒内被修改了，客户端将无法获取最新的资源数据
 *  如果某些资源被修改了（最后一次修改时间发生了变化），但是内容并没有任何变化  
    （比如在文本中敲个空格再删除）会导致相同数据重复传输，没有使用到缓存

ETag 可以办到

*  只要资源的内容没有变化，就不会重复传输资源数据
 *  只要资源的内容发生了变化，就会返回最新的资源数据给客户端

## 缓存的使用流程 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_1_color_FFFFFF_t_70 5]

# 即时通信（IM） #

**即时通信 (Instant Messaging，简称IM)**，平时用的QQ、微信，都属于典型的IM应用

国内的IM开发者社区：[http://www.52im.net/][http_www.52im.net]

IM云服务：[网易云信][Link 2]、[腾讯云][Link 3]、[环信][Link 4]等

常用的协议：XMPP、MQTT、自定义协议

## XMPP ##

**XMPP (Extensible Messaging and Presence Protocol)**

*  译为：**可扩展消息与存在协议**，前身是Jabber
 *  基于TCP，默认端口5222、5269

特点

*  使用**XML**格式进行传输，体积较大
 *  专为IM而开发的、比较成熟的IM协议，开发者接入方便  
    ![在这里插入图片描述][20210128233616658.png]

## MQTT ##

**MQTT (Message Queuing Telemetry Transport)，消息队列遥测传输**

*  基于TCP，默认端口1883、8883（带SSL/TLS）

特点

*  开销很小，以降低网络流量，信息冗余远小于XMPP
 *  不是专门为IM设计的协议，很多功能需要自己实现
 *  很多人认为MQTT是最适合 **物联网 (IoT，Internet of Things)** 的网络协议

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_16_color_FFFFFF_t_70]

# 流媒体 - 常见协议（RTP、RTCP、RTSP、RTMP、HLS） #

**流媒体 (Streaming Media)**，又叫**流式媒体**

*  是指将一连串的多媒体数据压缩后，经过互联网分段发送数据，在互联网上即时传输影音以供观赏的一种技术
 *  此技术使得资料数据包得以像流水一样发送，不使用此技术，就必须在使用前下载整个媒体文件

**RTP (Real-Time Transport Protocol)**，**实时传输协议**

*  参考：[RFC 3550][]、[RFC 3551][]，基于UDP

**RTCP (Real-Time Transport Control Protocol)**，**实时传输控制协议**

*  参考：[RFC 3550][]，基于UDP，使用RTP的下一个端口

**RTSP (Real-Time Streaming Protocol)，实时流协议**，参考：[RFC 7820][]

*  基于TCP、UDP的554端口

**RTMP (Real-Time Messaging Protocol)，实时消息传输协议**，由Adobe公司出品

*  默认基于TCP的1935端口

**HLS (HTTP Live Streaming)**，苹果公司出品，参考：[RFC 821][]

*  基于HTTP的流媒体网络传输协议

[Link 1]: https://blog.csdn.net/weixin_43734095/article/details/112449428
[Scrapy]: https://scrapy.org/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_1_color_FFFFFF_t_70]: /images/20221119/3e3727bc98e644bcac21dd78cb526670.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_1_color_FFFFFF_t_70 1]: /images/20221119/2ef97e8282024d098935e792d2c30f57.png
[https_jsoup.org_packages_jsoup-1.13.1.jar]: https://jsoup.org/packages/jsoup-1.13.1.jar
[https_mirror.bit.edu.cn_apache_commons_io_binaries_commons-io-2.8.0-bin.zip]: https://mirror.bit.edu.cn/apache//commons/io/binaries/commons-io-2.8.0-bin.zip
[https_ext.se.360.cn_webstore_categor]: https://ext.se.360.cn/webstore/categor
[https_www.baidu.com_robots.txt]: https://www.baidu.com/robots.txt
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_1_color_FFFFFF_t_70 2]: /images/20221119/00a056c912ce4bdf83806e5607d6ddaf.png
[https_www.jd.com_robots.txt]: https://www.jd.com/robots.txt
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_1_color_FFFFFF_t_70 3]: /images/20221119/1a17b325b40a4062aeb2889eb3e2456f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_1_color_FFFFFF_t_70 4]: /images/20221119/136354a30c9b4cfdb8c0c9f141d0e752.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_1_color_FFFFFF_t_70 5]: /images/20221119/e6326c6cf1554e4fb8c83d5f58a02f55.png
[http_www.52im.net]: http://www.52im.net/
[Link 2]: https://netease.im/
[Link 3]: https://cloud.tencent.com/product/im
[Link 4]: https://www.easemob.com/
[20210128233616658.png]: /images/20221119/10783cd28c3840239d11345313df8c3c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_16_color_FFFFFF_t_70]: /images/20221119/aeba1de89ce5466f91550a5833343f43.png
[RFC 3550]: https://tools.ietf.org/html/rfc3550
[RFC 3551]: https://tools.ietf.org/html/rfc3551
[RFC 7820]: https://tools.ietf.org/html/rfc7820
[RFC 821]: https://tools.ietf.org/html/rfc8216