SpringCloud-2.0-周阳（22. 流量监控 - Sentinel）

清疚 2023-09-28 12:20 5阅读 0赞

[上一篇 ：21. Sentinel 环境搭建][_21. Sentinel]  
[下一篇 ：23. 熔断降级 - Sentinel][_23. _ - Sentinel]

*  **声明：原文作者：csdn：yuan\_404**

### 文章目录 ###

*  1 . 流控规则介绍
 *  2 . 流控模式演示
 *   *  2.1 直接（默认的）
     *  2.2 关联
     *  2.3 链路
 *  3 . 流控效果演示
 *   *  3.1 快速失败（默认的）
     *  3.2 Warm Up（预热）
     *  3.3 排队等待
 *  4 . 热点 key 限流
 *   *  4.1 简介
     *  4.2 备选方案
     *  4.3 热 Key 配置
     *  4.4 参数例外项
 *  5 . 系统规则

# 1 . 流控规则介绍 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70][]

*  **资源名**:

> 唯一名称，默认请求路径

*  **针对来源**:

> [Sentinel][]可以针对调用者进行限流，填写微服务名，默认default (不区分来源)

*  **阈值类型/单机阈值** :

>  *  **QPS** ：表示每秒钟的请求数量，当调用该 api 的 QPS 达到阈值的时候，进行限流。
>  *  **线程数** : 当调用该 api 的线程数达到阈值的时候，进行限流

*  **流控模式**

>  *  **直接** : api 达到限流条件时，直接限流  
>     心
>  *  **关联** : 当关联的资源达到阈值时，就限流自己
>  *  **链路** : 只记录指定链路上的流量（指定资源从入口资源进来的流量，如果达到阈值，就进行限流)【api级别的针对来源】

*  **流控效果**:

>  *  **快速失败** : 直接失败，抛异常
>  *  **Warm Up** : 根据codeFactor(冷加载因子，默认3)的值，从阈值codeFactor，经过预热时长，才达到设置的QPS阈值
>  *  **排队等待** : 匀速排队，让请求以匀速的速度通过，阈值类型必须设置为QPS，否则无效

# 2 . 流控模式演示 #

## 2.1 直接（默认的） ##

*  **api 达到限流条件时，直接限流**

1.  为 /testA 请求设置流控规则  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 1][]
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 2][]
2.  查看流控规则  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 3][]
3.  发出请求，体验限流

*  先是一秒点一次，可以正常访问  
    ![20201220153430164.png][]
 *  连续点几次，出现提示语句  
    ![20201220153509770.png][]

## 2.2 关联 ##

*  **当关联的资源达到阈值时，就限流自己**
 *  实际场景 ：对于同级别的服务，比如 **下单、支付** 两个服务，当 **支付** 流量过高，撑不住了，就限制一下 **下单** 服务，把资源留给 **支付** 服务，先撑过去。

1.  修改上面建立的流控规则  
    ![2020122015443518.png][]
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 4][]
2.  使用 PostMan 发出请求，体验限流  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 5][]
    
    ![20201220155526808.png][]
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 6][]
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 7][]
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 8][]
3.  访问 /testA  
    ![20201220160101936.png][]

## 2.3 链路 ##

*  **只记录指定链路上的流量（指定资源从入口资源进来的流量，如果达到阈值，就进行限流)【api级别的针对来源】**

1.  修改上面建立的流控规则  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 9][]
2.  使用 Postman 对 /testB 进行连续访问  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 10][]
3.  访问 /testA  
    ![20201220161342277.png][]
    
    因为从 资源入口 进入的请求过多，所以 testA 被限流

# 3 . 流控效果演示 #

## 3.1 快速失败（默认的） ##

*  就是上面一直出现的提示界面  
    ![20201220161806997.png][]

## 3.2 Warm Up（预热） ##

*  官方说明 ：[https://github.com/alibaba/Sentinel/wiki/%E6%B5%81%E9%87%8F%E6%8E%A7%E5%88%B6][https_github.com_alibaba_Sentinel_wiki_E6_B5_81_E9_87_8F_E6_8E_A7_E5_88_B6]
    
    ![20201220162249716.png][]
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 11][]
 *  冷加载因子 ：默认 coldFactor 为 3，即请求 QPS 从 threshold/3 开始，经预热时长逐渐升至设定的QPS[阈值][Link 1]。
 *  限流 冷启动 ：[https://github.com/alibaba/Sentinel/wiki/%E9%99%90%E6%B5%81—%E5%86%B7%E5%90%AF%E5%8A%A8][https_github.com_alibaba_Sentinel_wiki_E9_99_90_E6_B5_81_E5_86_B7_E5_90_AF_E5_8A_A8]

1.  修改 流控效果  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 12][]
2.  一直发出 /testA 请求
    
    发现刚开始提示 Blocked by Sentinel(flow limiting) 的频率比较高
    
    越往后频率越低
    
    最后几乎不会出现
    
    这就是阈值再慢慢**预热**的过程

## 3.3 排队等待 ##

*  让请求以匀速的速度通过，阈值类型必须设置为QPS，否则无效
 *  每个请求，愿意等就等，不愿意等就超时重试

1.  修改 流控效果  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 13][]
2.  在 Controller 中添加一行输出语句，打印时间  
    ![20201220165527260.png][]
3.  使用 Postman 模拟大量请求  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 14][]
4.  观察控制台  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 15][]

# 4 . 热点 key 限流 #

## 4.1 简介 ##

*  官方文档 ：[https://github.com/alibaba/Sentinel/wiki/热点参数限流][https_github.com_alibaba_Sentinel_wiki]
 *  何为热点？

>  *  热点即经常访问的数据。很多时候我们希望统计某个热点数据中访问频次最高的 Top K 数据，并对其访问进行限制。
>  *  比如：
>  *  商品 ID 为参数，统计一段时间内最常购买的商品 ID 并进行限制
>  *  用户 ID 为参数，针对一段时间内频繁访问的用户 ID 进行限制

## 4.2 备选方案 ##

*  在 Hystrix 中某个方法被降级了、熔断了，都有一个备选方案兜底，这里也类似
 *  每次服务出现问题页面都会提示 Blocked by Sentinel(flow limiting) ，能不能把它替换成我们自己的方案
 *  可以，需要用到注解 —— @SentinelResource

1.  修改 Controller ，加入备选方案
    
        @GetMapping("/testHotKey")
            @SentinelResource(value = "testHotKey", blockHandler = "deal_testHotKey")
            public String hotKeyTest(@RequestParam(value = "p1", required = false)String p1,
                                     @RequestParam(value = "p2", required = false)String p2){
              
                return "===== (*^_^*) 成功了 (*^_^*) =====";
            }
            public String deal_testHotKey(String p1, String p2, BlockException exception){
              
                return "===== (ㄒoㄒ) 失败了 (ㄒoㄒ) =====";
            }
2.  测试
    
    访问 ：[http://localhost:8401/testHotKey][http_localhost_8401_testHotKey]
    
    ![20201220201231514.png][]

## 4.3 热 Key 配置 ##

1.  配置热点规则  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 16][]
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 17][]
2.  发出请求并带上 p1 参数
    
    访问 ：[http://localhost:8401/testHotKey?p1=aaa][http_localhost_8401_testHotKey_p1_aaa]
    
    如果 1 秒点一下，可以正常访问，但是 1 秒内，连续请求，就会走备选方案
    
    ![20201220202048477.png][]

## 4.4 参数例外项 ##

*  上述情况，不论被监控的参数传入的是何值，都会进行判断，并限流
 *  但是有些时候有些特殊值，希望它的阈值和其他不一样，就要使用该配置
 *  比如说：p1 传入 aaa 时的阈值可以允许达到 100，但是其他值只能达到 10

1.  修改 热 Key 配置 添加 参数例外项  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 18][]
2.  先传入普通值测试 ：[http://localhost:8401/testHotKey?p1=abcd][http_localhost_8401_testHotKey_p1_abcd]
    
    ![2020122020355981.png][]
3.  设置 JMeter  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 19][]
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 20][]
    
    ![20201221001605833.png][]
4.  启动 JMeter ，再传入特殊值测试 ：[http://localhost:8401/testHotKey?p1=aaa][http_localhost_8401_testHotKey_p1_aaa]  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 21][]

# 5 . 系统规则 #

*  官方文档 ：[https://github.com/alibaba/Sentinel/wiki/%E7%B3%BB%E7%BB%9F%E8%87%AA%E9%80%82%E5%BA%94%E9%99%90%E6%B5%81  
    ][https_github.com_alibaba_Sentinel_wiki_E7_B3_BB_E7_BB_9F_E8_87_AA_E9_80_82_E5_BA_94_E9_99_90_E6_B5_81]
 *  说明 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 22][]
 *  系统规则的配置说明
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 23][]

>  *  **Load 自适应（仅对 Linux/Unix-like 机器生效）**：系统的 load1 作为启发指标，进行自适应系统保护。当系统 load1 超过设定的启发值，且系统当前的并发线程数超过估算的系统容量时才会触发系统保护（BBR 阶段）。系统容量由系统的 maxQps \* minRt 估算得出。设定参考值一般是 CPU cores \* 2.5。
>  *  **CPU usage（1.5.0+ 版本）**：当系统 CPU 使用率超过阈值即触发系统保护（取值范围 0.0-1.0），比较灵敏。
>  *  **平均 RT**：当单台机器上所有入口流量的平均 RT 达到阈值即触发系统保护，单位是毫秒。
>  *  **并发线程数**：当单台机器上所有入口流量的并发线程数达到阈值即触发系统保护。
>  *  **入口 QPS**：当单台机器上所有入口流量的 QPS 达到阈值即触发系统保护。

*  **设置 `入口 QPS` 演示**  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 24][]
    
    测试，访问 ：[http://localhost:8401/testA][http_localhost_8401_testA]  
    ![20201221185950337.png][]
    
    测试其他请求也都一样

[_21. Sentinel]: https://blog.csdn.net/Mango_Bin/article/details/125475439
[_23. _ - Sentinel]: https://blog.csdn.net/Mango_Bin/article/details/125475534?spm=1001.2014.3001.5501
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20201220152107730.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA==,size_16,color_FFFFFF,t_70
[Sentinel]: https://so.csdn.net/so/search?q=Sentinel&spm=1001.2101.3001.7020
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20201220153140169.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20201220153220169.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20201220153258450.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA==,size_16,color_FFFFFF,t_70
[20201220153430164.png]: https://img-blog.csdnimg.cn/20201220153430164.png
[20201220153509770.png]: https://img-blog.csdnimg.cn/20201220153509770.png
[2020122015443518.png]: https://img-blog.csdnimg.cn/2020122015443518.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20201220154620855.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20201220155456107.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA==,size_16,color_FFFFFF,t_70
[20201220155526808.png]: https://img-blog.csdnimg.cn/20201220155526808.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20201220155606736.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20201220155704528.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20201220160410656.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA==,size_16,color_FFFFFF,t_70
[20201220160101936.png]: https://img-blog.csdnimg.cn/20201220160101936.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20201220161511604.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20201220161611449.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA==,size_16,color_FFFFFF,t_70
[20201220161342277.png]: https://img-blog.csdnimg.cn/20201220161342277.png
[20201220161806997.png]: https://img-blog.csdnimg.cn/20201220161806997.png
[https_github.com_alibaba_Sentinel_wiki_E6_B5_81_E9_87_8F_E6_8E_A7_E5_88_B6]: https://github.com/alibaba/Sentinel/wiki/%E6%B5%81%E9%87%8F%E6%8E%A7%E5%88%B6
[20201220162249716.png]: https://img-blog.csdnimg.cn/20201220162249716.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/20201220162311901.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA==,size_16,color_FFFFFF,t_70
[Link 1]: https://so.csdn.net/so/search?q=%E9%98%88%E5%80%BC&spm=1001.2101.3001.7020
[https_github.com_alibaba_Sentinel_wiki_E9_99_90_E6_B5_81_E5_86_B7_E5_90_AF_E5_8A_A8]: https://github.com/alibaba/Sentinel/wiki/%E9%99%90%E6%B5%81---%E5%86%B7%E5%90%AF%E5%8A%A8
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 12]: https://img-blog.csdnimg.cn/20201220162949358.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 13]: https://img-blog.csdnimg.cn/20201220164416604.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA==,size_16,color_FFFFFF,t_70
[20201220165527260.png]: https://img-blog.csdnimg.cn/20201220165527260.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 14]: https://img-blog.csdnimg.cn/20201220165240249.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 15]: https://img-blog.csdnimg.cn/20201220165622694.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA==,size_16,color_FFFFFF,t_70
[https_github.com_alibaba_Sentinel_wiki]: https://github.com/alibaba/Sentinel/wiki/%E7%83%AD%E7%82%B9%E5%8F%82%E6%95%B0%E9%99%90%E6%B5%81
[http_localhost_8401_testHotKey]: http://localhost:8401/testHotKey
[20201220201231514.png]: https://img-blog.csdnimg.cn/20201220201231514.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 16]: https://img-blog.csdnimg.cn/20201220201415880.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 17]: https://img-blog.csdnimg.cn/20201220201736497.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA==,size_16,color_FFFFFF,t_70
[http_localhost_8401_testHotKey_p1_aaa]: http://localhost:8401/testHotKey?p1=aaa
[20201220202048477.png]: https://img-blog.csdnimg.cn/20201220202048477.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 18]: https://img-blog.csdnimg.cn/20201220203211376.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA==,size_16,color_FFFFFF,t_70
[http_localhost_8401_testHotKey_p1_abcd]: http://localhost:8401/testHotKey?p1=abcd
[2020122020355981.png]: https://img-blog.csdnimg.cn/2020122020355981.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 19]: https://img-blog.csdnimg.cn/20201221001501908.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 20]: https://img-blog.csdnimg.cn/20201221001555553.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA==,size_16,color_FFFFFF,t_70
[20201221001605833.png]: https://img-blog.csdnimg.cn/20201221001605833.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 21]: https://img-blog.csdnimg.cn/20201221001739607.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA==,size_16,color_FFFFFF,t_70
[https_github.com_alibaba_Sentinel_wiki_E7_B3_BB_E7_BB_9F_E8_87_AA_E9_80_82_E5_BA_94_E9_99_90_E6_B5_81]: https://github.com/alibaba/Sentinel/wiki/%E7%B3%BB%E7%BB%9F%E8%87%AA%E9%80%82%E5%BA%94%E9%99%90%E6%B5%81
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 22]: https://img-blog.csdnimg.cn/20201221184806618.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 23]: https://img-blog.csdnimg.cn/20201221185625240.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA_size_16_color_FFFFFF_t_70 24]: https://img-blog.csdnimg.cn/20201221185847391.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ0OTgzOA==,size_16,color_FFFFFF,t_70
[http_localhost_8401_testA]: http://localhost:8401/testA
[20201221185950337.png]: https://img-blog.csdnimg.cn/20201221185950337.png