微服务 SpringCloud Alibaba Sentinel实现熔断与限流

旧城等待， 2022-10-29 09:28 144阅读 0赞

### 微服务 SpringCloud Alibaba Sentinel实现熔断与限流 ###

*  一、Sentinel概述
 *   *  1.是什么
     *  2.主要功能
     *  3、下载地址
 *  二、安装Sentinel控制台
 *   *  1.sentinel组成
     *  2.安装
 *  三、初始化演示
 *   *  1.创建Model集成sentinel
     *  2.启动sentinel
     *  3.启动服务
     *  4.查看sentinel控制台
 *  四、限流规则
 *   *  1.基本介绍
     *  2.流控模式
     *   *  流控模式 - 直接（默认）
         *  流控模式 - 关联
         *  流控模式 - 链路
     *  3.流控效果
     *   *  快速失败
         *  Warm Up（冷启动，预热）模式
         *  排队等待
 *  五、降级规则
 *   *  1.基本介绍
     *  3.降级策略
 *  六、热点key限流
 *   *  1.基本介绍
     *  2.官网地址
     *  3.代码
     *  4.配置
 *  七、系统规则
 *   *  1.是什么
     *  2.参数配置说明
 *  八、@SentinelResource
 *  九、服务熔断
 *  十、持久化

# 一、Sentinel概述 #

## 1.是什么 ##

官网一句话写的太好了，我就不赘述了。  
A powerful flow control component enabling reliability, resilience and monitoring for microservices. (面向云原生微服务的高可用流控防护组件)  
官网地址：[https://github.com/alibaba/Sentinel][https_github.com_alibaba_Sentinel]  
中文地址：[https://github.com/alibaba/Sentinel/wiki/%E4%BB%8B%E7%BB%8D][https_github.com_alibaba_Sentinel_wiki_E4_BB_8B_E7_BB_8D]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70]

## 2.主要功能 ##

服务的限流，熔断，降级。
    等价于我们的豪猪哥Hystrix。

主要功能  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 1]对比Hystrix  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 2]

## 3、下载地址 ##

[https://github.com/alibaba/Sentinel/releases][https_github.com_alibaba_Sentinel_releases]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 3]

# 二、安装Sentinel控制台 #

## 1.sentinel组成 ##

sentinel组件由2部分组成：后台+前台
    1.核心库（java客户端）
    不依赖任何框架，能够独立运行于所有java运行时环境，同时对Dubbo/SpringCloud等框架也有较好的支持。
    2.控制台（Dashboard）
    基于SpringCloud开发，打包后可以直接运行，不需要额外的Tomcat等应用容器。

## 2.安装 ##

1. 下载：https://github.com/alibaba/Sentinel/releases
    2. 运行环境，java8环境OK，8080端口不要被占用。
    3. 运行命令：java -jar sentinel-dashboard-1.7.0.jar 
    4. 访问sentinel管理界面，http://localhost:8080，
       登录账号密码均为sentinel

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 4]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 5]

# 三、初始化演示 #

## 1.创建Model集成sentinel ##

引入依赖

<?xml version="1.0" encoding="UTF-8"?>
    <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
        <parent>
            <artifactId>cloudboot3</artifactId>
            <groupId>com.hello.springcloud</groupId>
            <version>0.0.1-SNAPSHOT</version>
        </parent>
        <modelVersion>4.0.0</modelVersion>
    
        <artifactId>cloudalibaba-sentinel-service8401</artifactId>
    
        <dependencies>
            <dependency>
                <groupId>com.hello.springcloud</groupId>
                <artifactId>cloud-api-commons</artifactId>
                <version>${project.version}</version>
            </dependency>
            
            <dependency>
                <groupId>com.alibaba.cloud</groupId>
                <artifactId>spring-cloud-starter-alibaba-nacos-discovery</artifactId>
            </dependency>
            
            <dependency>
                <groupId>com.alibaba.csp</groupId>
                <artifactId>sentinel-datasource-nacos</artifactId>
            </dependency>
            
            <dependency>
                <groupId>com.alibaba.cloud</groupId>
                <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
            </dependency>
            
            <dependency>
                <groupId>org.springframework.cloud</groupId>
                <artifactId>spring-cloud-starter-openfeign</artifactId>
            </dependency>
            
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-web</artifactId>
            </dependency>
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-actuator</artifactId>
            </dependency>
            
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-devtools</artifactId>
                <scope>runtime</scope>
                <optional>true</optional>
            </dependency>
            <dependency>
                <groupId>cn.hutool</groupId>
                <artifactId>hutool-all</artifactId>
                <version>4.6.3</version>
            </dependency>
            <dependency>
                <groupId>org.projectlombok</groupId>
                <artifactId>lombok</artifactId>
                <optional>true</optional>
            </dependency>
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-test</artifactId>
                <scope>test</scope>
            </dependency>
    
        </dependencies>
    </project>

配置yml

server:
      port: 8401
    
    spring:
      application:
        name: cloudalibaba-sentinel-service
      cloud:
        nacos:
          discovery:
            server-addr: localhost:8848 #Nacos服务注册中心地址
        sentinel:
          transport:
            dashboard: localhost:8080 #配置Sentinel dashboard地址
            port: 8719
    # datasource:
    # ds1:
    # nacos:
    # server-addr: localhost:8848
    # dataId: cloudalibaba-sentinel-service
    # groupId: DEFAULT_GROUP
    # data-type: json
    # rule-type: flow
    
    management:
      endpoints:
        web:
          exposure:
            include: '*'
    
    #feign:
    # sentinel:
    # enabled: true # 激活Sentinel对Feign的支持

主启动

/** * @author zrj * @date 2021/2/12 * @since V1.0 **/
    @EnableDiscoveryClient
    @SpringBootApplication
    public class SentinelApplication8401 { 
        public static void main(String[] args) { 
            SpringApplication.run( SentinelApplication8401.class, args );
        }
    }

业务类

/** * @author zrj * @date 2021/2/12 * @since V1.0 **/
    @Slf4j
    @RestController
    public class FlowLimitController { 
        @GetMapping("/testA")
        public String testA() { 
            return "------testA";
        }
    
        @GetMapping("/testB")
        public String testB() { 
            log.info( Thread.currentThread().getName() + "\t" + "...testB" );
            return "------testB";
        }
    
    
        @GetMapping("/testD")
        public String testD() { 
            //try { TimeUnit.SECONDS.sleep( 1 );
            //} catch (InterruptedException e) { 
            // e.printStackTrace();
            //}
            //log.info( "testD 测试RT" );
    
            log.info( "testD 异常比例" );
            int age = 10 / 0;
            return "------testD";
        }
    
        @GetMapping("/testE")
        public String testE() { 
            log.info( "testE 测试异常数" );
            int age = 10 / 0;
            return "------testE 测试异常数";
        }
    
        @GetMapping("/testHotKey")
        @SentinelResource(value = "testHotKey", blockHandler = "deal_testHotKey")
        public String testHotKey(@RequestParam(value = "p1", required = false) String p1,
                                 @RequestParam(value = "p2", required = false) String p2) { 
            //int age = 10/0;
            return "------testHotKey";
        }
    
        public String deal_testHotKey(String p1, String p2, BlockException exception) { 
            return "------deal_testHotKey,o(╥﹏╥)o";  //sentinel系统默认的提示：Blocked by Sentinel (flow limiting)
        }
    }

## 2.启动sentinel ##

java -jar sentinel-dashboard-1.8.0

## 3.启动服务 ##

注意：这里是与nacos结合使用的，需要提前启动好nacos与sentinel。

## 4.查看sentinel控制台 ##

Sentinel采用的懒加载说明,刚启动服务在sentinel控制台是什么都看不到的，需要执行一次访问即可。  
http://localhost:8401/testA  
http://localhost:8401/testB  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 6]

# 四、限流规则 #

## 1.基本介绍 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 7]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 8]

## 2.流控模式 ##

### 流控模式 - 直接（默认） ###

sentinel设置  
![在这里插入图片描述][202102121257142.png]快速点击访问：http://localhost:8401/testA  
执行结果：Blocked by Sentinel (flow limiting)

注意：sentinel是即时生效的，立即改配置规则，立即生效！！！

### 流控模式 - 关联 ###

使用场景：例如当支付模块达到阈值，就限制订单下单模块请求。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 9]postman模拟请求B，手动请求A  
postan配置步骤：[https://blog.csdn.net/m0\_37583655/article/details/113794509][https_blog.csdn.net_m0_37583655_article_details_113794509]

快速点击访问：http://localhost:8401/testA  
执行结果：Blocked by Sentinel (flow limiting)

### 流控模式 - 链路 ###

多个请求调用了同一个微服务,效果同上。

## 3.流控效果 ##

### 快速失败 ###

直接->快速失败（默认的流控处理）  
直接失败，抛出异常：Blocked by Sentinel (flow limiting)  
源码：com.alibaba.csp.sentinel.slots.block.flow.controller.DefaultController

### Warm Up（冷启动，预热）模式 ###

说明：公式：阈值除以coldFactor（默认值为3），经过预热时长后才会达到阈值  
默认coldFactor为3，即请求QPS从threshold/3开始，经预热时长逐渐升至设定的QPS阈值。

限流 冷启动：[https://github.com/alibaba/Sentinel/wiki/%E9%99%90%E6%B5%81—%E5%86%B7%E5%90%AF%E5%8A%A8][https_github.com_alibaba_Sentinel_wiki_E9_99_90_E6_B5_81_E5_86_B7_E5_90_AF_E5_8A_A8]  
源码：com.alibaba.csp.sentinel.slots.block.flow.controller.WarmUpController

流控的预热效果就是经过多长时间达到什么样的阈值。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 10]

### 排队等待 ###

匀速排队，阈值必须设置为QPS。  
源码：com.alibaba.csp.sentinel.slots.block.flow.controller.RateLimiterController  
sentinel配置  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 11]匀速排队  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 12]

# 五、降级规则 #

## 1.基本介绍 ##

Sentinel的断路器是没有半开状态的。半开的状态系统自动去检测是否请求有异常，没有异常就关闭断路器恢复使用，有异常则继续打开断路器不可用。具体可以参考Hystrix。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 13]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 14]实际请求时间小于sentinel阈值RT时间，且请求数大于sentinel设置的数量5个，sentinel自动熔断，待请求正常的时候自动恢复。  
时间窗口就是熔断持续时间，多久之后恢复正常。

## 3.降级策略 ##

# 六、热点key限流 #

## 1.基本介绍 ##

热点key限流是根据资源名称与传递参数来进行定义流控规则与降级规则，可以理解为特殊的流控规则。  
资源名称是@SentinelResource(value = “testHotKey”)；  
参数索引：0是指第一个参数…，例如http://localhost:8401/testHotKey?p1=1，p1就是第一个参数。

参数例外项  
参数类型：指请求参数，包括8种基本数据类型+String  
参数值：这个结合参数索引所指参数的值为特殊情况，可以达到特殊阈值。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 15]

## 2.官网地址 ##

[https://github.com/alibaba/Sentinel/wiki/热点参数限流][https_github.com_alibaba_Sentinel_wiki]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 16]

## 3.代码 ##

com.alibaba.csp.sentinel.slots.block.BlockException

## 4.配置 ##

@SentinelResource(value = "testHotKey")//超过阈值，异常打印前台，默认ErrorPage
    @SentinelResource(value = "testHotKey",blockHandler = "deal_testHotKey")
    value = "资源名称"
    blockHandler = "兜底方法"

# 七、系统规则 #

## 1.是什么 ##

系统规则指的就是从系统层面进行控制，总共5个层面，比如QPS，某一个请求达到阈值以后整体限流，整个系统都不能用了，相当于总控，这种控制颗粒度比较大，不太友好。

官网地址：[https://github.com/alibaba/Sentinel/wiki/%E7%B3%BB%E7%BB%9F%E8%87%AA%E9%80%82%E5%BA%94%E9%99%90%E6%B5%81][https_github.com_alibaba_Sentinel_wiki_E7_B3_BB_E7_BB_9F_E8_87_AA_E9_80_82_E5_BA_94_E9_99_90_E6_B5_81]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 17]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 18]

## 2.参数配置说明 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 19]

# 八、@SentinelResource #

@GetMapping("/byResource")
    @SentinelResource(value = "testHotKey")//超过阈值，异常打印前台，默认ErrorPage
    @SentinelResource(value = "testHotKey",blockHandler = "deal_testHotKey")
    value = "资源名称"，blockHandler = "兜底方法"
    
    总结：
    1.资源名称配置
    只有@GetMapping("/byResource")，则资源名"/byResource"
    配置了@SentinelResource(value = "testHotKey")，则资源名"testHotKey"
    两种方式都可以。
    
    2.配置兜底方法
    配置兜底方法，blockHandler = "deal_testHotKey"，则走兜底方法。
    否则走默认异常，ErrorPage
    
    3.可以自定义全局限流规则，单独全局异常处理类CustomerBlockHandler。
    
    4.Sentinel3个核心api
    SphU定义资源
    Tracer定义统计
    ContextUtil定义上下文

# 九、服务熔断 #

sentinel整合ribbon+openFeign+fallback

# 十、持久化 #

一旦我们重启应用，Sentinel规则将消失，生产环境需要将配置规则进行持久化。  
持久化实质就是每次配置持久化到nacos中。

将限流配置规则持久化进Nacos保存，只要刷新8401某个rest地址，sentinel控制台的流控规则就能看到，只要Nacos里面的配置不删除，针对8401上Sentinel上的流控规则持续有效。

引入依赖

<dependency>
                <groupId>com.alibaba.csp</groupId>
                <artifactId>sentinel-datasource-nacos</artifactId>
            </dependency>

配置yml

server:
      port: 8401
    
    spring:
      application:
        name: cloudalibaba-sentinel-service
      cloud:
        nacos:
          discovery:
            server-addr: localhost:8848 #Nacos服务注册中心地址
        sentinel:
          transport:
            dashboard: localhost:8080 #配置Sentinel dashboard地址
            port: 8719
          datasource: #持久化
            ds1:
              nacos:
                server-addr: localhost:8848
                dataId: cloudalibaba-sentinel-service
                groupId: DEFAULT_GROUP
                data-type: json
                rule-type: flow
    
    management:
      endpoints:
        web:
          exposure:
            include: '*'
    
    feign:
      sentinel:
        enabled: true # 激活Sentinel对Feign的支持

配置nacos  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 20]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 21]

[https_github.com_alibaba_Sentinel]: https://github.com/alibaba/Sentinel
[https_github.com_alibaba_Sentinel_wiki_E4_BB_8B_E7_BB_8D]: https://github.com/alibaba/Sentinel/wiki/%E4%BB%8B%E7%BB%8D
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70]: /images/20221024/aaf68caae5fb437f937652da354fe31f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 1]: /images/20221024/29c05ed79e5540f7ad662d1d55dc874c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 2]: /images/20221024/86e16fc7117f4a6e943718e2246acabe.png
[https_github.com_alibaba_Sentinel_releases]: https://github.com/alibaba/Sentinel/releases
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 3]: /images/20221024/11849a04da6e492c80cc805c61365819.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20210212102037900.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 5]: /images/20221024/d9a4cc0df1fd4bf48d6a8d093150c3fe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 6]: /images/20221024/60a76d71700f4987888854dda89eaed2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 7]: /images/20221024/42116d4ea82240a688ba41a4abf0e1ab.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 8]: /images/20221024/9a8d3b23fc0048a9821f80ed4585a8d5.png
[202102121257142.png]: /images/20221024/ad8c2f5ae2c14403ad9aeb5d6a3af025.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 9]: /images/20221024/d4fac06cc1784eff9b85c76e0793c6bd.png
[https_blog.csdn.net_m0_37583655_article_details_113794509]: https://blog.csdn.net/m0_37583655/article/details/113794509
[https_github.com_alibaba_Sentinel_wiki_E9_99_90_E6_B5_81_E5_86_B7_E5_90_AF_E5_8A_A8]: https://github.com/alibaba/Sentinel/wiki/%E9%99%90%E6%B5%81---%E5%86%B7%E5%90%AF%E5%8A%A8
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 10]: /images/20221024/6af63944453c4cffa01b93d1ab582ae4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 11]: /images/20221024/d20d25d1ca284f4f9fb7a3530f6bcb2e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 12]: /images/20221024/4496b16dadc840d38cfde790424592ba.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 13]: https://img-blog.csdnimg.cn/202102121638526.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 14]: /images/20221024/db406144902f4e97b4ab1665eefaae78.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 15]: /images/20221024/8be898e5216148298b2a663c1480e1c0.png
[https_github.com_alibaba_Sentinel_wiki]: https://github.com/alibaba/Sentinel/wiki/%E7%83%AD%E7%82%B9%E5%8F%82%E6%95%B0%E9%99%90%E6%B5%81
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 16]: /images/20221024/8ca7a83442794593bf367a8002d3765b.png
[https_github.com_alibaba_Sentinel_wiki_E7_B3_BB_E7_BB_9F_E8_87_AA_E9_80_82_E5_BA_94_E9_99_90_E6_B5_81]: https://github.com/alibaba/Sentinel/wiki/%E7%B3%BB%E7%BB%9F%E8%87%AA%E9%80%82%E5%BA%94%E9%99%90%E6%B5%81
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 17]: https://img-blog.csdnimg.cn/20210213102147400.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 18]: /images/20221024/465b24b4352c44fd859224c0203d4f18.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 19]: /images/20221024/67a937849fe941ffb0796181d311cb92.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 20]: https://img-blog.csdnimg.cn/2021021311000869.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3NTgzNjU1_size_16_color_FFFFFF_t_70 21]: /images/20221024/a6993e8fccb042dd8c7495a7618b0310.png