配置容错组件 Sentinel（五）

墨蓝 2022-08-31 14:16 166阅读 0赞

### Sentinel ###

*  内容
 *   *  一、服务熔断降级 Sentinel
     *   *  1. 高并发带来的问题
         *  2. 服务器雪崩效应
         *  3. 常见容错方案
         *  4. 常见的容错组件
     *  二、Sentinel入门
     *   *  1. 什么是Sentinel
         *  2. 订单微服务集成Sentinel
         *  3. 安装Sentinel控制台
         *  4. 实现一个接口的限流
         *  5. Sentinel容错的维度
         *  6. Sentinel规则种类
     *  三、Sentinel规则-流控
     *   *  1. 流控规则
         *   *  1.1 QPS流控
             *  1.2 线程数流控
         *  2. 流控模式
         *   *  2.1 直接流控模式
             *  2.2 关联流控模式
             *  2.3 链路流控模式
         *  3. 流控效果
     *  四、Sentinel规则-降级
     *   *  1. 慢调用比例案例
         *  2. 异常比例案例
         *  3. 异常数案例
     *  五、Sentinel规则-热点
     *  六、Sentinel规则-授权
     *  七、Sentinel规则-系统规则
     *  八、Sentinel 自定义异常返回
     *  九、@SentinelResource的使用(了解)
     *  十、Sentinel规则持久化 (了解)
     *  十一、Feign整合Sentinel (掌握)
 *  总结

### [微服务环境搭建（一）][Link 1] ###

### [配置 Nacos 注册中心（二）][Nacos] ###

### [使用负载均衡器 Ribbon 实现负载均衡（三）][Ribbon] ###

### [配置远程调用 Feign（四）][Feign] ###

# 内容 #

配置远程调用 Feign 请看我的上篇博客：[远程调用 Feign][Feign]

## 一、服务熔断降级 Sentinel ##

### 1. 高并发带来的问题 ###

在微服务架构中，我们将业务拆分成一个个的服务，服务与服务之间可以相互调用，但是由于网络原因或者自身的原因，服务并不能保证服务的100%可用，如果单个服务出现问题，调用这个服务就会出现网络延迟，此时若有大量的网络涌入，会形成任务堆积，最终导致服务瘫痪。

**接下来，我们来模拟一个高并发的场景**

1.  在订单服务中新建SentinelController.java

@RestController
    public class SentinelController { 
        @RequestMapping("/sentinel1")
        public String sentinel1(){ 
            //模拟一次网络延时
            try { 
                TimeUnit.SECONDS.sleep(1);
            } catch (InterruptedException e) { 
                e.printStackTrace();
            }
            return "sentinel1";
        }
        @RequestMapping("/sentinel2")
        public String sentinel2(){ 
            return "测试高并发下的问题";
        }
    }

1.  修改配置文件中tomcat的并发数

server:
      port: 8091
      tomcat:
        threads:
          max: 10 #tomcat的最大并发值修改为10,

1.  接下来使用压测工具,对请求进行压力测试  
    [下载地址https://jmeter.apache.org/][https_jmeter.apache.org]
    
    1.  **第一步：修改配置，并启动软件**  
        进入bin目录,修改jmeter.properties文件中的语言支持为language=zh\_CN，然后点击jmeter.bat启动软件。  
        ![在这里插入图片描述][666308db28d844dfa58db2530b6a1ba5.png]  
        ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70]
    2.  **第二步：添加线程组**  
        ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 1]
    3.  **第三步：配置线程并发数**  
        ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 2]
    4.  第四步：添加Http请求  
        ![在这里插入图片描述][a4d32a341ce9439e8c8edb777dc0a5ae.png]
    5.  第五步：配置取样，并启动测试  
        ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 3]
    6.  第六步：访问 [http://localhost:8091/sentinel2][http_localhost_8091_sentinel2] 观察结果\*\*

**结论**：此时会发现, 由于sentinel1方法囤积了大量请求, 导致sentinel2方法的访问出现了问题，这就是服务雪崩的雏形。

### 2. 服务器雪崩效应 ###

在分布式系统中,由于网络原因或自身的原因,服务一般无法保证 100% 可用。如果一个服务出现了问题，调用这个服务就会出现线程阻塞的情况，此时若有大量的请求涌入，就会出现多条线程阻塞等待，进而导致服务瘫痪。由于服务与服务之间的依赖性，故障会传播，会对整个微服务系统造成灾难性的严重后果，这就是服务故障的 “**雪崩效应**” 。

*  情景1: 微服务之间相互调用,关系复杂,正常情况如下图所示:  
    ![\*\*\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HZZfgXyW-1627235411148)(图片/image-20201029125354604.png)\]\*\*][img-HZZfgXyW-1627235411148_image-20201029125354604.png]
 *  情景2：某个时刻，服务A挂了，服务B和服务C依然在调用服务A  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 4]
 *  情景3:由于服务A挂了,导致服务C和服务B无法得到服务A的响应,这时候服务C和服务B由于大量线程积压,最终导致服务C和服务B挂掉.  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 5]
 *  情景4: 相同道理,由于服务之间有关联，所以会导致整个调用链上的所有服务都挂掉.  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 6]  
      服务器的雪崩效应其实就是由于某个微小的服务挂了,导致整一大片的服务都不可用.类似生活中的雪崩效应,由于落下的最后一片雪花引发了雪崩的情况.  
      雪崩发生的原因多种多样，有不合理的容量设计，或者是高并发下某一个方法响应变慢，亦或是某 台机器的资源耗尽。我们无法完全杜绝雪崩源头的发生，只有做好足够的容错，保证在一个服务发生问题，不会影响到其它服务的正常运行。

### 3. 常见容错方案 ###

要防止雪崩的扩散，我们就要做好服务的容错，容错说白了就是保护自己不被猪队友拖垮的一些措施, 下面介绍常见的服务容错思路和组件。

**常见的容错思路**  
  常见的容错思路有隔离、超时、限流、熔断、降级这几种，下面分别介绍一下。

1.  **隔离机制**: 比如服务A内总共有100个线程, 现在服务A可能会调用服务B,服务C,服务D.我们在服务A进行远程调用的时候,给不同的服务分配固定的线程,不会把所有线程都分配给某个微服务. 比如调用服务B分配30个线程,调用服务C分配30个线程，调用服务D分配40个线程. 这样进行资源的隔离，保证即使下游某个服务挂了，也不至于把服务A的线程消耗完。比如服务B挂了，这时候最多只会占用服务A的30个线程,服务A还有70个线程可以调用服务C和服务D.  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 7]
2.  **超时机制**: 在上游服务调用下游服务的时候，设置一个最大响应时间，如果超过这个时间，下游未作出反应，就断开请求，释放掉线程。  
    ![8a396db5288b4a4c890ef3ac0f7cf4e5.png][]
3.  **限流机制**: 限流就是限制系统的输入和输出流量已达到保护系统的目的。为了保证系统的稳固运行,一旦达到的需要限制的阈值,就需要限制流量并采取少量措施以完成限制流量的目的。  
    ![在这里插入图片描述][e8b8335bba31477b8958282cb7a9df3b.png]
4.  **熔断机制**: 在互联网系统中，当下游服务因访问压力过大而响应变慢或失败，上游服务为了保护系统整体的可用性，可以暂时切断对下游服务的调用。这种牺牲局部，保全整体的措施就叫做熔断。  
    ![在这里插入图片描述][710c9971d93c462fb48b2e08d9a14ebd.png]  
    **服务熔断一般有三种状态**：

*  熔断关闭状态（Closed）  
    服务没有故障时，熔断器所处的状态，对调用方的调用不做任何限制
 *  熔断开启状态（Open）  
    后续对该服务接口的调用不再经过网络，直接执行本地的fallback方法
 *  半熔断状态（Half-Open）  
    尝试恢复服务调用，允许有限的流量调用该服务，并监控调用成功率。如果成功率达到预期，则说明服务已恢复，进入熔断关闭状态；如果成功率仍旧很低，则重新进入熔断关闭状态。

1.  **降级机制**: 降级其实就是为服务提供一个兜底方案，一旦服务无法正常调用，就使用兜底方案。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 8]

### 4. 常见的容错组件 ###

*  **Hystrix**  
    Hystrix是由Netflflix开源的一个延迟和容错库，用于隔离访问远程系统、服务或者第三方库，防止级联失败，从而提升系统的可用性与容错性。
 *  **Resilience4J**  
    Resilicence4J一款非常轻量、简单，并且文档非常清晰、丰富的熔断工具，这也是Hystrix官方推荐的替代产品。不仅如此，Resilicence4j还原生支持Spring Boot 1.x/2.x，而且监控也支持和prometheus等多款主流产品进行整合。
 *  **Sentinel**  
    Sentinel 是阿里巴巴开源的一款断路器实现，本身在阿里内部已经被大规模采用，非常稳定。

## 二、Sentinel入门 ##

### 1. 什么是Sentinel ###

Sentinel (分布式系统的流量防卫兵) 是阿里开源的一套用于**服务容错**的综合性解决方案。它以流量

为切入点, 从**流量控制、熔断降级、系统负载保护**等多个维度来保护服务的稳定性

Sentinel 具有以下特征:

*  **丰富的应用场景**：Sentinel 承接了阿里巴巴近 10 年的双十一大促流量的核心场景, 例如秒杀（即突发流量控制在系统容量可以承受的范围）、消息削峰填谷、集群流量控制、实时熔断下游不可用应用等。
 *  **完备的实时监控**：Sentinel 提供了实时的监控功能。通过控制台可以看到接入应用的单台机器秒级数据, 甚至 500 台以下规模的集群的汇总运行情况。
 *  **广泛的开源生态**：Sentinel 提供开箱即用的与其它开源框架/库的整合模块, 例如与 Spring Cloud、Dubbo、gRPC 的整合。只需要引入相应的依赖并进行简单的配置即可快速地接入 Sentinel。

**Sentinel分为两个部分**:

*  核心库（Java 客户端）不依赖任何框架/库,能够运行于所有 Java 运行时环境，同时对 Dubbo / Spring Cloud 等框架也有较好的支持。
 *  控制台（Dashboard）基于 Spring Boot 开发，打包后可以直接运行，不需要额外的 Tomcat 等应用容器。

### 2. 订单微服务集成Sentinel ###

为微服务集成Sentinel非常简单, 只需要加入Sentinel的依赖即可

在shop-order-server项目的pom文件中添加如下依赖

<dependency>
    	<groupId>com.alibaba.cloud</groupId>
    	<artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
    </dependency>

### 3. 安装Sentinel控制台 ###

Sentinel 提供一个轻量级的控制台, 它提供机器发现、单机资源实时监控以及规则管理等功能。

1.  下载jar包 https://github.com/alibaba/Sentinel/releases
2.  启动控制台
    
        # 直接使用jar命令启动项目(控制台本身是一个SpringBoot项目) 
        # 先进入该 jar 文件夹所在位置，然后在地址栏输入 cmd 回车进入该位置的命令窗口
        java -Dserver.port=8080 -Dcsp.sentinel.dashboard.server=localhost:8080 -Dproject.name=sentinel-dashboard -jar sentinel-dashboard-1.8.0.jar
3.  修改shop-order-server项目中的配置文件application.yml,新增如下配置:
    
        spring:
          cloud:
            sentinel: 
              transport: 
                port: 9999 #跟控制台交流的端口,随意指定一个未使用的端口即可 
                dashboard: localhost:8080 # 指定控制台服务的地址
4.  通过浏览器访问localhost:8080 进入控制台 ( 默认用户名密码是 sentinel/sentinel )  
    **注意**: 默认是没显示order-service的，需要访问几次接口，然后再刷新sentinel管控台才可以看到.  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 9]

### 4. 实现一个接口的限流 ###

**第一步: 簇点链路—>流控**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 10]

**第二步: 在单机阈值填写一个数值，表示每秒上限的请求数**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 11]

**第三步:通过控制台快速频繁访问, 观察效果**  
![在这里插入图片描述][cb63d0bc8591465ebded40d125f4d458.png]

### 5. Sentinel容错的维度 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 12]

**流量控制**：流量控制在网络传输中是一个常用的概念，它用于调整网络包的数据。任意时间到来的请求往往是随机不可控的，而系统的处理能力是有限的。我们需要根据系统的处理能力对流量进行控制。

**熔断降级**：当检测到调用链路中某个资源出现不稳定的表现，例如请求响应时间长或异常比例升高的时候，则对这个资源的调用进行限制，让请求快速失败，避免影响到其它的资源而导致级联故障。

**系统负载保护**：Sentinel 同时提供系统维度的自适应保护能力。当系统负载较高的时候，如果还持续让请求进入可能会导致系统崩溃，无法响应。在集群环境下，会把本应这台机器承载的流量转发到其它的机器上去。如果这个时候其它的机器也处在一个边缘状态的时候，Sentinel 提供了对应的保护机制，让系统的入口流量和系统的负载达到一个平衡，保证系统在能力范围之内处理最多的请求。

### 6. Sentinel规则种类 ###

Sentinel主要提供了这五种的流量控制，接下来我们每种都给同学们演示一下.  
![在这里插入图片描述][03df5236a5a14b58b4ac864782bc5e63.png]

## 三、Sentinel规则-流控 ##

### 1. 流控规则 ###

流量控制，其原理是监控应用流量的QPS(每秒查询率) 或并发线程数等指标，当达到指定的阈值时对流量进行控制，以避免被瞬时的流量高峰冲垮，从而保障应用的高可用性。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 13]

**资源名**：唯一名称，默认是请求路径，可自定义

**针对来源**：指定对哪个微服务进行限流，默认指default，意思是不区分来源，全部限制

**阈值类型/单机阈值**：

*  QPS（每秒请求最大数量）: 当调用该接口的QPS达到阈值的时候，进行限流
 *  线程数：当调用该接口的线程数达到阈值的时候，进行限流

**是否集群**：暂不需要集群

#### 1.1 QPS流控 ####

前面6.4.4案例就是演示的QPS流控

#### 1.2 线程数流控 ####

1.  删除掉之前的QPS流控，新增线程数流控  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 14]
2.  在Jmeter中新增线程  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 15]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 16]
3.  访问 [http://localhost:8091/sentinel2][http_localhost_8091_sentinel2] 会发现已经被限流  
    ![在这里插入图片描述][ce8d4f11897a401cbbb2bc49b87d14d4.png]

### 2. 流控模式 ###

点击上面设置流控规则的**编辑**按钮，然后在编辑页面点击**高级选项**，会看到有流控模式一栏。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 17]  
sentinel共有三种流控模式，分别是：

*  直接（默认）：接口达到限流条件时，开启限流
 *  关联：当关联的资源达到限流条件时，开启限流 \[适合做应用让步\]
 *  链路：当从某个接口过来的资源达到限流条件时，开启限流

#### 2.1 直接流控模式 ####

前面演示的案例就是这种.

#### 2.2 关联流控模式 ####

关联流控模式指的是，当指定接口关联的接口达到限流条件时，开启对指定接口开启限流。

**场景**:当两个资源之间具有资源争抢或者依赖关系的时候，这两个资源便具有了关联。比如对数据库同一个字段的读操作和写操作存在争抢，读的速度过高会影响写得速度，写的速度过高会影响读的速度。如果放任读写操作争抢资源，则争抢本身带来的开销会降低整体的吞吐量。可使用关联限流来避免具有关联关系的资源之间过度的争抢.

1.   在SentinelController.java中增加一个方法，重启订单服务
    
        @RequestMapping("/sentinel3")
        public String sentinel3(){ 
        	return "sentinel3";
        }
2.  配置限流规则, 将流控模式设置为关联，关联资源设置为的 /sentinel2  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 18]
3.  通过postman软件向/sentinel2连续发送请求，注意QPS一定要大于3  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 19]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 20]
4.  访问/sentinel3,会发现已经被限流  
    ![在这里插入图片描述][2c7e85461b204285a5b20514ccb1d2e8.png]

#### 2.3 链路流控模式 ####

链路流控模式指的是，当从某个接口过来的资源达到限流条件时，开启限流。

1.  在shop-order-server项目的application.yml文件中新增如下配置:
    
        spring:
          cloud:
            sentinel:
              web-context-unify: false
2.  在shop-order-server项目中新增TraceServiceImpl.java
    
        package cn.wolfcode.service.impl;
        @Service
        @Slf4j
        public class TraceServiceImpl { 
            // @SentinelResource：让被注解的方法能被 Sentinel 检测到
            @SentinelResource(value = "tranceService")
            public void tranceService(){ 
                log.info("调用tranceService方法");
            }
        }
3.  在shop-order-server项目中新增TraceController.java
    
        package cn.wolfcode.controller;
        @RestController
        public class TraceController { 
            @Autowired
            private TraceServiceImpl traceService;
            @RequestMapping("/trace1")
            public String trace1(){ 
                traceService.tranceService();
                return "trace1";
            }
            @RequestMapping("/trace2")
            public String trace2(){ 
                traceService.tranceService();
                return "trace2";
            }
        }
4.  重新启动订单服务并添加链路流控规则  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 21]
5.  分别通过 localhost:8091/trace1 和 localhost:8091/trace2 访问, 发现/trace1没问题, /trace2的被限流了
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 22][]

### 3. 流控效果 ###

*  **快速失败（默认）**: 直接失败，抛出异常，不做任何额外的处理，是最简单的效果
 *  **Warm Up**：它从开始阈值到最大QPS阈值会有一个缓冲阶段，一开始的阈值是最大QPS阈值的1/3，然后慢慢增长，直到最大阈值，适用于将突然增大的流量转换为缓步增长的场景。
 *  **排队等待**：让请求以均匀的速度通过，单机阈值为每秒通过数量，其余的排队等待； 它还会让设置一个超时时间，当请求超过超时间时间还未处理，则会被丢弃。

## 四、Sentinel规则-降级 ##

降级规则就是设置当满足什么条件的时候，对服务进行降级。Sentinel提供了三个衡量条件：

*  **慢调用比例**: 选择以慢调用比例作为阈值，需要设置允许的慢调用 RT（即最大的响应时间），请求的响应时间大于该值则统计为慢调用。当**单位统计时长内请求数目大于设置的最小请求数目，并且慢调用的比例（请求时间>最大RT响应时间的请求个数 / 总的请求个数）大于阈值，则接下来的熔断时长内请求会自动被熔断**。经过熔断时长后熔断器会进入探测恢复状态（HALF-OPEN 状态），若接下来的**一个请求响应时间小于设置的慢调用 RT 则结束熔断，若大于设置的慢调用 RT 则会再次被熔断**。
 *  **异常比例**: 当**单位统计时长内请求数目大于设置的最小请求数目，并且异常的比例（异常出现次数 / 总请求次数）大于阈值**，则接下来的熔断时长内请求会自动被熔断。经过熔断时长后熔断器会进入探测恢复状态（HALF-OPEN 状态），**若接下来的一个请求成功完成（没有错误）则结束熔断，否则会再次被熔断**。异常比率的阈值范围是 `[0.0, 1.0]`，代表 0% - 100%。
 *  **异常数**：当**单位统计时长内的异常数目超过阈值之后会自动进行熔断**。经过熔断时长后熔断器会进入探测恢复状态（HALF-OPEN 状态），**若接下来的一个请求成功完成（没有错误）则结束熔断，否则会再次被熔断**。

### 1. 慢调用比例案例 ###

1.  在shop-order-server项目中新增FallBackController.java类,代码如下:
    
        package cn.wolfcode.controller;
        @RestController
        @Slf4j
        public class FallBackController { 
            @RequestMapping("/fallBack1")
            public String fallBack1(){ 
                try { 
                    log.info("fallBack1执行业务逻辑");
                    //模拟业务耗时
                    TimeUnit.SECONDS.sleep(1);
                } catch (InterruptedException e) { 
                    e.printStackTrace();
                }
                return "fallBack1";
            }
        }
2.  新增降级规则:  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 23]  
    **访问路径**：localhost:8091/fallBack1；  
      上面配置表示，如果在1S之内,有【超过1个的请求】且这些请求中【响应时间>最大RT】的【请求数量比例>10%】，就会触发熔断，在接下来的10s之内都不会调用真实方法，直接走降级方法；

**访问案例**: 最大RT=900,比例阈值=0.1,熔断时长=10,最小请求数=10

*  情况1: 1秒内的有20个请求，只有10个请求响应时间>900ms, 那慢调用比例=0.5，这种情况就会触发熔断
 *  情况2: 1秒内的有20个请求，只有1个请求响应时间>900ms, 那慢调用比例=0.05，这种情况不会触发熔断
 *  情况3: 1秒内的有8个请求，只有6个请求响应时间>900ms, 那慢调用比例=0.75，这种情况不会触发熔断，因为最小请求数这个条件没有满足.
    
    **注意**: 我们做实验的时候把最小请求数设置为1，因为在1秒内，手动操作很难在1s内发两个请求过去，所以要做出效果,最好把最小请求数设置为1。

### 2. 异常比例案例 ###

1.  在shop-order-server项目的FallBackController.java类新增fallBack2方法:
    
        int i=0;
        @RequestMapping("/fallBack2")
        public String fallBack2(){ 
        	log.info("fallBack2执行业务逻辑");
        	//模拟出现异常，异常比例为33%
            if(++i%3==0){ 
        		throw new RuntimeException();
        	}
        	return "fallBack2";
        }
2.  新增降级规则:  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 24]

上面配置表示，在1s之内，,有【超过3个的请求】，异常比例30%的情况下，触发熔断，熔断时长为10s；

**访问路径**：localhost:8091/fallBack2，一秒内请求三次，第四次就会触发熔断；

### 3. 异常数案例 ###

1.  在shop-order-server项目的FallBackController.java类新增fallBack3方法:
    
        @RequestMapping("/fallBack3")
        public String fallBack3(String name){ 
        	log.info("fallBack3执行业务逻辑");
        	if("wolfcode".equals(name)){ 
        		throw new RuntimeException();
        	}
        	return "fallBack3";
        }
2.  新增降级规则  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 25]

上面配置表示，在1s之内，,有【超过3个的请求】，请求中超过2个请求出现异常就会触发熔断，熔断时长为10s;

**访问路径**：localhost:8091/fallBack3，一秒内请求三次，第四次就会触发熔断；

## 五、Sentinel规则-热点 ##

何为热点？热点即经常访问的数据。很多时候我们希望统计某个热点数据中访问频次最高的 Top K 数据，并对其访问进行限制。比如：

*  商品 ID 为参数，统计一段时间内最常购买的商品 ID 并进行限制
 *  用户 ID 为参数，针对一段时间内频繁访问的用户 ID 进行限制

热点参数限流会统计传入参数中的热点参数，并根据配置的限流阈值与模式，对包含热点参数的资源调用进行限流。热点参数限流可以看做是一种特殊的流量控制，仅对包含热点参数的资源调用生效。

1.  在shop-order-server项目中新增HotSpotController.java,代码如下:
    
        package cn.wolfcode.controller;
        @RestController
        @Slf4j
        public class HotSpotController { 
            @RequestMapping("/hotSpot1")
            // @SentinelResource：让被注解的方法能被 Sentinel 检测到
            @SentinelResource(value = "hotSpot1")
            public String hotSpot1(Long productId){ 
                log.info("访问编号为:{}的商品",productId);
                return "hotSpot1";
            }
        }
    
    **注意:一定需要在请求方法上贴@SentinelResource直接，否则热点规则无效**
2.  新增热点规则:  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 26]
    
    **参数索引**：即你访问时链接所带的参数的位置；
    
    **单机阈值**：每秒请求最大数量超过单机阈值就限流；
    
    **统计窗口时常**：每秒请求次数超过下面高级选项中的限流阈值就限流该热点（热点：参数索引）；  
      
    
3.  在热点规则中编辑规则,在**编辑之前一定要先访问一下/hotSpot1,不然参数规则无法新增**.  
    ![在这里插入图片描述][4a2b581d91b4491193928590cb147c22.png]
4.  新增参数规则:  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 27]
5.  点击保存，可以看到已经新增了参数规则.  
    ![在这里插入图片描述][6eb548a27e62411abfe28d251613d231.png]
6.  访问http://localhost:8091/hotSpot?productId=1 访问会降级
    
    访问http://localhost:8091/hotSpot?productId=2 访问不会降级  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 28]

## 六、Sentinel规则-授权 ##

很多时候，我们需要根据调用来源来判断该次请求是否允许放行，这时候可以使用 Sentinel 的来源访问控制（黑白名单控制）的功能。来源访问控制根据资源的请求来源（`origin`）限制资源是否通过，若配置白名单则只有请求来源位于白名单内时才可通过；若配置黑名单则请求来源位于黑名单时不通过，其余的请求通过。

1.  在shop-order-server中新建RequestOriginParserDefinition.java,定义请求来源如何获取
    
        @Component
        public class RequestOriginParserDefinition implements RequestOriginParser { 
            @Override
            public String parseOrigin(HttpServletRequest request) { 
                /** * 定义从请求的什么地方获取来源信息 * 比如我们可以要求所有的客户端需要在请求头中携带来源信息 */
                String serviceName = request.getParameter("serviceName");
                return serviceName;
            }
        }
2.  在shop-order-server中新建AuthController.java,代码如下:
    
        @RestController
        @Slf4j
        public class AuthController { 
            @RequestMapping("/auth1")
            public String auth1(String serviceName){ 
                log.info("应用:{},访问接口",serviceName);
                return "auth1";
            }
        }
3.  新增授权规则  
    访问 localhost:8091/auth1 然后刷新 Sentinel  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 29]
4.  访问测试  
    访问http://localhost:8091/auth1?serviceName=pc 不能访问  
    访问http://localhost:8091/auth1?serviceName=app 可以访问  
    ![在这里插入图片描述][a93bf6b9ab4d4c24b794adf869cf84a8.png]

## 七、Sentinel规则-系统规则 ##

系统保护规则是从应用级别的入口流量进行控制，从单台机器的 load、CPU 使用率、平均 RT、入口 QPS 和并发线程数等几个维度监控应用指标，让系统尽可能跑在最大吞吐量的同时保证系统整体的稳定性。

系统保护规则是应用整体维度的，而不是资源维度的，并且**仅对入口流量生效**。入口流量指的是进入应用的流量（`EntryType.IN`），比如 Web 服务或 Dubbo 服务端接收的请求，都属于入口流量。

**系统规则支持以下的模式：**

*  **Load 自适应**（仅对 Linux/Unix-like 机器生效）：系统的 load1 作为启发指标，进行自适应系统保护。当系统 load1 超过设定的启发值，且系统当前的并发线程数超过估算的系统容量时才会触发系统保护（BBR 阶段）。系统容量由系统的 `maxQps * minRt` 估算得出。设定参考值一般是 `CPU cores * 2.5`。
 *  **CPU usage**（1.5.0+ 版本）：当系统 CPU 使用率超过阈值即触发系统保护（取值范围 0.0-1.0），比较灵敏。
 *  **平均 RT**：当单台机器上所有入口流量的平均 RT 达到阈值即触发系统保护，单位是毫秒。
 *  **并发线程数**：当单台机器上所有入口流量的并发线程数达到阈值即触发系统保护。
 *  **入口 QPS**：当单台机器上所有入口流量的 QPS 达到阈值即触发系统保护。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 30]

## 八、Sentinel 自定义异常返回 ##

当前面设定的规则没有满足是，我们可以自定义异常返回.

*   FlowException 限流异常
 *  DegradeException 降级异常
 *  ParamFlowException 参数限流异常
 *  AuthorityException 授权异常
 *  SystemBlockException 系统负载异常

在shop-order-server项目中定义异常返回处理类

package cn.wolfcode.error;
    @Component
    public class ExceptionHandlerPage implements BlockExceptionHandler { 
        @Override
        public void handle(HttpServletRequest request, HttpServletResponse response, BlockException e) throws Exception { 
            response.setContentType("application/json;charset=utf-8");
            ResultData data = null;
            if (e instanceof FlowException) { 
                data = new ResultData(-1, "接口被限流了");
            } else if (e instanceof DegradeException) { 
                data = new ResultData(-2, "接口被降级了");
            }else if (e instanceof ParamFlowException) { 
                data = new ResultData(-3, "参数限流异常");
            }else if (e instanceof AuthorityException) { 
                data = new ResultData(-4, "授权异常");
            }else if (e instanceof SystemBlockException) { 
                data = new ResultData(-5, "接口被降级了...");
            }
            response.getWriter().write(JSON.toJSONString(data));
        }
    }
    @Data
    @AllArgsConstructor//全参构造
    @NoArgsConstructor//无参构造
    class ResultData { 
        private int code;
        private String message;
    }

## 九、@SentinelResource的使用(了解) ##

在定义了资源点之后，我们可以通过Dashboard来设置限流和降级策略来对资源点进行保护。同时还能通过@SentinelResource来指定出现异常时的处理策略。  
@SentinelResource 用于定义资源，并提供可选的异常处理和 fallback 配置项。

其主要参数如下:

<table> 
 <thead> 
  <tr> 
   <th align="left">属性</th> 
   <th>作用</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">value</td> 
   <td>资源名称，必需项（不能为空）</td> 
  </tr> 
  <tr> 
   <td align="left">entryType</td> 
   <td>entry 类型，可选项（默认为 <code>EntryType.OUT</code>）</td> 
  </tr> 
  <tr> 
   <td align="left">blockHandler<code>/</code>blockHandlerClass</td> 
   <td><code>blockHandler</code> 对应处理 <code>BlockException</code> 的函数名称，可选项。blockHandler 函数访问范围需要是 <code>public</code>，返回类型需要与原方法相匹配，参数类型需要和原方法相匹配并且最后加一个额外的参数，类型为 <code>BlockException</code>。blockHandler 函数默认需要和原方法在同一个类中。若希望使用其他类的函数，则可以指定 <code>blockHandlerClass</code> 为对应的类的 <code>Class</code> 对象，注意对应的函数必需为 static 函数，否则无法解析。</td> 
  </tr> 
  <tr> 
   <td align="left">fallback<code>/</code>fallbackClass</td> 
   <td>fallback 函数名称，可选项，用于在抛出异常的时候提供 fallback 处理逻辑。fallback 函数可以针对所有类型的异常（除了 <code>exceptionsToIgnore</code> 里面排除掉的异常类型）进行处理。fallback 函数签名和位置要求：<br>1. 返回值类型必须与原函数返回值类型一致； <br>2.方法参数列表需要和原函数一致，或者可以额外多一个 <code>Throwable</code> 类型的参数用于接收对应的异常。<br>3.fallback 函数默认需要和原方法在同一个类中。若希望使用其他类的函数，则可以指定 <code>fallbackClass</code> 为对应的类的 <code>Class</code> 对象，注意对应的函数必需为 static 函数，否则无法解析。</td> 
  </tr> 
  <tr> 
   <td align="left"><code>defaultFallback</code></td> 
   <td>默认的 fallback 函数名称，可选项，通常用于通用的 fallback 逻辑（即可以用于很多服务或方法）。默认 fallback 函数可以针对所有类型的异常（除了 <code>exceptionsToIgnore</code> 里面排除掉的异常类型）进行处理。若同时配置了 fallback 和 defaultFallback，则只有 fallback 会生效。defaultFallback 函数签名要求：<br>1. 返回值类型必须与原函数返回值类型一致；<br>2. 方法参数列表需要为空，或者可以额外多一个 <code>Throwable</code> 类型的参数用于接收对应的异常。 <br>3. defaultFallback 函数默认需要和原方法在同一个类中。若希望使用其他类的函数，则可以指定 <code>fallbackClass</code> 为对应的类的 <code>Class</code> 对象，注意对应的函数必需为 static 函数，否则无法解析。</td> 
  </tr> 
  <tr> 
   <td align="left"><code>exceptionsToIgnore</code></td> 
   <td>用于指定哪些异常被排除掉，不会计入异常统计中，也不会进入 fallback 逻辑中，而是会原样抛出。</td> 
  </tr> 
 </tbody> 
</table>

**定义限流和降级后的处理方法**

直接将限流和降级方法定义在方法中

package cn.wolfcode.controller;
    @RestController
    @Slf4j
    public class AnnoController { 
        @RequestMapping("/anno1")
        /** * 当访问资源出现限流或者降级，那么会进入 blockHandler 指定的方法去进行处理 * 当范文资源出现了异常会进入到 fallback 去进行处理 */
        @SentinelResource(value = "anno1",
                blockHandler="anno1BlockHandler",
                fallback = "anno1Fallback"
        )
        public String anno1(String name){ 
            if("wolfcode".equals(name)){ 
                throw new RuntimeException();
            }
            return "anno1";
        }
        public String anno1BlockHandler(String name,BlockException ex){ 
            log.error("{}", ex);
            return "接口被限流或者降级了";
        }
        //Throwable时进入的方法
        public String anno1Fallback(String name,Throwable throwable) { 
            log.error("{}", throwable);
            return "接口发生异常了";
        }
    }

## 十、Sentinel规则持久化 (了解) ##

通过前面的讲解，我们已经知道，可以通过Dashboard来为每个Sentinel客户端设置各种各样的规则，但是这里有一个问题，就是这些规则默认是存放在内存中，极不稳定，所以需要将其持久化。  
  本地文件数据源会定时轮询文件的变更，读取规则。这样我们既可以在应用本地直接修改文件来更  
新规则，也可以通过 Sentinel 控制台推送规则。以本地文件数据源为例，推送过程如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 31]  
  首先 Sentinel 控制台通过 API 将规则推送至客户端并更新到内存中，接着注册的写数据源会将新的规则保存到本地的文件中。

1.  编写处理类
    
        package cn.wolfcode.sentinel;
        public class FilePersistence implements InitFunc { 
        
        
         @Override
            public void init() throws Exception { 
                String ruleDir = System.getProperty("user.home") + "/sentinel-rules/order-service";
                String flowRulePath = ruleDir + "/flow-rule.json";
                String degradeRulePath = ruleDir + "/degrade-rule.json";
                String systemRulePath = ruleDir + "/system-rule.json";
                String authorityRulePath = ruleDir + "/authority-rule.json";
                String paramFlowRulePath = ruleDir + "/param-flow-rule.json";
        
             this.mkdirIfNotExits(ruleDir);
                this.createFileIfNotExits(flowRulePath);
                this.createFileIfNotExits(degradeRulePath);
                this.createFileIfNotExits(systemRulePath);
                this.createFileIfNotExits(authorityRulePath);
                this.createFileIfNotExits(paramFlowRulePath);
        
             // 流控规则
                ReadableDataSource<String, List<FlowRule>> flowRuleRDS = new FileRefreshableDataSource<>(
                        flowRulePath,
                        flowRuleListParser
                );
                FlowRuleManager.register2Property(flowRuleRDS.getProperty());
                WritableDataSource<List<FlowRule>> flowRuleWDS = new FileWritableDataSource<>(
                        flowRulePath,
                        this::encodeJson
                );
                WritableDataSourceRegistry.registerFlowDataSource(flowRuleWDS);
        
             // 降级规则
                ReadableDataSource<String, List<DegradeRule>> degradeRuleRDS = new FileRefreshableDataSource<>(
                        degradeRulePath,
                        degradeRuleListParser
                );
                DegradeRuleManager.register2Property(degradeRuleRDS.getProperty());
                WritableDataSource<List<DegradeRule>> degradeRuleWDS = new FileWritableDataSource<>(
                        degradeRulePath,
                        this::encodeJson
                );
                WritableDataSourceRegistry.registerDegradeDataSource(degradeRuleWDS);
        
             // 系统规则
                ReadableDataSource<String, List<SystemRule>> systemRuleRDS = new FileRefreshableDataSource<>(
                        systemRulePath,
                        systemRuleListParser
                );
                SystemRuleManager.register2Property(systemRuleRDS.getProperty());
                WritableDataSource<List<SystemRule>> systemRuleWDS = new FileWritableDataSource<>(
                        systemRulePath,
                        this::encodeJson
                );
                WritableDataSourceRegistry.registerSystemDataSource(systemRuleWDS);
        
             // 授权规则
                ReadableDataSource<String, List<AuthorityRule>> authorityRuleRDS = new FileRefreshableDataSource<>(
                        authorityRulePath,
                        authorityRuleListParser
                );
                AuthorityRuleManager.register2Property(authorityRuleRDS.getProperty());
                WritableDataSource<List<AuthorityRule>> authorityRuleWDS = new FileWritableDataSource<>(
                        authorityRulePath,
                        this::encodeJson
                );
                WritableDataSourceRegistry.registerAuthorityDataSource(authorityRuleWDS);
        
             // 热点参数规则
                ReadableDataSource<String, List<ParamFlowRule>> paramFlowRuleRDS = new FileRefreshableDataSource<>(
                        paramFlowRulePath,
                        paramFlowRuleListParser
                );
                ParamFlowRuleManager.register2Property(paramFlowRuleRDS.getProperty());
                WritableDataSource<List<ParamFlowRule>> paramFlowRuleWDS = new FileWritableDataSource<>(
                        paramFlowRulePath,
                        this::encodeJson
                );
                ModifyParamFlowRulesCommandHandler.setWritableDataSource(paramFlowRuleWDS);
            }
        
         private Converter<String, List<FlowRule>> flowRuleListParser = source -> JSON.parseObject(
                    source,
                    new TypeReference<List<FlowRule>>() { 
                    }
            );
            private Converter<String, List<DegradeRule>> degradeRuleListParser = source -> JSON.parseObject(
                    source,
                    new TypeReference<List<DegradeRule>>() { 
                    }
            );
            private Converter<String, List<SystemRule>> systemRuleListParser = source -> JSON.parseObject(
                    source,
                    new TypeReference<List<SystemRule>>() { 
                    }
            );
        
         private Converter<String, List<AuthorityRule>> authorityRuleListParser = source -> JSON.parseObject(
                    source,
                    new TypeReference<List<AuthorityRule>>() { 
                    }
            );
        
         private Converter<String, List<ParamFlowRule>> paramFlowRuleListParser = source -> JSON.parseObject(
                    source,
                    new TypeReference<List<ParamFlowRule>>() { 
                    }
            );
        
         private void mkdirIfNotExits(String filePath) throws IOException { 
                File file = new File(filePath);
                if (!file.exists()) { 
                    file.mkdirs();
                }
            }
        
         private void createFileIfNotExits(String filePath) throws IOException { 
                File file = new File(filePath);
                if (!file.exists()) { 
                    file.createNewFile();
                }
            }
            private <T> String encodeJson(T t) { 
                return JSON.toJSONString(t);
            }
        }
2.  添加配置  
    在 shop-order-server 的 `resources`下创建配置目录 `META-INF/services` ,然后添加文件 `com.alibaba.csp.sentinel.init.InitFunc`  
    在文件中添加配置类的全路径  
    `cn.wolfcode.sentinel.FilePersistence`

## 十一、Feign整合Sentinel (掌握) ##

1.  在shop-order-server项目的配置文件中开启feign对Sentinel的支持
    
        feign:
          sentinel:
            enabled: true
2.  创建容错类
    
        @Component
        public class ProductFeignFallBack implements ProductFeignApi { 
            @Override
            public Product findByPid(Long pid) { 
                Product product = new Product();
                product.setPid(-1L);
                product.setPname("兜底数据");
                product.setPprice(0.0);
                return product;
            }
        }
3.  在feign接口中定义容错类
    
        @FeignClient(name = "product-service",fallback = ProductFeignFallBack.class)
        public interface ProductFeignApi { 
            @RequestMapping("/product")
            public Product findByPid(@RequestParam("pid") Long pid);
        }
4.  停止所有 商品服务,重启 shop-order 服务,访问请求,观察容错效果  
    ![在这里插入图片描述][f67c0ce09003471098a2441dcf07d545.png]

可能上面的案例并不是特别恰当，我们只是通过案例来演示Feign集成Sentinel实现降级的效果. 接下来我们具体更贴切的案例来讲解Feign降级的作用.  
  比如我们在购物的时候，查看商品详情页面的时候，里面包含库存信息,商品详情信息,评论信息，这个需求包含的微服务如下:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 32]  
  假设现在评论服务宕机了,那是不是意味用户发出查看商品请求也无法正常显示了，商品都看不到了，那用户也无法进行下单的操作了. 但是对于用户来说，评论看不到并不影响他购物，所以这时候我们应该对评论服务进行及·降级处理，返回一个兜底数据(空数据)，这样用户的查看商品请求能正常显示，只是评论数据看不到而已，这样的话，用户的下单请求也不会受到影响.

# 总结 #

以上就是配置容错组件 Sentinel 的总结了，代码仅供参考，欢迎讨论交流。  
下篇博客：配置 xxx

[Link 1]: https://blog.csdn.net/zzvar/article/details/119090225
[Nacos]: https://blog.csdn.net/zzvar/article/details/119091530
[Ribbon]: https://blog.csdn.net/zzvar/article/details/119092274
[Feign]: https://blog.csdn.net/zzvar/article/details/119092516
[https_jmeter.apache.org]: https://jmeter.apache.org/
[666308db28d844dfa58db2530b6a1ba5.png]: /images/20220829/6f24f0a304fc47248a036fb3d6ec0a93.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70]: /images/20220829/20583063e9364faaa11aade4229d49bb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 1]: /images/20220829/ac8b78d0985d487c98a41a7b1a6bdf9f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 2]: /images/20220829/f49ae7dfefca41979894b798e336fca9.png
[a4d32a341ce9439e8c8edb777dc0a5ae.png]: /images/20220829/8be9edc37c5344eba7fc50c75680619b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 3]: /images/20220829/4d08a9a1d4934c6581858848f0b625bb.png
[http_localhost_8091_sentinel2]: http://localhost:8091/sentinel2
[img-HZZfgXyW-1627235411148_image-20201029125354604.png]: /images/20220829/e915b37cf90645cea81ce0c748012330.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 4]: /images/20220829/841ed1dabe314d638b260862be773e62.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 5]: /images/20220829/cfffc094d1d946839965f510c54fd2cf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 6]: /images/20220829/47d492a617174a05a23cbe9a8427b1de.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 7]: /images/20220829/85e34662d89b4a3b98f31d34ac6b8326.png
[8a396db5288b4a4c890ef3ac0f7cf4e5.png]: /images/20220829/5d0177036a3a48eea50a7a870942865e.png
[e8b8335bba31477b8958282cb7a9df3b.png]: /images/20220829/6e4ab6d50c1b434696011c01ba9884dd.png
[710c9971d93c462fb48b2e08d9a14ebd.png]: /images/20220829/3bdd1e3c434a498aa685c8f308d6913b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 8]: /images/20220829/7f856430e0cc42e6b2fb0478b2ce8626.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 9]: /images/20220829/777e649257934eab9af39010f0d39ca4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 10]: /images/20220829/5cbd87cc9e7e42b2af28f27fd4578b26.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 11]: /images/20220829/6e82e7f16a704273b01c3f8fc2e82714.png
[cb63d0bc8591465ebded40d125f4d458.png]: /images/20220829/b00aea65d1134823ac945e11f9c79806.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 12]: /images/20220829/262f46cb06a64446a1d218ff2f59cc91.png
[03df5236a5a14b58b4ac864782bc5e63.png]: /images/20220829/3a831f73902e4466ab9e1136cbb1f95e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 13]: /images/20220829/379f621ab9f748789c49a96b0f662b56.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 14]: /images/20220829/3592fc7a289342468c209be87bbfb2e2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 15]: /images/20220829/73e22d3a06934763aa2eb7bc8d0af0ab.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 16]: /images/20220829/bc766e089c89480a8fb496ab794672ec.png
[ce8d4f11897a401cbbb2bc49b87d14d4.png]: /images/20220829/8978c6d83b984ad2b2b3cba0354949b9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 17]: /images/20220829/bec691c2c4fe4adea31b04f820064edb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 18]: /images/20220829/a74733f7517e4736a4b62299b3e04a5b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 19]: /images/20220829/2333ed2eded44d2983ce3ce695a0ab19.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 20]: /images/20220829/e8bff5da05d54157a0ab12baf95d78ba.png
[2c7e85461b204285a5b20514ccb1d2e8.png]: /images/20220829/89a7ced5a3d640bdbbef1bd63751fa30.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 21]: /images/20220829/641513fb7efa478d974f50afe068b87d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 22]: /images/20220829/f49e7bd90181473abfc93db0e0d35bb7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 23]: /images/20220829/2d15d6c1095046d9a2d78deb1d9e2542.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 24]: /images/20220829/0db5ed6ae944445a80a482451c940654.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 25]: /images/20220829/a41d3a8562e740a49db0b508abb68504.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 26]: /images/20220829/efc79fbc6a2f4ec0a7a34d4afc9936bc.png
[4a2b581d91b4491193928590cb147c22.png]: /images/20220829/5164f56758554b7bac1c6d4a87cb31d0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 27]: /images/20220829/1a4e7f1152a14c81ad2aaf441016f509.png
[6eb548a27e62411abfe28d251613d231.png]: /images/20220829/9b138b0201cf464e967c838aa2a05981.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 28]: /images/20220829/acb6200d74d84ef48410b353cac670df.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 29]: /images/20220829/9d73d08ed7084f0d9bc6ebdda664d82b.png
[a93bf6b9ab4d4c24b794adf869cf84a8.png]: /images/20220829/41f89ccedcb845f0956c2366f23dff4c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 30]: /images/20220829/edf6ad631d3d44838289618414f88330.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 31]: /images/20220829/f18a64e19d334f0db70836eded6b4bc7.png
[f67c0ce09003471098a2441dcf07d545.png]: /images/20220829/10c7450e11e94a9fa53ffd030afa0e1d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6dmFy_size_16_color_FFFFFF_t_70 32]: /images/20220829/cf9dc8ff7ae249a2938afb2d1e23a0dd.png