Alibaba微服务组件Sentinel学习笔记

忘是亡心i 2024-03-27 09:01 135阅读 0赞

**目录**

1 .Sentinel 是什么

2.Sentinel快速开始

3.启动 Sentinel 控制台

4. Spring Cloud Alibaba整合Sentine

5.Sentinel控制台规则配置详解

6.Sentinel规则持久化

7.基于Nacos配置中心控制台实现推送

--------------------

## **1 .Sentinel** **是什么**  ##

随着微服务的流行，服务和服务之间的稳定性变得越来越重要。 Sentinel  是面向分布式服务架构的流量控制组件，主要以 流量为切入点，从限流、流量整形、熔断降级、系统负载保护、热点防护等多个维度来帮助开发者保障微服务的稳定 性。

源码地址： https://github.com/alibaba/Sentinel

官方文档： https://github.com/alibaba/Sentinel/wiki

Sentinel 具有以下特征 :

*  **丰富的应用场景**： Sentinel 承接了阿里巴巴近 10 年的双十一大促流量的核心场景，例如秒杀（即突发流量控 制在系统容量可以承受的范围）、消息削峰填谷、实时熔断下游不可用应用等。 
 *  **完备的实时监控**： Sentinel 同时提供实时的监控功能。您可以在控制台中看到接入应用的单台机器秒级数据， 甚至 500 台以下规模的集群的汇总运行情况。 
 *  **广泛的开源生态**： Sentinel 提供开箱即用的与其它开源框架/库的整合模块，例如与 Spring Cloud、Dubbo、 gRPC 的整合。您只需要引入相应的依赖并进行简单的配置即可快速地接入 Sentinel。 
 *  **完善的** **SPI** **扩展点**： Sentinel 提供简单易用、完善的 SPI 扩展点。您可以通过实现扩展点，快速的定制逻辑。 例如定制规则管理、适配数据源等。 
 *  阿里云提供了 企业级的 Sentinel 服务，**应用高可用服务 AHAS**

1.1Sentinel和Hystrix对比

https://github.com/alibaba/Sentinel/wiki/Sentinel%E4%B8%8EHystrix%E7%9A%84%E5%AF%B9%E6%AF%94

![0b45e70f89614a7db9ddcb824938ff9b.png][]

## **2.****Sentinel****快速开始**  ##

https://github.com/alibaba/Sentinel/wiki/%E5%A6%82%E4%BD%95%E4%BD%BF%E7%94%A8

在官方文档中，定义的 Sentinel 进行资源保护的几个步骤：

1） 定义资源

2） 定义规则

3） 检验规则是否生效

2.1Sentinel资源保护的方式

方式1：API 实现

*  引入依赖

<dependency>
                <groupId>com.alibaba.csp</groupId>
                <artifactId>sentinel-core</artifactId>
                <version>1.8.0</version>
            </dependency>

*  编写测试逻辑

package com.tuling.sentinelnew.controller;
    
    import com.alibaba.csp.sentinel.Entry;
    import com.alibaba.csp.sentinel.EntryType;
    import com.alibaba.csp.sentinel.SphU;
    import com.alibaba.csp.sentinel.Tracer;
    import com.alibaba.csp.sentinel.annotation.SentinelResource;
    import com.alibaba.csp.sentinel.slots.block.BlockException;
    import com.alibaba.csp.sentinel.slots.block.RuleConstant;
    import com.alibaba.csp.sentinel.slots.block.degrade.DegradeRule;
    import com.alibaba.csp.sentinel.slots.block.degrade.DegradeRuleManager;
    import com.alibaba.csp.sentinel.slots.block.flow.FlowRule;
    import com.alibaba.csp.sentinel.slots.block.flow.FlowRuleManager;
    import com.tuling.sentinelnew.pojo.User;
    import lombok.extern.slf4j.Slf4j;
    import org.springframework.web.bind.annotation.RequestMapping;
    import org.springframework.web.bind.annotation.RestController;
    
    import javax.annotation.PostConstruct;
    import java.util.ArrayList;
    import java.util.List;
    
    
    @RestController
    @Slf4j
    public class HelloController {
    
        private static final String RESOURCE_NAME = "hello";
        private static final String USER_RESOURCE_NAME = "user";
        private static final String DEGRADE_RESOURCE_NAME = "degrade";
    
    
        // 进行sentinel流控
        @RequestMapping(value = "/hello")
        public String hello() {
    
            Entry entry = null;
            try {
                // 1.sentinel针对资源进行限制的
                entry = SphU.entry(RESOURCE_NAME);
                // 被保护的业务逻辑
                String str = "hello world";
                log.info("=====" + str + "=====");
                return str;
            } catch (BlockException e1) {
                // 资源访问阻止，被限流或被降级
                //进行相应的处理操作
                log.info("block!");
                return "被流控了！";
            } catch (Exception ex) {
                // 若需要配置降级规则，需要通过这种方式记录业务异常
                Tracer.traceEntry(ex, entry);
            } finally {
                if (entry != null) {
                    entry.exit();
                }
            }
            return null;
        }
    
    
        /**
         * 定义规则
         * <p>
         * spring 的初始化方法
         */
        @PostConstruct
        private static void initFlowRules() {
    
            // 流控规则
            List<FlowRule> rules = new ArrayList<>();
    
            // 流控
            FlowRule rule = new FlowRule();
            // 为哪个资源进行流控
            rule.setResource(RESOURCE_NAME);
            // 设置流控规则 QPS
            rule.setGrade(RuleConstant.FLOW_GRADE_QPS);
            // 设置受保护的资源阈值
            // Set limit QPS to 20.
            rule.setCount(1);
            rules.add(rule);
    
    
            // 通过@SentinelResource来定义资源并配置降级和流控的处理方法
            FlowRule rule2 = new FlowRule();
            //设置受保护的资源
            rule2.setResource(USER_RESOURCE_NAME);
            // 设置流控规则 QPS
            rule2.setGrade(RuleConstant.FLOW_GRADE_QPS);
            // 设置受保护的资源阈值
            // Set limit QPS to 20.
            rule2.setCount(1);
    
            rules.add(rule2);
    
            // 加载配置好的规则
            FlowRuleManager.loadRules(rules);
        }
    
        @PostConstruct  // 初始化
        public void initDegradeRule() {
            /*降级规则 异常*/
            List<DegradeRule> degradeRules = new ArrayList<>();
            DegradeRule degradeRule = new DegradeRule();
            degradeRule.setResource(DEGRADE_RESOURCE_NAME);
            // 设置规则侧率： 异常数
            degradeRule.setGrade(RuleConstant.DEGRADE_GRADE_EXCEPTION_COUNT);
            // 触发熔断异常数 ： 2
            degradeRule.setCount(2);
            // 触发熔断最小请求数:2
            degradeRule.setMinRequestAmount(2);
            // 统计时长：  单位：ms    1分钟
            degradeRule.setStatIntervalMs(60 * 1000); //  时间太短不好测
    
            // 一分钟内： 执行了2次  出现了2次异常  就会触发熔断
    
            // 熔断持续时长 ： 单位 秒
            // 一旦触发了熔断， 再次请求对应的接口就会直接调用  降级方法。
            // 10秒过了后——半开状态： 恢复接口请求调用， 如果第一次请求就异常， 再次熔断，不会根据设置的条件进行判定
            degradeRule.setTimeWindow(10);
    
    
            degradeRules.add(degradeRule);
            DegradeRuleManager.loadRules(degradeRules);
    
            /*
            慢调用比率--DEGRADE_GRADE_RT
            degradeRule.setGrade(RuleConstant.DEGRADE_GRADE_RT);
            degradeRule.setCount(100);
            degradeRule.setTimeWindow(10);
            //请求总数小于minRequestAmount时不做熔断处理
            degradeRule.setMinRequestAmount(2);
            // 在这个时间段内2次请求
            degradeRule.setStatIntervalMs(60*1000*60);   //  时间太短不好测
            // 慢请求率：慢请求数/总请求数> SlowRatioThreshold ，
            // 这里要设置小于1   因为慢请求数/总请求数 永远不会大于1
            degradeRule.setSlowRatioThreshold(0.9);*/
    
        }
    
    
        /**
         * @param id
         * @return
         * @SentinelResource 改善接口中资源定义和被流控降级后的处理方法
         * 怎么使用： 1.添加依赖<artifactId>sentinel-annotation-aspectj</artifactId>
         * 2.配置bean——SentinelResourceAspect
         * value  定义资源
         * blockHandler 设置 流控降级后的处理方法（默认该方法必须声明在同一个类）
         * 如果不想在同一个类中 blockHandlerClass 但是方法必须是static
         * fallback 当接口出现了异常，就可以交给fallback指定的方法进行处理
         * 如果不想在同一个类中 fallbackClass 但是方法必须是static
         * <p>
         * blockHandler 如果和fallback同时指定了，则blockHandler优先级更高
         * exceptionsToIgnore 排除哪些异常不处理
         */
        @RequestMapping("/user")
        @SentinelResource(value = USER_RESOURCE_NAME, fallback = "fallbackHandleForGetUser",
                /*exceptionsToIgnore = {ArithmeticException.class},*/
                /*blockHandlerClass = User.class,*/ blockHandler = "blockHandlerForGetUser")
        public User getUser(String id) {
            int a = 1 / 0;
            return new User("xushu");
        }
    
        public User fallbackHandleForGetUser(String id, Throwable e) {
            e.printStackTrace();
            return new User("异常处理");
        }
    
        /**
         * 注意：
         * 1. 一定要public
         * 2. 返回值一定要和源方法保证一致， 包含源方法的参数。
         * 3. 可以在参数最后添加BlockException 可以区分是什么规则的处理方法
         *
         * @param id
         * @param ex
         * @return
         */
        public User blockHandlerForGetUser(String id, BlockException ex) {
            ex.printStackTrace();
            return new User("流控！！");
        }
    
    
        @RequestMapping("/degrade")
        @SentinelResource(value = DEGRADE_RESOURCE_NAME, entryType = EntryType.IN,
                blockHandler = "blockHandlerForFb")
        public User degrade(String id) throws InterruptedException {
            // 异常数\比例
            throw new RuntimeException("异常");
    
            /* 慢调用比例
            TimeUnit.SECONDS.sleep(1);
            return new User("正常");*/
        }
    
        public User blockHandlerForFb(String id, BlockException ex) {
            return new User("熔断降级");
        }
    
    
    }

StartApplication.java

package com.tuling.sentinelnew;
    
    import com.alibaba.csp.sentinel.annotation.aspectj.SentinelResourceAspect;
    import org.springframework.boot.SpringApplication;
    import org.springframework.boot.autoconfigure.SpringBootApplication;
    import org.springframework.boot.web.client.RestTemplateBuilder;
    import org.springframework.context.annotation.Bean;
    import org.springframework.web.client.RestTemplate;
    
    @SpringBootApplication
    public class StartApplication {
        public static void main(String[] args) {
            SpringApplication.run(StartApplication.class,args);
        }
        /**
         * @description: 注解支持的配置Bean
         * @method: sentinelResourceAspect
         * @author: wang fei
         * @date: 2023/1/22 16:46:26
         * @param: []
         * @return: org.springframework.beans.factory.annotation.Value
        **/
        @Bean
        public SentinelResourceAspect sentinelResourceAspect() {
            return new SentinelResourceAspect();
        }
    }

测试结果：

![7183a04be7a545c5b3fcd8cf5a699d4d.png][]

**缺点：**

**业务侵入性很强，需要在controller中写入非业务代码.**

**配置不灵活 若需要添加新的受保护资源 需要手动添加 init方法来添加流控规则**

方式2：

**@SentinelResource** **注解实现**

@SentinelResource  注解用来标识资源是否被限流、降级。

blockHandler:  定义当资源内部发生了 BlockException 应该进入的方法（捕获的是 Sentinel 定义的异常）

fallback:  定义的是资源内部发生了 Throwable 应该进入的方法

exceptionsToIgnore ：配置 fallback 可以忽略的异常

*  引入依赖

<dependency>
                <groupId>com.alibaba.cloud</groupId>
                <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
            </dependency>

*  Controller中编写测试逻辑，添加@SentinelResource，并配置blockHandler和fallback

package com.wang.controller;
    
    
    import com.alibaba.csp.sentinel.annotation.SentinelResource;
    import com.alibaba.csp.sentinel.slots.block.BlockException;
    import org.springframework.web.bind.annotation.GetMapping;
    import org.springframework.web.bind.annotation.PathVariable;
    import org.springframework.web.bind.annotation.RequestMapping;
    import org.springframework.web.bind.annotation.RestController;
    
    import java.util.concurrent.TimeUnit;
    
    /**
     * @BelongsProject: SpringCloudAlibabaLearn
     * @BelongsPackage: com.wang.controllter
     * @Author: wang fei
     * @CreateTime: 2023-01-16  16:48
     * @Description: TODO
     * @Version: 1.0
     */
    @RestController
    @RequestMapping("/order")
    public class OrderController {
    
        @GetMapping("/pay")
        @SentinelResource(value = "pay",blockHandler = "flowBlockHandler")
        public String pay(){
            return "success";
        }
    
        @GetMapping("/flowThread")
        @SentinelResource(value = "flowThread",blockHandler = "flowBlockHandler")
        public String flowThread() throws InterruptedException {
            TimeUnit.SECONDS.sleep(5);
            return "success";
        }
    
        //自定义流控处理返回方法
        public String flowBlockHandler(BlockException e){
            return "流控成功 ,阻塞服务";
        }
    
    
        @GetMapping("/add")
        public String add(){
            return "下单成功";
        }
    
        @GetMapping("/get")
        public String get(){
            return "查询成功";
        }
    
    
        /**
         * 热点规则，必须使用@SentinelResource
         * @param id
         * @return
         * @throws InterruptedException
         */
        @RequestMapping("/get/{id}")
        @SentinelResource(value = "getById",blockHandler = "HotBlockHandler")
        public String getById(@PathVariable("id") Integer id) throws InterruptedException {
    
            System.out.println("正常访问");
            return "正常访问";
        }
    
        public String HotBlockHandler(@PathVariable("id") Integer id,BlockException e) throws InterruptedException {
    
            return "热点异常处理";
        }
    }

*  编写MyBlockExceptionHandler

package com.wang.exception;
    
    import com.alibaba.csp.sentinel.adapter.spring.webmvc.callback.BlockExceptionHandler;
    import com.alibaba.csp.sentinel.slots.block.BlockException;
    import com.alibaba.csp.sentinel.slots.block.authority.AuthorityException;
    import com.alibaba.csp.sentinel.slots.block.degrade.DegradeException;
    import com.alibaba.csp.sentinel.slots.block.flow.FlowException;
    import com.alibaba.csp.sentinel.slots.block.flow.param.ParamFlowException;
    import com.alibaba.csp.sentinel.slots.system.SystemBlockException;
    import com.fasterxml.jackson.databind.ObjectMapper;
    import com.wang.domain.Result;
    import org.slf4j.Logger;
    import org.slf4j.LoggerFactory;
    import org.springframework.http.MediaType;
    import org.springframework.stereotype.Component;
    
    import javax.servlet.http.HttpServletRequest;
    import javax.servlet.http.HttpServletResponse;
    
    
    /**
     * @author 飞
     */
    @Component
    public class MyBlockExceptionHandler implements BlockExceptionHandler {
    
        Logger log= LoggerFactory.getLogger(this.getClass());
    
        @Override
        public void handle(HttpServletRequest httpServletRequest, HttpServletResponse response, BlockException e) throws Exception {
            // getRule() 资源  规则的详细信息
            log.info("BlockExceptionHandler BlockException================"+e.getRule());
    
            Result r = null;
    
            if (e instanceof FlowException) {
                r = Result.error(100,"接口限流了");
    
            } else if (e instanceof DegradeException) {
                r = Result.error(101,"服务降级了");
    
            } else if (e instanceof ParamFlowException) {
                r = Result.error(102,"热点参数限流了");
    
            } else if (e instanceof SystemBlockException) {
                r = Result.error(103,"触发系统保护规则了");
    
            } else if (e instanceof AuthorityException) {
                r = Result.error(104,"授权规则不通过");
            }
    
            //返回json数据
            response.setStatus(500);
            response.setCharacterEncoding("utf-8");
            response.setContentType(MediaType.APPLICATION_JSON_VALUE);
            new ObjectMapper().writeValue(response.getWriter(), r);
        }
    }

Result.java

package com.wang.domain;
    
    
    /**
     * @author 飞
     */
    public class Result<T> {
        private Integer code;
        private String msg;
        private T data;
    
        public Result(Integer code, String msg, T data) {
            this.code = code;
            this.msg = msg;
            this.data = data;
        }
    
        public Result(Integer code, String msg) {
            this.code = code;
            this.msg = msg;
        }
    
        public Integer getCode() {
            return code;
        }
    
        public void setCode(Integer code) {
            this.code = code;
        }
    
        public String getMsg() {
            return msg;
        }
    
        public void setMsg(String msg) {
            this.msg = msg;
        }
    
        public T getData() {
            return data;
        }
    
        public void setData(T data) {
            this.data = data;
        }
    
        public static Result error(Integer code, String msg){
            return new Result(code,msg);
        }
    }

server:
      port: 8070
    spring:
      application:
        name: order-sentinel
      cloud:
        sentinel:
          transport:
            dashboard: 127.0.0.1:8080
          web-context-unify: false  # 默认将调用链路收敛, 导致链路流控效果无效
          datasource:
            flow-rule:
              nacos:
                server-addr: 127.0.0.1:8848 # nacos地址
                username: nacos
                password: nacos
                dataId: order-sentinel-flow-rule
                rule-type: flow

## **3.启动** **Sentinel** **控制台**  ##

下载控制台  jar  包并在本地启动：可以参见  此处文档

https://github.com/alibaba/Sentinel/releases

java ‐jar sentinel‐dashboard‐1.8.0.jar

*  用户可以通过如下参数进行配置：

\-Dsentinel.dashboard.auth.username=sentinel  用于指定控制台的登录用户名为  sentinel ；

\-Dsentinel.dashboard.auth.password=123456  用于指定控制台的登录密码为  123456 ；如果省略这两个参数，默认用户和密码均为

sentinel ；

\-Dserver.servlet.session.timeout=7200  用于指定  Spring Boot  服务端  session  的过期时间，如  7200  表示  7200  秒； 60m  表示  60  分钟，

默认为  30  分钟；

java Dserver.port=8858 Dsentinel.dashboard.auth.username=xushu Dsentinel.dashboard.auth.password=123456 jar sentinel

dashboard1.8.0.jar

*  为了方便快捷启动可以在桌面创建.bat文件

java ‐Dserver.port=8858 ‐Dsentinel.dashboard.auth.username=xushu Dsentinel.dashboard.auth.password=123456 ‐jar D:\s
    erver\sentinel‐dashboard‐1.8.0.jar
    pause

访问 http://localhost:8080/\#/login  , 默认用户名密码：  sentinel/sentinel

![a27fc14e83404deba4de14c6af2be908.png][]

Sentinel 会在客户端首次调用的时候进行初始化，开始向控制台发送心跳包，所以要确保客户端有访问量；

![9238d59bc8eb448ea350cdfa471b66d2.png][]

## 4. **Spring Cloud Alibaba整合Sentine** ##

2.2步骤

## 5.Sentinel控制台规则配置详解 ##

**5.1 实时监控**

监控接口的通过的 QPS 和拒绝的 QPS

![e9ceaed37e054aefacf2e9a9c6bd2b68.png][]

**5.2 簇点链路**

用来显示微服务的所监控的 API

![eecf6210205c4a6e9759ea3e17a0309f.png][]

**5.3 流控规则**

*  **流量控制**（flow control），其原理是监控应用流量的 QPS 或并发线程数等指标，当达到指定的阈值时对流量进行控制，

以避免被瞬时的流量高峰冲垮，从而保障应用的高可用性。  ==== FlowRule RT( 响应时间 ) 1/0.2s =5

![c2e0e3cc2e5947bcbdbd6c80a22dd2d7.png][]

![09742d2e51954ff2b948fb6a94a5373c.png][]

同一个资源可以创建多条限流规则。 FlowSlot  会对该资源的所有限流规则依次遍历，直到有规则触发限流或者所有规则遍

历完毕。一条限流规则主要由下面几个因素组成，我们可以组合这些元素来实现不同的限流效果。

![290f0bdd9aec42938afe51c3c4b748d2.png][]

参考文档： https://github.com/alibaba/Sentinel/wiki/%E6%B5%81%E9%87%8F%E6%8E%A7%E5%88%B6

*  **限流阈值类型**

QPS（Query Per Second）：每秒请求数，就是说服务器在一秒的时间内处理了多少个请求。

进入簇点链路选择具体的访问的 API ，然后点击流控按钮

![72ecefe8afeb489f8d73e429adf0b84e.png][]

![586e203c841444228760655565e2a38e.png][]

*  **并发线程数**

并发数控制用于保护业务线程池不被慢调用耗尽。例如，当应用所依赖的下游应用由于某种原因导致服务不稳定、响应 延迟增加，对于调用者来说，意味着吞吐量下降和更多的线程数占用，极端情况下甚至导致线程池耗尽。为应对太多线 程占用的情况，业内有使用隔离的方案，比如通过不同业务逻辑使用不同线程池来隔离业务自身之间的资源争抢（线程 池隔离）。这种隔离方案虽然隔离性比较好，但是代价就是线程数目太多，线程上下文切换的 overhead 比较大，特别是

对低延时的调用有比较大的影响。 Sentinel  并发控制不负责创建和管理线程池，而是简单统计当前请求上下文的线程数目 （正在执行的调用数目），如果超出阈值，新的请求会被立即拒绝，效果类似于信号量隔离。并发数控制通常在调用端

进行配置。

![90095c3c7ad843d0ae4e2922ced4b33d.png][]

![4992deca5c354c1fac6dcc32364525d4.png][]

*  **BlockException异常统一处理**

springwebmvc 接口资源限流入口在 **HandlerInterceptor** 的实现类 **AbstractSentinelInterceptor** 的preHandle方 法中，对异常的处理是 **BlockExceptionHandler** 的实现类

**sentinel 1.7.1 引入了** sentinel-spring-webmvc-adapter.jar

自定义BlockExceptionHandler 的实现类统一处理BlockException

*  **流控模式**

基于调用关系的流量控制。调用关系包括调用方、被调用方；一个方法可能会调用其它方法，形成一个调用链路的层次

**关系：**

**直接**

资源调用达到设置的阈值后直接被流控抛出异常

**关联**

当两个资源之间具有资源争抢或者依赖关系的时候，这两个资源便具有了关联。比如对数据库同一个字段的读操作和写 操作存在争抢，读的速度过高会影响写得速度，写的速度过高会影响读的速度。如果放任读写操作争抢资源，则争抢本 身带来的开销会降低整体的吞吐量。可使用关联限流来避免具有关联关系的资源之间过度的争抢，举例来说，read\_db 和

write\_db  这两个资源分别代表数据库读写，我们可以给  read\_db  设置限流规则来达到写优先的目的：设置  strategy  为

RuleConstant.STRATEGY\_RELATE  同时设置  refResource  为  write\_db 。这样当写库操作过于频繁时，读数据的请求会被限流。

![5861b4f7bbbb4a91829bfeccc3bec461.png][]

**链路**

根据调用链路入口限流。

下面 中记录了资源之间的调用链路，这些资源通过调用关系，相互之间构成一棵调用树。这棵树的根节点是一个名字为  getUser  的虚拟节点，调用链的入口都是这个虚节点的子节点。

一棵典型的调用树如下图所示：

![295c23ff16a54712a73b47cf9f6891a7.png][]

上图中来自入口  /order/test1  和  /order/test2 的请求都调用到了资源  getUser ， Sentinel  允许只根据某个入口的统计信息对 资源限流。

![56ffa1478a4d4d7aa3cc41e6af38748a.png][]

测试会发现链路规则不生效

注意，高版本此功能直接使用不生效，如何解决？

从1.6.3 版本开始，Sentinel Web filter默认收敛所有URL的入口context，因此链路限流不生效。

1.7.0 版本开始（对应SCA的2.1.1.RELEASE)，官方在CommonFilter 引入了

WEB\_CONTEXT\_UNIFY 参数，用于控制是否收敛context。将其配置为 false 即可根据不同的URL 进行链路限流。

SCA 2.1.1.RELEASE之后的版本,可以通过配置spring.cloud.sentinel.web-context-unify=false即可关闭收敛

spring . cloud . sentinel . web ‐ context ‐ unify :  false

测试，此场景拦截不到BlockException，对应 @SentinelResource 指定的资源必须在 @SentinelResource 注解中指定

blockHandler处理BlockException

总结： 为了解决链路规则引入ComonFilter的方式，除了此处问题，还会导致更多的问题，不建议使用ComonFilter的方式。 流控链路模

式的问题等待官方后续修复，或者使用AHAS。

*  **快速失败**

（ RuleConstant.CONTROL\_BEHAVIOR\_DEFAULT ）方式是默认的流量控制方式， 当 QPS 超过任意规则的阈值后，新的请求就会被 立即拒绝，拒绝方式为抛出FlowException 。 这种方式适用于对系统处理能力确切已知的情况下，比如通过压测确定了系统 的准确水位时。

**Warm Up** **（激增流量）**

Warm Up （ RuleConstant.CONTROL\_BEHAVIOR\_WARM\_UP ）方式，即预热 / 冷启动方式。当系统长期处于低水位的情况下，当流量 突然增加时，直接把系统拉升到高水位可能瞬间把系统压垮。通过" 冷启动 " ，让通过的流量缓慢增加，在一定时间内逐渐 增加到阈值上限，给冷系统一个预热的时间，避免冷系统被压垮。

冷加载因子 : codeFactor  默认是 3 ，即请求  QPS  从  threshold / 3  开始，经预热时长逐渐升至设定的  QPS  阈值。

通常冷启动的过程系统允许通过的  QPS  曲线如下图所示

![66dd3595ceb044fd86ae630d05368d79.png][]

编辑流控规则

![27cb0130e762464ea649ce8d86b9a2e0.png][]

jmeter测试 ：

![9f6a3cff540f43e3af9b68f5ce18468c.png][]

查看实时监控，可以看到通过QPS存在缓慢增加的过程

![6c66e619b23b48b7b269ffb844d3372f.png][]

**匀速排队（脉冲流量）**

匀速排队（\`RuleConstant.CONTROL\_BEHAVIOR\_RATE\_LIMITER\`）方式会严格控制请求通过的间隔时间，也即是让请 求以均匀的速度通过，对应的是漏桶算法。

该方式的作用如下图所示

![a677bae23d7e4af481b322f87ff002c9.png][]

这种方式主要用于处理间隔性突发的流量，例如消息队列。想象一下这样的场景，在某一秒有大量的请求到来，而接下 来的几秒则处于空闲状态，我们希望系统能够在接下来的空闲期间逐渐处理这些请求，而不是在第一秒直接拒绝多余的 请求。

![20eec9452642495899c8c98a26af777d.png][]

注意：匀速排队模式暂时不支持 QPS > 1000 的场景。

jemeter压测

![0da4ae57324441fd94c37b1c276187f1.png][]

查看实时监控，可以看到通过QPS为5，体现了匀速排队效果

![f67105ed36cb469e89bff8560f624b2f.png][]

*  **降级规则**

除了流量控制以外，对调用链路中不稳定的资源进行熔断降级也是保障高可用的重要措施之一。我们需要对不稳定 的**弱依赖服务调用** 进行熔断降级，暂时切断不稳定调用，避免局部不稳定因素导致整体的雪崩。熔断降级作为保护自身 的手段，通常在客户端（调用端）进行配置。

![c196bcd0036a45baae1294c2718a2275.png][]

![d3637a7310d241edb911f028f2773ac0.png][]

*  **熔断策略**

**慢调用比例**

慢调用比例  ( SLOW\_REQUEST\_RATIO ) ： 选择以慢调用比例作为阈值，需要设置允许的慢调用  RT （即最大的响应时间）， 请求的响应时间大于该值则统计为慢调用 。 当单位统计时长（ statIntervalMs ）内请求数目大于设置的最小请求数目，并 且慢调用的比例大于阈值 ，则接下来的熔断时长内请求会自动被熔断。经过熔断时长后熔断器会进入探测恢复状态 （HALFOPEN  状态），若接下来的一个请求响应时间小于设置的慢调用  RT  则结束熔断，若大于设置的慢调用  RT  则会 再次被熔断。

![ce7ddeedd4e9461eafbabe78e4147913.png][]

jemeter压测/test接口，保证每秒请求数超过配置的最小请求数

![bac34b2a4a714d9f86e4e1e0509dfad4.png][]

查看实时监控，可以看到断路器熔断效果

![cc9b844ebd504e09ac92351f5abfa831.png][]

**异常比例**

异常比例  ( ERROR\_RATIO ) ： 当单位统计时长（ statIntervalMs ）内请求数目大于设置的最小请求数目，并且异常的比例大于阈值，则接下来的熔断时长内请求会自动被熔断。 经过熔断时长后熔断器会进入探测恢复状（ HALFOPEN  状 态），若接下来的一个请求成功完成（没有错误）则结束熔断，否则会再次被熔断。异常比率的阈值范围是 \[0.0, 1.0\] ，

代表  0% 100% 。

![5f45134900b446dfac90d342b2145f0f.png][]

查看实时监控，可以看到断路器熔断效果

![248ad30e7dac4509b3aab2627ac922d8.png][]

**异常数**

异常数  ( ERROR\_COUNT ) ： 当单位统计时长内的异常数目超过阈值之后会自动进行熔断 。经过熔断时长后熔断器会进入探 测恢复状态（HALFOPEN  状态），若接下来的一个请求成功完成（没有错误）则结束熔断，否则会再次被熔断。

注意：异常降级仅针对业务异常，对 Sentinel 限流降级本身的异常（BlockException）不生效。

配置降级规则

![82c3c2c788834306a3e94a3d2221f786.png][]

![44c88c4d5fcc4b51bf3a2a4ca93cdbc9.png][]

![5a4ca372aaff4f289778aed4f6b9a2c1.png][]

*  **整合openfeign进行降级**

![f6244b502a1e430ea32ae02bde2d121a.png][]

引入

<dependency>
                <groupId>org.springframework.cloud</groupId>
                <artifactId>spring-cloud-starter-openfeign</artifactId>
            </dependency>
    
            
            <dependency>
                <groupId>com.alibaba.cloud</groupId>
                <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
            </dependency>

application.yml

feign:
      sentinel:
        # openfeign整合sentinel
        enabled: true

openfegin接口

package com.wang.feign;
    
    import org.springframework.cloud.openfeign.FeignClient;
    import org.springframework.web.bind.annotation.RequestMapping;
    
    @FeignClient(value="stock-nacos",path = "/stock",fallback = StockFeignServiceFallback.class)
    public interface StockFeignService {
    
        @RequestMapping("/reduct")
        public String reduct2();
    }

openfegin的fallback实现类

package com.wang.feign;
    
    import org.springframework.stereotype.Component;
    
    @Component
    public class StockFeignServiceFallback implements StockFeignService {
        @Override
        public String reduct2() {
            return "降级啦！！！";
        }
    }

*  **热点参数限流**

热点识别流控

何为热点？热点即经常访问的数据。很多时候我们希望统计某个热点数据中访问频次最高的数据，并对其访问进行限 制。比如：

![130e21b1c208455885eaaa30f8d4a056.png][]

热点参数限流会统计传入参数中的热点参数，并根据配置的限流阈值与模式，对包含热点参数的资源调用进行限流。 热点参数限流可以看做是一种特殊的流量控制，仅对包含热点参数的资源调用生效。

![87561393085e473c90f6479d339f2828.png][]

注意：

1. 热点规则需要使用@SentinelResource("resourceName")注解，否则不生效

2. 参数必须是7种基本数据类型才会生效

单机阈值： 针对所有参数的值进行设置的一个公共的阈值

1. 假设当前 参数 大部分的值都是热点流量， 单机阈值就是针对热点流量进行设置， 额外针对普通流量进行参数值流控

2. 假设当前 参数 大部分的值都是普通流量， 单机阈值就是针对普通流量进行设置， 额外针对热点流量进行参数值流控

配置热点参数规则

注意： 资源名必须是@SentinelResource(value="资源名")中 配置的资源名，热点规则依赖于注解

![90837bd61c1140b3936c4f364b1a017c.png][]

具体到参数值限流，配置参数值为3,限流阈值为1

![9a9c5870285749fab5be2ce9b7d60cc9.png][]

*  **系统规则**

![c172f40fa3c0499fa5dc99ebccf4d44a.png][]

Sentinel 系统自适应限流从整体维度对应用入口流量进行控制，结合应用的 Load、CPU 使用率、总体平均 RT、入口 QPS 和并发线程数等几个维度的监控指标，通过自适应的流控策略，让系统的入口流量和系统的负载达到一个平衡，让

系统尽可能跑在最大吞吐量的同时保证系统整体的稳定性。

**Load**  **自适应** （仅对  Linux/Unixlike  机器生效）：系统的  load1  作为启发指标，进行自适应系统保护。当系统 load1 超过设定的启发值，且系统当前的并发线程数超过估算的系统容量时才会触发系统保护（ BBR  阶段）。系统

容量由系统的  maxQps \* minRt  估算得出。设定参考值一般是  CPU cores \* 2.5 。

https://www.cnblogs.com/gentlemanhai/p/8484839.html

**CPU usage** （ 1.5.0+  版本）：当系统  CPU  使用率超过阈值即触发系统保护（取值范围  0.01.0 ），比较灵敏。

**平均**  **RT** ：当单台机器上所有入口流量的平均  RT  达到阈值即触发系统保护，单位是毫秒。

**并发线程数** ：当单台机器上所有入口流量的并发线程数达到阈值即触发系统保护。

**入口**  **QPS** ：当单台机器上所有入口流量的  QPS  达到阈值即触发系统保护。

![2c6e7f6d05b8441095abc5dcbdf94e81.png][]

测试结果

![ba7c61a742444548a4555b0e8ca1fcbb.png][]

*  **授权控制规则**

很多时候，我们需要根据调用来源来判断该次请求是否允许放行，这时候可以使用  Sentinel  的来源访问控制（黑白名单

控制）的功能。来源访问控制根据资源的请求来源（ origin ）限制资源是否通过，若配置白名单则只有请求来源位于白名

单内时才可通过；若配置黑名单则请求来源位于黑名单时不通过，其余的请求通过。

来源访问控制规则（ AuthorityRule ）非常简单，主要有以下配置项：

resource ：资源名，即限流规则的作用对象。

limitApp ：对应的黑名单 / 白名单，不同  origin  用  ,  分隔，如  appA,appB 。

strategy ：限制模式， AUTHORITY\_WHITE  为白名单模式， AUTHORITY\_BLACK  为黑名单模式，默认为白名单模式。

配置授权规则

![eb89128461ac4e93b1883dccbe1e7f05.png][]

第一步：实现 com.alibaba.csp.sentinel.adapter.spring.webmvc.callback.RequestOriginParser 接口，在parseOrigin 方法中区分来源 ，并交给spring管理 注意：如果引入CommonFilter，此处会多出一个。

package com.wang.config;
    
    import com.alibaba.csp.sentinel.adapter.spring.webmvc.callback.RequestOriginParser;
    import org.springframework.stereotype.Component;
    
    import javax.servlet.http.HttpServletRequest;
    
    
    @Component
    public class MyRequestOriginParser implements RequestOriginParser {
        /**
         * 通过request获取来源标识，交给授权规则进行匹配
         * @param request
         * @return
         */
        @Override
        public String parseOrigin(HttpServletRequest request) {
            // 标识字段名称可以自定义
            String origin = request.getParameter("serviceName");
    //        if (StringUtil.isBlank(origin)){
    //            throw new IllegalArgumentException("serviceName参数未指定");
    //        }
            return origin;
        }
    }

![db256be72a8e4844a2703e0aea4f3036.png][]

*  **集群规则**

为什么要使用集群流控呢？假设我们希望给某个用户限制调用某个  API  的总  QPS  为  50 ，但机器数可能很多（比如有 100 台）。这时候我们很自然地就想到，找一个  server  来专门来统计总的调用量，其它的实例都与这台  server  通信来判 断是否可以调用。这就是最基础的集群流控的方式。

另外集群流控还可以解决流量不均匀导致总体限流效果不佳的问题。假设集群中有  10  台机器，我们给每台机器设置单机 限流阈值为 10 QPS ，理想情况下整个集群的限流阈值就为  100 QPS 。不过实际情况下流量到每台机器可能会不均匀， 会导致总量没有到的情况下某些机器就开始限流。因此仅靠单机维度去限制的话会无法精确地限制总体流量。而集群流 控可以精确地控制整个集群的调用总量，结合单机限流兜底，可以更好地发挥流量控制的效果。

https://github.com/alibaba/Sentinel/wiki/%E9%9B%86%E7%BE%A4%E6%B5%81%E6%8E%A7

**集群流控中共有两种身份：**

Token Client ：集群流控客户端，用于向所属  Token Server  通信请求  token 。集群限流服务端会返回给客户端

结果，决定是否限流。

Token Server ：即集群流控服务端，处理来自  Token Client  的请求，根据配置的集群规则判断是否应该发放

token （是否允许通过）。

Sentinel  集群流控支持限流规则和热点规则两种规则，并支持两种形式的阈值计算方式：

**集群总体模式** ：即限制整个集群内的某个资源的总体  qps  不超过此阈值。

**单机均摊模式** ：单机均摊模式下配置的阈值等同于单机能够承受的限额， token server  会根据连接数来计算总 的阈值（比如独立模式下有 3  个  client  连接到了  token server ，然后配的单机均摊阈值为  10 ，则计算出的集群总量

就为  30 ），按照计算出的总的阈值来进行限制。这种方式根据当前的连接数实时计算总的阈值，对于机器经常进行 变更的环境非常适合。

**启动方式**

Sentinel 集群限流服务端有两种启动方式：

独立模式（Alone），即作为独立的 token server 进程启动，独立部署，隔离性好，但是需要额外的部署操作。独立模式适合作为 Global Rate Limiter 给集群提供流控服务。

![a0f27a839f0647498662924f27cc427f.png][]

嵌入模式（Embedded），即作为内置的 token server 与服务在同一进程中启动。在此模式下，集群中各个 实例都是对等的，token server 和 client 可以随时进行转变，因此无需单独部署，灵活性比较好。但是隔离性不 佳，需要限制 token server 的总 QPS，防止影响应用本身。嵌入模式适合某个应用集群内部的流控。

![c9fdd7146f2f4a5c861adcb1d6b91ba0.png][]

云上版本 AHAS Sentinel 提供开箱即用的全自动托管集群流控能力，无需手动指定/分配 token server 以及管理连接状 态，同时支持分钟小时级别流控、大流量低延时场景流控场景，同时支持 Istio/Envoy 场景的 Mesh 流控能力。

链接：http://note.youdao.com/noteshare?

id=fc7d801d1a8213fc4d1b691302e82a62&sub=675ACF22A59841AFAECD58A0A9B4E151

## **6.Sentinel规则持久化** ##

*  **Sentinel****持久化模式**

Sentinel 规则的推送有下面三种模式 :

原始模式 ：API 将规则推送至客户端并直接更新到内存中，扩展写数据源

（WritableDataSource） 简单，无任何依赖

Pull 模式：扩展写数据源（WritableDataSource）， 客户端主动向某个规则管理中心定期轮询拉取规 则，这个规则中心可以是 RDBMS、文 件 等 简单，无任何依赖；规则持久化

Push 模式 ：规则持久化；一致性；快速引入第三方依赖

**6.1**  **原始模式**

如果不做任何修改， Dashboard  的推送规则方式是通过  API  将规则推送至客户端并直接更

新到内存中：

这种做法的好处是简单，无依赖；坏处是应用重启规则就会消失，仅用于简单测试，不能

用于生产环境。

**6.2**  **拉模式**

pull  模式的数据源（如本地文件、 RDBMS  等）一般是可写入的。使用时需要在客户端注册

数据源：将对应的读数据源注册至对应的  RuleManager ，将写数据源注册至  transport  的

WritableDataSourceRegistry  中。

**6.3 推模式**

生产环境下一般更常用的是  push  模式的数据源。对于  push  模式的数据源 , 如远程配置中心

（ ZooKeeper, Nacos, Apollo 等等），推送的操作不应由  Sentinel  客户端进行，而应该经控

制台统一进行管理，直接进行推送，数据源仅负责获取配置中心推送的配置并更新到本

地。因此推送规则正确做法应该是  **配置中心控制台** **/Sentinel**  **控制台**  **→**  **配置中心**  **→**

**Sentinel**  **数据源**  **→ Sentinel** ，而不是经  Sentinel  数据源推送至配置中心。这样的流程就非

常清晰了

## **7.基于****Nacos****配置中心控制台实现推送**  ##

引入依赖

<dependency>
                <groupId>com.alibaba.cloud</groupId>
                <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
            </dependency>
    
            
            <dependency>
                <groupId>com.alibaba.csp</groupId>
                <artifactId>sentinel-datasource-nacos</artifactId>
            </dependency>

nacos配置中心中配置流控规则

[
     {
     "resource": "/order/pay",
     "controlBehavior": 0,
     "count": 3.0,
     "grade": 1,
    "limitApp": "default",
     "strategy": 0
     }
     ]

![83491a9fc66b4b1487bb7c6981c44b42.png][]

yml文件

OrderController .java

package com.wang.controller;
    
    
    import com.alibaba.csp.sentinel.annotation.SentinelResource;
    import com.alibaba.csp.sentinel.slots.block.BlockException;
    import org.springframework.web.bind.annotation.GetMapping;
    import org.springframework.web.bind.annotation.PathVariable;
    import org.springframework.web.bind.annotation.RequestMapping;
    import org.springframework.web.bind.annotation.RestController;
    
    import java.util.concurrent.TimeUnit;
    
    /**
     * @BelongsProject: SpringCloudAlibabaLearn
     * @BelongsPackage: com.wang.controllter
     * @Author: wang fei
     * @CreateTime: 2023-01-16  16:48
     * @Description: TODO
     * @Version: 1.0
     */
    @RestController
    @RequestMapping("/order")
    public class OrderController {
    
        @GetMapping("/pay")
    //    @SentinelResource(value = "pay",blockHandler = "flowBlockHandler")
        public String pay(){
            return "success";
        }
    
        @GetMapping("/flowThread")
        @SentinelResource(value = "flowThread",blockHandler = "flowBlockHandler")
        public String flowThread() throws InterruptedException {
            TimeUnit.SECONDS.sleep(5);
            return "success";
        }
    
        //自定义流控处理返回方法
        public String flowBlockHandler(BlockException e){
            return "流控成功 ,阻塞服务";
        }
    
    
        @GetMapping("/add")
        public String add(){
            return "下单成功";
        }
    
        @GetMapping("/get")
        public String get(){
            return "查询成功";
        }
    
    
        /**
         * 热点规则，必须使用@SentinelResource
         * @param id
         * @return
         * @throws InterruptedException
         */
        @RequestMapping("/get/{id}")
        @SentinelResource(value = "getById",blockHandler = "HotBlockHandler")
        public String getById(@PathVariable("id") Integer id) throws InterruptedException {
    
            System.out.println("正常访问");
            return "正常访问";
        }
    
        public String HotBlockHandler(@PathVariable("id") Integer id,BlockException e) throws InterruptedException {
    
            return "热点异常处理";
        }
    }

**登录sentinel**

![41fa832ae9bb4c9398b8cbb2d7a3aa82.png][]

查看nacos配置的配置信息。

[0b45e70f89614a7db9ddcb824938ff9b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/6459cdd5849a4b0bbc56aa2965319064.png
[7183a04be7a545c5b3fcd8cf5a699d4d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/ea055b45954a4145bb8627622594e07d.png
[a27fc14e83404deba4de14c6af2be908.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/4587e06dcf414f30a492d3d24ef70f88.png
[9238d59bc8eb448ea350cdfa471b66d2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/bd20917bf8214455b9e2e94b665eb2f9.png
[e9ceaed37e054aefacf2e9a9c6bd2b68.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/051186a3e5474c2789f091aa70bf0464.png
[eecf6210205c4a6e9759ea3e17a0309f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/e4454efc98ba4050a548c63072cf14ba.png
[c2e0e3cc2e5947bcbdbd6c80a22dd2d7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/fc81d317e2a94a8e9bd2ca9358092897.png
[09742d2e51954ff2b948fb6a94a5373c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/1409016fcf054f54b8c263971ba716c7.png
[290f0bdd9aec42938afe51c3c4b748d2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/fbfc1951e73a415cb4dc5b304e05514e.png
[72ecefe8afeb489f8d73e429adf0b84e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/3f43917c847946ab85b094bbc80fc0c3.png
[586e203c841444228760655565e2a38e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/4177fd65ade24bd39be3f019ea33f543.png
[90095c3c7ad843d0ae4e2922ced4b33d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/3cb45818038140b7a82c55d57465dbad.png
[4992deca5c354c1fac6dcc32364525d4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/6786618f547e4de69c42ec70de680c68.png
[5861b4f7bbbb4a91829bfeccc3bec461.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/4dc9189707624fcaab6150ed60632589.png
[295c23ff16a54712a73b47cf9f6891a7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/a2496915c17d47d49872e5b8e5580c13.png
[56ffa1478a4d4d7aa3cc41e6af38748a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/38fdd7d830084af99b726a3e622a722c.png
[66dd3595ceb044fd86ae630d05368d79.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/1df3739be1f84cdf83d80f35c74466c4.png
[27cb0130e762464ea649ce8d86b9a2e0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/c21b695eb08647ff96b3e46b8a9c4916.png
[9f6a3cff540f43e3af9b68f5ce18468c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/e4e02ce1cbff493094f619b83bc8dbef.png
[6c66e619b23b48b7b269ffb844d3372f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/d1071b6e8bcf41ff96a205d2a97120e2.png
[a677bae23d7e4af481b322f87ff002c9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/648c8fde5c6646478ed2176a4c766f95.png
[20eec9452642495899c8c98a26af777d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/6e9a1c174eed45ee9508c676ad7bdfc4.png
[0da4ae57324441fd94c37b1c276187f1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/34321c7f0ee34fcf909e8319127d8d54.png
[f67105ed36cb469e89bff8560f624b2f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/4d934c93d88c466ab000899c112bab88.png
[c196bcd0036a45baae1294c2718a2275.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/4da9e8c5bd1e4530a67d6a5cf02694c8.png
[d3637a7310d241edb911f028f2773ac0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/5f3061ad1bb4439d932a56b100c6cfd3.png
[ce7ddeedd4e9461eafbabe78e4147913.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/f4437020d4e8469fb9eb79e88526c5b7.png
[bac34b2a4a714d9f86e4e1e0509dfad4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/cee9c495d1d048ce93dec42f4cbfabc0.png
[cc9b844ebd504e09ac92351f5abfa831.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/994bebb4f83a43a8b26c179104fe1542.png
[5f45134900b446dfac90d342b2145f0f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/459b5daffc3c4c86aecd8f6fcb65e1cb.png
[248ad30e7dac4509b3aab2627ac922d8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/5c3cc481bc904ff0bc276c7cf9be9be7.png
[82c3c2c788834306a3e94a3d2221f786.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/36fd2de0143f49df8217062f2d1a7241.png
[44c88c4d5fcc4b51bf3a2a4ca93cdbc9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/76e3edd9c8bb4d5f95507aeea6d5a39e.png
[5a4ca372aaff4f289778aed4f6b9a2c1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/e3a8fa2fed154e9daefa5b54e6e4b6e5.png
[f6244b502a1e430ea32ae02bde2d121a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/4c402d6b27894d16a134f429c0b2b376.png
[130e21b1c208455885eaaa30f8d4a056.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/ffacb815a62b4a90b1830c80cd65f6d3.png
[87561393085e473c90f6479d339f2828.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/2fa63f28dd874cfc8b96d2c6155bfc16.png
[90837bd61c1140b3936c4f364b1a017c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/b01b9a57724f409eac60d964981f8138.png
[9a9c5870285749fab5be2ce9b7d60cc9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/5e2504428af446bd8a17949e85245516.png
[c172f40fa3c0499fa5dc99ebccf4d44a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/64757af2543f4d668806b1ae497ff001.png
[2c6e7f6d05b8441095abc5dcbdf94e81.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/282b90a5eb0f43b59e867454cf863161.png
[ba7c61a742444548a4555b0e8ca1fcbb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/bebc2fea2ef04aba8e875c33ce7c0565.png
[eb89128461ac4e93b1883dccbe1e7f05.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/2002b6efd4654d9e9b198147ca8467f0.png
[db256be72a8e4844a2703e0aea4f3036.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/e7b283ef775a4ff0a89bb1110da581e0.png
[a0f27a839f0647498662924f27cc427f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/847cf13d162a410791b0bc40e970ce95.png
[c9fdd7146f2f4a5c861adcb1d6b91ba0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/f630cffedb8f4c59b826dbedc8da1bfd.png
[83491a9fc66b4b1487bb7c6981c44b42.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/a7dc31b2c140405ba334bec7e800ea33.png
[41fa832ae9bb4c9398b8cbb2d7a3aa82.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/74beed2a35e3485da19d3f4de0eb7adf.png