SpringCloud Sentinel集成Gateway和实时监控

桃扇骨 2024-03-17 11:26 81阅读 0赞

#### 目录 ####

*  1 Sentinel集成Gateway
 *   *  1.1 Sentinel对网关支持
     *  1.2 GateWay集成Sentinel
 *  2 Sentinel控制台
 *   *  2.1 Sentinel控制台安装
     *  2.2 接入控制台
     *  2.3 可视化管理
     *   *  2.3.1 实时监控
         *  2.3.2 流控规则
         *  2.3.3 降级规则
         *  2.3.4 热点数据

--------------------

**想学习架构师构建流程请跳转：[Java架构师系统架构设计][Java]**  
![在这里插入图片描述][271b08bb882346ce960d7f4c653aa540.gif_pic_center]

## 1 Sentinel集成Gateway ##

![在这里插入图片描述][65b4e9580f454e6ca461df03a2249e33.png]

参看：

[https://github.com/alibaba/Sentinel/wiki/%E7%BD%91%E5%85%B3%E9%99%90%E6%B5%81\#spring-cloud-gateway][https_github.com_alibaba_Sentinel_wiki_E7_BD_91_E5_85_B3_E9_99_90_E6_B5_81_spring-cloud-gateway]

我们的项目流量入口是`SpringCloud Gateway`，因此我们重点讲解Sentinel集成`Gateway`。

### 1.1 Sentinel对网关支持 ###

Sentinel 支持对 Spring Cloud Gateway、Zuul 等主流的 API Gateway 进行限流。

![在这里插入图片描述][08b3eea01e7144dc9a94a8529289b20d.png]

Sentinel 1.6.0 引入了 `Sentinel API Gateway Adapter Common` 模块，此模块中包含网关限流的规则和自定义 API 的实体和管理逻辑

**从 1.6.0 版本开始，Sentinel 提供了 Spring Cloud Gateway 的适配模块，可以提供两种资源维度的限流：**

*  **route 维度：即在 Spring 配置文件中配置的路由条目，资源名为对应的 routeId**

spring: 
        gateway:
     #路由配置
     routes:
       #唯一标识符
           - id: hailtaxi-driver
             uri: lb://hailtaxi-driver
             #路由断言
             predicates:
               - Path=/driver/**
           #唯一标识符
           - id: hailtaxi-order
             uri: lb://hailtaxi-order
             #路由断言
             predicates:
               - Path=/order/**

自动将每个路由标识为资源，

*  **自定义 API 维度：用户可以利用 Sentinel 提供的 API 来自定义一些 API 分组**
    
    这两种维度分别对应如下：
 *  **GatewayFlowRule**：网关限流规则，针对 API Gateway 的场景定制的限流规则，可以针对不同 route 或自定义的 API 分组进行限流，支持针对请求中的参数、Header、来源 IP 等进行定制化的限流。
 *  **ApiDefinition**：用户自定义的 API 定义分组，可以看做是一些 URL 匹配的组合。比如我们可以定义一个 API 叫 `my_api`，请求 path 模式为 `/foo/**` 和 `/baz/**` 的都归到 `my_api` 这个 API 分组下面。限流的时候可以针对这个自定义的 API 分组维度进行限流。

其中网关限流规则 `GatewayFlowRule` 的字段解释如下：

*  `resource`：资源名称，可以是网关中的 route 名称或者用户自定义的 API 分组名称。
 *  `resourceMode`：规则是针对 API Gateway 的 route（`RESOURCE_MODE_ROUTE_ID`）还是用户在 `Sentinel` 中定义的 API 分组（`RESOURCE_MODE_CUSTOM_API_NAME`），默认是 route。
 *  `grade`：限流指标维度，同限流规则的 `grade` 字段。
 *  `count`：限流阈值
 *  `intervalSec`：统计时间窗口，单位是秒，默认是 1 秒。
 *  `controlBehavior`：流量整形的控制效果，同限流规则的 `controlBehavior` 字段，目前支持快速失败和匀速排队两种模式，默认是快速失败。
 *  `burst`：应对突发请求时额外允许的请求数目。
 *  `maxQueueingTimeoutMs`：匀速排队模式下的最长排队时间，单位是毫秒，仅在匀速排队模式下生效。
 *  `paramItem`：参数限流配置。若不提供，则代表不针对参数进行限流，该网关规则将会被转换成普通流控规则；否则会转换成热点规则。其中的字段：
 *  `parseStrategy`：从请求中提取参数的策略，目前支持提取来源 IP（`PARAM_PARSE_STRATEGY_CLIENT_IP`）、Host（`PARAM_PARSE_STRATEGY_HOST`）、任意 Header（`PARAM_PARSE_STRATEGY_HEADER`）和任意 URL 参数（`PARAM_PARSE_STRATEGY_URL_PARAM`）四种模式。
    
     *  `fieldName`：若提取策略选择 Header 模式或 URL 参数模式，则需要指定对应的 header 名称或 URL 参数名称。
 *  `pattern`：参数值的匹配模式，只有匹配该模式的请求属性值会纳入统计和流控；若为空则统计该请求属性的所有值。（1.6.2 版本开始支持）
    
     *  `matchStrategy`：参数值的匹配策略，目前支持精确匹配（`PARAM_MATCH_STRATEGY_EXACT`）、子串匹配（`PARAM_MATCH_STRATEGY_CONTAINS`）和正则匹配（`PARAM_MATCH_STRATEGY_REGEX`）。（1.6.2 版本开始支持）

用户可以通过 `GatewayRuleManager.loadRules(rules)` 手动加载网关规则，或通过 `GatewayRuleManager.register2Property(property)` 注册动态规则源动态推送（推荐方式）。

### 1.2 GateWay集成Sentinel ###

![在这里插入图片描述][4de0c896377b4e88943c05ac035b171a.png]

我们如果想要让微服务网关集成Sentinel，需要引入依赖包，使用时只需注入对应的 `SentinelGatewayFilter` 实例以及 `SentinelGatewayBlockExceptionHandler` 实例即可。

1、首先在`hailtaxi-gateway`中引入如下依赖:

<dependency>
        <groupId>com.alibaba.csp</groupId>
        <artifactId>sentinel-spring-cloud-gateway-adapter</artifactId>
        <version>1.8.0</version>
    </dependency>

2、实例引入：创建配置类`com.itheima.config.GatewayConfiguration`:

package com.itheima.config;
    
    import com.alibaba.csp.sentinel.adapter.gateway.common.SentinelGatewayConstants;
    import com.alibaba.csp.sentinel.adapter.gateway.common.api.ApiDefinition;
    import com.alibaba.csp.sentinel.adapter.gateway.common.api.ApiPathPredicateItem;
    import com.alibaba.csp.sentinel.adapter.gateway.common.api.ApiPredicateItem;
    import com.alibaba.csp.sentinel.adapter.gateway.common.api.GatewayApiDefinitionManager;
    import com.alibaba.csp.sentinel.adapter.gateway.common.rule.GatewayFlowRule;
    import com.alibaba.csp.sentinel.adapter.gateway.common.rule.GatewayParamFlowItem;
    import com.alibaba.csp.sentinel.adapter.gateway.common.rule.GatewayRuleManager;
    import com.alibaba.csp.sentinel.adapter.gateway.sc.SentinelGatewayFilter;
    import com.alibaba.csp.sentinel.adapter.gateway.sc.exception.SentinelGatewayBlockExceptionHandler;
    import com.alibaba.csp.sentinel.slots.block.RuleConstant;
    import org.springframework.beans.factory.ObjectProvider;
    import org.springframework.cloud.gateway.filter.GlobalFilter;
    import org.springframework.context.annotation.Bean;
    import org.springframework.context.annotation.Configuration;
    import org.springframework.core.Ordered;
    import org.springframework.core.annotation.Order;
    import org.springframework.http.codec.ServerCodecConfigurer;
    import org.springframework.web.reactive.result.view.ViewResolver;
    
    import javax.annotation.PostConstruct;
    import java.util.Collections;
    import java.util.HashSet;
    import java.util.List;
    import java.util.Set;
    
    @Configuration
    public class GatewayConfiguration {
        
    
        private final List<ViewResolver> viewResolvers;
        private final ServerCodecConfigurer serverCodecConfigurer;
    
        public GatewayConfiguration(ObjectProvider<List<ViewResolver>> viewResolversProvider,
                                    ServerCodecConfigurer serverCodecConfigurer) {
        
            this.viewResolvers = viewResolversProvider.getIfAvailable(Collections::emptyList);
            this.serverCodecConfigurer = serverCodecConfigurer;
        }
    
        /**
         * 限流的异常处理器
         * @return
         */
        @Bean
        @Order(Ordered.HIGHEST_PRECEDENCE)
        public SentinelGatewayBlockExceptionHandler sentinelGatewayBlockExceptionHandler() {
        
            return new SentinelGatewayBlockExceptionHandler(viewResolvers, serverCodecConfigurer);
        }
    
        /***
         * Sentinel路由处理核心过滤器
         * @return
         */
        @Bean
        @Order(-1)
        public GlobalFilter sentinelGatewayFilter() {
        
            return new SentinelGatewayFilter();
        }
    
    
    
        @PostConstruct
        public void doInit() {
        
            // 自定义 api 分组
            initCustomizedApis();
            // 初始化网关流控规则
            initGatewayRules();
        }
    
        private void initCustomizedApis() {
        
            Set<ApiDefinition> definitions = new HashSet<>();
            ApiDefinition api1 = new ApiDefinition("customer_api")
                    .setPredicateItems(new HashSet<ApiPredicateItem>() {
        {
        
                        add(new ApiPathPredicateItem().setPattern("/order/**")
                                /**
                                 * 匹配策略：
                                 * URL_MATCH_STRATEGY_EXACT：url精确匹配
                                 * URL_MATCH_STRATEGY_PREFIX：url前缀匹配
                                 * URL_MATCH_STRATEGY_REGEX：url正则匹配
                                 */
                                .setMatchStrategy(SentinelGatewayConstants.URL_MATCH_STRATEGY_PREFIX));
                    }});
            definitions.add(api1);
            GatewayApiDefinitionManager.loadApiDefinitions(definitions);
        }
    
        private void initGatewayRules() {
        
            Set<GatewayFlowRule> rules = new HashSet<>();
    
            rules.add(new GatewayFlowRule("hailtaxi-driver") // 资源名称，可以是网关中的 routeid或者用户自定义的 API分组名称
                    .setCount(2) // 限流阈值
                    .setIntervalSec(10) // 统计时间窗口默认1s
                    .setGrade(RuleConstant.FLOW_GRADE_QPS) // 限流模式
                    /**
                     * 限流行为:
                     * CONTROL_BEHAVIOR_RATE_LIMITER 匀速排队
                     * CONTROL_BEHAVIOR_DEFAULT 快速失败(默认)
                     * CONTROL_BEHAVIOR_WARM_UP：
                     * CONTROL_BEHAVIOR_WARM_UP_RATE_LIMITER：
                     */
                    .setControlBehavior(RuleConstant.CONTROL_BEHAVIOR_RATE_LIMITER)
                    //匀速排队模式下的最长排队时间，单位是毫秒，仅在匀速排队模式下生效
                    .setMaxQueueingTimeoutMs(1000)
                    /**
                     * 热点参数限流配置
                     * 若不设置,该网关规则将会被转换成普通流控规则；否则会转换成热点规则
                     */
                    .setParamItem(new GatewayParamFlowItem()
                            /**
                             * 从请求中提取参数的策略:
                             * PARAM_PARSE_STRATEGY_CLIENT_IP
                             * PARAM_PARSE_STRATEGY_HOST
                             * PARAM_PARSE_STRATEGY_HEADER
                             * PARAM_PARSE_STRATEGY_URL_PARAM
                             */
                                        .setParseStrategy(SentinelGatewayConstants.PARAM_PARSE_STRATEGY_URL_PARAM)
                            /**
                             * 若提取策略选择 Header 模式或 URL 参数模式，
                             * 则需要指定对应的 header 名称或 URL 参数名称。
                             */
                            .setFieldName("token")
                            /**
                             * 参数的匹配策略：
                             * PARAM_MATCH_STRATEGY_EXACT
                             * PARAM_MATCH_STRATEGY_PREFIX
                             * PARAM_MATCH_STRATEGY_REGEX
                             * PARAM_MATCH_STRATEGY_CONTAINS
                             */
                            .setMatchStrategy(SentinelGatewayConstants.PARAM_MATCH_STRATEGY_EXACT)
                            //参数值的匹配模式，只有匹配该模式的请求属性值会纳入统计和流控
                            .setPattern("123456") // token=123456 10s内qps达到2次会被限流
                    )
            );
    
            rules.add(new GatewayFlowRule("customer_api")
                    /**
                     * 规则是针对 API Gateway 的 route（RESOURCE_MODE_ROUTE_ID）
                     * 还是用户在 Sentinel 中定义的 API 分组（RESOURCE_MODE_CUSTOM_API_NAME），默认是 route。
                     */
                    .setResourceMode(SentinelGatewayConstants.RESOURCE_MODE_CUSTOM_API_NAME)
                    .setCount(2)
                    .setIntervalSec(1)
                    .setGrade(RuleConstant.FLOW_GRADE_QPS)
            );
            GatewayRuleManager.loadRules(rules);
        }
    
    
    }

此时集成就完成了。

3、启动`hailtaxi-gateway`，`hailtaxi-drvier`，`hailtaxi-order`测试：

使用postman测试，

请求：`http://localhost:8001/driver/info/1` 10秒内请求超过2次会被限流

请求：`localhost:8001/order` 1秒内qps达到2次会被限流

查看：[https://github.com/alibaba/Sentinel/wiki/%E6%8E%A7%E5%88%B6%E5%8F%B0][https_github.com_alibaba_Sentinel_wiki_E6_8E_A7_E5_88_B6_E5_8F_B0]

Sentinel 控制台是流量控制、熔断降级规则统一配置和管理的入口，它为用户提供了机器自发现、簇点链路自发现、监控、规则配置等功能。在 Sentinel 控制台上，我们可以配置规则并实时查看流量控制效果。

## 2 Sentinel控制台 ##

### 2.1 Sentinel控制台安装 ###

Sentinel 提供一个轻量级的开源控制台，它提供机器发现以及健康情况管理、监控（单机和集群），规则管理和推送的功能。

Sentinel 控制台包含如下功能:

*  **查看机器列表以及健康情况**：收集 Sentinel 客户端发送的心跳包，用于判断机器是否在线。
 *  **监控 (单机和集群聚合)**：通过 Sentinel 客户端暴露的监控 API，定期拉取并且聚合应用监控信息，最终可以实现秒级的实时监控。
 *  **规则管理和推送**：统一管理推送规则。
 *  **鉴权**：生产环境中鉴权非常重要。这里每个开发者需要根据自己的实际情况进行定制。

Sentinel控制台安装可以基于jar包启动的方式安装，也可以基于docker安装，为了方便操作，我们这里采用docker安装方式：

docker run --name=sentinel-dashboard -d -p 8858:8858 -d --restart=on-failure bladex/sentinel-dashboard:1.8.0

安装好了后，我们可以直接访问 http://192.168.200.200:8858/，默认用户名和密码都是 `sentinel`

![在这里插入图片描述][1e7e599a4e464a4c88415c7f5f032208.png]

登录后，效果如下：

![在这里插入图片描述][11ab0fbd04a84ba894a3ec0660b08b8b.png]

### 2.2 接入控制台 ###

> 客户端需要引入 Transport 模块来与 Sentinel 控制台进行通信，可以通过 `pom.xml` 引入 JAR 包:
> 
>     <dependency>
>     <groupId>com.alibaba.csp</groupId>
>     <artifactId>sentinel-transport-simple-http</artifactId>
>     <version>x.y.z</version>
>     </dependency>
> 
> 如果是SpringBoot工程接入Sentinel，可以直接引入如下依赖包：
> 
>     <dependency>
>     <groupId>com.alibaba.cloud</groupId>
>     <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
>     <version>2.2.5.RELEASE</version>
>     </dependency>

**hailtaxi-gateway接入控制台：**

1、引入依赖包：

<dependency>
        <groupId>com.alibaba.cloud</groupId>
        <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
        <version>2.2.5.RELEASE</version>
    </dependency>

2、在核心配置文件中配置Sentinel控制台服务地址

spring:
      cloud:
        sentinel:
          transport:
            port: 8719
            dashboard: 192.168.200.200:8858

> 注意：
> 
> 1、这里的 `spring.cloud.sentinel.transport.port` 端口配置会在应用对应的机器上启动一个 Http Server，该 Server 会与 Sentinel 控制台做交互，比如限流规则拉取。
> 
> 2、配置信息现在是存储到nacos中，故要在nacos中找到`hailtaxi-gateway.yaml`，进行如下配置

![在这里插入图片描述][d50e6003c02e428897043564fd050ee6.png]

> 修改之后记得发布！

3、启动各个服务，

此时我们出发一些请求操作，再看Sentinel控制台会多一个服务监控：

![在这里插入图片描述][69d7b329898944458fd8a25462272062.png]

### 2.3 可视化管理 ###

#### 2.3.1 实时监控 ####

同一个服务下的所有机器的簇点信息会被汇总，并且秒级地展示在"实时监控"下。

**注意:** 实时监控仅存储 5 分钟以内的数据，如果需要持久化，需要通过调用[实时监控接口][Link 1]来定制。

![在这里插入图片描述][c786b5a78d26413a895e80d25b108c6e.png]

如果要获取监控数据，直接调用 http://localhost:8719/clusterNode 即可获取，效果如下：

![在这里插入图片描述][9b222583310e4dd0b33567775662a811.png]

#### 2.3.2 流控规则 ####

我们可以在【流控规则】页面中新增，点击【流控规则】进入页面新增页面，如下图：  
![在这里插入图片描述][1ccf52a667134bc3aba10eeeda3fcc08.png]

资源名：其实可以和请求路径保持一致，这里的流控模式为QPS，触发流控执行阈值为1，流控模式为让当前请求的资源快速直白。

> 这里的参数和我们程序中的参数其实是一样的，如下说明：
> 
>     resource：资源名，即限流规则的作用对象
>     count: 限流阈值
>     grade: 限流阈值类型（QPS 或并发线程数）
>     limitApp: 流控针对的调用来源，若为 default 则不区分调用来源
>     strategy: 调用关系限流策略：直接，关联，链路
>     controlBehavior: 流量控制效果（直接拒绝、Warm Up、匀速排队）

我们测试效果如下：

![在这里插入图片描述][a5a57ce1f82f4cab8186ac8a389580b0.png]

#### 2.3.3 降级规则 ####

我们可以选择`降级规则>新增降级规则`，如下图：

![在这里插入图片描述][bf2ecbd115f449728d11d935a410ffa5.png]

降级规则的熔断策略有3种，分别是慢调用比例、异常比例、异常数，和程序中是一样的。

#### 2.3.4 热点数据 ####

热点即经常访问的数据。很多时候我们希望统计某个热点数据中访问频次最高的 Top K 数据，并对其访问进行限制。

![在这里插入图片描述][7b8649ca3e634ec085f35966a7bac723.png]

**拓展知识点：**

注意：如果流控模式是链路模式，需要引入如下依赖：

<dependency>
        <groupId>com.alibaba.csp</groupId>
        <artifactId>sentinel-web-servlet</artifactId>
        <version>1.8.0</version>
    </dependency>

创建过滤器：

/***
     * CommonFilter过滤器
     * @return
     */
    @Bean
    public FilterRegistrationBean sentinelFilterRegistration() {
        
        FilterRegistrationBean registration = new FilterRegistrationBean();
        registration.setFilter(new CommonFilter());
        registration.addUrlPatterns("/*");  //过滤所有请求
        // 入口资源关闭聚合
        registration.addInitParameter(CommonFilter.WEB_CONTEXT_UNIFY, "false");
        registration.setName("sentinelFilter");
        registration.setOrder(1);
        return registration;
    }

bootstrap.yml配置：`web-context-unify: false`

cloud:
        sentinel:
          transport:
            port: 8719
            dashboard: localhost:8858
          web-context-unify: false  #可根据不同的URL 进行链路限流

[Java]: https://blog.csdn.net/ZGL_cyy/article/details/133549985
[271b08bb882346ce960d7f4c653aa540.gif_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/2ba02b5f572e4e1dbbcfc908f518d565.png
[65b4e9580f454e6ca461df03a2249e33.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/9cdc2c9c59144435bb021a9dba97a114.png
[https_github.com_alibaba_Sentinel_wiki_E7_BD_91_E5_85_B3_E9_99_90_E6_B5_81_spring-cloud-gateway]: https://github.com/alibaba/Sentinel/wiki/%E7%BD%91%E5%85%B3%E9%99%90%E6%B5%81#spring-cloud-gateway
[08b3eea01e7144dc9a94a8529289b20d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/3c2bffbc2f6a4da3b10d823261000408.png
[4de0c896377b4e88943c05ac035b171a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/b27d1bbbf3ec460f84f17ab98da808d7.png
[https_github.com_alibaba_Sentinel_wiki_E6_8E_A7_E5_88_B6_E5_8F_B0]: https://github.com/alibaba/Sentinel/wiki/%E6%8E%A7%E5%88%B6%E5%8F%B0
[1e7e599a4e464a4c88415c7f5f032208.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/02953d9a82884a39ad7fd628eb1aab22.png
[11ab0fbd04a84ba894a3ec0660b08b8b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/d7a6b7a512c14d199eb13c9de867fff2.png
[d50e6003c02e428897043564fd050ee6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/42424713e31342a6b442e3c34454d28e.png
[69d7b329898944458fd8a25462272062.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/9fe3e1cf55cd4bd09d7ba4dc9ed3d703.png
[Link 1]: https://github.com/alibaba/Sentinel/wiki/%E5%AE%9E%E6%97%B6%E7%9B%91%E6%8E%A7
[c786b5a78d26413a895e80d25b108c6e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/c3c62dee47c448098f2f150e504ac177.png
[9b222583310e4dd0b33567775662a811.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/79431f34c7fc458e9e54a4fa6af7c30e.png
[1ccf52a667134bc3aba10eeeda3fcc08.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/9cf44ea5408a40b0bb6aaf7e2b2b65db.png
[a5a57ce1f82f4cab8186ac8a389580b0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/95579ccf0b7c46a2ab5e27d37b2eb2a0.png
[bf2ecbd115f449728d11d935a410ffa5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/2d732cb54f574a019f119beaf3689bc7.png
[7b8649ca3e634ec085f35966a7bac723.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/922285355b1a4a0aa7e9e3a435c91214.png