微服务：SpringCloud hystrix 服务熔断、断路器、隔离

傷城~ 2023-02-13 00:23 40阅读 0赞

### 一、雪崩效应 ###

在微服务架构中，一个请求需要调用多个服务是非常常见的。如客户端访问 A 服务，而 A 服务需要调用 B 服务，B 服务需要调用 C 服务，由于网络原因或者自身的原因，如果 B 服务或者 C 服务不能及时响应， A 服 务将处于阻塞状态，直到B 服务 C 服务响应。此时若有大量的请求涌入，容器的线程资源会被消耗完毕， 导致服务瘫痪。服务与服务之间的依赖性，故障会传播，造成连锁反应，会对整个微服务系统造成灾难性的严重后果，这就是服务故障的“ 雪崩 ” 效应。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70][]

雪崩是系统中的蝴蝶效应导致其发生的原因多种多样，有不合理的容量设计，或者是高并发下某一个方 法响应变慢，亦或是某台机器的资源耗尽。从源头上我们无法完全杜绝雪崩源头的发生，但是雪崩的根本原因来源于服务之间的强依赖，所以我们可以提前评估，做好**熔断，隔离，限流。**

**服务隔离：**顾名思义，它是指将系统按照一定的原则划分为若干个服务模块，各个模块之间相对独立，无强依赖。 当有故障发生时，能将问题和影响隔离在某个模块内部，而不扩散风险，不波及其它模块，不影响整体  的系统服务。

**熔断降级** ：熔断这一概念来源于电子工程中的断路器（Circuit Breaker）。在互联网系统中，当下游服务因访问压 力过大而响应变慢或失败，上游服务为了保护系统整体的可用性，可以暂时切断对下游服务的调用。这种牺牲局部，保全整体的措施就叫做熔断。 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 1][]

所谓降级，就是当某个服务熔断之后，服务器将不再被调用，此时客户端可以自己准备一个本地的 fallback回调，返回一个缺省值。 也可以理解为兜底。

**服务限流：** 限流可以认为服务降级的一种，限流就是限制系统的输入和输出流量已达到保护系统的目的。一般来说 系统的吞吐量是可以被测算的，为了保证系统的稳固运行，一旦达到的需要限制的阈值，就需要限制流  量并采取少量措施以完成限制流量的目的。比方：推迟解决，拒绝解决，或者者部分拒绝解决等等。

## ##

### 二、hrstrix组件 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 2][]

Hystrix 是由 Netflflix 开源的一个延迟和容错库，用于隔离访问远程系统、服务或者第三方库，防止级联失败，从而提升系统的可用性与容错性。Hystrix 主要通过以下几点实现延迟和容错。

*  包裹请求：使用 HystrixCommand 包裹对依赖的调用逻辑，每个命令在独立线程中执行。这使用了设计模式中的“ 命令模式 ” 。 
 *  跳闸机制：当某服务的错误率超过一定的阈值时， Hystrix 可以自动或手动跳闸，停止请求该服务一段时间。

*  资源隔离：Hystrix为每个依赖都维护了一个小型的线程池（或者信号量）。如果该线程池已满， 发往该依赖的请求就被立即拒绝，而不是排队等待，从而加速失败判定。 
 *  监控：Hystrix可以近乎实时地监控运行指标和配置的变化，例如成功、失败、超时、以及被拒绝的请求等。
 *  回退机制：当请求失败、超时、被拒绝，或当断路器打开时，执行回退逻辑。回退逻辑由开发人员自行提供，例如返回一个缺省值。
 *  自我修复：断路器打开一段时间后，会自动进入“半开”状态。

### 三、**Rest****实现服务熔断** ###

**（1）order-service**

<?xml version="1.0" encoding="UTF-8"?>
    <project xmlns="http://maven.apache.org/POM/4.0.0"
             xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
             xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
        <parent>
            <artifactId>spring_cloud_hystrix_demo</artifactId>
            <groupId>cn.itcast</groupId>
            <version>1.0-SNAPSHOT</version>
        </parent>
        <modelVersion>4.0.0</modelVersion>
    
        <artifactId>order_service_rest</artifactId>
    
        <dependencies>
            <dependency>
                <groupId>mysql</groupId>
                <artifactId>mysql-connector-java</artifactId>
                <version>5.1.32</version>
            </dependency>
    
            <dependency>
                <groupId>org.springframework.cloud</groupId>
                <artifactId>spring-cloud-commons</artifactId>
            </dependency>
    
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-data-jpa</artifactId>
            </dependency>
            
            <dependency>
                <groupId>org.springframework.cloud</groupId>
                <artifactId>spring-cloud-starter-netflix-eureka-client</artifactId>
            </dependency>
    
            
            <dependency>
                <groupId>org.springframework.cloud</groupId>
                <artifactId>spring-cloud-starter-openfeign</artifactId>
            </dependency>
            <dependency>
                <groupId>org.springframework.cloud</groupId>
                <artifactId>spring-cloud-starter-netflix-hystrix</artifactId>
            </dependency>
        </dependencies>
    </project>

server:
      port: 9004 #端口
    spring:
      application:
        name: service-order #服务名称
      datasource:
        driver-class-name: com.mysql.jdbc.Driver
        url: jdbc:mysql://localhost:3306/shop?useUnicode=true&characterEncoding=utf8
        username: root
        password: 111111
      jpa:
        database: MySQL
        show-sql: true
        open-in-view: true
    #配置Eureka
    eureka:
      client:
        service-url:
          defaultZone: http://localhost:9000/eureka/,http://localhost:8000/eureka/
      instance:
        prefer-ip-address: true #使用ip地址注册

package cn.itcast.order;
    
    import org.springframework.boot.SpringApplication;
    import org.springframework.boot.autoconfigure.SpringBootApplication;
    import org.springframework.boot.autoconfigure.domain.EntityScan;
    import org.springframework.cloud.client.circuitbreaker.EnableCircuitBreaker;
    import org.springframework.cloud.client.loadbalancer.LoadBalanced;
    import org.springframework.context.annotation.Bean;
    import org.springframework.web.client.RestTemplate;
    
    @SpringBootApplication
    //激活hystrix
    @EnableCircuitBreaker
    @EntityScan("cn.itcast.order.entity")
    public class RestOrderApplication {
    
    	@LoadBalanced
    	@Bean
    	public RestTemplate restTemplate() {
    		return new RestTemplate();
    	}
    
    	public static void main(String[] args) {
    		SpringApplication.run(RestOrderApplication.class,args);
    	}
    }

package cn.itcast.order.controller;
    
    import cn.itcast.order.entity.Product;
    
    import com.netflix.hystrix.contrib.javanica.annotation.DefaultProperties;
    import com.netflix.hystrix.contrib.javanica.annotation.HystrixCommand;
    import org.springframework.beans.factory.annotation.Autowired;
    import org.springframework.cloud.client.ServiceInstance;
    import org.springframework.cloud.client.discovery.DiscoveryClient;
    import org.springframework.web.bind.annotation.PathVariable;
    import org.springframework.web.bind.annotation.RequestMapping;
    import org.springframework.web.bind.annotation.RequestMethod;
    import org.springframework.web.bind.annotation.RestController;
    import org.springframework.web.client.RestTemplate;
    
    import java.util.List;
    
    @RestController
    @RequestMapping("/order")
    public class OrderController {
    
    	@Autowired
    	private RestTemplate restTemplate;
    
    
    	/**
    	 * 使用注解配置熔断保护
    	 *     fallbackmethod : 配置熔断之后的降级方法
    	 */
    	@HystrixCommand(fallbackMethod = "orderFallBack")
    	@RequestMapping(value = "/buy/{id}",method = RequestMethod.GET)
    	public Product findById(@PathVariable Long id) {
    		return restTemplate.getForObject("http://service-product/product/1",Product.class);
    	}
    
    
    	/**
    	 * 降级方法
    	 *  和需要收到保护的方法的返回值一致
    	 *  方法参数一致
    	 */
    	public Product orderFallBack(Long id) {
    		Product product = new Product();
    		product.setProductName("触发降级方法");
    		return product;
    	}
    
    }

**（2）service-product 不变**

@RequestMapping(value = "/{id}",method = RequestMethod.GET)
    	public Product findById(@PathVariable Long id) {
    		try {
    			Thread.sleep(2000);
    		} catch (InterruptedException e) {
    			e.printStackTrace();
    		}
    		Product product = productService.findById(id);
    		product.setProductName("访问的服务地址:"+ip + ":" + port);
    		return product;
    	}

输入[http://localhost:9004/order/buy/1][http_localhost_9004_order_buy_1]

![20200526200643601.png][]

有的同学可能会问，这不是高并发为啥，还这样咧？降级了。

**超时设置**

默认访问服务接口，如果超过一秒，就降级。这里可以去配置文件配置。

hystrix:
      command:
        default:
          execution:
            isolation:
              strategy: ExecutionIsolationStrategy.SEMAPHORE #信号量隔离
              strategy: # ExecutionIsolationStrategy.THREAD 线程池隔离
              thread:
                timeoutInMilliseconds: 3000 #默认的连接超时时间1秒,若1秒没有返回数据,自动的触发降级逻辑

**统一降级接口：如果我们的服务有多个接口需要降级，该怎么办呢？**

**添加统一降级方法，和@**DefaultProperties注解在类上面。这样就不需要给某个接口特地的指定某个方法

package cn.itcast.order.controller;
    
    import cn.itcast.order.entity.Product;
    
    import com.netflix.hystrix.contrib.javanica.annotation.DefaultProperties;
    import com.netflix.hystrix.contrib.javanica.annotation.HystrixCommand;
    import org.springframework.beans.factory.annotation.Autowired;
    import org.springframework.cloud.client.ServiceInstance;
    import org.springframework.cloud.client.discovery.DiscoveryClient;
    import org.springframework.web.bind.annotation.PathVariable;
    import org.springframework.web.bind.annotation.RequestMapping;
    import org.springframework.web.bind.annotation.RequestMethod;
    import org.springframework.web.bind.annotation.RestController;
    import org.springframework.web.client.RestTemplate;
    
    import java.util.List;
    
    @RestController
    @RequestMapping("/order")
    /**
     * @DefaultProperties : 指定此接口中公共的熔断设置
     *      如果过在@DefaultProperties指定了公共的降级方法
     *      在@HystrixCommand不需要单独指定了
     */
    @DefaultProperties(defaultFallback = "defaultFallBack")
    public class OrderController {
    
    	@Autowired
    	private RestTemplate restTemplate;
    
    
    	/**
    	 * 使用注解配置熔断保护
    	 *     fallbackmethod : 配置熔断之后的降级方法
    	 */
    	@HystrixCommand
    	@RequestMapping(value = "/buy/{id}",method = RequestMethod.GET)
    	public Product findById(@PathVariable Long id) {
    		return restTemplate.getForObject("http://service-product/product/1",Product.class);
    	}
    
    
    	/**
    	 * 指定统一的降级方法
    	 *  * 参数 : 没有参数
    	 */
    	public Product defaultFallBack() {
    		Product product = new Product();
    		product.setProductName("触发统一的降级方法");
    		return product;
    	}
    
    
    
    }

**测试：**

![20200526201837240.png][]

### 四、Feign**实现服务熔断** ###

添加依赖：

<dependency>
                <groupId>org.springframework.cloud</groupId>
                <artifactId>spring-cloud-starter-netflix-hystrix</artifactId>
            </dependency>

feign中开启配置hystrix：

feign:
      client:
        config:
          service-product:  #需要调用的服务名称
            loggerLevel: FULL
      #开启对hystrix的支持
      hystrix:
        enabled: true

配置一个feign的降级逻辑类：

package cn.itcast.order.feign;
    
    import cn.itcast.order.entity.Product;
    import org.springframework.stereotype.Component;
    
    @Component
    public class ProductFeignClientCallBack implements ProductFeignClient {
    
    	/**
    	 * 熔断降级的方法
    	 */
    	@Override
    	public Product findById(Long id) {
    		Product product = new Product();
    		product.setProductName("feign调用触发熔断降级方法");
    		return product;
    	}
    }

package cn.itcast.order.feign;
    
    import cn.itcast.order.entity.Product;
    import org.springframework.cloud.openfeign.FeignClient;
    import org.springframework.web.bind.annotation.PathVariable;
    import org.springframework.web.bind.annotation.RequestMapping;
    import org.springframework.web.bind.annotation.RequestMethod;
    
    /**
     * 声明需要调用的微服务名称
     *  @FeignClient
     *      * name : 服务提供者的名称
     *      * fallback : 配置熔断发生降级方法
     *                  实现类
     */
    @FeignClient(name="service-product",fallback = ProductFeignClientCallBack.class)
    public interface ProductFeignClient {
    
    	/**
    	 * 配置需要调用的微服务接口
    	 */
    	@RequestMapping(value="/product/{id}",method = RequestMethod.GET)
    	public Product findById(@PathVariable("id") Long id);
    }

启动类：

package cn.itcast.order;
    
    import org.springframework.boot.SpringApplication;
    import org.springframework.boot.autoconfigure.SpringBootApplication;
    import org.springframework.boot.autoconfigure.domain.EntityScan;
    import org.springframework.cloud.client.circuitbreaker.EnableCircuitBreaker;
    import org.springframework.cloud.netflix.hystrix.dashboard.EnableHystrixDashboard;
    import org.springframework.cloud.openfeign.EnableFeignClients;
    
    @SpringBootApplication
    @EntityScan("cn.itcast.order.entity")
    //激活Feign
    @EnableFeignClients
    //激活hystrix
    @EnableCircuitBreaker
    public class FeignOrderApplication {
    
    	public static void main(String[] args) {
    		SpringApplication.run(FeignOrderApplication.class,args);
    	}
    }

**测试：**

![20200526203833399.png][]

降级成功。

### 五、hystrix**的监控平台** ###

除了实现容错功能， Hystrix 还提供了近乎实时的监控， HystrixCommand 和 HystrixObservableCommand在执行时，会生成执行结果和运行指标。比如每秒的请求数量，成功数 量等。这些状态会暴露在Actuator 提供的 /health 端点中。只需为项目添加  spring \- boot \- actuator  依 赖，重启项目，访问 http://localhost:9001/actuator/hystrix.stream  , 即可看到实时的监控数据。

**这样有助于我们去看哪些接口出现了降级**

使用feign服务来验证。

引入依赖

<dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-actuator</artifactId>
            </dependency>
            <dependency>
                <groupId>org.springframework.cloud</groupId>
                <artifactId>spring-cloud-starter-netflix-hystrix</artifactId>
            </dependency>

配置暴露接口：

management:
      endpoints:
        web:
          exposure:
            include: '*'

就是这样的，那么大家是不是感觉这样很不方便看啊

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 3][]

解决办法：

引入依赖

<dependency>
                <groupId>org.springframework.cloud</groupId>
                <artifactId>spring-cloud-starter-netflix-hystrix-dashboard</artifactId>
            </dependency>

启动类添加一个注解：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 4][]

[http://localhost:9003/hystrix][http_localhost_9003_hystrix]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 5][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 6][]

这三个0有一些特别的含义：

![20200526210745716.png][]

第一个代表：成功的次数，第二个代表熔断的次数，第三个代表错误请求的次数。

![20200526211341905.png][]

### 六、断路器聚合监控Turbine ###

在微服务架构体系中，每个服务都需要配置 Hystrix DashBoard 监控。如果每次只能查看单个实例的监 控数据，就需要不断切换监控地址，这显然很不方便。要想看这个系统的Hystrix Dashboard 数据就需 要用到Hystrix Turbine 。 Turbine 是一个聚合 Hystrix  监控数据的工具，他可以将所有相关微服务的 Hystrix 监控数据聚合到一起，方便使用。引入 Turbine 后，整个监控系统架构如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 7][]

创建一个新的工程：

![20200526212344269.png][]

引入依赖：

配置启动类

package cn.itcast;
    
    import org.springframework.boot.SpringApplication;
    import org.springframework.boot.autoconfigure.SpringBootApplication;
    import org.springframework.cloud.netflix.hystrix.dashboard.EnableHystrixDashboard;
    import org.springframework.cloud.netflix.turbine.EnableTurbine;
    
    @SpringBootApplication
    //trubin配置
    @EnableTurbine
    @EnableHystrixDashboard
    public class TurbinAppliation {
    
    	public static void main(String[] args) {
    		SpringApplication.run(TurbinAppliation.class,args);
    	}
    }

配置文件

server:
      port: 8031
    spring:
      application:
        name: hystrix-turbine
    eureka:
      client:
        service-url:
          defaultZone: http://localhost:9000/eureka/
      instance:
        prefer-ip-address: true
    turbine:
      # 要监控的微服务列表，多个用,分隔
      appConfig: service-order
      clusterNameExpression: "'default'"

测试：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 8][]

这是跟刚才一样的，输入url就可以了。([http://localhost:8031/turbine.stream][http_localhost_8031_turbine.stream])

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 9][]

### 七、断路器 ###

**状态：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 10][]

熔断器有三个状态  CLOSED  、  OPEN  、  HALF\_OPEN  熔断器默认关闭状态，当触发熔断后状态变更为 OPEN , 在等待到指定的时间， Hystrix 会放请求检测服务是否开启，这期间熔断器会变为  HALF\_OPEN  半 开启状态，熔断探测服务可用则继续变更为 CLOSED  关闭熔断器。

*  Closed ：关闭状态（断路器关闭），所有请求都正常访问。代理类维护了最近调用失败的次数，如果某次调用失败，则使失败次数加1 。如果最近失败次数超过了在给定时间内允许失败的阈值，则代理类切换到断开(Open) 状态。此时代理开启了一个超时时钟，当该时钟超过了该时间，则切换到半断开（Half-Open ）状态。该超时时间的设定是给了系统一次机会来修正导致调用失败的错误。
 *  Open ：打开状态（断路器打开），所有请求都会被降级。 Hystix 会对请求情况计数，当一定时间 内失败请求百分比达到阈值，则触发熔断，断路器会完全关闭。默认失败比例的阈值是 50% ，请求 次数最少不低于 20 次。
 *  Half Open ：半开状态， open 状态不是永久的，打开后会进入休眠时间（默认是 5S ）。随后断路 器会自动进入半开状态。此时会释放 1 次请求通过，若这个请求是健康的，则会关闭断路器，否则  继续保持打开，再次进行 5 秒休眠计时。

下面结合一张小图，给大家说一下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 11][]

大致就是这么一张图，还有一个图，结合一起来说。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 12][]

（1）用户对订单系统发起访问，订单系统调用远程的微服务。调用过程可能发生一些意外，导致熔断。

（2）起初断路器是关闭的状态，放行所有的请求，如果调用某一个接口，一直失败。这里有一个阈值（比如20次，50%以上的失败率）。那么断路器的状态就变成了打开。否则还是关闭。

（3）一旦断路器打开，所有请求这个接口的请求，均降级处理。这里打开状态有一个时间，如果状态超过了是这个时间，就自动调用一次对应微服务的接口，如果成功，状态就变成关闭。否则还是打开，再等一段时间测试。

### 八、隔离策略 ###

微服务使用 Hystrix 熔断器实现了服务的自动降级，让微服务具备自我保护的能力，提升了系统的稳定性，也较好的解决雪崩效应。**其使用方式目前支持两种策略：**

*  **线程池隔离策略：**使用一个线程池来存储当前的请求，线程池对请求作处理，设置任务返回处理超时时间，堆积的请求堆积入线程池队列。这种方式需要为每个依赖的服务申请线程池，有一定的资 源消耗，好处是可以应对突发流量（流量洪峰来临时，处理不完可将数据存储到线程池队里慢慢处 理）
 *  **信号量隔离策略：**使用一个原子计数器（或信号量）来记录当前有多少个线程在运行，请求来先判断计数器的数值，若超过设置的最大线程个数则丢弃改类型的新请求，若不超过则执行计数操作请求来计数器\+1，请求返回计数器\-1。这种方式是严格的控制线程且立即返回模式，无法应对突发流量（流量洪峰来临时，处理的线程超过数量，其他的请求会直接返回，不继续去请求依赖的服务）

**线程池和型号量两种策略功能支持对比如下：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 13][]

配置文件配置：

*  hystrix.command.default.execution.isolation.strategy : 配置隔离策略（ExecutionIsolationStrategy.SEMAPHORE 信号量隔离、ExecutionIsolationStrategy.THREAD 线程池隔离 ）
 *  hystrix.command.default.execution.isolation.maxConcurrentRequests  :  最大信号量上限

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 14][]

源码：git@gitee.com:Zesystem/springclouddemohystrix.git

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200526181143830.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200526181308551.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200526181728424.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ==,size_16,color_FFFFFF,t_70
[http_localhost_9004_order_buy_1]: http://localhost:9004/order/buy/1
[20200526200643601.png]: https://img-blog.csdnimg.cn/20200526200643601.png
[20200526201837240.png]: https://img-blog.csdnimg.cn/20200526201837240.png
[20200526203833399.png]: https://img-blog.csdnimg.cn/20200526203833399.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200526205112580.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200526204704262.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ==,size_16,color_FFFFFF,t_70
[http_localhost_9003_hystrix]: http://localhost:9003/hystrix
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200526205914283.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200526210146903.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ==,size_16,color_FFFFFF,t_70
[20200526210745716.png]: https://img-blog.csdnimg.cn/20200526210745716.png
[20200526211341905.png]: https://img-blog.csdnimg.cn/20200526211341905.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20200526212336197.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ==,size_16,color_FFFFFF,t_70
[20200526212344269.png]: https://img-blog.csdnimg.cn/20200526212344269.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/2020052621280582.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ==,size_16,color_FFFFFF,t_70
[http_localhost_8031_turbine.stream]: http://localhost:8031/turbine.stream
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/2020052621295046.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20200526220142996.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/20200526215258625.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 12]: https://img-blog.csdnimg.cn/20200526215709959.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 13]: https://img-blog.csdnimg.cn/20200526224045645.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 14]: https://img-blog.csdnimg.cn/20200526224120128.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ==,size_16,color_FFFFFF,t_70