Hystrix使用详解

迈不过友情╰ 2022-03-24 20:10 250阅读 0赞

# 一:为什么需要Hystrix? #

原文地址：[https://www.cnblogs.com/yepei/p/7169127.html][https_www.cnblogs.com_yepei_p_7169127.html]

在大中型分布式系统中，通常系统很多依赖(HTTP,hession,Netty,Dubbo等)，如下图:

![887e7862-578a-3616-a15c-1ef1cb62f3c4.png][]

在高并发访问下,这些依赖的稳定性与否对系统的影响非常大,但是依赖有很多不可控问题:如网络连接缓慢，资源繁忙，暂时不可用，服务脱机等.

如下图：QPS为50的依赖 I 出现不可用，但是其他依赖仍然可用.

![3bd6d0be-9ce5-35c2-bbd9-3493671b45d5.png][]

当依赖I 阻塞时,大多数服务器的线程池就出现阻塞(BLOCK),影响整个线上服务的稳定性.如下图:

![22f20da1-4096-314c-8c9f-5728251c46af.png][]

在复杂的分布式架构的应用程序有很多的依赖，都会不可避免地在某些时候失败。高并发的依赖失败时如果没有隔离措施，当前应用服务就有被拖垮的风险。

Java代码  ![收藏代码][icon_star.png]

1.  例如:一个依赖30个SOA服务的系统,每个服务99.99%可用。  
2.  99.99%的30次方 ≈ 99.7%  
3.  0.3% 意味着一亿次请求 会有 3,000,00次失败  
4.  换算成时间大约每月有2个小时服务不稳定.  
5.  随着服务依赖数量的变多，服务不稳定的概率会成指数性提高.

解决问题方案:对依赖做隔离,Hystrix就是处理依赖隔离的框架,同时也是可以帮我们做依赖服务的治理和监控.

Netflix 公司开发并成功使用Hystrix,使用规模如下:

Java代码  ![收藏代码][icon_star.png]

1.  The Netflix API processes 10+ billion HystrixCommand executions per day using thread isolation.   
2.  Each API instance has 40+ thread-pools with 5-20 threads in each (most are set to 10).

# 二:Hystrix如何解决依赖隔离 #

1:Hystrix使用命令模式HystrixCommand(Command)包装依赖调用逻辑，每个命令在单独线程中/信号授权下执行。

2:可配置依赖调用超时时间,超时时间一般设为比99.5%平均时间略高即可.当调用超时时，直接返回或执行fallback逻辑。

3:为每个依赖提供一个小的线程池（或信号），如果线程池已满调用将被立即拒绝，默认不采用排队.加速失败判定时间。

4:依赖调用结果分:成功，失败（抛出异常），超时，线程拒绝，短路。 请求失败(异常，拒绝，超时，短路)时执行fallback(降级)逻辑。

5:提供熔断器组件,可以自动运行或手动调用,停止当前依赖一段时间(10秒)，熔断器默认错误率阈值为50%,超过将自动运行。

6:提供近实时依赖的统计和监控

Hystrix依赖的隔离架构,如下图:

![8db93de3-db14-355f-ac70-16d06481b020.png][]

# 三:如何使用Hystrix #

## 1:使用maven引入Hystrix依赖 ##

![ContractedBlock.gif][]

## 2:使用命令模式封装依赖逻辑 ##

![ContractedBlock.gif][]

note:异步调用使用 command.queue()get(timeout, TimeUnit.MILLISECONDS);同步调用使用command.execute() 等同于 command.queue().get();

## 3:注册异步事件回调执行 ##

![ContractedBlock.gif][]

## 4:使用Fallback() 提供降级策略 ##

![ece3a873-1c63-35c3-bdf1-beb45c96b9c2.png][]

![ExpandedBlockStart.gif][]

![复制代码][copycode.gif]

1 //重载HystrixCommand 的getFallback方法实现逻辑
     2 public class HelloWorldCommand extends HystrixCommand<String> {
     3     private final String name;
     4     public HelloWorldCommand(String name) {
     5         super(Setter.withGroupKey(HystrixCommandGroupKey.Factory.asKey("HelloWorldGroup"))
     6                 /* 配置依赖超时时间,500毫秒*/
     7                 .andCommandPropertiesDefaults(HystrixCommandProperties.Setter().withExecutionIsolationThreadTimeoutInMilliseconds(500)));
     8         this.name = name;
     9     }
    10     @Override
    11     protected String getFallback() {
    12         return "exeucute Falled";
    13     }
    14     @Override
    15     protected String run() throws Exception {
    16         //sleep 1 秒,调用会超时
    17         TimeUnit.MILLISECONDS.sleep(1000);
    18         return "Hello " + name +" thread:" + Thread.currentThread().getName();
    19     }
    20     public static void main(String[] args) throws Exception{
    21         HelloWorldCommand command = new HelloWorldCommand("test-Fallback");
    22         String result = command.execute();
    23     }
    24 }
    25 /* 运行结果:getFallback() 调用运行
    26 getFallback executed
    27 */

![复制代码][copycode.gif]

NOTE: 除了HystrixBadRequestException异常之外，所有从run()方法抛出的异常都算作失败，并触发降级getFallback()和断路器逻辑。

HystrixBadRequestException用在非法参数或非系统故障异常等不应触发回退逻辑的场景。

## 5:依赖命名:CommandKey ##

![ContractedBlock.gif][]

NOTE: 每个CommandKey代表一个依赖抽象,相同的依赖要使用相同的CommandKey名称。依赖隔离的根本就是对相同CommandKey的依赖做隔离.

## 6:依赖分组:CommandGroup ##

命令分组用于对依赖操作分组,便于统计,汇总等.

![ContractedBlock.gif][]

NOTE: CommandGroup是每个命令最少配置的必选参数，在不指定ThreadPoolKey的情况下，字面值用于对不同依赖的线程池/信号区分.

## 7:线程池/信号:ThreadPoolKey ##

![ContractedBlock.gif][]

NOTE: 当对同一业务依赖做隔离时使用CommandGroup做区分,但是对同一依赖的不同远程调用如(一个是redis 一个是http),可以使用HystrixThreadPoolKey做隔离区分.

最然在业务上都是相同的组，但是需要在资源上做隔离时，可以使用HystrixThreadPoolKey区分.

## 8:请求缓存 Request-Cache ##

![ExpandedBlockStart.gif][]

![复制代码][copycode.gif]

1 public class RequestCacheCommand extends HystrixCommand<String> {
     2     private final int id;
     3     public RequestCacheCommand( int id) {
     4         super(HystrixCommandGroupKey.Factory.asKey("RequestCacheCommand"));
     5         this.id = id;
     6     }
     7     @Override
     8     protected String run() throws Exception {
     9         System.out.println(Thread.currentThread().getName() + " execute id=" + id);
    10         return "executed=" + id;
    11     }
    12     //重写getCacheKey方法,实现区分不同请求的逻辑
    13     @Override
    14     protected String getCacheKey() {
    15         return String.valueOf(id);
    16     }
    17  
    18     public static void main(String[] args){
    19         HystrixRequestContext context = HystrixRequestContext.initializeContext();
    20         try {
    21             RequestCacheCommand command2a = new RequestCacheCommand(2);
    22             RequestCacheCommand command2b = new RequestCacheCommand(2);
    23             Assert.assertTrue(command2a.execute());
    24             //isResponseFromCache判定是否是在缓存中获取结果
    25             Assert.assertFalse(command2a.isResponseFromCache());
    26             Assert.assertTrue(command2b.execute());
    27             Assert.assertTrue(command2b.isResponseFromCache());
    28         } finally {
    29             context.shutdown();
    30         }
    31         context = HystrixRequestContext.initializeContext();
    32         try {
    33             RequestCacheCommand command3b = new RequestCacheCommand(2);
    34             Assert.assertTrue(command3b.execute());
    35             Assert.assertFalse(command3b.isResponseFromCache());
    36         } finally {
    37             context.shutdown();
    38         }
    39     }
    40 }

![复制代码][copycode.gif]

NOTE:请求缓存可以让(CommandKey/CommandGroup)相同的情况下,直接共享结果，降低依赖调用次数，在高并发和CacheKey碰撞率高场景下可以提升性能.

Servlet容器中，可以直接实用Filter机制Hystrix请求上下文

![ContractedBlock.gif][]

## 9:信号量隔离:SEMAPHORE ##

隔离本地代码或可快速返回远程调用(如memcached,redis)可以直接使用信号量隔离,降低线程隔离开销.

![ExpandedBlockStart.gif][]

![复制代码][copycode.gif]

1 public class HelloWorldCommand extends HystrixCommand<String> {
     2     private final String name;
     3     public HelloWorldCommand(String name) {
     4         super(Setter.withGroupKey(HystrixCommandGroupKey.Factory.asKey("HelloWorldGroup"))
     5                 /* 配置信号量隔离方式,默认采用线程池隔离 */
     6                 .andCommandPropertiesDefaults(HystrixCommandProperties.Setter().withExecutionIsolationStrategy(HystrixCommandProperties.ExecutionIsolationStrategy.SEMAPHORE)));
     7         this.name = name;
     8     }
     9     @Override
    10     protected String run() throws Exception {
    11         return "HystrixThread:" + Thread.currentThread().getName();
    12     }
    13     public static void main(String[] args) throws Exception{
    14         HelloWorldCommand command = new HelloWorldCommand("semaphore");
    15         String result = command.execute();
    16         System.out.println(result);
    17         System.out.println("MainThread:" + Thread.currentThread().getName());
    18     }
    19 }
    20 /** 运行结果
    21  HystrixThread:main
    22  MainThread:main
    23 */

![复制代码][copycode.gif]

## 10:fallback降级逻辑命令嵌套 ##

![98dd13fb-4ff2-39fc-a8df-7758d09fe16f.png][]

适用场景:用于fallback逻辑涉及网络访问的情况,如缓存访问。

![ExpandedBlockStart.gif][]

![复制代码][copycode.gif]

1 public class CommandWithFallbackViaNetwork extends HystrixCommand<String> {
     2     private final int id;
     3  
     4     protected CommandWithFallbackViaNetwork(int id) {
     5         super(Setter.withGroupKey(HystrixCommandGroupKey.Factory.asKey("RemoteServiceX"))
     6                 .andCommandKey(HystrixCommandKey.Factory.asKey("GetValueCommand")));
     7         this.id = id;
     8     }
     9  
    10     @Override
    11     protected String run() {
    12         // RemoteService.getValue(id);
    13         throw new RuntimeException("force failure for example");
    14     }
    15  
    16     @Override
    17     protected String getFallback() {
    18         return new FallbackViaNetwork(id).execute();
    19     }
    20  
    21     private static class FallbackViaNetwork extends HystrixCommand<String> {
    22         private final int id;
    23         public FallbackViaNetwork(int id) {
    24             super(Setter.withGroupKey(HystrixCommandGroupKey.Factory.asKey("RemoteServiceX"))
    25                     .andCommandKey(HystrixCommandKey.Factory.asKey("GetValueFallbackCommand"))
    26                     // 使用不同的线程池做隔离，防止上层线程池跑满，影响降级逻辑.
    27                     .andThreadPoolKey(HystrixThreadPoolKey.Factory.asKey("RemoteServiceXFallback")));
    28             this.id = id;
    29         }
    30         @Override
    31         protected String run() {
    32             MemCacheClient.getValue(id);
    33         }
    34  
    35         @Override
    36         protected String getFallback() {
    37             return null;
    38         }
    39     }
    40 }

![复制代码][copycode.gif]

NOTE:依赖调用和降级调用使用不同的线程池做隔离，防止上层线程池跑满，影响二级降级逻辑调用.

##  11:显示调用fallback逻辑,用于特殊业务处理 ##

![5c307f4e-2fdd-3bb8-a472-06abeb60ce47.png][]

![ContractedBlock.gif][]

NOTE:显示调用降级适用于特殊需求的场景,fallback用于业务处理，fallback不再承担降级职责，建议慎重使用，会造成监控统计换乱等问题.

## 12:命令调用合并:HystrixCollapser ##

命令调用合并允许多个请求合并到一个线程/信号下批量执行。

执行流程图如下:

![8d62f5cf-b340-34c6-8c43-bd51e9bc26ee.png][]

![ContractedBlock.gif][]

NOTE:使用场景:HystrixCollapser用于对多个相同业务的请求合并到一个线程甚至可以合并到一个连接中执行，降低线程交互次和IO数,但必须保证他们属于同一依赖.

# 四:监控平台搭建Hystrix-dashboard #

## 1:监控dashboard介绍 ##

dashboard面板可以对依赖关键指标提供实时监控,如下图:

![65dccd3d-5adf-34c2-bd00-42629ed46319.png][]

## 2:实例暴露command统计数据 ##

Hystrix使用Servlet对当前JVM下所有command调用情况作数据流输出

配置如下:

![ExpandedBlockStart.gif][]

![复制代码][copycode.gif]

1 <servlet>
     2     <display-name>HystrixMetricsStreamServlet</display-name>
     3     <servlet-name>HystrixMetricsStreamServlet</servlet-name>
     4     <servlet-class>com.netflix.hystrix.contrib.metrics.eventstream.HystrixMetricsStreamServlet</servlet-class>
     5 </servlet>
     6 <servlet-mapping>
     7     <servlet-name>HystrixMetricsStreamServlet</servlet-name>
     8     <url-pattern>/hystrix.stream</url-pattern>
     9 </servlet-mapping>
    10

![复制代码][copycode.gif]

## 3:集群模式监控统计搭建 ##

1)使用Turbine组件做集群数据汇总

结构图如下;

![bd172cab-839d-357f-a8a3-5e0132858723.png][]

2)内嵌jetty提供Servlet容器,暴露HystrixMetrics

![ExpandedBlockStart.gif][]

![复制代码][copycode.gif]

1 public class JettyServer {
     2     private final Logger logger = LoggerFactory.getLogger(this.getClass());
     3     private int port;
     4     private ExecutorService executorService = Executors.newFixedThreadPool(1);
     5     private Server server = null;
     6     public void init() {
     7         try {
     8             executorService.execute(new Runnable() {
     9                 @Override
    10                 public void run() {
    11                     try {
    12                         //绑定8080端口,加载HystrixMetricsStreamServlet并映射url
    13                         server = new Server(8080);
    14                         WebAppContext context = new WebAppContext();
    15                         context.setContextPath("/");
    16                         context.addServlet(HystrixMetricsStreamServlet.class, "/hystrix.stream");
    17                         context.setResourceBase(".");
    18                         server.setHandler(context);
    19                         server.start();
    20                         server.join();
    21                     } catch (Exception e) {
    22                         logger.error(e.getMessage(), e);
    23                     }
    24                 }
    25             });
    26         } catch (Exception e) {
    27             logger.error(e.getMessage(), e);
    28         }
    29     }
    30     public void destory() {
    31         if (server != null) {
    32             try {
    33                 server.stop();
    34                 server.destroy();
    35                 logger.warn("jettyServer stop and destroy!");
    36             } catch (Exception e) {
    37                 logger.error(e.getMessage(), e);
    38             }
    39         }
    40     }
    41 }

![复制代码][copycode.gif]

3)Turbine搭建和配置

a:配置Turbine Servlet收集器

<servlet>
       <description></description>
       <display-name>TurbineStreamServlet</display-name>
       <servlet-name>TurbineStreamServlet</servlet-name>
       <servlet-class>com.netflix.turbine.streaming.servlet.TurbineStreamServlet</servlet-class>
     </servlet>
     <servlet-mapping>
       <servlet-name>TurbineStreamServlet</servlet-name>
       <url-pattern>/turbine.stream</url-pattern>
     </servlet-mapping>

b:编写config.properties配置集群实例

#配置两个集群:mobil-online,ugc-online
    turbine.aggregator.clusterConfig=mobil-online,ugc-online
    #配置mobil-online集群实例
    turbine.ConfigPropertyBasedDiscovery.mobil-online.instances=10.10.*.*,10.10.*.*,10.10.*.*,10.10.*.*,10.10.*.*,10.10.*.*,10.16.*.*,10.16.*.*,10.16.*.*,10.16.*.*
    #配置mobil-online数据流servlet
    turbine.instanceUrlSuffix.mobil-online=:8080/hystrix.stream
    #配置ugc-online集群实例
    turbine.ConfigPropertyBasedDiscovery.ugc-online.instances=10.10.*.*,10.10.*.*,10.10.*.*,10.10.*.*#配置ugc-online数据流servlet
    turbine.instanceUrlSuffix.ugc-online=:8080/hystrix.stream

c:使用Dashboard配置连接Turbine

如下图 :

![84721ac3-b728-3810-bc6c-9df2ddfade05.jpg][]

# 五:Hystrix配置与分析 #

## 1:Hystrix 配置 ##

1):Command 配置

Command配置源码在HystrixCommandProperties,构造Command时通过Setter进行配置

具体配置解释和默认值如下

//使用命令调用隔离方式,默认:采用线程隔离,ExecutionIsolationStrategy.THREAD
    private final HystrixProperty<ExecutionIsolationStrategy> executionIsolationStrategy; 
    //使用线程隔离时，调用超时时间，默认:1秒
    private final HystrixProperty<Integer> executionIsolationThreadTimeoutInMilliseconds; 
    //线程池的key,用于决定命令在哪个线程池执行
    private final HystrixProperty<String> executionIsolationThreadPoolKeyOverride; 
    //使用信号量隔离时，命令调用最大的并发数,默认:10
    private final HystrixProperty<Integer> executionIsolationSemaphoreMaxConcurrentRequests;
    //使用信号量隔离时，命令fallback(降级)调用最大的并发数,默认:10
    private final HystrixProperty<Integer> fallbackIsolationSemaphoreMaxConcurrentRequests; 
    //是否开启fallback降级策略 默认:true 
    private final HystrixProperty<Boolean> fallbackEnabled; 
    // 使用线程隔离时，是否对命令执行超时的线程调用中断（Thread.interrupt()）操作.默认:true
    private final HystrixProperty<Boolean> executionIsolationThreadInterruptOnTimeout; 
    // 统计滚动的时间窗口,默认:5000毫秒circuitBreakerSleepWindowInMilliseconds
    private final HystrixProperty<Integer> metricsRollingStatisticalWindowInMilliseconds;
    // 统计窗口的Buckets的数量,默认:10个,每秒一个Buckets统计
    private final HystrixProperty<Integer> metricsRollingStatisticalWindowBuckets; // number of buckets in the statisticalWindow
    //是否开启监控统计功能,默认:true
    private final HystrixProperty<Boolean> metricsRollingPercentileEnabled; 
    // 是否开启请求日志,默认:true
    private final HystrixProperty<Boolean> requestLogEnabled; 
    //是否开启请求缓存,默认:true
    private final HystrixProperty<Boolean> requestCacheEnabled; // Whether request caching is enabled.

**2):熔断器（Circuit Breaker）配置**

Circuit Breaker配置源码在HystrixCommandProperties,构造Command时通过Setter进行配置,每种依赖使用一个Circuit Breaker

// 熔断器在整个统计时间内是否开启的阀值，默认20秒。也就是10秒钟内至少请求20次，熔断器才发挥起作用  
    private final HystrixProperty<Integer> circuitBreakerRequestVolumeThreshold;   
    //熔断器默认工作时间,默认:5秒.熔断器中断请求5秒后会进入半打开状态,放部分流量过去重试  
    private final HystrixProperty<Integer> circuitBreakerSleepWindowInMilliseconds;   
    //是否启用熔断器,默认true. 启动  
    private final HystrixProperty<Boolean> circuitBreakerEnabled;   
    //默认:50%。当出错率超过50%后熔断器启动.  
    private final HystrixProperty<Integer> circuitBreakerErrorThresholdPercentage;  
    //是否强制开启熔断器阻断所有请求,默认:false,不开启  
    private final HystrixProperty<Boolean> circuitBreakerForceOpen;   
    //是否允许熔断器忽略错误,默认false, 不开启  
    private final HystrixProperty<Boolean> circuitBreakerForceClosed;

3):命令合并(Collapser)配置

Command配置源码在HystrixCollapserProperties,构造Collapser时通过Setter进行配置

//请求合并是允许的最大请求数,默认: Integer.MAX_VALUE  
    private final HystrixProperty<Integer> maxRequestsInBatch;  
    //批处理过程中每个命令延迟的时间,默认:10毫秒  
    private final HystrixProperty<Integer> timerDelayInMilliseconds;  
    //批处理过程中是否开启请求缓存,默认:开启  
    private final HystrixProperty<Boolean> requestCacheEnabled;

4):线程池(ThreadPool)配置

/** 
    配置线程池大小,默认值10个. 
    建议值:请求高峰时99.5%的平均响应时间 + 向上预留一些即可 
    */  
    HystrixThreadPoolProperties.Setter().withCoreSize(int value)  
    /** 
    配置线程值等待队列长度,默认值:-1 
    建议值:-1表示不等待直接拒绝,测试表明线程池使用直接决绝策略+ 合适大小的非回缩线程池效率最高.所以不建议修改此值。 
    当使用非回缩线程池时，queueSizeRejectionThreshold,keepAliveTimeMinutes 参数无效 
    */  
    HystrixThreadPoolProperties.Setter().withMaxQueueSize(int value)

## 2:Hystrix关键组件分析 ##

1):Hystrix流程结构解析

![f8832cf9-8f37-361b-ab1b-369a6f2c078e.png][]

流程说明:

1:每次调用创建一个新的HystrixCommand,把依赖调用封装在run()方法中.

2:执行execute()/queue做同步或异步调用.

3:判断熔断器(circuit-breaker)是否打开,如果打开跳到步骤8,进行降级策略,如果关闭进入步骤.

4:判断线程池/队列/信号量是否跑满，如果跑满进入降级步骤8,否则继续后续步骤.

5:调用HystrixCommand的run方法.运行依赖逻辑

5a:依赖逻辑调用超时,进入步骤8.

6:判断逻辑是否调用成功

6a:返回成功调用结果

6b:调用出错，进入步骤8.

7:计算熔断器状态,所有的运行状态(成功, 失败, 拒绝,超时)上报给熔断器，用于统计从而判断熔断器状态.

8:getFallback()降级逻辑.

以下四种情况将触发getFallback调用：

(1):run()方法抛出非HystrixBadRequestException异常。

(2):run()方法调用超时

(3):熔断器开启拦截调用

(4):线程池/队列/信号量是否跑满

8a:没有实现getFallback的Command将直接抛出异常

8b:fallback降级逻辑调用成功直接返回

8c:降级逻辑调用失败抛出异常

9:返回执行成功结果

2):熔断器:Circuit Breaker

Circuit Breaker 流程架构和统计

![602a8749-c42e-3c99-bf94-f05cbd5f1afd.png][]

每个熔断器默认维护10个bucket,每秒一个bucket,每个blucket记录成功,失败,超时,拒绝的状态，

默认错误超过50%且10秒内超过20个请求进行中断拦截.

3)隔离(Isolation)分析

Hystrix隔离方式采用线程/信号的方式,通过隔离限制依赖的并发量和阻塞扩散.

(1):线程隔离

把执行依赖代码的线程与请求线程(如:jetty线程)分离，请求线程可以自由控制离开的时间(异步过程)。

通过线程池大小可以控制并发量，当线程池饱和时可以提前拒绝服务,防止依赖问题扩散。

线上建议线程池不要设置过大，否则大量堵塞线程有可能会拖慢服务器。

![6f54f2d8-b993-3fb5-9801-3afffe48fcf4.png][]

(2):线程隔离的优缺点

线程隔离的优点:

\[1\]:使用线程可以完全隔离第三方代码,请求线程可以快速放回。

\[2\]:当一个失败的依赖再次变成可用时，线程池将清理，并立即恢复可用，而不是一个长时间的恢复。

\[3\]:可以完全模拟异步调用，方便异步编程。

线程隔离的缺点:

\[1\]:线程池的主要缺点是它增加了cpu，因为每个命令的执行涉及到排队(默认使用SynchronousQueue避免排队)，调度和上下文切换。

\[2\]:对使用ThreadLocal等依赖线程状态的代码增加复杂性，需要手动传递和清理线程状态。

NOTE: Netflix公司内部认为线程隔离开销足够小，不会造成重大的成本或性能的影响。

Netflix 内部API 每天100亿的HystrixCommand依赖请求使用线程隔，每个应用大约40多个线程池，每个线程池大约5-20个线程。

(3):信号隔离

信号隔离也可以用于限制并发访问，防止阻塞扩散, 与线程隔离最大不同在于执行依赖代码的线程依然是请求线程（该线程需要通过信号申请）,

如果客户端是可信的且可以快速返回，可以使用信号隔离替换线程隔离,降低开销.

线程隔离与信号隔离区别如下图:

![b90615c1-f7cb-3cf1-9bf3-de11d5f57697.png][]

解析图片出自官网wiki , 更多内容请见官网: [https://github.com/Netflix/Hystrix][https_github.com_Netflix_Hystrix]

[https_www.cnblogs.com_yepei_p_7169127.html]: https://www.cnblogs.com/yepei/p/7169127.html
[887e7862-578a-3616-a15c-1ef1cb62f3c4.png]: /images/20220325/0accfe72a7e34e1497fd4b46177cfdcd.png
[3bd6d0be-9ce5-35c2-bbd9-3493671b45d5.png]: /images/20220325/a63749f2f7bf4754b87b98a9006101ca.png
[22f20da1-4096-314c-8c9f-5728251c46af.png]: /images/20220325/00ceab26a4d546289be4628800eef555.png
[icon_star.png]: /images/20220325/19756c44823f4756a1e63421d4c7db18.png
[8db93de3-db14-355f-ac70-16d06481b020.png]: /images/20220325/7a09ffc9306947f780c1a2764a27cf5b.png
[ContractedBlock.gif]: /images/20220325/2e97053fcbde47d9a9b4a6053c8f2e29.png
[ece3a873-1c63-35c3-bdf1-beb45c96b9c2.png]: /images/20220325/6edf01cf41d74cdfb521cb5c3832838a.png
[ExpandedBlockStart.gif]: /images/20220325/d435f4716f59482c9804458090b97c55.png
[copycode.gif]: /images/20220325/cd2f0958e2454b8186e13a9b6057c84b.png
[98dd13fb-4ff2-39fc-a8df-7758d09fe16f.png]: /images/20220325/51e0caa4912c4a14971f75c17f07d983.png
[5c307f4e-2fdd-3bb8-a472-06abeb60ce47.png]: /images/20220325/bf96d1c5b8344865931e807afbbf2b95.png
[8d62f5cf-b340-34c6-8c43-bd51e9bc26ee.png]: /images/20220325/8b521ad6c1e141c1a5287fd7a46e7238.png
[65dccd3d-5adf-34c2-bd00-42629ed46319.png]: /images/20220325/28caf79eebd0461ca79e2e798857413a.png
[bd172cab-839d-357f-a8a3-5e0132858723.png]: /images/20220325/286e5c4cc3644ef486e13c984e8fb045.png
[84721ac3-b728-3810-bc6c-9df2ddfade05.jpg]: /images/20220325/91a9b94719754d99a1222a69e02b1e3a.png
[f8832cf9-8f37-361b-ab1b-369a6f2c078e.png]: /images/20220325/bb6c9f7527d1489481bc3fd8d05b38ae.png
[602a8749-c42e-3c99-bf94-f05cbd5f1afd.png]: /images/20220325/86df781835404ce3b2f57e4d258dc4b4.png
[6f54f2d8-b993-3fb5-9801-3afffe48fcf4.png]: /images/20220325/2b50e079d7644545800fe2188345936a.png
[b90615c1-f7cb-3cf1-9bf3-de11d5f57697.png]: /images/20220325/fbdf997f8bde4a01ad7f7d6702fce65e.png
[https_github.com_Netflix_Hystrix]: https://github.com/Netflix/Hystrix