高并发系统保护~ing

阳光穿透心脏的1/2处 2021-06-26 16:06 323阅读 0赞

由于公司业务发展，需要考虑一些高并发系统保护的问题，整理记录一下。

当发现你的系统出现访问卡顿，服务器各种性能指标接近100%（如果一个初创型企业系统正常运行情况下出现这个问题，那么应该恭喜你，你懂得），首先想到的是该加机器了，现在要说的并不是加机器的事，而是说在高并发的情况下，从代码层面如何保护系统，记得某位大神的博客里讲过“在开发高并发系统时，有三把利器用来保护系统：缓存、降级和限流”。通过缓存，降级，限流能够很好地给你的系统加个保护罩。

## 一.缓存 ##

缓存是一种提高系统读性能的常见技术，对于读多写少的应用场景，我们经常使用缓存来进行优化。由于大部分的请求时查询，通过缓存能够极大降低数据库的压力。缓存的做法多种多样，客户端可以做缓存，服务端可以做缓存。

当前主要的缓存方式有文件缓存，利用`nosql`缓存，一大坨数据通过一定的算法和配置分摊到集群中的若干台机器上（系统足够大的时候这么干比较好）。当前用的比较多的

（1）文件缓存

（2）`redis ，memcache` 利用内存读取速度，达到高速查询的目的

细节不多说了，还有一些缓存的方式如`cdn`等，具体的搜索去吧，还是那句话，不懂谷歌百度的程序员不是好厨子。

## 二.降级 ##

当访问量剧增、服务出现问题（如响应时间慢或不响应）或非核心服务影响到核心流程的性能时，仍然需要保证服务还是可用的，即使是有损服务。系统可以根据一些关键数据排查，进行系统降级。

那么何为降级呢，降级其实总结起来就四个字“弃卒保帅”。举个例子来讲，拿电商网站来说吧，降级要做到的，保证核心购物流程，将级其他非核心业务功能。

降级的功能点主要从服务端链路考虑，从用户访问的角度，来梳理那些服务或者功能需要降级。

页面降级：在大促或者某些特殊情况下，某些页面占用了一些稀缺服务资源，在紧急情况下可以对其整个降级，以达到丢卒保帅；

页面片段降级：比如商品详情页中的商家部分因为数据错误了，此时需要对其进行降级；

页面异步请求降级：比如商品详情页上有推荐信息/配送至等异步加载的请求，如果这些信息响应慢或者后端服务有问题，可以进行降级；

服务功能降级：比如渲染商品详情页时需要调用一些不太重要的服务：相关分类、热销榜等，而这些服务在异常情况下直接不获取，即降级即可；

读服务降级：比如多级缓存模式，如果后端服务有问题，可以降级为只读缓存，这种方式适用于对读一致性要求不高的场景；

写服务降级：比如秒杀抢购，我们可以只进行`Cache`的更新，然后异步同步扣减库存到`DB`，保证最终一致性即可，此时可以将`DB`降级为`Cache`。(常用手段)

…降级手法比较多，在这里就不一一说了。

## 三.限流 代码层算法实现 ##

所谓限流，顾名思义，就是限制流量，通过限流我们可以很好地控制系统的`QPS`，从而达到保护系统的目的。

常用的算法有，计数器法（有临界值问题），漏桶算法，令牌桶算法。由于令牌桶算法由于实现简单，且允许某些流量的突发，对用户友好，所以被业界采用地较多。现在就来搞一下令牌桶算法。

为了更好的理解令牌桶算法，先附个图：  
![在这里插入图片描述][20190405130945852.png]  
理解：有一个固定容量的桶，桶里存放着令牌（`token`）。桶一开始是空的，`token`以一个固定的速率r往桶里填充，直到达到桶的容量，多余的令牌将会被丢弃。每当一个请求过来时，就会尝试从桶里移除一个令牌，如果没有令牌的话，请求无法通过。直接上代码

//令牌桶伪代码走起
    public class TokenBucket
    { 
        public long timeStamp = NowTime();//当前时间
        public int capacity; // 桶的容量
        public int rate; // 令牌放入速度
        public int tokens; // 当前令牌数量
        public boolean grant()
        { 
            long now = NowTime();
            // 先添加令牌
            tokens = min(capacity, tokens + (now - timeStamp) * rate);
            timeStamp = now;
            if (tokens < 1)
            { 
                // 若不到1个令牌,则拒绝
                return false;
            }else { 
                // 还有令牌，领取令牌
                tokens -= 1;
                return true;
            }
        }
    }

[20190405130945852.png]: /images/20210626/d76d61c018354af2affe12ba46fb779c.png