系统架构设计：平滑发布和 ABTesting，你都会吗？

叁歲伎倆 2022-08-30 12:59 100阅读 0赞

**点击关注公众号，Java干货****及时送达**![b254062a4637960fc9d1ee065310ac1e.png][]

*作者：翁智华  
出处：https://www.cnblogs.com/wzh2010/*

## 平滑发布的介绍 ##

#### 背景 ####

单位的云办公相关系统没有成熟的平滑发布方案，导致每一次发布都是直接发布，dll文件或配置文件的变更会引起站点的重启。

云办公系统的常驻用户有10000+，即使短短半分多钟，也会收到一堆投诉。基于此，我们梳理了一套平滑发布的方案。

#### 实施方案 ####

1、跟nginx代理服务器约定了一个健康检查的接口

2、通过接口返回的http状态码来让ngx是否分流用户请求（这个我们单位的技术部那边有标准的做法）

3、根据提供的这个服务健康检查的接口：nginx判断只要某个实例的接口返回5xx的状态码，即把该实例下线（nginx不会把流量转发到该实例）

![8d13d1a0cff59456a8615a7557f02349.png][]

#### 发布流程 ####

目的主要是为了发布的时候能够平滑发布，所以QA与开发人员在发布得时候按照如下步骤操作：

1、打开系统的nginx列表管理页面：\[/publish/ngxconfig\]

2、下架某一个实例（假设系统集群有A、B、C个实例），比如A实例

![951b3a04d83aca3c8ef2883349662845.png][]

3、查看是否下架成功：这个就是我们跟nginx约定的健康检查接口，正常在线状态下是200的statu，切离线后，这个接口返回的是401的statu。

在线情况：

![f9eb3bf0388758da0364b80f624b5389.png][]

离线情况：

![e83dff4ac5150e09d2a45270501e160b.png][]

4、观察监控站点，直至该实例下的Req、Connnectiuon流量都消失

![de42c794addcc3f36dfe2da3fc8fe040.png][]

5、在该实例下进行版本发布

6、打开Fidller，host到待发布的实例，然后判断是否发布成功（发布dll、配置文件时，IIS站点会短暂重启）

7、QA同学走查灰度的A实例服务器，保证它正常运行，如此循环，直到所有服务器都发布。

## 进一步ABTesting的优化 ##

#### 背景 ####

平滑发布做完之后，确实给我带来很大的便利，不用每次发布都发公告，不重要的或者非功能性的内容发布了就是了。

但是用久了，客户量上去之后，又遇到一个问题，那就是每一次业务大变更，大型发布都是直接发布到生产，这样可能存在风险。设计师设计的功能，用户不一定完全接受，一旦上线新版本，

收到一大堆的吐槽，都是用户呀，如果能在小范围人群内进行灰度试用，完成平稳的过度和使用反馈之后，优化后再上到生产会更好一点。

所以这边需要思考和设计一套统一的技术方案，未来无论云办公还是其他的业务系统，都能通过灰度发布在可指定的小范围内先进行体验和功能验证。

基于上面的平滑，我们在Nginx反向代理服务器上动心思，让nginx来帮我们做ABTesting的方案。另外，Nginx 系列面试题和答案全部整理好了，微信搜索Java技术栈，在后台发送：面试，可以在线阅读。

以下是我们尝试的几种方案：

#### 1、Nginx反向代理：来路IP策略 ####

##### 流程 #####

![31029f79f882d889dc87c637b82dce01.png][]

##### 步骤 #####

1、进入云办公系统，进入Nginx反代服务器

2、Nginx读取来路IP的AB名单

3、根据IP AB名单进行流量转发(名单A走特定实例，名单B走云办公原有集群实例[)][Link 1]

server {
        listen 80;
        server_name officecloud.com;
        access_log officecloud.com/logs main;
        ip_list 192.168.254.4,192.168.254.170
    
        set $group default;
        if ($remote_addr in iplist) {
         set $group ACluster;
        }
    
        location / { 
            proxy_pass http://$group;
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            index index.html index.htm;
        }
    }

##### [优缺点][Link 1] #####

1、配置简单，原资源平台的灰度升级就是根据IP名单来划分设计升级的

2、外部计算机很多都是非固定IP，这个适合在公司内网实现，比如只是配置公司内网的IP。分享给你：[*Spring Boot 学习笔记*][Link 1]*。*

#### 2、Nginx反向代理：$.Cookies策略 ####

##### 流程 #####

![d980a20db824923ea331d4c8faddbdc6.png][]

##### 步骤 #####

1、进入云办公系统，进入Nginx反代服务器

2、Nginx读取Http请求的Cokie的version信息（也可以是别的key）

3、根据Key的版本来进行流量转发(比如Version1.1走特定集群，Version1.0走通用集群实例[)][Link 1]

server {
        listen 80;
        server_name officecloud.com;
        access_log officecloud.com/logs main;
        ip_list 192.168.254.4,192.168.254.170
    
        set $group default;
        if ($http_cookie ~* "version=V1.0"){
         set default;
        }
        if ($http_cookie ~* "version=V1.1"){
         set $group ACluster;
        }
    
        location / { 
            proxy_pass http://$group;
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            index index.html index.htm;
        }
    }

##### [优缺点][Link 1] #####

1、配置简单，根据Nginx的 $COOKIE\_version 属性来判断

2、相对稳定，对需要开放名单的用户，在Cookie头部加入特定的版本即可，应用只要少许的开发量

3、首次访问静态页面可能不会产生cookie

备注：这是团队内认为最好的Nginx代理方案，同理，User-Agent和Header都可以做此种类型的判断，但是Header需要侵入底层HttpRequest去业务添加，不建议。另外，Nginx 系列面试题和答案全部整理好了，微信搜索Java技术栈，在后台发送：面试，可以在线阅读。

#### 3、AB集群+业务代理方式 ####

##### 流程 #####

![1eaa2480ffc099e11a5f6ce2cc1e21e1.png][]

##### 步骤 #####

1、进入云办公系统，两种方式进入系统，一种是登录页登录：~/login ，一种是default页面带uckey登录：~/default?usertoken=\#usertoken\#

2、登录的时候和usertoken传入的时候进去 路由代理模块,进行用户信息校验，根据不同的人员和部门(人员和部门配置归属AB名单)分流到两个不同的AB集群

3、根据转发跳到具体的实例集群域名下（可以配置AB集群拥有不同域名,更容易区分）

##### 优缺点 #####

1、与Nginx剥离，不用依赖公司的通用平台和技术部的实现

2、需要申请AB集群，AB集群拥有不同的域名。

3、如果是前后端分离情况下，需要保证静态站点和服务站点均申请AB集群

4、所有入口需要统一做代理，有一定的开发量

##### 应用 #####

目前手上2个系统已经根据该方案实现了

参考资料：https://github.com/CNSRE/ABTestingGateway

ABTestingGateway是新浪开源的一个动态路由系统。ABTestingGateway是一个可以动态设置分流策略的灰度发布系统，工作在7层，

基于nginx和ngx-lua开发，使用redis作为分流策略数据库，可以实现动态调度功能。另外，关注公众号Java技术栈，在后台回复：面试，可以获取我整理的 Nginx 系列面试题和答案，非常齐全。

![3263ec42441dc9fc3e30335f376d927e.gif][]

![58b8d167e269673da81dc64456c9d597.png][]

[![eae13c0b661db47d28d1b21ad986132c.png][]][eae13c0b661db47d28d1b21ad986132c.png 1]

[![2e4e08dda3e75583e53000c0d871bc7c.png][]][2e4e08dda3e75583e53000c0d871bc7c.png 1]

[![166ea1965d0adc5f580eea5fa8b9358b.png][]][166ea1965d0adc5f580eea5fa8b9358b.png 1]

[![8d6aea4da4792f57b792f977d99176e7.png][]][8d6aea4da4792f57b792f977d99176e7.png 1]

[![913d414285dac1abc4d75d6ea74b0180.png][]][913d414285dac1abc4d75d6ea74b0180.png 1]

**关注Java技术栈看更多干货**

![66ce16e30473d43c0c154553236681b2.png][]

![1b0202f23a0e2796aeb37fe0a217b006.gif][]

获取 Spring Boot 实战笔记！

[b254062a4637960fc9d1ee065310ac1e.png]: /images/20220829/d877c362da6548078be8047b8dbfe66e.png
[8d13d1a0cff59456a8615a7557f02349.png]: /images/20220829/c525830265504cfa90a6861510a89f69.png
[951b3a04d83aca3c8ef2883349662845.png]: /images/20220829/771fff36ce3a4dffb617d28401cd06f8.png
[f9eb3bf0388758da0364b80f624b5389.png]: /images/20220829/555e7b28f68d40f9a8906515afe7fa87.png
[e83dff4ac5150e09d2a45270501e160b.png]: /images/20220829/8f18518617ec4e9384d575f374858f58.png
[de42c794addcc3f36dfe2da3fc8fe040.png]: /images/20220829/09da635fc270405cb4595f55ce024376.png
[31029f79f882d889dc87c637b82dce01.png]: /images/20220829/7880ec0972f44b33bbe9cac9142c9e09.png
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzI3ODcxMzQzMw%3D%3D&chksm=eb50d67edc275f68c6d443f9e13c4c97ac338c0ef3d5620066e91c730ca56f73e3ba5b3e34b3&idx=2&mid=2247537480&scene=21&sn=3988f1db2d6c48c05151baaa0c3f9b41#wechat_redirect
[d980a20db824923ea331d4c8faddbdc6.png]: /images/20220829/3c99832741484fe59b6fa196cce93820.png
[1eaa2480ffc099e11a5f6ce2cc1e21e1.png]: /images/20220829/9db4ed5116794bcd9691b7e951f9bfcf.png
[3263ec42441dc9fc3e30335f376d927e.gif]: /images/20220829/d80bea0d290046bcb4c6013f8e374f8e.png
[58b8d167e269673da81dc64456c9d597.png]: /images/20220829/0dff2834c84b47339a2744095adb7685.png
[eae13c0b661db47d28d1b21ad986132c.png]: /images/20220829/bbc3395b9d1449489474268fbd54e899.png
[eae13c0b661db47d28d1b21ad986132c.png 1]: https://mp.weixin.qq.com/s?__biz=MzI3ODcxMzQzMw%3D%3D&idx=1&mid=2247537480&scene=21&sn=0100a0c9c538acbd62635d380c9cd5e0#wechat_redirect
[2e4e08dda3e75583e53000c0d871bc7c.png]: /images/20220829/467f9d1c9d244e68a9af288eab53f050.png
[2e4e08dda3e75583e53000c0d871bc7c.png 1]: https://mp.weixin.qq.com/s?__biz=MzI3ODcxMzQzMw%3D%3D&idx=1&mid=2247537315&scene=21&sn=617bc750ead2a09c158c737bf5b7002a#wechat_redirect
[166ea1965d0adc5f580eea5fa8b9358b.png]: /images/20220829/93f5622565c24703be60cdfb5459419f.png
[166ea1965d0adc5f580eea5fa8b9358b.png 1]: https://mp.weixin.qq.com/s?__biz=MzI3ODcxMzQzMw%3D%3D&idx=1&mid=2247530418&scene=21&sn=e6a0138c7c2f9a9ff6a8b4c878386211#wechat_redirect
[8d6aea4da4792f57b792f977d99176e7.png]: /images/20220829/0580e5ea26a24511909aad1263248851.png
[8d6aea4da4792f57b792f977d99176e7.png 1]: https://mp.weixin.qq.com/s?__biz=MzI3ODcxMzQzMw%3D%3D&idx=1&mid=2247535062&scene=21&sn=c34b69e41525dbcb3c473c6986daa801#wechat_redirect
[913d414285dac1abc4d75d6ea74b0180.png]: /images/20220829/fc904a275c7e447f80ef779a9770f0b6.png
[913d414285dac1abc4d75d6ea74b0180.png 1]: https://mp.weixin.qq.com/s?__biz=MzI3ODcxMzQzMw%3D%3D&idx=1&mid=2247535563&scene=21&sn=b2a1de775b95890690e3295aa7e6b253#wechat_redirect
[66ce16e30473d43c0c154553236681b2.png]: /images/20220829/860eee3d8e9f4351b436fa21d98edf57.png
[1b0202f23a0e2796aeb37fe0a217b006.gif]: /images/20220829/c7560108387b42cdaab66d1f101e8231.png