高扩展、高可用、高性能时代，亿级流量网站的架构核心技术开源

素颜马尾好姑娘i 2023-10-01 23:34 42阅读 0赞

**前言：**

相信大家都知道，说起亿万流量网站高性框架的设计方案，就能想到关键的两点，那就是高可用和高并发。而要谈对高并发和高可用有多熟悉，京东的大佬们还是有一定发言权，而作为京东高级工程师更是大佬级别。

**而今天分享的正是京东十年开发经验工程师编写的：“亿级流量网站架构核心技术”。**

**笔记作者：**京东高级工程师：大飞

**笔记特点：**条理清晰，含图像化，内容创新深奥却易懂。

笔记大致分为四部分∶**概述、高可用原则、高并发原则、案例实战。**从负载均衡、限流、降级、隔离、超时与重试、回滚机制、压测与预案、缓存、池化、异步化、扩容、队列等多方面详细地介绍了亿级流量网站的架构核心技术，相信大家看完能快速在实践中加以运用。

**话不啰嗦直上笔记：**

> 特别说明：由于笔记内容过于详细，苦于篇幅有限，下面只能将这份文档的内容以图片的形式展现出来，如果你需要“高清完整的 pdf 版”，可以前往共重号：爱穿格子衫的程序猿 即可获得。

## 第 1 部分 概述： ##

**1. 交易型系统设计的一些原则**

**2. 高并发原则**

![51e80773f24e383d2d2842bbf5bc9836.png][]

*  无状态
 *  拆分
 *  服务化
 *  消息队列

![920b8cf34de4ff65120d5eb8c06249d9.png][]

*  数据异构
 *  缓存银弹
 *  并发化

![106a573f2e2d2234da8515917d6acb1c.png][]

**3. 高可用原则：**

*  降级
 *  限流

![6949ed45758344b469feaf102c525ca0.png][]

*  切流量
 *  可回滚

![efb758c5043dc8a04cd4240262fdd97d.png][]

**4.业务设计原则：**

*  防重设计
 *  幂等设计
 *  流程可定义
 *  状态与状态机
 *  后台系统操作可反馈
 *  后台系统审批化
 *  文档和注释
 *  备份

![0d4150d0324a1e97864bdde5ad197ac1.png][]

## 第 2 部分 高可用： ##

**1.负载均衡与反向代理：**

*  upstream 配置
 *  负载均衡算法
 *  失败重试
 *  健康检查

![85c6393e2e2c0a7fb4e4adc9332d691d.png][]

*  其他配置
 *  长连接
 *  H T T P 反向代理示例
 *  H T T P 动态负载均衡
 *  Nginx 四层负载均衡

![4a5eab67a4109a857615cd7952758270.png][]

**2. 隔离术：**

*  线程隔离
 *  进程隔离
 *  集群隔离
 *  机房隔离
 *  读写隔离

![9e1b09da43100a6a30e08b5472e7bd4b.png][]

*  动静隔离
 *  爬虫隔离
 *  热点隔离
 *  资源隔离

![4265004648d1b61c56a717c6ad0da395.png][]

*  使用 Hystrix 实现隔离
 *  基于 Servlet 3 实现请求隔离

![96e3c9a249924fd30c849728298d81dc.png][]

**3.限流详解：**

*  限流算法
 *  应用级限流
 *  分布式限流
 *  接入层限流

![ff7a0f7ff9bf5c06935e1a5c56da804c.png][]

**4.降级特技：**

*  降级预案
 *  自动开关降级
 *  人工开关降级
 *  读服务降级
 *  写服务降级
 *  多级降级

![02b18c4ba97645137c981c4b48e7c788.png][]

*  配置中心
 *  使用 Hystrix 实现降级
 *  使用 Hystrix 实现熔断

![6e7929d90ef160efc1944c26a9105d48.png][]

**5. 超时与重试机制：**

*  简介
 *  代理层超时与重试
 *  Web 容器超时
 *  中间件客户端超时与重试
 *  数据库客户端超时

![8c587f2538ae63d5b016e9f0c58943f4.png][]

*  NoSQL 客户端超时
 *  业务超时
 *  前端 Ajax 超时
 *  总结
 *  参考资料

![93ca77ab574393c8d01d5ac8660c3222.png][]

**6.回滚机制：**

*  事务回滚
 *  代码库回滚
 *  部署版本回滚
 *  数据版本回滚
 *  静态资源版本回滚

![143a111d26e274fdab13b9323cb9fdec.png][]

**7. 压测与预案：**

*  系统压测
 *  系统优化和容灾
 *  应急预案

![2b9b1d032c4fcbd5dcffc6022c470c98.png][]

## 第 3 部分 高并发： ##

**1. 应用级缓存：**

*  缓存简介
 *  缓存命中率
 *  缓存回收策略
 *  Java 缓存类型

![aaece2235eb646aef50a31f80e837661.png][]

*  应用级缓存示例
 *  缓存使用模式实践
 *  性能测试
 *  参考资料

![19459c68b6b2e11a8a3addce5c737971.png][]

**2. H T T P 缓存：**

*  H T T P 缓存
 *  H T T PClient 客户端缓存
 *  Nginx H T T P 缓存设置
 *  Nginx 代理层缓存

![76e87585f5cb71824c970b25ae5649b6.png][]

**3.多级缓存：**

*  多级缓存介绍
 *  如何缓存数据
 *  分布式缓存与应用负载均衡
 *  热点数据与更新缓存
 *  更新缓存与原子性
 *  缓存崩溃与快速修复

![25c44acd48e75800cfa455168f06c574.png][]

**4.连接池线程池详解：**

*  数据库连接池
 *  H T T PClient 连接池
 *  线程池

![4a26e15d04619d5b16c0f10c2e6a3a55.png][]

**5.异步并发实战：**

*  同步阻塞调用
 *  异步 Future
 *  异步 Callback
 *  异步编排 CompletableFuture
 *  异步 Web 服务实现
 *  请求缓存
 *  请求合并

![759b7e59e338565fc889dcdfb736b743.png][]

**6.如何扩容：**

*  单体应用垂直扩容
 *  单体应用水平扩容
 *  应用拆分
 *  数据库拆分

![4fd5361b41eb53b8737b7dd52aac6781.png][]

*  数据库分库分表示例
 *  数据异构
 *  任务系统扩容

![0223c4dc782d4e3cdec7c073fb601e51.png][]

**7. 队列术：**

*  应用场景
 *  缓冲队列
 *  任务队列
 *  消息队列
 *  请求队列
 *  数据总线队列
 *  混合队列
 *  其他队列

![6ae9dd798dd2b4314b1c86fe8973c983.png][]

*  Disruptor+Redis 队列
 *  下单系统水平可扩展架构
 *  基于 Canal 实现数据异构

![e05b9fd48b9258c55bc7dbb68dab35d1.png][]

## 第 4 部分 案例： ##

**1. 构建需求响应式亿级商品详情页：**

*  商品详情页是什么
 *  商品详情页前端结构
 *  我们的性能数据
 *  单品页流量特点

![848721076b3d821c6cd758c40276e00f.png][]

*  单品页技术架构发展
 *  详情页架构设计原则
 *  遇到的一些坑和问题

![6500650ebe6923719695d7a112e3eadc.png][]

**2.京东商品详情页服务闭环实践：**

*  为什么需要统一服务
 *  整体架构
 *  一些架构思路和总结
 *  引入 Nginx 接入层
 *  前端业务逻辑后置
 *  前端接口服务端聚合
 *  服务隔离

![a52572971e216c2cb0263011cc537ba4.png][]

**3.使用 OpenResty 开发高性能 Web 应用：**

*  OpenResty 简介
 *  基于 OpenResty 的常用架构模式
 *  如何使用 OpenResty 开发 Web 应用
 *  基于 OpenResty 的常用功能总结

![404182c2d8beee419cc411d950c1f14b.png][]

**4.应用数据静态化架构高性能单页 Web 应用：**

*  整体架构
 *  数据和模板动态化
 *  多版本机制
 *  异常问题

![ffe44913057066c18216a96602db8bc8.png][]

**5. 使用 OpenResty 开发 Web 服务：**

*  架构
 *  单 DB 架构
 *  实现

![6f827de0c37fe8e46b6a7c8e8ab0939e.png][]

**6.使用 OpenResty 开发商品详情页：**

*  技术选型
 *  核心流程
 *  项目搭建
 *  数据存储实现
 *  动态服务实现
 *  前端展示实现

![2666b14ba0c2bd261333ce51c0cfe6d8.png][]

**总结:“**亿级流量网站架构核心技术**”**的重要性，我想不说大家也知道了，无论以后是面试还是进阶架构师这都是一个加分项，能把面试成功的几率提升一个档次。

如需获取这份【亿级流量网站架构核心技术】笔记的朋友前往共重号：爱穿格子衫的程序猿 **即可获取。**

[51e80773f24e383d2d2842bbf5bc9836.png]: https://img-blog.csdnimg.cn/img_convert/51e80773f24e383d2d2842bbf5bc9836.png
[920b8cf34de4ff65120d5eb8c06249d9.png]: https://img-blog.csdnimg.cn/img_convert/920b8cf34de4ff65120d5eb8c06249d9.png
[106a573f2e2d2234da8515917d6acb1c.png]: https://img-blog.csdnimg.cn/img_convert/106a573f2e2d2234da8515917d6acb1c.png
[6949ed45758344b469feaf102c525ca0.png]: https://img-blog.csdnimg.cn/img_convert/6949ed45758344b469feaf102c525ca0.png
[efb758c5043dc8a04cd4240262fdd97d.png]: https://img-blog.csdnimg.cn/img_convert/efb758c5043dc8a04cd4240262fdd97d.png
[0d4150d0324a1e97864bdde5ad197ac1.png]: https://img-blog.csdnimg.cn/img_convert/0d4150d0324a1e97864bdde5ad197ac1.png
[85c6393e2e2c0a7fb4e4adc9332d691d.png]: https://img-blog.csdnimg.cn/img_convert/85c6393e2e2c0a7fb4e4adc9332d691d.png
[4a5eab67a4109a857615cd7952758270.png]: https://img-blog.csdnimg.cn/img_convert/4a5eab67a4109a857615cd7952758270.png
[9e1b09da43100a6a30e08b5472e7bd4b.png]: https://img-blog.csdnimg.cn/img_convert/9e1b09da43100a6a30e08b5472e7bd4b.png
[4265004648d1b61c56a717c6ad0da395.png]: https://img-blog.csdnimg.cn/img_convert/4265004648d1b61c56a717c6ad0da395.png
[96e3c9a249924fd30c849728298d81dc.png]: https://img-blog.csdnimg.cn/img_convert/96e3c9a249924fd30c849728298d81dc.png
[ff7a0f7ff9bf5c06935e1a5c56da804c.png]: https://img-blog.csdnimg.cn/img_convert/ff7a0f7ff9bf5c06935e1a5c56da804c.png
[02b18c4ba97645137c981c4b48e7c788.png]: https://img-blog.csdnimg.cn/img_convert/02b18c4ba97645137c981c4b48e7c788.png
[6e7929d90ef160efc1944c26a9105d48.png]: https://img-blog.csdnimg.cn/img_convert/6e7929d90ef160efc1944c26a9105d48.png
[8c587f2538ae63d5b016e9f0c58943f4.png]: https://img-blog.csdnimg.cn/img_convert/8c587f2538ae63d5b016e9f0c58943f4.png
[93ca77ab574393c8d01d5ac8660c3222.png]: https://img-blog.csdnimg.cn/img_convert/93ca77ab574393c8d01d5ac8660c3222.png
[143a111d26e274fdab13b9323cb9fdec.png]: https://img-blog.csdnimg.cn/img_convert/143a111d26e274fdab13b9323cb9fdec.png
[2b9b1d032c4fcbd5dcffc6022c470c98.png]: https://img-blog.csdnimg.cn/img_convert/2b9b1d032c4fcbd5dcffc6022c470c98.png
[aaece2235eb646aef50a31f80e837661.png]: https://img-blog.csdnimg.cn/img_convert/aaece2235eb646aef50a31f80e837661.png
[19459c68b6b2e11a8a3addce5c737971.png]: https://img-blog.csdnimg.cn/img_convert/19459c68b6b2e11a8a3addce5c737971.png
[76e87585f5cb71824c970b25ae5649b6.png]: https://img-blog.csdnimg.cn/img_convert/76e87585f5cb71824c970b25ae5649b6.png
[25c44acd48e75800cfa455168f06c574.png]: https://img-blog.csdnimg.cn/img_convert/25c44acd48e75800cfa455168f06c574.png
[4a26e15d04619d5b16c0f10c2e6a3a55.png]: https://img-blog.csdnimg.cn/img_convert/4a26e15d04619d5b16c0f10c2e6a3a55.png
[759b7e59e338565fc889dcdfb736b743.png]: https://img-blog.csdnimg.cn/img_convert/759b7e59e338565fc889dcdfb736b743.png
[4fd5361b41eb53b8737b7dd52aac6781.png]: https://img-blog.csdnimg.cn/img_convert/4fd5361b41eb53b8737b7dd52aac6781.png
[0223c4dc782d4e3cdec7c073fb601e51.png]: https://img-blog.csdnimg.cn/img_convert/0223c4dc782d4e3cdec7c073fb601e51.png
[6ae9dd798dd2b4314b1c86fe8973c983.png]: https://img-blog.csdnimg.cn/img_convert/6ae9dd798dd2b4314b1c86fe8973c983.png
[e05b9fd48b9258c55bc7dbb68dab35d1.png]: https://img-blog.csdnimg.cn/img_convert/e05b9fd48b9258c55bc7dbb68dab35d1.png
[848721076b3d821c6cd758c40276e00f.png]: https://img-blog.csdnimg.cn/img_convert/848721076b3d821c6cd758c40276e00f.png
[6500650ebe6923719695d7a112e3eadc.png]: https://img-blog.csdnimg.cn/img_convert/6500650ebe6923719695d7a112e3eadc.png
[a52572971e216c2cb0263011cc537ba4.png]: https://img-blog.csdnimg.cn/img_convert/a52572971e216c2cb0263011cc537ba4.png
[404182c2d8beee419cc411d950c1f14b.png]: https://img-blog.csdnimg.cn/img_convert/404182c2d8beee419cc411d950c1f14b.png
[ffe44913057066c18216a96602db8bc8.png]: https://img-blog.csdnimg.cn/img_convert/ffe44913057066c18216a96602db8bc8.png
[6f827de0c37fe8e46b6a7c8e8ab0939e.png]: https://img-blog.csdnimg.cn/img_convert/6f827de0c37fe8e46b6a7c8e8ab0939e.png
[2666b14ba0c2bd261333ce51c0cfe6d8.png]: https://img-blog.csdnimg.cn/img_convert/2666b14ba0c2bd261333ce51c0cfe6d8.png