大型网站架构阅读(一)架构演变

怼烎@ 2024-02-19 13:47 115阅读 0赞

大型网站系统特点：

高并发，大流量 高可用，海量数据 用户分布式广泛，网络情况复杂，安全环境恶劣，需求快速变更，发布频繁，渐进式发展。

大型网站演变过程：

大型网站是从小网站一步步逐渐发展而来的。网站架构也一样，是从小型网站架构一步步演变过了。从少量用户到海量用户，从少量数据到海量数据，从低并发量到高并发。从而使网站架构从简单到复杂。

**单一应用服务器初始阶段的网站架构：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70][]

**用户量增加，数据提升。**

**单一应用服务器应用服务和数据库分离架构：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 1][]

**单一应用服务器使用缓存：**

应网站数据量过大，频繁的访问网站和数据库，会造成网站性能下降，数据库io频繁，因而网站开始使用缓存提升网站性能。

缓存在应用服务器上的本地缓存与缓存在专门的分布式缓存服务器上的远程缓存。  
  
本地缓存：其访问速度快，但是收到应用服务器内容的限制，其缓存数据量有限，而且回出现和应用服务程序  
争夺内容的情况。

分布式缓存：其可以使用集群的方式，部署大内存的服务器作用专门的缓存服务器，可以在理论上做到不受内存容量限制的缓存服务器。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 2][]

使用缓存后，数据访问压力缓解，但是单一的应用服务器能够处理的请求连接有限，在网站高峰期应用服务器成为整个网站的瓶颈。

**应用服务器集群：**

应用服务器集群可以改善网站的并发处理能力。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 3][]

通过负载均衡调度服务器，可以根据负载规则将用户的请求分发到不同的应用服务器上，从而防止用户请求集中到一台应用服务器上，降低该应用服务器的性能压力。

**数据库主从复制：**

网站使用了缓存后，能缓解大部分的读数据操作，但是还是有很多写操作和一部分的读操作直接指向与数据库，有用户数量的增加，数据库性能压力逐渐提高。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 4][]

**反向代理和CDN加速网站响应：**

网站及时的响应也是网站性能的一部分，应网络的宽带的问题，网站无法及时响应用户的请求，从而是用户体验极差。导致大量的用户流失。

CDN和方向代理的基本原理是缓存，区别在与cdn部署在网络提供商的机房而防线代理咋部署在网站的 中心机房。当用户请求到达中心机房后，首先访问的服务器是反向代理服务器，如果防线 代理服务器中国缓存这用户请求的资源，就直接返回给用户。  
目的：尽早返回数据给用户，一方面加快用户访问速度，另一方面也减轻了后端服务器的负载压力。  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 5][]

**分布式文件系统和分布式数据库系统：**

任何单一的服务器都是无法满足大型网站持续增长的业务需求，从 一台拆成两台，也是慢慢的无法满足，这时候就需要用到分布式数据库，文件系统也是一样需要使用到分布式文件系统。  
分布式数据库是网站数据库拆分的最后手段，只有在单表数据规模非常庞大的时候才使用，不到不得已的时候，  
网站更常用的数据库拆分手段是业务分库，将不同的业务数据部署在不同的物理服务器上。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 6][]

**Nosql和搜索引擎：**

随着业务的不断增加，网站需要非关系型数据库去支持频繁的数据访问和搜索如搜索引擎等技术。

非关系数据库技术和非数据库查询技术,对可伸缩的分布式特性具有更好的支持，应用服务器则通过一个统一  
的数据访问模块访问各种数据，减轻应用程序管理诸多数据源的麻烦。  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 7][]

随着网站的不断发展，业务越来越繁琐，越来越复杂这时候就需要进行业务拆分，根据不同的业务拆分成不同的子项目，进行单独部署维护。  
 **业务拆分：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 8][]

随着业务拆分的越来越小，各个子项目中有有很多公共的部分，如用户管理，商家管理等。将其提取处理，独立部署，由这些可以复用的业务去连接数据库，提供公共的服务，系统只需要管理用户界面，通过分布式服务调用公共服务完成业务。

**分布式：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 9][]

**大型网站架构技术的核心价值是随网站所需灵活应对。  
驱动大型网站技术发展主要力量是网站的业务发展。**

网站架构设计误区：  
1.一味的追随大公司的解决方案。学习借鉴禁止盲从。  
2.为了技术而技术。业务推动技术更新  
3.企图用技术解决所有问题。有时候调整业务方式也是一种不错的方法。技术是用来解决业务问题的，而业务问题，也可以  
通过业务的手段去解决。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/fd70903ae8314901bc2a8ab6064b94e1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/30afd35e8d734410b0187d0d8e9b48de.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/2af5d8ed2b4c495e8ea91200f110e767.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/e3b8266c78cb43d88a3d913c4b615a8f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 4]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/c22eb30d36fc4fe9869ff0800c721e78.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 5]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/150fa267c1bf494b8fd41ede47c7fd32.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 6]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/5d69b06dbf7f4ae682c3d9531674c079.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 7]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/3ac3f6c42efe4f71bbfbeb3b9f3cba60.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 8]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/549f93739d5c4176981dd4d41d5a885d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 9]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/c6d776ba33614c259346644bdde89b17.png