Java进阶——带你入门分布式中的Nginx

阳光穿透心脏的1/2处 2022-02-18 13:39 156阅读 0赞

JAVA架构 2019-04-15 08:01:00

> 如何实现服务器之间的协同功能呢？

通过 Nginx 提供的反向代理和负载均衡功能，可以合理的完成业务的分配，提高网站的处理能力；同时利用缓存功能，还可以将不需要实时更新的动态页面输出结果，转化为静态网页形成缓存，从而提高网站的响应速度。

**代理和反向代理**

**代理（正向代理，目标服务器不知道谁在访问）**

位于客户端和目标服务器之间，起到一个中转的作用。其实就是客户端想访问目标服务器，但是因为某些原因不能够直接访问，则把请求和目标服务器发给代理服务器，代理服务器再去请求目标服务器，把返回的响应结果返回给客户端。

**反向代理（用户实际并不知道最终服务器，只是访问一个反向代理服务器而已）**

客户端会把反向代理服务器当成目标服务器，向反向代理服务器发送请求后，反向代理服务器再请求内部的后端服务器，把得到的响应结果返回给客户端。

![Java进阶——带你入门分布式中的Nginx][Java_Nginx]

特性：

*  安全性。反向代理具有安全性。能隐藏真实的内部服务器。
 *  功能性。正向代理主要用途是为防火墙内的局域网用户提供访问外网的途径。反向代理主要用途是将防火墙内的服务器提供给外边的用户访问，同时也可以为多个后端服务器提供负载均衡功能、缓存功能等。

**反向代理服务配置**

在 Nginx 配置文件中的 location 块中，这是 proxy\_pass \` 指令。

server{
     listen 80;
     server_name test.test;
     #将本机接收到的test.test的请求全部转发到另外一台服务器192.168.78.128
     location /{
     proxy_pass http://192.168.78.128; 
     #下面是其他辅助指令
     proxy_set_header Host $host; #更改来自客户端的请求头信息
     proxy_set_header X-Real_IP $remote_addr; #用户真实访问ip
     proxy_connect_timeout 2; #配置nginx与后端服务器建立连接的超时时间
     proxy_read_timeout 2; #配置nginx向后端发出read请求的等待响应超时时间
     proxy_send_timeout 2; #配置nginx向后端服务器发出write请求的等待响应超时时间
     proxy_redirect http://www.baidu.com; #用于修改后端服务器返回的响应头中的Location和Refresh
     }
    }

**负载均衡**

> 负载均衡（load balance）：就是将负载分摊到多个操作单元上执行，从而提高服务的可用性和响应速度。

1.  一个没有负载均衡的 web 架构如下图：

![Java进阶——带你入门分布式中的Nginx][Java_Nginx 1]

用户直接连接服务器，这个时候如果这台服务器挂了，那么就整个网站挂了。

1.  有负载均衡的 web 架构

![Java进阶——带你入门分布式中的Nginx][Java_Nginx 2]

用户不直接访问后端服务器，而是访问负载均衡服务器，由负载均衡服务器再次转发到后端服务器。如果这个时候有一台后端服务器挂掉了，那么负载均衡服务器会剔除掉它，将后续请求都转发到好的那台，这样就不影响网站的正常运行。这个时候我们也需要考虑负载均衡服务器会不会挂掉，那就引入第二个负载均衡服务器来缓解一下。

![Java进阶——带你入门分布式中的Nginx][Java_Nginx 3]

负载均衡的配置

> **通过配置负载均衡服务器的 Nginx 中的 upstream 指令可以实现。**

不同负载均衡配置的特点如下图所示：

1. **轮询方式（默认），**每个请求按照时间顺序逐一分配到不同的后端服务器，如果有服务器宕机，会自动剔除。

2. 权重方式（weight）利用 weight 制定轮询的权重比率，与访问率成正比，用于后端服务器性能不均的情况，性能好的服务器        weight 高一点。

3. ip\_hash使每个访客固定访问一个后端服务器，这样可以解决 session 共享的问题。

4. 第三方模块（fair、url\_hash）nginx 默认不包含第三方模块，使用时需要安装第三方模块：

4.1 采用 fair，按照每台服务器的响应时间来分配，响应时间短的优先分配。

4.2  如果第三方模块采用的是 url\_hash，则安装 url 的 hash 值来分配。

一般轮询配置

server{
     listen 80;
     server_name test.test;
     location / {
     proxy_pass http://web_server; #反向代理
     }
    }
     #配置负载均衡服务器组
     upstream web_server {
     server 192.168.78.128;
     server 192.168.78.129;
    }

**加权轮询配置**

#配置负载均衡服务器组
    upstream web_server {
     server 192.168.78.128 weight=1;
     server 192.168.78.129 weight=3;
    }

这里面的权值总和为一个循环，这里以 4 次为一个循环，那么就是每四次请求中，三次会被分派到 129 这个服务器，一次分配到 128，但是具体三次并不会顺序执行，而是按照算法分散执行。

我们也可以设置每台 web 服务器在负载均衡调度中的状态。

upstream web_server{
     server 192.168.78.128 weight=1 max_fails=1 fail_timeout=2; #允许请求失败次数，在请求max_fail次数失败后，暂停服务的时间
     server 192.168.78.200 backup; #预留的备份服务器
     server 192.168.78.33 down; #当前服务器不参与负载均衡
    }

ip\_hash 配置

upstream web_server{
     ip_hash;
     server 192.168.78.120;
     server 192.168.78.123;
     server 192.168.78.33 down; #如果这台服务器宕机，则用down表示当前服务器暂不参与负载均衡
    }

> **使用 ip\_hash 的时候，不能使用 weight 和 backup。**

第三方模块（fair）

1.  备份已安装的 Nginx

由于使用第三方模块，需要重新编译 Nginx，所以需要关闭已经开启的 Nginx 进程，对已经安装好的 Nginx 进行备份，便于恢复。

cp -r /usr/local/nginx /usr/local/nginx_old

1.  重新编译安装 Nginx

先从 github 获取 fair 模块，下载到 zip 到 root 目录下，解压。

unzip nginx-upstream-fair-master.zip #解压mv nginx-upstream-fair-master nginx-upstream-fair #重命名

如果没有 unzip 命令，则需要用 yum install unzip 安装。

cd nginx-1.10.1#配置./configure 
    --prefix=/usr/local/nginx 
    --with-http_ssl_module 
    --add-module=/root/nginx-upstream-fair#编译安装make && make install

1.  配置 fair 的负载均衡

打开新安装的 Nginx 配置文件，在 http 块下实现 fair 的负载均衡。

server{
     listen 80;
     server_name test.test;
     location / {
     proxy_pass http://web_server 
    }
    }
    upstream web_server{
     server 192.168.78.128;
     server 192.168.78.132;
     fair; #使用fair
    }

**缓存配置**

> 对于一些含有大量内容的网站来说，随着访问量的增多，对于经常被访问的内容，如果每一次都从服务器中获取，则给服务器很大的压力。所以我们可以利用反向代理服务器对访问频率较多的内容进行缓存，有利于节省后端服务器的资源。

**原理**

web 缓存服务器位于内容源 web 服务器和客户端之间，当客户端访问一个 url 时，缓存服务器请求内容源服务器，并将响应结果缓存到内存或硬盘，当下一次请求同一个 url 时，缓存服务器直接将已缓存的内容输出给客户端，这样就减少了再次向内容源服务器请求的次数。

![Java进阶——带你入门分布式中的Nginx][Java_Nginx 4]

**永久缓存配置（proxy\_store）**

> Nginx 提供了 proxy\_store 指令用于缓存内容服务器响应到本地，若不手动删除，则一直存在。

server{
     listen 80;
     server_name test.test;
     location / {
     root cache; #制定个缓存文件的保存目录
     proxy_store on; #开启本地缓存
     proxy_store_access user:rw group:rw all:r; #设置缓存的读写规则
     proxy_temp_path cache_tmp; #设置反向代理时接收的数据临时存储文件的目录，该目录会自动创建
     #利用正则匹配缓存文件、目录或符号链接是否存在，如果不存在再执行块语句
     if(!-e $request_filename){
     proxy_pass http://192.168.78.128; 
     }
     }
    }

**临时缓存（proxy\_cache）**

> Nginx 服务器提供了 proxy\_cache 指令设置临时缓存。采用 md5 算法将请求链接进行 hash 后，根据具体配置生成缓存文件目录，保存响应数据。

在缓存服务器上配置 nginx.conf 中的 \*\*http\*\* 块。

#代理临时目录proxy_temp_path /usr/local/nginx/proxy_temp_dir; #设置缓存服务器接收内容服务器响应内容使用的临时目录
    #web缓存目录和参数设置proxy_cache_path /usr/local/nginx/proxy_cache_dir levels=1:2 keys_zone=cache_one:50minactive=1m max_size=500m; #自定义保存目录，

配置 server 块：

server {
     listen 80;
     server_name test.test;
     #增加两个响应头，用于获取访问的服务器地址与缓存是否成功
     add_header X-Via $server_addr;
     add_header X-Cache $upstream_cache_status;
     location /{
     proxy_cache cache_one; #设置缓存区域名称
     proxy_cache_key $host$uri$is_args$args; #以域名、uri、参数组合成web缓存的key，nginx根据key值哈希
     proxy_cache_valid 200 10m; #对200状态码设置缓存时间
     proxy_cache_valid 304 1m;
     proxy_cache_valid any 1m; #其他未设置的缓存1分钟
     proxy_pass http://192.168.78.128;
     }
    }

**缓存清理配置**

> 因为 Nginx 不支持清理制定 url 的缓存，需要借助第三方模块来实现。例如 ngx\_cache\_purge

1.  备份已安装的 Nginx

在添加 ngx\_cache\_purge 模块之前，关闭 Nginx 服务，备份已有的 Nginx 服务。

cp -r /usr/local/nginx /usr/local/nginx_old2

1.  重新编译安装 Nginx

在 github 获取 ngx\_cache\_purge zip 包，并解压安装。

unzip ngx_cache_purge-master.zipmv ngx_cache_purge-master /usr/local/ngx_cache_purge#进入ngxin文件的解压目录配置一下cd nginx-1.10.1
    ./configure 
    --prefix=/usr/local/nginx 
    --with-http_ssl_module 
    --add-module=/usr/local/ngx_cache_purge#编译和安装make && make install

1.  配置缓存清理功能

> 使用 proxy\_cache\_purge 指令实现缓存清理。

注意：

*  指定的缓存区名称和 proxy\_cache\_purge 指令中出现的缓存区名称一致。
 *  key 值设置规则要一致。
 *  清理缓存的 location 的编写位置在所有 location 之前，防止其他正则 location 提前匹配。

location ~/purge(/.*){
     allow 192.168.78.1;
     deny all;
     proxy_cache_purge cache_one $host$uri$is_args$args;
    }

> 如果有什么错误的地方，希望大家能指出，一起学习进步。

转发，关注我，私信回复【666】，获取意想不到的Java架构资料！

[Java_Nginx]: http://p1.pstatp.com/large/pgc-image/db48e44a736e40b0a2b259c7c5822351
[Java_Nginx 1]: /images/20220218/0b016a82fff143eab5688694480cffa8.png
[Java_Nginx 2]: /images/20220218/cb321511eefe43c4bb9d9d3eb22f8071.png
[Java_Nginx 3]: http://p1.pstatp.com/large/pgc-image/edfb64838c5c4af5b474bbb03143a812
[Java_Nginx 4]: http://p1.pstatp.com/large/pgc-image/6e3c973a40524a88a963bbaa5d7b8fdb