【Cache】Squid代理服务器应用

朱雀 2024-04-06 14:48 37阅读 0赞

#### 文章目录 ####

*  一、Squid 服务器的概念
 *   *  1. 代理服务器概述
     *   *  CDN 服务器
     *  2. 代理的工作机制
     *  3. Squid 服务器的作用
     *  4. Squid 代理的类型
 *  二、部署 Squid 服务器
 *   *  1. 安装 Squid 服务
     *   *  1.1 编译安装 Squid
         *  1.2 修改 Squid 的配置文件
         *  1.3 Squid 的运行控制
         *  1.4 创建 Squid 服务脚本
         *  1.5 supervisor 管理服务
     *  2. 构建传统代理服务器
     *   *  2.1 squid服务器配置
         *  2.2 nginx 服务器配置
         *  2.3 windows 客户端配置
     *  3. 构建透明代理服务器
     *   *  3.1 Squid 服务器配置
         *  3.2 Web服务器配置
         *  3.3 客户端配置
 *  三、Squid 中 ACL 的使用
 *   *  1. 定义访问控制列表
     *   *  1.1 方法1：直接定义访问控制
         *  1.2 方法2：启动对象列表管理
     *  2. 验证
 *  四、Squid 日志分析工具 Sarg
 *   *  1. 安装软件包
     *  2. 修改配置文件
     *  3. 网页验证
     *  4. 加入计划性任务
 *  五、Squid 反向代理
 *   *  1. 工作机制
     *  2. 服务器部署
     *   *  2.1 suqid服务器配置
         *  2.2 节点服务器配置
 *  总结
 *   *  CDN 服务器
     *   *  1. CDN 的概念
         *  2. CDN 的工作原理

--------------------

## 一、Squid 服务器的概念 ##

### 1. 代理服务器概述 ###

代理服务器是一个位于客户端和原始（资源）服务器之间的服务器，为了从原始服务器取得内容，客户端向代理服务器发送一个请求并指定目标原始服务器，然后代理服务器向原始服务器转交请求并将获得的内容返回给客户端。

缓存代理对于web至关重要，尤其对于大型高负载web站点。缓存可作为性能优化的一个重要手段，可以极大诚轻后瑞服务器的负载。通常对于蓓态谈源。即较少经常更新社资源，如图片，css或js等进行缓存，从而在每次刷新浏览器的时候，不用重新请求，而是从缓存里面读取，这样就可以减轻服务器的压力。

Web应用型服务器有四种，分别是Squid、Nginx、Varnish、CDN，其中Squid主要提供缓存加速、应用层过滤控制功能。

#### CDN 服务器 ####

**概念**

CDN的全称是(Content Delivery Network)，即内容分发网络。

目的是通过在现有的Internet中增加一层新的CACHE(缓存)层，将网站的内容发布到最接近用户的网络”边缘“的节点，使用户可以就近取得所需的内容，提高用户访问网站的响应速度。从技术上全面解决由于网络带宽小、用户访问量大、网点分布不均等原因，提高用户访问网站的响应速度。

**工作原理**

CDN的工作原理就是将您源站的资源缓存到位于全球各地的CDN节点上，用户请求资源时，就近返回节点上缓存的资源，而不需要每个用户的请求都回您的源站获取，避免网络拥塞、缓解源站压力，保证用户访问资源的速度和体验。

**工作过程**

1.  当用户输入网址回车后，经过本地DNS系统解析，DNS会将最终的域名解析权交给CNAME 指向的CDN 专用DNS服务器。
2.  CDN的DNS服务器将 CDN的全局负载均衡 设备ip 地址返回给浏览器
3.  用户向 CDN的全局负载均衡服务器 发起内容url 请求
4.  CDN全局负载均衡服务器根据 用户请求的IP地址，url等信息，选择一台用户所属区域的负载均衡设备，告诉用户向这台设备发起请求。
5.  CDN区域负载均衡服务器会为用户 选择一台合适的缓存服务器提供服务，选择的依据主要是：离用户距离要近，缓存服务器上是否用户所需内容，以及各个缓存当前的一个负载均衡情况。选择出一个最优的 缓存服务器ip地址。
6.  全局负载均衡服务器将 缓存服务器的ip地址给到用户。
7.  用户向缓存服务器发起请求。缓存服务器响应用户请求，将用户所需内容传送到用户终端。如果缓存服务器上没有用户想要的内容，那么这台服务器就会向它的上一级缓存服务器请求内容，直至追溯到网站的源服务器，并将内容拉取到本地。

### 2. 代理的工作机制 ###

代替客户机向网站请求数据，从而可以隐藏用户的真实IP地址。

将获得的网页数据（静态web元素）保存到缓存中并发送给客户机，以便下次请求相同的数据时快速响应。

![在这里插入图片描述][008ed344e54840db956ed98d453159ea.png_pic_center]

### 3. Squid 服务器的作用 ###

资源获取：代替客户端实现从原始服务器的资源获取；

加速访问：代理服务器可能离原始服务器更近，从而起到一定的加速作用；

缓存作用：代理服务器保存从原始服务器所获取的资源，从而实现客户端快速的获取；

隐藏真实地址：代理服务器代替客户端去获取原始服务器资源，从而隐藏客户端真实信息。

### 4. Squid 代理的类型 ###

<table> 
 <thead> 
  <tr> 
   <th>类型</th> 
   <th>概念</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>传统代理</td> 
   <td>适用于Internet 正向代理，需在客户机指定代理服务器的地址和端口。</td> 
  </tr> 
  <tr> 
   <td>透明代理</td> 
   <td>客户机不需指定代理服务器的地址和端口，而是通过默认路由、防火墙策略将Web访问重定向给代理服务器处理。</td> 
  </tr> 
  <tr> 
   <td>反向代理</td> 
   <td>如果 Squid 反向代理服务器中缓存了该请求的资源，则将该请求的资源直接返回给客户端；<br>否则反向代理服务器将向后台的 WEB 服务器请求资源，然后将请求的应答返回给客户端，同时也将该应答缓存在本地，供下一个请求者使用。</td> 
  </tr> 
 </tbody> 
</table>

## 二、部署 Squid 服务器 ##

### 1. 安装 Squid 服务 ###

systemctl stop firewalld							#关闭防火墙
    systemctl disable firewalld
    setenforce 0
    
    服务器：192.168.145.15

![在这里插入图片描述][0f0e433a53cf483aa5ff61e593291226.png]

#### 1.1 编译安装 Squid ####

yum -y install gcc gcc-c++ make						#yum安装
    cd /opt/
    tar xf squid-3.5.28.tar.gz
    cd /opt/squid-3.5.28
    
    ./configure --prefix=/usr/local/squid \				#指定安装目录路径
    --sysconfdir=/etc \									#指定配置文件路径
    --enable-arp-acl \									#MAC地址管控，防止客户端使用IP欺骗
    --enable-linux-netfilter \							#使用内核过滤
    --enable-linux-tproxy \								#支持透明模式
    --enable-async-io=100 \								#异步IO，提升存储性能
    --enable-err-language="Simplify_Chinese" \			#错误信息的显示语言
    --enable-underscore \								#允许URL中有下划线
    --disable-poll \									#关闭默认使用 poll 模式
    --enable-epoll \									#开启epoll模式提升性能
    --enable-gnuregex									#使用GNU正则表达式

./configure --prefix=/usr/local/squid \
    --sysconfdir=/etc \
    --enable-arp-acl \
    --enable-linux-netfilter \
    --enable-linux-tproxy \
    --enable-async-io=100 \
    --enable-err-language="Simplify_Chinese" \
    --enable-underscore \
    --disable-poll \
    --enable-epoll \
    --enable-gnuregex

![在这里插入图片描述][ee4e74870abe40698977d4dba8b5e862.png]

make -j2 && make install						#编译安装
    
    ln -s /usr/local/squid/sbin/* /usr/local/sbin/	#创建软链接，让系统识别squid命令
    
    useradd -M -s /sbin/nologin squid				#添加squid用户
    
    chown -R squid:squid /usr/local/squid/var/		#修改目录和子目录的用户以及用户组，此目录用于存放缓存文件

![在这里插入图片描述][d6a778833c554b36adb856be34a4815f.png]

#### 1.2 修改 Squid 的配置文件 ####

vim /etc/squid.conf
    ......
    --56行--插入
    http_access allow all				#放在 http_access deny all 之前，允许任意客户机使用代理服务，控制规则自上而下匹配
    http_access deny all
    http_port 3128						#用来指定代理服务监听的地址和端口(默认的端口号为 3128)
    --61行--插入
    cache_effective_user squid			#添加，指定程序用户，用来设置初始化、运行时缓存的账号,否则启动不成功
    cache_effective_group squid			#添加，指定账号基本组
    
    coredump_dir /usr/local/squid/var/cache/squid		#指定缓存文件目录

![在这里插入图片描述][4741fd60896048089061b5256924d3b0.png]

#### 1.3 Squid 的运行控制 ####

squid -k parse				#查看squid配置文件是否生效
    
    #启动 Squid，第一次启动 Squid 服务时，会自动初始化缓存目录
    squid -z 					#初始化 squid服务。-z 选项用来初始化缓存目录
    squid						#启动 squid 服务
    
    netstat -lntp | grep "squid"

![在这里插入图片描述][24214e5693c5467eafe78e6989c15ba4.png]

#### 1.4 创建 Squid 服务脚本 ####

vim /etc/init.d/squid
    #!/bin/bash
    #chkconfig: 2345 90 25
    PID="/usr/local/squid/var/run/squid.pid"		#pid文件路径
    CONF="/etc/squid.conf"							#配置文件路径
    CMD="/usr/local/squid/sbin/squid"				#运行程序的路径
    
    case "$1" in
       start)
         netstat -natp | grep squid &> /dev/null
         if [ $? -eq 0 ]
         then
           echo "squid is running"
         else
           echo "正在启动 squid..."
           $CMD
         fi
       ;;
       stop)
         $CMD -k kill &> /dev/null
         rm -rf $PID &> /dev/null
       ;;
       status)
         [ -f $PID ] &> /dev/null
            if [ $? -eq 0 ]
              then
                netstat -natp | grep squid
              else
                echo "squid is not running"
            fi
       ;;
       restart)
          $0 stop &> /dev/null
          echo "正在关闭 squid..."
          $0 start &> /dev/null
          echo "正在启动 squid..."
       ;;
       reload)
          $CMD -k reconfigure
       ;;
       check)
          $CMD -k parse
       ;;
       *)
          echo "用法：$0{start|stop|status|reload|check|restart}"
       ;;
    esac
    
    #2345是默认自启动级别，如是-代表任何级别都不自启动；90是启动优先级，25是停止优先级，优先级范围是0－100，数字越大，优先级越低。

chmod +x /etc/init.d/squid  	#添加权限
    chkconfig --add squid   	 	#添加squid
    chkconfig squid on
    
    squid -z       					#初始化缓存目录
    squid           			 	#启动squid服务
    netstat -antp | grep squid 		#确认squid服务处于正常监听状态
    
    service squid restart   		#测试

![在这里插入图片描述][adb07b49f14c431f8b536d9d64728ff7.png]

#### 1.5 supervisor 管理服务 ####

&emsp使用文档：http://supervisord.org/

&emspsupervisor是Python开发的c/s服务，是Linux系统下的进程管理工具。可以监听、启动、停止、重启一个或多个进程。

&emsp用supervisor管理的进程，当一个进程意外被杀死，supervisor监听到进程死后，会自动将它重启，很方便的做到进程的自动恢复的功能，不在需要自己写脚本来控制

yum install -y epel-release
    yum install -y supervisor
    
    #使用yum安装的supervisor会在/etc/会生成一个supervisor.conf文件及一个supervisor.d文件目录

![在这里插入图片描述][717a0ffe90ef49b997dd634eb2eaf176.png_pic_center]

#设置服务并启动
    supervisord --version					#查看supervisor是否安装成功
    
    supervisord -c /etc/supervisord.conf	#启动
    
    ps -ef|grep supervisord					#查看进程
    
    systemctl enable supervisord			#设置开机自启
    systemctl is-enabled supervisord		#查看是否开机自启

![在这里插入图片描述][3cade35c7546475a9b6fa6841a05339f.png_pic_center]

find / -name supervisor.sock
    unlink /run/supervisor/supervisor.sock 
    systemctl start supervisord
    systemctl status supervisord.service

![在这里插入图片描述][0dbe00869ff84afa9ad1f51c20271675.png_pic_center]

vim /etc/supervisord.conf
    [unix_http_server]
    file=/var/run/supervisor.sock   ; (the path to the socket file)
    
    [supervisord]
    logfile=/var/log/supervisor/supervisord.log  ; (main log file;default $CWD/supervisord.log)
    logfile_maxbytes=50MB       ; (max main logfile bytes b4 rotation;default 50MB)
    logfile_backups=10          ; (num of main logfile rotation backups;default 10)
    loglevel=info               ; (log level;default info; others: debug,warn,trace)
    pidfile=/var/run/supervisord.pid ; (supervisord pidfile;default supervisord.pid)
    nodaemon=false              ; (start in foreground if true;default false)
    minfds=1024                 ; (min. avail startup file descriptors;default 1024)
    minprocs=200                ; (min. avail process descriptors;default 200)
    
    [include]
    files = /etc/supervisord.d/*.conf

![在这里插入图片描述][0e6238a108ff45d187603982108ec01d.png_pic_center]

#进程管理配置参数，应该每个进程写一个配置文件放在include指定的目录下包含进supervisord.conf文件中。
    #supervisor.d目录用来存放用户自定义的进程配置：
    vim /etc/supervisord.d/squid.conf
    [program:squid]
    command=/usr/local/squid/sbin/squid -g 'daemon off;'
    stdout_logfile=/var/log/supervisor/logs/run.log
    stderr_logfile=/var/log/supervisor/logs/error.log
    autostart=true
    startsecs=10
    autorestart=true
    startretries=1
    user=squid
    priority=998
    stdout_logfile_maxbytes=200MB
    stdout_logfile_backups=20
    stopasgroup=true
    killasgroup=true
    redirect_stderr=true
    
    #注：supervisor不能监控后台进程，command不能为后台运行命令

![在这里插入图片描述][5caee2ec9a03436e9fb44eec350827e2.png_pic_center]

#supervisor服务启动
    mkdir -p /var/log/supervisor/logs
    
    systemctl start supervisord
    systemctl enable supervisord
    
    supervisord -c /etc/supervisord.conf

![在这里插入图片描述][7a5295548f8c44688ad6b7bb70f2c10a.png_pic_center]

#supervisor常用命令
    supervisorctl是supervisord的命令行工具
    - supervisorctl status           查看所有进程的状态
    - supervisorctl stop <name>      停止进程
    - supervisorctl start <name>     启动进程
    - supervisorctl restart <name>   重启进程
    - supervisorctl update           配置文件修改后可以使用该命令加载新的配置
    - supervisorctl reload           重新启动配置中的所有程序
    
    supervisorctl status squid               #squid状态
    supervisorctl stop squid                 #停止squid
    supervisorctl start squid                #启动squid
    supervisorctl restart nginx              #重启squid
    supervisorctl reload squid               #重载squid

### 2. 构建传统代理服务器 ###

nginx服务器 	 192.168.145.30
    代理  服务器 	192.168.145.15
    win  客户端  	 192.168.145.10

#### 2.1 squid服务器配置 ####

#修改配置文件
    vim /etc/squid.conf
    ......
    http_access allow all
    http_access deny all
    http_port 3128
    cache_effective_user squid
    cache_effective_group squid
    --63行--插入
    cache_mem 1024 MB						#指定缓存功能所使用的内存空间大小;
    										#便于保持访问较频繁的WEB对象，容量最好为4的倍数，单位为MB，一般设为物理内存的1/3。
    cache_swap_high 95						#cache目录使用量大于95%时，开始清理旧的cache。
    cache_swap_low 90						#cache目录清理到90%时停止。
    
    reply_body_max_size 100 MB				#允许用户下载的最大文件大小，以字节为单位，
    										#当下载超过指定大小的Web对象时，浏览器的报错页面中会出现“请求或访问太大”的提示默认设置0表示不进行限制。
    maximum_object_size 512000 KB			#设置squid磁盘缓存最大文件，以KB为单位，超过的文件不保存到硬盘，而是直接转发给用户。
    maximum_object_size_in_memory 512 KB	#设置squid内存缓存最大文件，超过的文件不保存到内存。
    minimum_object_size 0 KB				#设置squid磁盘缓存最小文件。

![在这里插入图片描述][634d0cdf4f9141e1a55c6d9df0f6819f.png_pic_center]

squid -k parse					#查看squid配置文件是否生效
    systemctl restart squid			#重启服务
    netstat -lntp | grep "squid"	#查看服务以及端口

![在这里插入图片描述][d569c314855c43dab31260866698c8ae.png_pic_center]

#生产环境中还需要修改防火墙规则
    iptables -F
    iptables -t filter -A INPUT -p tcp --dport 3128 -j ACCEPT
    iptables -nL

![在这里插入图片描述][40dc71d556ea4cf68f256cfb4c41ab67.png_pic_center]

#### 2.2 nginx 服务器配置 ####

#关闭防火墙
    systemctl stop firewalld.service
    setenforce 0

![在这里插入图片描述][621aa7585db642588d3393e99c32ff69.png_pic_center]

#安装nginx
    yum -y install pcre-devel zlib-devel openssl-devel gcc gcc-c++ make
    useradd -M -s /sbin/nologin nginx
    cd /opt/
    tar xf nginx-1.24.0.tar.gz
    cd nginx-1.24.0/
    
    ./configure \
    --prefix=/usr/local/nginx \
    --user=nginx \								
    --group=nginx \
    --with-http_stub_status_module
    make -j2 && make install

![在这里插入图片描述][3cb4d6ab91064377ad258a5e4c3447dd.png_pic_center]

ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
    /usr/local/nginx/sbin/nginx
    ps -aux | grep nginx

![在这里插入图片描述][3e22e456de754897aa4647dd15f13287.png_pic_center]

#准备网页服务器
    echo '<h1>this is nginx</h1>' > /usr/local/nginx/html/test.html

![在这里插入图片描述][a440109ab75e4b288431f13f1c9bc747.png_pic_center]

#### 2.3 windows 客户端配置 ####

ip地址 192.168.145.10

![在这里插入图片描述][4d44fc7c9d4448bbb4c7846b665c3cbc.png_pic_center]

#客户机的代理配置
    打开浏览器，工具-->Internet选项-->连接-->局域网设置-->开启代理服务器（地址：Squid服务器IP地址，端口：3128）
    http://192.168.145.30/test.html

![在这里插入图片描述][f87dbf980fb945cbb63b625f4f695491.png_pic_center]

#查看 Squid 访问日志的新增记录中的缓存命中情况
    tail -f /usr/local/squid/var/logs/access.log

![在这里插入图片描述][d26e394e9f184ba78ebc715368f4c419.png_pic_center]

#跟踪 Web 访问日志的新增记录
    tail -f /usr/local/nginx/logs/access_log
    #在浏览器输入Web服务器IP地址访问，查看Web服务器访问日志，显示的是由代理服务器替客户机在访问。

![在这里插入图片描述][b5213b06acf04c7ca56a20d67a932166.png_pic_center]

### 3. 构建透明代理服务器 ###

Squid服务器	内网ens32：192.168.145.15  外网ens33：12.0.0.1
    Web 服务器		12.0.0.100
    客户端1		192.168.145.30

#### 3.1 Squid 服务器配置 ####

#添加一张网卡
    #网络设置
    cp /etc/sysconfig/network-scripts/ifcfg-ens33 /etc/sysconfig/network-scripts/ifcfg-ens33

![在这里插入图片描述][268833fa90874656b5ff802afdf7daba.png_pic_center]

vim /etc/sysconfig/network-scripts/ifcfg-ens33	#配置外网ens33
    NAME=ens33
    DEVICE=ens33
    ONBOOT=yes
    IPADDR=12.0.0.1
    NETMASK=255.255.255.0

![在这里插入图片描述][7064516917f14668a20653cadc6a1c07.png_pic_center]

vim /etc/sysconfig/network-scripts/ifcfg-ens32	#配置内网ens32
    NAME=ens32
    DEVICE=ens32
    ONBOOT=yes
    IPADDR=192.168.145.15
    NETMASK=255.255.255.0

![在这里插入图片描述][430bd2f8eed344ea8b450257d8170055.png_pic_center]

systemctl restart network				#重启网卡
    ifconfig

![在这里插入图片描述][8ed49a7324fb4b08861a02262105193f.png_pic_center]

#开启路由转发，实现本机中不同网段的地址转发
    echo 'net.ipv4.ip_forward = 1' >> /etc/sysctl.conf
    sysctl -p

![在这里插入图片描述][f40e2f8c037a4cec87ce06d02fdd0aba.png_pic_center]

#设置防火墙规则
    iptables -F && iptables -t nat -F
    iptables -nL
    iptables -t filter -A INPUT -p tcp --dport 3128 -j ACCEPT
    iptables -nL
    iptables -t nat -A PREROUTING -t nat -i ens32 -s 192.168.145.0/24 -p tcp --dport 80 -j REDIRECT --to-ports 3128
    iptables -t nat -A PREROUTING -t nat -i ens32 -s 192.168.145.0/24 -p tcp --dport 443 -j REDIRECT --to 3128

![在这里插入图片描述][bfa53ac7e6014485b56b9ebd30cc0df2.png_pic_center]

vim /etc/squid.conf
    ......
    http_access allow all
    http_access deny all
    #--60行--修改添加提供内网服务的IP地址，和支持透明代理选项 transparent
    http_port 192.168.145.15:3128 transparent

![在这里插入图片描述][4a4fbced2bdf4dedb2058bf86903353e.png_pic_center]

systemctl restart squid
    netstat -lntp | grep "squid"	#查看服务以及端口

![在这里插入图片描述][55105aa50cb041da91913bbc5ae4dc26.png_pic_center]

#### 3.2 Web服务器配置 ####

#修改网络ip地址
    vim /etc/sysconfig/network-scripts/ifcfg-ens33
    IPADDR=12.0.0.100
    NETMASK=255.255.255.0
    GATEWAY=12.0.0.1

![fc8089a75c4e4e1f9711ab1abae43a98.png_pic_center][]

#重启并查看ip地址
    systemctl restart network
    ifconfig

![在这里插入图片描述][40951154fec74ae597ece1a70a43f5cd.png_pic_center]

#### 3.3 客户端配置 ####

#网关配置
    vim /etc/sysconfig/network-scripts/ifcfg-ens32
    IPADDR=192.168.145.45
    NETMASK=255.255.255.0
    GATEWAY=192.168.145.15

![在这里插入图片描述][e8ab7d771a444a82b0abec07b603ddc8.png_pic_cemter]

#关闭客户机的浏览器之前设置的代理服务器的功能后访问 http://12.0.0.100/test.html

![在这里插入图片描述][a620731646484723b85363610262b7e7.png_pic_center]

#查看 Squid 访问日志的新增记录
    echo > /usr/local/squid/var/logs/access.log				#清空日志文件
    tail -f /usr/local/squid/var/logs/access.log

![在这里插入图片描述][c151bd0e6578443496bc9f540dcc3cb3.png_pic_center]

## 三、Squid 中 ACL 的使用 ##

在配置文件 squid.conf 中，ACL 访问控制通过以下两个步骤来实现：

*  使用 acl 配置项定义需要控制的条件；
 *  通过 http\_access 配置项对已定义的列表做“允许”或“拒绝”访问的控制。

### 1. 定义访问控制列表 ###

acl 列表名称  列表类型  列表内容
    
    #列表名称：名称自定义，相当于给ACL命名
    #列表类型：必须使用squid预定义的值，对应不同类别的控制条件
    #列表内容：是要控制的具体对象，不同类型的列表所对应的内容也不一样，可以有多个值（以空格为分隔，为“或的关系”）

#### 1.1 方法1：直接定义访问控制 ####

#修改配置文件
    vim /etc/squid.conf
    ...
    acl allow_host src 192.168.145.60
    http_access allow allow_host
    http_access deny all
    
    systemctl restart squid
    netstat -lntp | grep "squid"

![在这里插入图片描述][8c137696629f4d8d99618e90874a992f.png_pic_center]

#### 1.2 方法2：启动对象列表管理 ####

mkdir /etc/squid
    vim /etc/squid/dest.list
    192.168.145.60
    192.168.145.10
    
    vim /etc/squid.conf
    ......
    acl deny_host dst "/etc/squid/hostlist"				#调用指定文件中的列表内容
    ......
    http_access deny deny_host							#注意，如果是拒绝列表，需要放在http_access allow all前面
    
    
    systemctl restart squid
    netstat -lntp | grep "squid"

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wmLbSrVi-1688457133690)(C:\\Users\\86138\\AppData\\Roaming\\Typora\\typora-user-images\\image-20230703213713308.png)\]][img-wmLbSrVi-1688457133690_C_Users_86138_AppData_Roaming_Typora_typora-user-images_image-20230703213713308.png]

### 2. 验证 ###

#浏览器访问Web服务器 http://192.168.145.30/test.html ，显示被访问被拒绝。

![在这里插入图片描述][790b2c5952fd4da3976cd4f748964205.png_pic_center]

## 四、Squid 日志分析工具 Sarg ##

### 1. 安装软件包 ###

#安装图像处理软件包
    yum install -y pcre-devel gd gd-devel
    
    mkdir /usr/local/sarg
    cd /opt/
    tar xf sarg-2.3.7.tar.gz
    
    cd /opt/sarg-2.3.7
    ./configure --prefix=/usr/local/sarg \
    --sysconfdir=/etc/sarg \							#配置文件目录，默认是/usr/local/etc
    --enable-extraprotection							#额外安全防护
    
    make && make install								#编译安装

./configure --prefix=/usr/local/sarg --sysconfdir=/etc/sarg --enable-extraprotection

![在这里插入图片描述][9131f414f349496498c565aeb3af00c0.png_pic_center]

### 2. 修改配置文件 ###

vim /etc/sarg/sarg.conf
    --7行--取消注释
    access_log /usr/local/squid/var/logs/access.log		#指定访问日志文件
    --25行--取消注释
    title "Squid User Access Reports"					#网页标题
    --120行--取消注释，修改
    output_dir /var/www/html/sarg						#报告输出目录
    --178行--取消注释
    user_ip no											#使用用户名显示
    --184行--取消注释，修改
    topuser_sort_field connect reverse					#top排序中，指定连接次数采用降序排列，升序是normal
    --190行--取消注释，修改
    user_sort_field connect reverse						#对于用户访问记录，连接次数按降序排序
    --206行--取消注释，修改
    exclude_hosts /usr/local/sarg/noreport				#指定不计入排序的站点列表的文件
    --257行--取消注释
    overwrite_report no									#同名同日期的日志是否覆盖
    --289行--取消注释，修改
    mail_utility mailq.postfix							#发送邮件报告命令
    --434行--取消注释，修改
    charset UTF-8										#指定字符集UTF-8
    --518行--取消注释
    weekdays 0-6										#top排行的星期周期
    --525行--取消注释
    hours 0-23											#top排行的时间周期
    --633行--取消注释
    www_document_root /var/www/html						#指定网页根目录

![在这里插入图片描述][a2c247a778124c0b87ac2177189d0450.png_pic_center]

#添加不计入站点文件，添加的域名将不被显示在排序中
    touch /usr/local/sarg/noreport
    
    ln -s /usr/local/sarg/bin/sarg /usr/local/bin/
    sarg --help

![在这里插入图片描述][809f5bf28e8f46fe89b49d0cbc9e61c4.png_pic_center]

### 3. 网页验证 ###

#安装httpd验证
    yum -y install httpd
    systemctl start httpd

![在这里插入图片描述][67c02d550fa147238afe556f9149150d.png_pic_center]

#运行
    sarg				#启动一次记录

![在这里插入图片描述][bc497b7bc1684f86a2d5ebb1ee246c3e.png_pic_center]

浏览器访问 http://192.168.145.15/sarg ，查看sarg报告网页。

![在这里插入图片描述][f5602c7c32bb42f39abda554498fc3c4.png_pic_center]

### 4. 加入计划性任务 ###

#添加计划任务，执行每天生成报告
    vim /usr/local/sarg/report.sh
    #/bin/bash
    #Get current date
    TODAY=$(date +%d/%m/%Y)
    #Get one week ago today
    YESTERDAY=$(date -d "1 day ago" +%d/%m/%Y)
    /usr/local/sarg/bin/sarg -l /usr/local/squid/var/logs/access.log -o /var/www/html/sarg -z -d $YESTERDAY-$TODAY &> /dev/null
    find ./ -type d -a -name "$(env LANG=en_US.UTF-8 date -d "30 day ago" +%Y%b%d)-$(env LANG=en_US.UTF-8 date -d "29 day ago" +%Y%b%d)" | xargs rm -rf
    exit 0

chmod +x /usr/local/sarg/report.sh
    
    crontab -e
    0 0 * * * /usr/local/sarg/report.sh					#每天凌晨0点执行任务

## 五、Squid 反向代理 ##

如果 Squid 反向代理服务器中缓存了该请求的资源，则将该请求的资源直接返回给客户端；否则反向代理服务器将向后台的 Web 服务器请求资源，然后将请求的应答返回给客户端，同时也将该应答缓存在本地，供下一个请求者使用。

### 1. 工作机制 ###

*  缓存网页对象，减少重复请求。
 *  将互联网请求轮训或按权重分配到内网Web服务器。
 *  代理用户请求，避免用户直接访问Web服务器，提高安全。

### 2. 服务器部署 ###

squid服务器   	 192.168.145.15
    web节点服务器1	192.168.145.45
    web节点服务器2 	192.168.145.60

#### 2.1 suqid服务器配置 ####

vim /etc/squid.conf
    ......
    --60行--修改，插入
    http_port 192.168.145.15:80 accel vhost vport
    cache_peer 192.168.145.45 parent 80 0 no-query originserver round-robin max_conn=30 weight=1 name=web1
    cache_peer 192.168.145.60 parent 80 0 no-query originserver round-robin max_conn=30 weight=1 name=web2
    cache_peer_domain web1 web2 www.abc.com
    #表示对www.kgc.com的请求，squid向192.168.145.45和192.168.80.12的80端口发出请求

http_port 80 accel vhost vport #squid从一个缓存变成了一个Web服务器反向代理加速模式，这个时候squid在80端口监听请求，同时和web server的请求端口(vhost vport)绑定，这个时候请求到了squid，squid是不用转发请求的，而是直接要么从缓存中拿数据要么向绑定的端口直接请求数据。
    accel ：反向代理加速模式
    vhost ：支持域名或主机名来表示代理节点
    vport ：支持IP和端口来表示代理节点
    
    parent ：代表为父节点，上下关系，非平级关系
    80 ：代理内部web服务器的80端口
    0 ：没有使用icp（电信运营商），表示就一台squid服务器
    no-query ：不做查询操作，直接获取数据
    originserver ：指定是源服务器
    round-robin ：指定 squid 通过轮询方式将请求分发到其中一台父节点
    max_conn ：指定最大连接数
    weight ： 指定权重
    name ：设置别名

![在这里插入图片描述][f35571334a33469c8d6b9d2a85461b5e.png_pic_center]

#清空之前透明模式配置的 iptables 规则
    iptables -F
    iptables -t nat -F
    
    systemctl stop httpd       #防止 httpd 服务使用的 80 端口号和 squid 反向代理配置的监听端口冲突
    systemctl restart squid

![在这里插入图片描述][34844208db144291b5d62b62c635065f.png_pic_center]

#### 2.2 节点服务器配置 ####

#后端节点服务器设置
    yum install -y httpd
    systemctl start httpd

![在这里插入图片描述][d796d1a1fbea40248ca049c3c62acaf8.png_pic_center]

#节点1：
    echo "this is test01" >> /var/www/html/index.html
    #节点2：
    echo "this is test02" >> /var/www/html/index.html

![在这里插入图片描述][b4ec13a001cd434a9fa0aeee6647e99d.png_pic_center]

#客户机的域名映射配置
    修改 C:\Windows\System32\drivers\etc\hosts 文件
    192.168.145.15 www.abc.com

![在这里插入图片描述][946135226b484654a28dc6c7f6438735.png_pic_center]

浏览器不开启代理访问 http://www.abc.com
    
    查看缓存命中情况 
    tail -f /usr/local/squid/var/logs/access.log

![在这里插入图片描述][006c70009fcd4ac2920406e3e13a780f.png_pic_center]

## 总结 ##

### CDN 服务器 ###

#### 1. CDN 的概念 ####

做正向代理缓存加速，将网站的内容发布到最接近用户的网络”边缘“的节点，使用户可以就近取得所需的内容，提高用户访问网站的响应速度。

#### 2. CDN 的工作原理 ####

通过触发的方式或者定时触发的方式来做资源的提前预热，保证缓存服务器能够获取最新的数据或者资源数据。

[008ed344e54840db956ed98d453159ea.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/79f954e58f7c492fa49e119d5832ee1f.png
[0f0e433a53cf483aa5ff61e593291226.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/33603807bd814b9cb20c4e0cb8d91621.png
[ee4e74870abe40698977d4dba8b5e862.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/8e75f1766280421e9db7621bee3b78c0.png
[d6a778833c554b36adb856be34a4815f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/08462f233e6d43738a6cbadb5f3f03a6.png
[4741fd60896048089061b5256924d3b0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/0543afec306f48968ed11d47cefb1705.png
[24214e5693c5467eafe78e6989c15ba4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/07ad0012629443c18e0ad8de07097ed0.png
[adb07b49f14c431f8b536d9d64728ff7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/23281115b1be4c2aa55fb4353e8e0a61.png
[717a0ffe90ef49b997dd634eb2eaf176.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/64d01997e3d24267a5101835471074f5.png
[3cade35c7546475a9b6fa6841a05339f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/f319a00922b047b590aeaa3489c75a32.png
[0dbe00869ff84afa9ad1f51c20271675.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/177cde34c74c497f86ad4380c37627a8.png
[0e6238a108ff45d187603982108ec01d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/4bf5fcded096497ab6c91439e7cc6897.png
[5caee2ec9a03436e9fb44eec350827e2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/49e6d6a4fce64159a3070da39b52834d.png
[7a5295548f8c44688ad6b7bb70f2c10a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/651ed5a45dee4c27b982193594ac8177.png
[634d0cdf4f9141e1a55c6d9df0f6819f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/561c9d0bbb214095820a7ce11dbe2352.png
[d569c314855c43dab31260866698c8ae.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/dedc65c1f0794f35ad8d89748c3b6f84.png
[40dc71d556ea4cf68f256cfb4c41ab67.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/89e671c3737d4fb69f5e587a983d50e3.png
[621aa7585db642588d3393e99c32ff69.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/58a5be17e2c34ca3b5656124ec49e794.png
[3cb4d6ab91064377ad258a5e4c3447dd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/83d390aabddf46beb396aa5d5af01377.png
[3e22e456de754897aa4647dd15f13287.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/ae8129fc00e946c79b8101683923203d.png
[a440109ab75e4b288431f13f1c9bc747.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/2b962c697bd345c983d3f731a7f556fc.png
[4d44fc7c9d4448bbb4c7846b665c3cbc.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/f151c29c4aaa4d1c9cb0f846dd263a24.png
[f87dbf980fb945cbb63b625f4f695491.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/c85a65f170dd4f83a1f9b3edad2dd47d.png
[d26e394e9f184ba78ebc715368f4c419.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/c2dae356424448ea9f569b3819e9a28e.png
[b5213b06acf04c7ca56a20d67a932166.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/58a7e21cb682427594ac45f0338dfe3d.png
[268833fa90874656b5ff802afdf7daba.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/2ce9686b864f4f53b8a9313471a8271f.png
[7064516917f14668a20653cadc6a1c07.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/2e07e84617b541c28c6732980c1bdc55.png
[430bd2f8eed344ea8b450257d8170055.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/04fff01631e54761b24d6fc3f92345a9.png
[8ed49a7324fb4b08861a02262105193f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/0c58d4ce3b304c3a827f840f5a9ff667.png
[f40e2f8c037a4cec87ce06d02fdd0aba.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/fbe7defbad9141f492084fe74512b9aa.png
[bfa53ac7e6014485b56b9ebd30cc0df2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/f7102f3491f8436faaf10f25a192c4cf.png
[4a4fbced2bdf4dedb2058bf86903353e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/da5d3cd83e12423d844437b76a00ed3e.png
[55105aa50cb041da91913bbc5ae4dc26.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/2a038baae1dc44c3986981d3f8d4c494.png
[fc8089a75c4e4e1f9711ab1abae43a98.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/a9bb2c67b46b4117aa4c9fa419a94e40.png
[40951154fec74ae597ece1a70a43f5cd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/53ec5b402952490a82994e65aed659aa.png
[e8ab7d771a444a82b0abec07b603ddc8.png_pic_cemter]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/fb0049a07a514cb18334ca8e0ea60319.png
[a620731646484723b85363610262b7e7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/fb6a984b2d3e4691a18c0da7d837aeb0.png
[c151bd0e6578443496bc9f540dcc3cb3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/228d1d5191a44bcca9ecda18a3922fce.png
[8c137696629f4d8d99618e90874a992f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/cefe3197332f4017aefdf206dcf4f8c9.png
[img-wmLbSrVi-1688457133690_C_Users_86138_AppData_Roaming_Typora_typora-user-images_image-20230703213713308.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/3dc8e5dbd3bc4d3697d26b9faa766939.png
[790b2c5952fd4da3976cd4f748964205.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/48ed4fc107804f6db108a9ccc500f901.png
[9131f414f349496498c565aeb3af00c0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/f9d3607b3caa48b9aaa547c6397da542.png
[a2c247a778124c0b87ac2177189d0450.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/032ec34757b74189b6c43996edbd8b80.png
[809f5bf28e8f46fe89b49d0cbc9e61c4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/4fb956cc9a13434d91a4d781b65c1d8f.png
[67c02d550fa147238afe556f9149150d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/3b122216bc1f4d57a03f0c59455f1ef7.png
[bc497b7bc1684f86a2d5ebb1ee246c3e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/c0cc08b2650040f4af11159f0cbbbeb7.png
[f5602c7c32bb42f39abda554498fc3c4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/db928ea70ab745efb7adba8731a479d7.png
[f35571334a33469c8d6b9d2a85461b5e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/538d8e23864b439fa86e4f1bdb5bce0a.png
[34844208db144291b5d62b62c635065f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/d8ce556c1b5e4a9e94a0df6c5b15fa3a.png
[d796d1a1fbea40248ca049c3c62acaf8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/048308e7dcfb4c13bb221d679aa96bc8.png
[b4ec13a001cd434a9fa0aeee6647e99d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/10429962e1084ab7960b9ed172a5e4b1.png
[946135226b484654a28dc6c7f6438735.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/dcbbe43b21d44a6f8a5c86df0e14286a.png
[006c70009fcd4ac2920406e3e13a780f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/1a5cc16584e34aefb92ab4ee342bd33f.png