Squid 代理服务器 - 实现Web加速缓存及负载均衡

落日映苍穹つ 2023-01-17 08:54 159阅读 0赞

### Squid代理服务器 ###

*  一、Web代理的工作机制
 *  二、代理方式
 *   *  1. 传统代理
     *  2. 透明代理
     *  3. 反向代理
 *  三、部署传统代理
 *   *  1. 拓扑图
     *  2. 编译安装
     *  3. 修改配置文件
     *  4. 服务控制
     *  5. 部署Apache服务器
     *  6. 客户机测试
 *  四、部署透明代理
 *   *  1. 拓扑图
     *  2. 配置Squid
     *  3. 客户机测试
 *  五、ACL 访问控制
 *   *  1.概述
     *  2. 拓扑图
     *  3. 配置Squid
     *  4. 配置两个Web
     *  5. 客户机测试
 *  六、部署 Squid 日志分析
 *   *  1. 安装sarg
     *  2. 配置sarg
     *  3. 客户端测试
     *  4. 添加计划任务以每天生成报告
 *  七、Squid反向代理
 *   *  1. 拓扑图
     *  2.配置Squid
     *  3. Web1
     *  4. Web2
     *  5. 客户机测试

# 一、Web代理的工作机制 #

为C/S双方都提供了便利，将服务器数据缓存给客户机，这样客户机访问服务器更快，服务器也能节省资源  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70][]

# 二、代理方式 #

## 1. 传统代理 ##

需要在客户端中浏览器配置代理服务器

## 2. 透明代理 ##

客户机不需要指定代理服务器，而直接通过默认路由、防火墙策略将Web访问重定向给代理服务器处理  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 1][]

## 3. 反向代理 ##

负载均衡的过程中Squid起到缓存作用  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 2][]

# 三、部署传统代理 #

![20210428144155280.png][]

## 1. 拓扑图 ##

一台Squid一台Apache服务器

![20210428143415841.png][]

<table> 
 <thead> 
  <tr> 
   <th>主机</th> 
   <th>操作系统</th> 
   <th>IP 地址</th> 
   <th>主要软件</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Squid服务器</td> 
   <td>CentOS 7</td> 
   <td>192.168.0.10</td> 
   <td>Squid</td> 
  </tr> 
  <tr> 
   <td>Apache服务器</td> 
   <td>CentOS 7</td> 
   <td>192.168.0.20</td> 
   <td>Apache</td> 
  </tr> 
 </tbody> 
</table>

## 2. 编译安装 ##

systemctl stop firewalld
    systemctl disable firewalld
    setenforce 0
    
    yum -y install gcc gcc-c++ make perl
    
    wget -P /opt http://www.squid-cache.org/Versions/v3/3.5/squid-3.5.28.tar.gz
    
    cd /opt
    tar -zxvf squid-3.5.28.tar.gz
    cd squid-3.5.28
    
    ./configure --prefix=/usr/local/squid \
    --sysconfdir=/etc \
    --enable-arp-acl \
    --enable-linux-netfilter \
    --enable-linux-tproxy \
    --enable-async-io=100 \
    --enable-err-language="Simplify_Chinese" \
    --enable-underscore \
    --enable-poll \
    --enable-gnuregex
    
    make -j && make install
    
    ln -s /usr/local/squid/sbin/* /usr/local/sbin/
    
    useradd -M -s /sbin/nologin squid
    
    chown -R squid:squid /usr/local/squid/var/
    
    #创建软链接至路径环境变量，方便系统识别 squid 的系统命令
    #创建程序用户 squid，保证系统安全性
    #为 /usr/local/squid/var 目录递归指定属主属组

## 3. 修改配置文件 ##

vim /etc/squid.conf
    
    #56行，插入
    http_access allow all
    #放在 http_access deny all 之前，允许任意客户机使用代理服务
    http_access deny all
    
    #61行，插入
    cache_effective_user squid
    #添加指定程序用户，用来设置初始化、运行时缓存的账号，否则启动不成功
    cache_effective_group squid
    #添加指定账号基本组
    
    #63行，插入
    cache_mem 64 MB
    #指定缓存功能所使用的内存空间大小，便于保持访问较频繁的WEB对象，容量最好为4的倍数，单位为MB，建议设为物理内存的1/4
    reply_body_max_size 10 MB
    #允许用户下载的最大文件大小，以字节为单位，当下载超过指定大小的Web对象时，浏览器的报错页面中会出现“请求或访问太大”的提示默认设置0表示不进行限制
    maximum_object_size 4096 KB
    #允许保存到缓存空间的最大对象大小，以KB为单位，超过大小限制的文件将不被缓存，而是直接转发给用户

## 4. 服务控制 ##

squid -k parse
    #检查配置文件语法是否正确
    
    squid –z
    #-z 选项用来初始化缓存目录
    
    squid
    #启动 squid 服务
    
    vim /etc/init.d/squid
    
    #!/bin/bash
    #chkconfig: 2345 90 25
    PID="/usr/local/squid/var/run/squid.pid"
    CONF="/etc/squid.conf"
    CMD="/usr/local/squid/sbin/squid"
    
    case "$1" in
       start)
         netstat -natp | grep squid &> /dev/null
         if [ $? -eq 0 ]
         then
           echo "squid is running"
           else
           echo "正在启动 squid..."
           $CMD
         fi
       ;;
       stop)
         $CMD -k kill &> /dev/null
         rm -rf $PID &> /dev/null
       ;;
       status)
         [ -f $PID ] &> /dev/null
            if [ $? -eq 0 ]
              then
                netstat -natp | grep squid
              else
                echo "squid is not running"
            fi
       ;;
       restart)
          $0 stop &> /dev/null
          echo "正在关闭 squid..."
             $0 start &> /dev/null
          echo "正在启动 squid..."
       ;;
       reload)
          $CMD -k reconfigure
       ;;
       check)
          $CMD -k parse
       ;;
       *)
          echo "用法：$0{start|stop|status|reload|check|restart}"
       ;;
    esac
    
    chmod +x /etc/init.d/squid
    #给该服务启动脚本可执行权限
    chkconfig --add squid
    #将该服务加入 chkconfig 管理
    chkconfig --level 35 squid on
    #能够在级别3（字符界面），级别5（视图界面）中自启动
    
    chkconfig --list squid
    #查看运行级别
    
    ss -natp | grep "squid"

![20210428160408184.png][]

## 5. 部署Apache服务器 ##

systemctl stop firewalld
    systemctl disable firewalld
    setenforce 0
    
    yum -y install httpd

## 6. 客户机测试 ##

配置代理  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 3][]  
访问Web服务器并查看日志

tail -f /var/log/httpd/access_log

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 4]

# 四、部署透明代理 #

## 1. 拓扑图 ##

<table> 
 <thead> 
  <tr> 
   <th>主机</th> 
   <th>操作系统</th> 
   <th>IP 地址</th> 
   <th>主要软件</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Squid服务器</td> 
   <td>CentOS 7</td> 
   <td>(内网)192.168.0.10 (外网)12.0.0.1</td> 
   <td>Squid</td> 
  </tr> 
  <tr> 
   <td>Apache服务器</td> 
   <td>CentOS 7</td> 
   <td>12.0.0.10</td> 
   <td>Apache</td> 
  </tr> 
 </tbody> 
</table>

## 2. 配置Squid ##

cd /etc/sysconfig/network-scripts/
    cp ifcfg-ens33 ifcfg-ens36
    #修改外网网卡信息
    
    systemctl restart network
    ifconfig

添加提供内网服务的IP地址，和支持透明代理选项 transparent

#60行，修改
    vim /etc/squid.conf
    ......
    http_access allow all
    http_access deny all
    
    http_port 192.168.0.10:3128 transparent
    
    
    systemctl restart squid
    netstat -anpt | grep "squid"

开启路由转发

echo 'net.ipv4.ip_forward = 1' >> /etc/sysctl.conf
    sysctl -p

修改防火墙规则

iptables -F
    iptables -t nat -F
    iptables -t nat -I PREROUTING -i ens33 -s 192.168.0.0/24 -p tcp --dport 80 -j REDIRECT --to 3128	
    iptables -t nat -I PREROUTING -i ens33 -s 192.168.0.0/24 -p tcp --dport 443 -j REDIRECT --to 3128	
    iptables -I INPUT -p tcp --dport 3128 -j ACCEPT

## 3. 客户机测试 ##

关闭之前的代理服务，修改网关为Web服务器IP  
![20210428171545888.png][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 5][]  
Squid服务器查看日志

tail -f /usr/local/squid/var/logs/access.log

![20210428173653525.png][]  
在多访问几次就会显示的是由代理服务器的外网口代替客户机在访问  
![20210428174043696.png][]

# 五、ACL 访问控制 #

## 1.概述 ##

在配置文件 squid.conf 中，ACL 访问控制通过以下两个步骤来实现  
使用 acl 配置项定义需要控制的条件  
通过 http\_access 配置项对已定义的列表做“允许”或“拒绝”访问的控制

vim /etc/squid.conf
    
    acl localhost src 192.168.0.30/32 					#源地址为 192.168.0.30
    acl MYLAN src 192.168.0.0/24 			#客户机网段
    acl destionhost dst 192.168.0.20/32				#目标地址为 192.168.0.20
    acl MC20 maxconn 20									#最大并发连接 20
    acl PORT port 21									#目标端口 21
    acl DMBLOCK dstdomain .qq.com						#目标域，匹配域内所有站点
    acl BURL url_regex -i ^rtsp:// ^emule://			#以 rtsp://、emule:// 开头的 URL，-i表示忽略大小写
    acl PURL urlpath_regex -i \.mp3$ \.mp4$ \.rmvb$		#以 .mp3、.mp4、.rmvb 结尾的 URL 路径
    acl WORKTIME time MTWHF 08:30-17:30

## 2. 拓扑图 ##

<table> 
 <thead> 
  <tr> 
   <th>主机</th> 
   <th>操作系统</th> 
   <th>IP 地址</th> 
   <th>主要软件</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Squid服务器</td> 
   <td>CentOS 7</td> 
   <td>(内网)192.168.0.10 (外网)12.0.0.1</td> 
   <td>Squid</td> 
  </tr> 
  <tr> 
   <td>Apache服务器1</td> 
   <td>CentOS 7</td> 
   <td>192.168.0.20</td> 
   <td>Apache</td> 
  </tr> 
  <tr> 
   <td>Apache服务器2</td> 
   <td>CentOS 7</td> 
   <td>192.168.0.30</td> 
   <td>Apache</td> 
  </tr> 
 </tbody> 
</table>

## 3. 配置Squid ##

vim /dest.list
    192.168.0.20
    
    vim /etc/squid.conf
    ......
    acl destionhost dst "/dest.list"		
    #调用指定文件中的列表内容
    ......
    http_access deny destionhost			
    #注意，如果是拒绝列表，需要放在http_access allow all 前面
    
    http_port 3128
    
    
    systemctl restart squid
    netstat -natp | grep "squid"

## 4. 配置两个Web ##

systemctl stop firewalld
    systemctl disable firewalld
    setenforce 0
    
    yum -y install httpd
    
    systemctl start httpd

## 5. 客户机测试 ##

设置客户机浏览器代理为192.168.0.10:3128  
访问192.168.0.20会显示拒绝访问  
访问192.168.0.30成功访问  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 6][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 7][]

# 六、部署 Squid 日志分析 #

## 1. 安装sarg ##

yum install -y pcre-devel gd gd-devel
    
    mkdir /usr/local/sarg
    wget -P /opt https://nchc.dl.sourceforge.net/project/sarg/sarg/sarg-2.4.0/sarg-2.4.0.tar.gz
    cd /opt
    tar -zxvf sarg-2.4.0.tar.gz
    
    cd sarg-2.4.0
    
    ./configure --prefix=/usr/local/sarg --sysconfdir=/etc/sarg --enable-extraprotection
    make && make install

## 2. 配置sarg ##

#修改配置文件
    vim /etc/sarg/sarg.conf
    
    access_log /usr/local/squid/var/logs/access.log		#指定访问日志文件
    
    title "Squid User Access Reports"					#网页标题
    
    output_dir /var/www/html/squid-reports						#报告输出目录
    user_ip no											#使用用户名显示
    
    topuser_sort_field connect reverse					#top排序中，指定连接次数采用降序排列，升序是normal
    
    user_sort_field connect reverse						#对于用户访问记录，连接次数按降序排序
    
    exclude_hosts /usr/local/sarg/noreport				#指定不计入排序的站点列表的文件
    
    overwrite_report no									#同名同日期的日志是否覆盖
    
    mail_utility mailq.postfix							#发送邮件报告命令
    
    charset UTF-8										#指定字符集UTF-8
    
    weekdays 0-6										#top排行的星期周期
    hours 0-23											#top排行的时间周期
    
    www_document_root /var/www/html						#指定网页根目录
    
    
    touch /usr/local/sarg/noreport
    ln -s /usr/local/sarg/bin/sarg /usr/local/bin/

## 3. 客户端测试 ##

运行

sarg

![20210428193039383.png][]  
验证

yum install httpd -y
    systemctl start httpd

访问网页

http://192.168.0.10/squid-reports

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 8][]

## 4. 添加计划任务以每天生成报告 ##

vim /usr/local/sarg/report.sh
    
    #/bin/bash
    #Get current date
    TODAY=$(date +%d/%m/%Y)
    #Get one week ago today
    YESTERDAY=$(date -d "1 day ago" +%d/%m/%Y)
    /usr/local/sarg/bin/sarg -l /usr/local/squid/var/logs/access.log -o /var/www/html/squid-reports -z -d $YESTERDAY-$TODAY &> /dev/null
    exit 0
    
    
    
    chmod +x /usr/local/sarg/report.sh
    #赋权
    
    crontab -e
    30 3 * * * /usr/local/sarg/report.sh
    #写入计划性任务，每天凌晨3点30分执行该脚本

# 七、Squid反向代理 #

## 1. 拓扑图 ##

<table> 
 <thead> 
  <tr> 
   <th>主机</th> 
   <th>操作系统</th> 
   <th>IP 地址</th> 
   <th>主要软件</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Squid服务器</td> 
   <td>CentOS 7</td> 
   <td>192.168.0.10</td> 
   <td>Squid</td> 
  </tr> 
  <tr> 
   <td>Apache服务器1</td> 
   <td>CentOS 7</td> 
   <td>192.168.0.20</td> 
   <td>Apache</td> 
  </tr> 
  <tr> 
   <td>Apache服务器2</td> 
   <td>CentOS 7</td> 
   <td>192.168.0.30</td> 
   <td>Apache</td> 
  </tr> 
 </tbody> 
</table>

## 2.配置Squid ##

vim /etc/squid.conf
    
    http_port 192.168.0.10:80
    cache_peer 192.168.0.20 parent 80 0 no-query originserver round-robin max_conn=30 weight=1 name=web1
    cache_peer 192.168.0.30 parent 80 0 no-query originserver round-robin max_conn=30 weight=1 name=web2
    cache_peer_domain web1 web2 www.example.cn
    
    systemctl restart squid

**参数介绍**

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>结束</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>parent</td> 
   <td>代表为父节点</td> 
  </tr> 
  <tr> 
   <td>80</td> 
   <td>HTTP_PORT</td> 
  </tr> 
  <tr> 
   <td>0</td> 
   <td>ICP_PORT</td> 
  </tr> 
  <tr> 
   <td>no-query</td> 
   <td>不做查询操作，直接获取数据</td> 
  </tr> 
  <tr> 
   <td>originserver</td> 
   <td>不做查询操作，直接获取数据</td> 
  </tr> 
  <tr> 
   <td>round-robin</td> 
   <td>指定 squid 通过轮询方式将请求分发到其中一台父节点</td> 
  </tr> 
  <tr> 
   <td>max_conn</td> 
   <td>指定最大连接数</td> 
  </tr> 
  <tr> 
   <td>weight</td> 
   <td>指定权重</td> 
  </tr> 
  <tr> 
   <td>name</td> 
   <td>设置别名</td> 
  </tr> 
 </tbody> 
</table>

## 3. Web1 ##

yum install -y httpd
    systemctl start httpd
    
    echo "站点一" > /var/www/html/index.html

## 4. Web2 ##

yum install -y httpd
    systemctl start httpd
    
    echo "站点二" > /var/www/html/index.html

## 5. 客户机测试 ##

设置hosts文件
    192.168.0.10 www.example.cn
    
    配置浏览器代理
    192.168.0.10:80
    
    访问 www.example.cn

![20210429144259693.png][]  
![2021042914431559.png][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70]: /images/20221021/953670d8b94240a39be41c21f9665d03.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 1]: /images/20221021/c84505bf86c9462e8358a7b210ca94f4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 2]: /images/20221021/ea827cb39f7e438b9958dbe2a1857c1e.png
[20210428144155280.png]: /images/20221021/00076f11524a4d1e8e6ece899a77282b.png
[20210428143415841.png]: /images/20221021/945d0dd5b0c649ac97bef4ceda961640.png
[20210428160408184.png]: /images/20221021/5e8b1b05b1e84a42b51073fe63e60759.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 3]: /images/20221021/1999ec3a35424420b83589214d4ac5e7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 4]: /images/20221021/cb12da19c5ad4899bdbb378bfd1f6c9a.png
[20210428171545888.png]: /images/20221021/bf43fb4482fc49c4b75764645ee0e1a8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 5]: /images/20221021/340e621f576643c8a2a0b345aeff28b3.png
[20210428173653525.png]: /images/20221021/0feb09032f0446279fc2adff1a2ae7de.png
[20210428174043696.png]: /images/20221021/34bd04ad46624f13ab90745331d20314.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 6]: /images/20221021/e2dec5a2b64c406eaf20626556063cf2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 7]: /images/20221021/b2f2d23d5fee42698428da851e6a9e66.png
[20210428193039383.png]: /images/20221021/ee681854ea314f49866bd302c4f76aa3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 8]: /images/20221021/2f8e3da638e24d70bc6af655bb0c7700.png
[20210429144259693.png]: /images/20221021/d67ff2309546462ab8259e3655bcf16a.png
[2021042914431559.png]: /images/20221021/568092089af742a694a3b6b49b4ba3d4.png