阿里云服务器搭建apache+https+集群tomcat

╰+攻爆jí腚メ 2022-07-13 12:54 295阅读 0赞

当需要搭建apache+https+tomcat集群时，请参看第1节。  
当需要搭建apache+tomcat集群时，请参看第2节。  
1、 apache+https+tomcat集群  
![Center][]  
  
1.1 安装openssl  
执行 ~> openssl version -a ，查看系统预装openssl版本。  
放弃使用系统预装的openssl。  
安装最新版本openssl，并且必须与系统预装版本不同。  
禁止使用1.0.1~1.0.1f以及1.0.2-beta版本的openssl，已确认存在心脏出血漏洞。  
\* 上传openssl-1.0.2a.tar.gz 至$\{SSL\_DIR\}=/data/develop。  
\* 解压 ~> tar -zxvf openssl-1.0.2a.tar.gz ，至目录$\{SSL\_SRC\}=/home/data/develop/openssl-1.0.2a。如果$\{SSL\_SRC\}已存在，请先删除。  
\* 建立安装目录 $\{SSL\_HOME\}=/data/develop/open-ssl。如果$\{SSL\_HOME \}已存在，请先删除。  
\* ~> cd $\{SSL\_SRC\}  
\* 配置 ~> ./config --prefix=$\{SSL\_HOME\} -fPIC enable-shared  
\* 编译openssl ~> make  
\* 安装openssl ~> make install  
  
1.2 生成证书  
\* 建立目录  
$\{SSL\_HOME\}/bin/demoCA  
$\{SSL\_HOME\}/bin/demoCA/newcerts  
\* 建立文件  
$\{SSL\_HOME\}/bin/demoCA/index.txt ，内容为空  
$\{SSL\_HOME\}/bin/demoCA/serial ，写入“01”  
mkdir -p $\{SSL\_HOME\}/bin/demoCA/newcerts  
touch $\{SSL\_HOME\}/bin/demoCA/index.txt  
echo "01" >> $\{SSL\_HOME\}/bin/demoCA/serial  
  
\* ~> cp $\{SSL\_HOME\}/ssl/openssl.cnf $\{SSL\_HOME\}/bin  
\* 编辑 $\{SSL\_HOME\}/bin/openssl.cnf  
修改 dir = $\{SSL\_HOME\}/bin/demoCA  
default\_md = md5  
\* ~> cd $\{SSL\_HOME\}/bin  
\* 生成CA密钥 ~>./openssl genrsa -des3 -out demoCA/ca.key 1024  
按照提示输入  
pass phrase key : $\{CA\_KEY\}  
\* 生成CA凭证需求 ~> ./openssl req -config openssl.cnf -new -key demoCA/ca.key -out demoCA/ca.csr  
按照提示分别输入  
Country Name : CN  
State or Province Name : TianJin  
Locality Name : TianJin  
Organization Name : beiking  
Organizational Unit Name : ardo  
Common Name : $\{CANAME\}   
Email Address : .  
A challenge password : .  
An optional company name : .  
输入“.”表示留空  
\* 生成CA凭证 ~> ./openssl x509 -days 3650 -req -signkey demoCA/ca.key -in demoCA/ca.csr -out demoCA/ca.crt  
\* 生成服务器密钥 ~> ./openssl genrsa -des3 -out demoCA/server.key 1024  
按照提示输入  
pass phrase key : $\{SERVER\_KEY\}  
\* 生成服务器凭证需求 ~> ./openssl req -config openssl.cnf -new -key demoCA/server.key -out demoCA/server.csr  
按照提示分别输入  
Country Name : CN  
State or Province Name : TianJin  
Locality Name : TianJin  
Organization Name : beiking  
Organizational Unit Name : ardo  
Common Name : $\{SERVERNAME\}   
Email Address : .  
A challenge password : .  
An optional company name : .  
输入“.”表示留空  
\* 生成服务器凭证 ~> ./openssl ca -config openssl.cnf -days 3650 -cert demoCA/ca.crt -keyfile demoCA/ca.key -in demoCA/server.csr -out demoCA/server.crt  
\* $\{CA\_KEY\}和$\{SERVER\_KEY\}   
以下是生成签名信息：  
错误以及解决方案  
\* 若生成服务器凭证时，出现No such file or directory:./crypto/bio/bss\_file.c:104:fopen('ssl/index.txt.attr','rb')  
尝试建立文件 $\{SSL\_HOME\}/bin/demoCA/index.txt.attr ，内容为空。重新生成服务器凭证。  
\* 若生成服务器凭证时，出现NCONF\_get\_string:no value:./crypto/conf/conf\_lib.c  
编辑 $\{SSL\_HOME\}/bin/openssl.cnf，尝试将x509\_extensions相关的2个配置注释掉。重新从生成CA凭证需求步骤开始。  
  
1.3 安装apache  
\* 上传httpd-2.2.29.tar.bz2 至$\{APACHE\_DIR\}=/data/develop  
\* 解压 ~> tar -jxvf httpd-2.2.29.tar.bz2 ，至目录$\{APACHE\_SRC\}=/data/develop/httpd-2.2.29。  
\* 如果$\{APACHE\_SRC\}已存在，请先删除，不要在原有的$\{APACHE\_SRC\}目录下重新./configure。  
\* 建立安装目录 $\{APACHE\_HOME\}=/data/develop/apache-proxy。  
\* 如果$\{APACHE\_HOME\}已存在，请先删除。  
\* ~> cd $\{APACHE\_SRC\}  
\* 查看配置帮助 ~> ./configure --help  
\* 配置 ~> ./configure --prefix=$\{APACHE\_HOME\} --enable-so --enable-mods-shared=most --enable-proxy --enable-proxy-connect --enable-proxy-http --enable-proxy-scgi --enable-proxy-ajp --enable-proxy-balancer --enable-http --enable-rewrite --enable-log-forensic --enable-mime-magic --enable-cern-meta --enable-usertrack --enable-unique-id --enable-cgid --with-ssl=$\{SSL\_HOME\} --enable-ssl  
  
\* 编译apache ~> make  
\* 安装apache ~> make install  
\* 检查目录$\{APACHE\_HOME\}/modules下是否有mod\_proxy\*.so、mod\_ssl.so等文件  
错误以及解决方案  
\* 若安装apache时，出现Error, SSL/TLS libraries were missing or unusable。  
尝试执行~> export LDFLAGS=-ld，然后重新安装。  
\* 若安装apache时，出现Cannot use an external APR with the bundled APR-util。  
需要手动安装apr和apr-util。  
安装apr：  
建立apr安装目录 $\{APR\_HOME\}=/data/develop/apr-home  
进入apr源码目录 ~> cd $\{APACHE\_SRC\}/srclib/apr  
配置 ~> ./configure --prefix=$\{APR\_HOME\}  
编译 ~> make  
安装 ~> make install  
安装apr-util：  
建立apr-util安装目录 $\{APRUTIL\_HOME\}=/data/develop/apr-util-home  
进入apr-util源码目录 ~> cd $\{APACHE\_SRC\}/srclib/apr-util  
配置 ~> ./configure --prefix=$\{APRUTIL\_HOME\} --with-apr=$\{APR\_HOME\}  
编译 ~> make  
安装 ~> make install  
配置apache ~> ./configure --prefix=$\{APACHE\_HOME\} --enable-so --enable-mods-shared=most --enable-proxy --enable-proxy-connect --enable-proxy-http --enable-proxy-scgi --enable-proxy-ajp --enable-proxy-balancer --enable-http --enable-rewrite --enable-log-forensic --enable-mime-magic --enable-cern-meta --enable-usertrack --enable-unique-id --enable-cgid --with-ssl=$\{SSL\_HOME\} --enable-ssl --with-apr=$\{APR\_HOME\} --with-apr-util=$\{APRUTIL\_HOME\}  
若上述3次./configure时，出现c compiler cannot create executables，  
尝试加上参数LDFLAGS=-lpthread  
  
1.4 配置apache  
编辑 $\{APACHE\_HOME\}/conf/httpd.conf  
\* 配置Listen $\{IP\}:$\{PORT\}  
如：Listen 18080。即监听所有网卡的18080端口  
如：Listen 120.76.130.68:18080。即监听120.76.130.68的18080端口  
\* 检查LoadModule proxy\_\*\_module modules/mod\_proxy\_\*.so是否已启用  
\* 检查LoadModule ssl\_module modules/mod\_ssl.so是否已启用  
\* 配置ServerName $\{SERVERNAME\}  
$\{SERVERNAME\}取值参见1.2中的配置  
\* 启用Include conf/extra/httpd-ssl.conf配置项  
部署证书  
\* 建立目录 $\{APACHE\_HOME\}/conf/ssl-key  
\* 建立目录 $\{APACHE\_HOME\}/conf/ssl-crt  
\* ~> cp $\{SSL\_HOME\}/bin/demoCA/sever.key $\{APACHE\_HOME\}/conf/ssl-key  
\* ~> cp $\{SSL\_HOME\}/bin/demoCA/sever.crt $\{APACHE\_HOME\}/conf/ssl-crt  
\* ~> cp $\{SSL\_HOME\}/bin/demoCA/ca.crt $\{APACHE\_HOME\}/conf/ssl-crt  
编辑$\{APACHE\_HOME\}/conf/extra/httpd-ssl.conf  
\* 配置Listen $\{SSL\_IP\}:$\{SSL\_PORT\}  
如：Listen 18443。即监听所有网卡的18443端口  
如：Listen 120.76.130.68:18443。即监听120.76.130.68的18443端口  
\* 配置 <VirtualHost \*:\{SSL\_PORT\}>  
\* 配置 ServerName $\{SERVERNAME\}  
$\{SERVERNAME\}取值参见2.2中的配置  
\* 配置 SSLCertificateFile ”$\{APACHE\_HOME\}/conf/ssl-crt/sever.crt”  
\* 配置 SSLCertificateKeyFile ”$\{APACHE\_HOME\}/conf/ssl-key/sever.key”  
\* 配置 SSLCertificateChainFile ”$\{APACHE\_HOME\}/conf/ssl-crt/ca.crt”  
\* 其余ssl文件的相关配置注释掉  
\* 配置负载均衡+反向代理  
在<VirtualHost>节点下添加如下配置：

SSLProxyEngine on
    ProxyRequests off
    ProxyPass /${APP_ROOT} balancer://${CLUSTER_NAME} stickysession=JSESSIONID
    ProxyPassReverse /${APP_ROOT} balancer://${CLUSTER_NAME}/ stickysession=JSESSIONID
    <Proxy balancer://${CLUSTER_NAME}>
    BalancerMember ajp://${T1_IP}:${T1_PORT}/${APP_ROOT} route=${T1_ROUTE} loadfactor=${T1_LOAD}
    BalancerMember ajp://${T2_IP}:${T2_PORT}/${APP_ROOT} route=${T2_ROUTE} loadfactor=${T2_LOAD}
    </Proxy>
    <Location /balancer-manager>
    SetHandler balancer-manager
    order Deny,Allow
    Deny from all
    Allow from ${ALLOW_IP}
    </Location>

其中变量可参考如下：  
$\{APP\_ROOT\}=beikingTest  
$\{CLUSTER\_NAME\}=mycluster  
$\{T1\_IP\}=10.116.113.43  
$\{T1\_AJP\_PORT\}=18081  
$\{T1\_JVM\_ROUTE\}=tomcat-1  
$\{T1\_LOAD\}=1  
$\{T2\_IP\}=10.116.113.43  
$\{T2\_AJP\_PORT\}=18082  
$\{T2\_JVM\_ROUTE\}=tomcat-2  
$\{T2\_LOAD\}=1  
如果需要连接更多的tomcat，增加相应的BalancerMember配置即可。  
但当$\{T1\_IP\}=$\{T2\_IP\}，必须保证如下变量不相同：  
$\{T\*\_AJP\_PORT\}  
$\{T\*\_JVM\_ROUTE\}  
对于$\{ALLOW\_IP\}，在启动apache后尝试登录https://$\{SSL\_IP\}:$\{SSL\_PORT\}/balancer-manager，查看$\{APACHE\_HOME\}/logs/access\_log，确认向apache发出“GET /balancer-manager HTTP/1.1”请求的IP，此IP即$\{ALLOW\_IP\}。修改$\{APACHE\_HOME\}/conf/extra/httpd-ssl.conf之后，重启apache，再尝试登录https://$\{SSL\_IP\}:$\{SSL\_PORT\}/balancer-manager。  
  
经测试，$\{ALLOW\_IP\}不支持通配符，多个IP请用空格分隔。  
1.5 配置tomcat  
参考2.3  
1.6 启动tomcat  
参考2.4  
1.7 启动apache  
~> cd $\{APACHE\_HOME\}/bin  
\* 验证配置正确性 ~> ./apache -t  
\* 启动apache ~> ./apachectl -k start  
（启动时会要求输入$\{SERVER\_KEY\}）  
\* 关闭apache ~> ./apachectl -k graceful-stop  
注意：  
\* 在修改httpd.conf等apache配置文件时，需按照以下步骤执行：  
1、 关闭apache  
2、 修改配置文件  
3、 验证配置正确性  
4、 启动apache  
错误以及解决方案  
\* 若启动apache时，出现libssl.so.1.0.0: cannot open shared object file: No such file or directory  
执行~> ldd $\{APACHE\_HOME\}/modules/mod\_ssl.so ，确认系统能否找到libssl.so.1.0.0、libcrypto.so.1.0.0  
若不能，  
对于64位机，尝试执行  
~> sudo ln -s $\{SSL\_HOME\}/lib/libssl.so.1.0.0 /usr/lib64/libssl.so.1.0.0  
~> sudo ln -s $\{SSL\_HOME\}/lib/libcrypto.so.1.0.0 /usr/lib64/libcrypto.so.1.0.0  
对于32位机，尝试执行  
~> sudo ln -s $\{SSL\_HOME\}/lib/libssl.so.1.0.0 /usr/lib/libssl.so.1.0.0  
~> sudo ln -s $\{SSL\_HOME\}/lib/libcrypto.so.1.0.0 /usr/lib/libcrypto.so.1.0.0  
（上述命令需要root权限）  
重新执行~> ldd $\{APACHE\_HOME\}/modules/mod\_ssl.so ，确认系统能否找到libssl.so.1.0.0、libcrypto.so.1.0.0  
1.8 验证系统运行状态  
\* 网页登录https://$\{SSL\_IP\}:$\{SSL\_PORT\}/balancer-manager，确认每个tomcat运行状态正常。运行状态的显示会有延迟，可能会长达几分钟。  
\* 手机客户端第一次请求会用时会比较久，可能会长达几十秒，原因是apache要检查所有tomcat运行状态。  
\* 验证负载均衡  
使用多台手机或者网页模拟客户端（chrome的postman插件）发出一条请求，查看第一条请求时是否会被分配到负载最轻的tomcat上。  
对于Method=byrequests的集群，Elected数值最低的tomcat负载最轻。  
对于Method=bytraffic的集群，To/From数值最低的tomcat负载最轻。  
\* 验证会话粘连  
使用同一台手机或者网页模拟客户端（chrome的postman插件）发出多条请求，查看这些请求是否均由同一个tomcat处理。  
然后关闭该tomcat，继续发出多条请求，查看这些请求是否被均衡的分配到其他tomcat上。  
然后启动该tomcat，继续发出多条请求，查看这些请求是否被该tomcat处理。  
其他  
查看端口占用 ~> lsof -i:$\{PORT\}  
  
2、 apache+tomcat集群  
  
2.1 安装apache  
\* 上传httpd-2.2.29.tar.bz2 至$\{APACHE\_DIR\}=$\{SSL\_DIR\}。  
\* 解压 ~> tar -jxvf httpd-2.2.29.tar.bz2 ，至目录$\{APACHE\_SRC\}=$\{SSL\_DIR\}/httpd-2.2.29。如果$\{APACHE\_SRC\}已存在，请先删除，不要在原有的$\{APACHE\_SRC\}目录下重新./configure。  
\* 建立安装目录 $\{APACHE\_HOME\}=$\{SSL\_DIR\}/apache-proxy。如果$\{APACHE\_HOME\}已存在，请先删除。  
\* ~> cd $\{APACHE\_SRC\}  
\* 查看配置帮助 ~> ./configure --help  
\* 配置 ~> ./configure --prefix=$\{APACHE\_HOME\} --enable-so --enable-mods-shared=most --enable-proxy --enable-proxy-connect --enable-proxy-http --enable-proxy-scgi --enable-proxy-ajp --enable-proxy-balancer --enable-http --enable-rewrite --enable-log-forensic --enable-mime-magic --enable-cern-meta --enable-usertrack --enable-unique-id --enable-cgid  
  
\* 编译apache ~> make  
\* 安装apache ~> make install  
\* 检查目录$\{APACHE\_HOME\}/modules下是否有mod\_proxy\*.so等文件  
  
2.2 配置apache  
编辑 $\{APACHE\_HOME\}/conf/httpd.conf  
\* 配置Listen $\{IP\}:$\{PORT\}  
如：Listen 18080。即监听所有网卡的18080端口  
如：Listen 120.76.130.68:18080。即监听120.76.130.68的18080端口  
\* 检查LoadModule proxy\_\*\_module modules/mod\_proxy\_\*.so是否已启用  
\* 配置ServerName $\{SERVERNAME\}  
如：ServerName 120.76.130.68  
\* 配置负载均衡+反向代理  
添加如下配置：

ProxyRequests Off
    ProxyPass /${APP_ROOT} balancer://mycluster stickysession=JSESSIONID
    ProxyPassReverse /${APP_ROOT} balancer://mycluster/ stickysession=JSESSIONID
    <Proxy balancer://mycluster>
    BalancerMember ajp://${T1_IP}:${T1_AJP_PORT}/${APP_ROOT} route=${T1_ROUTE} loadfactor=${T1_LOAD}
    BalancerMember ajp://${T2_IP}:${T2_AJP_PORT}/${APP_ROOT} route=${T2_ROUTE} loadfactor=${T2_LOAD}
    </Proxy>
    SetHandler balancer-manager

其中变量可参考如下：  
$\{APP\_ROOT\}=beikingTest  
$\{T1\_IP\}=10.116.113.43  
$\{T1\_AJP\_PORT\}=18081  
$\{T1\_JVM\_ROUTE\}=tomcat-1  
$\{T1\_LOAD\}=1  
$\{T2\_IP\}=10.116.113.43  
$\{T2\_AJP\_PORT\}=18082  
$\{T2\_JVM\_ROUTE\}=tomcat-2  
$\{T2\_LOAD\}=1  
如果需要连接更多的tomcat，增加相应的BalancerMember配置即可。  
但当$\{T1\_IP\}=$\{T2\_IP\}，必须保证如下变量不相同：  
$\{T\*\_AJP\_PORT\}  
$\{T\*\_JVM\_ROUTE\}  
  
2.3 配置tomcat  
tomcat1所在机器为$\{T1\_IP\}，安装目录$\{T1\_HOME\}=$\{SSL\_DIR\}/tomcat-1  
配置$\{T1\_HOME\}/conf/server.xml  
\* 配置关闭端口  
<Server port="$\{T1\_SHUT\_PORT\}" shutdown="SHUTDOWN">  
如：$\{T1\_SHUT\_PORT\}=8005  
\* 配置http端口  
<Connector port="$\{T1\_HTTP\_PORT\}" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="$\{T1\_SSL\_PORT\}" />  
如：$\{T1\_HTTP\_PORT\}=8080  
  
\* 配置AJP端口  
<Connector port="$\{T1\_AJP\_PORT\}" protocol="AJP/1.3" redirectPort="$\{T1\_SSL\_PORT\}" />  
$\{T1\_AJP\_PORT\}取值参考1.2中的配置  
  
\* 配置JVM路径  
<Engine name="Catalina" defaultHost="localhost" jvmRoute="$\{T1\_JVM\_ROUTE\}">  
$\{ T1\_JVM\_ROUTE \}取值参考2.2中的配置  
\* 在<Engine>节点下增加配置：

\* 部署应用war包  
在<Host>节点下增加配置：  
<Context docBase="$\{WAR\_PATH\}" path="/$\{APP\_ROOT\}" reloadable="false"/>  
$\{WAR\_PATH\}为应用war的路径，如$\{WAR\_PATH\}=$\{SSL\_DIR\}/beikingTest.war  
$\{APP\_ROOT\}取值参考2.2中的配置  
  
\* 注意  
当同一台机器配置多个tomcat时，即$\{T1\_IP\}=$\{T2\_IP\}，必须保证如下变量不相同：  
$\{T\*\_SHUT\_PORT\}  
$\{T\*\_HTTP\_PORT\}  
$\{T\*\_NIO\_PORT\}  
而对于$\{T1\_SSL\_PORT\}，由于apache与tomcat之间没有使用https，暂时不做约束。  
  
2.4 启动tomcat  
\* 删除目录$\{T\*\_HOME\}/webapps/$\{APP\_ROOT\}  
\* 删除目录$\{T\*\_HOME\}/work/Catalina/localhost/$\{APP\_ROOT\}

\* 启动tomcat，并确认已成功启动。

2.5 启动apache  
~> cd $\{APACHE\_HOME\}/bin  
\* 验证配置正确性 ~> ./apache -t  
\* 启动apache ~> ./apachectl -k start  
\* 关闭apache ~> ./apachectl -k graceful-stop  
\* 网页登录http://$\{IP\}:$\{PORT\}/balancer-manager，确认每个tomcat运行状态正常  
\* 手机客户端第一次请求会用时会比较久，原因是apache要检查所有tomcat运行状态  
apache集群管理页面

[https://120.76.130.68:18443/balancer-manager][https_120.76.130.68_18443_balancer-manager]

![Center 1][]

3、 缓存系统memchached或redis  
后续更新memcached或redis分布式缓存系统安装。

[Center]: /images/20220713/551c176bd1c24050b52a0e9472fca337.png
[https_120.76.130.68_18443_balancer-manager]: https://120.76.130.68:18443/balancer-manager
[Center 1]: /images/20220713/eec9656318034f47be4fceb59691af79.png