创建RHCS集群环境创建高可用Apache服务

迈不过友情╰ 2022-05-21 12:18 206阅读 0赞

**\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#**

**cluster****  集群与存储**

**day 04**

一、RHCS概述

什么是RHCS

redhat  cluster suite（红帽集群套件）

能够提供高可用性、高可靠性、负载均衡、存储共享且经济实用

可以为web应用、数据库应用等提供安全、稳定的运行环境

RHCS提供了从前端负载均衡到后端数据存储的完整解决方案，是企业应用的首选

RHCS有什么功能

高可用\--核心功能  \--系统硬件或网络出现故障时，应用可以自动、快速地从一个节点切换到另一个节点

负载均衡\--通过LVS提供负载均衡 \--LVS将负载通过负载分配策略，将来自于客户端的请求分配到服务器节点  \--当某个服务节点无法提供服务，节点将被从集群中剔除

存储集群功能

\-RHCS通过GFS文件系统提供存储集群功能

\-GFS即global file system，允许多个服务同时读写一个单一的共享文件系统

\-通过GFS消除在应用程序间同步数据的麻烦

\-通过锁管理机制来谐调和管理多个服务节点对同一个文件系统的读写操作

RHCS组件

cman-cluster manager  --集群管理器

rgmanger-cluster resource group manager  --集群资源管理器

corosync 集群间通信软件

ricci 集群远程管理器

附加组件

LVS

GFS-红帽公司开发，最新版本是GFS2   --GFS不能孤立存在，需要RHCS底层组支持

CLVM -集群逻辑卷管理   \-LVM的扩展，允许集群使用LVM来管理共享存储

ISCSI -即internet SCSI，是IETF制订的标准  \-将SCSI数据块映射为以太网数据包 \-是基于IP storage理论的新型存储技术

GNBD -全局网络模块  \-GFS的一个补充组件，用于RHCS分配和管理共享存储

RHCS运行原理

分布式集群管理器CMAN

\-运行在全部节点上，提供集群管理任务  \-用于管理集群成员、消息和通知。

\-根据每个节点的运行状态，统计法定节点数作为集群是否存活的依据

RHCS高可用集群：红帽集群套件

双机软件、双机热备

非日志文件系统：ext2

日志文件系统：ext3 ext4 xfs ntfs

RHCS集群是否工作采用投票机制，默认情况下，每个节点可以投一票，集群能够工作，需要满足的票数是floor(n/2 + 1)，即总票数除以2，加1，取整

配置RHCS

1、准备三台虚拟机，前两台用于集群节点，第三台加上额外硬盘，作为共享存储

vh01.tedu.cn

eth0: 192.168.4.1 存储1

eth1: 192.168.2.1 存储2

eth2: 201.1.1.1   公共 对外服务

eth3: 201.1.2.1   私有 内部管理

2、配置yum

rhel6.7光盘目录中的每个单词首字母大写的目录，都是一个仓库，在安装RHCS时，需要用到这些目录

\[root@vh01 ~\]\# vim /etc/yum.repos.d/rhel6.repo

\[Server\]

name=Server

baseurl=ftp://201.1.2.254/rhel6.7/Server

enabled=1

gpgcheck=0

\[HighAvailability\]

name=HighAvailability

baseurl=ftp://201.1.2.254/rhel6.7/HighAvailability

enabled=1

gpgcheck=0

\[LoadBalancer\]

name=LoadBalancer

baseurl=ftp://201.1.2.254/rhel6.7/LoadBalancer

enabled=1

gpgcheck=0

\[ResilientStorage\]

name=ResilientStorage

baseurl=ftp://201.1.2.254/rhel6.7/ResilientStorage

enabled=1

gpgcheck=0

\[ScalableFileSystem\]

name=ScalableFileSystem

baseurl=ftp://201.1.2.254/rhel6.7/ScalableFileSystem

enabled=1

gpgcheck=0

3、在vh01和vh02上关闭NetworkManager，它与cman服务有冲突

4、在所有节点上(vh01~vh03以及物理主机)，在hosts文件中设置名称解析

\[root@vh01 ~\]\# vim /etc/hosts

201.1.1.1       vh01.public.tedu.cn

201.1.2.1       vh01.private.tedu.cn    vh01

201.1.1.2       vh02.public.tedu.cn

201.1.2.2       vh02.private.tedu.cn    vh02

201.1.2.254     host.tedu.cn    host

5、准备vh03上的共享存储

(1)先对vdb分区，将所有空间分为vdb1

(2)安装并配置target

6、在vh01和vh02上配置iscsi客户端

(1)在两条路径上发现共享存储

(2)配置多路径

7、在vh01和vh02上配置ricci。ricci是接受远程管理的服务。

\[root@vh01 ~\]\# yum install -y ricci

\[root@vh01 ~\]\# echo redhat | passwd --stdin ricci

\[root@vh01 ~\]\# service ricci start; chkconfig ricci on

8、在vh03上安装luci，luci提供一个web页面，用于管理集群

\[root@v03 ~\]\# yum install -y luci

\[root@v03 ~\]\# service luci start; chkconfig luci on

9、访问luci

\[root@room9pc16 ~\]\# firefox https://201.1.2.3:8084 &

用户是vh03上的root

10、在物理主机上配置fence服务

\[root@room9pc16 ~\]\# yum list | grep ^fence

\[root@room9pc16 ~\]\# yum install -y fence-virtd fence-virtd-libvirt fence-virtd-multicast

\[root@room9pc16 ~\]\# fence\_virtd -c 用于重新生成配置文件

Interface \[public2\]: 此处网卡应该填写vh0X.private.tedu.cn所在的网段

\[root@room9pc16 ~\]\# mkdir /etc/cluster/

\[root@room9pc16 ~\]\# dd if=/dev/urandom of=/etc/cluster/fence\_xvm.key bs=1k count=4  生成共享密钥

\[root@room9pc16 ~\]\# scp /etc/cluster/fence\_xvm.key 201.1.2.1:/etc/cluster/

\[root@room9pc16 ~\]\# scp /etc/cluster/fence\_xvm.key 201.1.2.2:/etc/cluster/

\[root@room9pc16 ~\]\# systemctl start fence\_virtd.service

\[root@room9pc16 ~\]\# systemctl enable fence\_virtd.service

11、在web页上配置好fence进行验证

\[root@vh01 ~\]\# iptables -A INPUT -j DROP 收到的任何数据包都丢弃

过几秒钟之后，vh01将被关机重启

（2）apache

\[root@vh01 ~\]\# yum install -y httpd

（3）共享存储

\[root@vh01 ~\]\# parted /dev/mapper/mpatha

(parted) mklabel gpt

(parted) mkpart primary ext4 1M 50%

\[root@vh01 ~\]\# mkfs.ext4 /dev/mapper/mpathap1

\[root@vh02 ~\]\# partprobe ; multipath -rr

\[root@vh01 ~\]\# mount /dev/mapper/mpathap1 /var/www/html/

\[root@vh01 ~\]\# echo 'rhcs web service' > /var/www/html/index.html

\[root@vh01 ~\]\# umount /var/www/html/

13、将以上三个资源加入到资源组中，点击submit之前，运行以下命令

\[root@vh02 ~\]\# clustat -i1

14、验证

\[root@vh01 ~\]\# ip a s eth2

\[root@vh01 ~\]\# df -h

\[root@vh01 ~\]\# netstat -tlnp | grep :80

\[root@vh01 ~\]\# iptables -A INPUT -j DROP  \# vh01将被关机

\[root@vh02 ~\]\# ip a s eth2    \# vh02将获得所有资源

\[root@vh02 ~\]\# df -h

\[root@vh02 ~\]\# netstat -tlnp | grep :80

# 创建RHCS集群环境  #

创建高可用Apache服务

## **1 创建RHCS集群环境** ##

### **1.1 问题** ###

准备四台KVM虚拟机，其三台作为集群节点，一台安装luci并配置iSCSI存储服务，实现如下功能：

使用RHCS创建一个名为tarena的集群

集群中所有节点均需要挂载iSCSI共享存储

使用集群中任意节点对iSCSI设置进行分区格式化

安装luci的虚拟主机要求额外添加一块20G硬盘

物理主机IP地址为192.168.4.1，主机名称为desktop1.example.com

### **1.2 方案** ###

使用4台虚拟机，1台作为luci和iSCSI服务器、3台作为节点服务器，拓扑结构如图-1所示。

图\-1

所有主机的主机名及对应的IP地址如表-1所示。

表－1 主机名称及对应IP地址表

### **1.3 步骤** ###

实现此案例需要按照如下步骤进行。

步骤一：安装前准备

1）为所有节点配置yum源，注意所有的虚拟主机均需要挂载安装光盘。

\[root@node1 ~\]\# mount /dev/cdrom /media

\[root@node1 ~\]\# rm -rf /etc/yum.repos.d/\*

\[[root@node1][root_node1] ~\]\# vim /etc/yum.repos.d/dvd.repo

\[dvd\]

name=red hat

baseurl=file:///media/

enabled=1

gpgcheck=0

\[HighAvailability\]

name=HighAvailability

baseurl=file:///media/HighAvailability

enabled=1

gpgcheck=0

\[LoadBalancer\]

name=LoadBalancer

baseurl=file:///media/LoadBalancer

enabled=1

gpgcheck=0

\[ResilientStorage\]

name=ResilientStorage

baseurl=file:///media/ResilientStorage

enabled=1

gpgcheck=0

\[ScalableFileSystem\]

name=ScalableFileSystem

baseurl=file:///media/ScalableFileSystem

enabled=1

gpgcheck=0

\[[root@node1][root_node1] ~\]\# yum clean all

\[[root@node2][root_node2] ~\]\# mount /dev/cdrom /media

\[[root@node2][root_node2] ~\]\# rm –rf /etc/yum.repos.d/\*

\[[root@node2][root_node2] ~\]\# vim /etc/yum.repos.d/dvd.repo

\[dvd\]

name=red hat

baseurl=file:///media/

enabled=1

gpgcheck=0

\[HighAvailability\]

name=HighAvailability

baseurl=file:///media/HighAvailability

enabled=1

gpgcheck=0

\[LoadBalancer\]

name=LoadBalancer

baseurl=file:///media/LoadBalancer

enabled=1

gpgcheck=0

\[ResilientStorage\]

name=ResilientStorage

baseurl=file:///media/ResilientStorage

enabled=1

gpgcheck=0

\[ScalableFileSystem\]

name=ScalableFileSystem

baseurl=file:///media/ScalableFileSystem

enabled=1

gpgcheck=0

\[[root@node2][root_node2] ~\]\# yum clean all

\[[root@node3][root_node3] ~\]\# mount /dev/cdrom /media

\[[root@node3][root_node3] ~\]\# rm -rf /etc/yum.repos.d/\*

\[[root@node3][root_node3] ~\]\# vim /etc/yum.repos.d/dvd.repo

\[dvd\]

name=red hat

baseurl=file:///media/

enabled=1

gpgcheck=0

\[HighAvailability\]

name=HighAvailability

baseurl=file:///media/HighAvailability

enabled=1

gpgcheck=0

\[LoadBalancer\]

name=LoadBalancer

baseurl=file:///media/LoadBalancer

enabled=1

gpgcheck=0

\[ResilientStorage\]

name=ResilientStorage

baseurl=file:///media/ResilientStorage

enabled=1

gpgcheck=0

\[ScalableFileSystem\]

name=ScalableFileSystem

baseurl=file:///media/ScalableFileSystem

enabled=1

gpgcheck=0

\[[root@node3][root_node3] ~\]\# yum clean all

\[[root@luci][root_luci] ~\]\# mount /dev/cdrom /media

\[[root@luci][root_luci] ~\]\# rm -rf /etc/yum.repos.d/\*

\[[root@luci][root_luci] ~\]\# vim /etc/yum.repos.d/dvd.repo

\[dvd\]

name=red hat

baseurl=file:///media/

enabled=1

gpgcheck=0

\[HighAvailability\]

name=HighAvailability

baseurl=file:///media/HighAvailability

enabled=1

gpgcheck=0

\[LoadBalancer\]

name=LoadBalancer

baseurl=file:///media/LoadBalancer

enabled=1

gpgcheck=0

\[ResilientStorage\]

name=ResilientStorage

baseurl=file:///media/ResilientStorage

enabled=1

gpgcheck=0

\[ScalableFileSystem\]

name=ScalableFileSystem

baseurl=file:///media/ScalableFileSystem

enabled=1

gpgcheck=0

\[[root@luci][root_luci] ~\]\# yum clean all

2）修改/etc/hosts并同步到所有主机。

\[root@luci ~\]\# vim /etc/hosts

192.168.4.1        node1.example.com

192.168.4.2        node2.example.com

192.168.4.3        node3.example.com

192.168.4.4        luci.example.com

\[root@luci ~\]\# for i in \{1..3\};do scp /etc/hosts 192.168.4.$i:/etc/;done

3）所有节点关闭NetworkManager、SELinux服务。

\[root@luci ~\]\# service NetworkManager stop

\[root@luci ~\]\# chkconfig NetworkManager off

\[root@luci ~\]\# sed -i '/SELINUX=/s/enforcing/permissive/' /etc/sysconfig/selinux

\[root@luci ~\]\# setenforce 0

\[root@luci ~\]\# iptables -F; service iptables save

\[root@node1 ~\]\# service NetworkManager stop

\[root@node1 ~\]\# chkconfig NetworkManager off

\[root@node1 ~\]\# sed -i '/SELINUX=/s/enforcing/permissive/' /etc/sysconfig/selinux

\[root@node1 ~\]\# setenforce 0

\[root@node1 ~\]\# iptables -F; service iptables save

\[root@node2 ~\]\# service NetworkManager stop

\[root@node2 ~\]\# chkconfig NetworkManager off

\[root@node2 ~\]\# sed -i '/SELINUX=/s/enforcing/permissive/' /etc/sysconfig/selinux

\[root@node2 ~\]\# setenforce 0

\[root@node2 ~\]\# iptables -F; service iptables save

\[root@node3 ~\]\# service NetworkManager stop

\[root@node3 ~\]\# chkconfig NetworkManager off

\[root@node3 ~\]\# sed -i '/SELINUX=/s/enforcing/permissive/' /etc/sysconfig/selinux

\[root@node3 ~\]\# setenforce 0

\[root@node3 ~\]\# iptables -F; service iptables save

步骤二：部署iSCSI服务

1）在luci主机上部署iSCSI服务器，将/dev/sdb使用iSCSI服务共享。

提示：服务器IQN名称为: iqn.2015-06.com.example.luci:cluster。

\[root@luci ~\]\# yum  -y  install  scsi-target-utils        //安装软件

.. ..

\[root@luci ~\]\# rpm  -q  scsi-target-utils

scsi-target-utils-1.0.24-10.el6.x86\_64

\[root@luci ~\]\# vim /etc/tgt/targets.conf

\# List of files to export as LUNs

backing-store /dev/sdb                            //定义存储设备

initiator-address 192.168.4.0/24                    //定义ACL

</target>

\[root@luci ~\]\# service  tgtd  start                     //启动服务

Starting SCSI target daemon:                               \[  OK  \]

\[root@luci ~\]\# chkconfig  tgtd  on

2）所有节点服务器挂载该iSCSI共享。

\[root@node1 ~\]\# yum -y install iscsi-initiator-utils    //安装软件

\[root@node1 ~\]\# iscsiadm -m discovery -t sendtargets -p 192.168.4.4:3260

\[root@node1 ~\]\# iscsiadm -m node -T \\