DRBD

快来打我* 2022-08-07 05:33 205阅读 0赞

Distributed Replicated Block Device(DRBD)是一个用软件实现的、无共享的、服务器之间镜像块设备内容的存储复制解决方案。  
数据镜像：实时、透明、同步（所有服务器都成功后返回）、异步（本地服务器成功后返回）  
DRBD的核心功能通过Linux的内核实现，最接近系统的IO栈，但它不能神奇地添加上层的功能比如检测到EXT3文件系统的崩溃。  
DRBD的位置处于文件系统以下，比文件系统更加靠近操作系统内核及IO栈。  
  
工具：  
drbdadm：高级管理工具，管理/etc/drbd.conf，向drbdsetup和drbdmeta发送指令，  
drbdsetup：配置装载进kernel的DRBD模块，平时很少直接用  
drbdmeta：管理META数据结构，平时很少直接用。  
在DRBD中，资源是特指某复制的存储设备的所有方面。包括资源名称、DRBD设备（/dev/drbdm，这里m是设备最小号，最大号可到147）、磁盘配置（使本地数据可以为DRBD所用）、网络配置（与对方通信）  
  
每个资源有个角色，是Primary或Secondary，下面简称“主”和“备”  
主角色的DRBD设备可以不受限制的读和写，比如创建和映射文件系统、对于块设备的raw或直接IO访问。  
备角色的DRBD设备接受来自对方的所有修改，但是不能被应用程序读写，甚至只读也不行。

角色可以改变。

drbd 工作原理  
DRBD是一种块设备,可以被用于高可用(HA)之中.它类似于一个网络RAID-1功能.当你将数据写入本地 文件系统时,数据还将会被发送到网络中另一台主机上.以相同的形式记录在一个文件系统中。 本地(主节点)与远程主机(备节点)的数据可以保证实时同步.当本地系统出现故障时,远程主机上还会 保留有一份相同的数据,可以继续使用.在高可用(HA)中使用DRBD功能,可以代替使用一个共享盘阵.  
因为数据同时存在于本地主机和远程主机上,切换时,远程主机只要使用它上面的那份备份数据,  
就可以继续进行服务了。  
两台机器的环境如下:  
hostname:srv5.localdomain  
192.168.8.5  
hostname:srv6.localdomain  
192.168.8.6

准备环境  
在两台机器上各新加一块磁盘  
fdisk -l 列出所有的磁盘和分区的情况  
在实验中可以看到新加的磁盘还没有分区  
Disk /dev/sdb: 1073 MB, 1073741824 bytes  
255 heads, 63 sectors/track, 130 cylinders  
Units = cylinders of 16065 \* 512 = 8225280 bytes  
  
对新加的磁盘分区  
\[root@srv5 ~\]\# fdisk /dev/sdb  
  
Command (m for help): n  
Command action  
e extended  
p primary partition (1-4)  
e  
Partition number (1-4): 1  
First cylinder (1-130, default 1):  
Using default value 1  
Last cylinder or +size or +sizeM or +sizeK (1-130, default 130):  
Using default value 130  
  
Command (m for help): n  
Command action  
l logical (5 or over)  
p primary partition (1-4)  
l  
First cylinder (1-130, default 1):  
Using default value 1  
Last cylinder or +size or +sizeM or +sizeK (1-130, default 130):  
Using default value 130  
  
Command (m for help): w  
The partition table has been altered!  
  
Calling ioctl() to re-read partition table.  
Syncing disks.  
加载磁盘信息  
partprobe /dev/sdb  
cat /proc/partions  
  
安装和配置DRBD  
  
1，两台机器上分别安装drbd  
yum -y install kmod-drbd83 drbd83  
检查是否安装成功  
\[root@srv5 yum.repos.d\]\# modprobe -l | grep -i drbd  
/lib/modules/2.6.18-53.el5/weak-updates/drbd83/drbd.ko  
安装完成后再/sbin 目录下有drbd的命令文件， 在/etc/init.d/目录下有drbd启动脚本  
\[root@srv5 yum.repos.d\]\# ls /sbin/drbd\*  
/sbin/drbdadm /sbin/drbdmeta /sbin/drbdsetup  
  
2，配置drbd  
2.1,在两台机器的hosts文件中添加如下的内容:  
192.168.8.5 srv5.localdomain  
192.168.8.6 srv6.localdomain  
  
2.2,DRBD运行的时候要读取/etc/drbd.conf文件，  
将文件的内容保存为如下内容:  
include "drbd.d/global\_common.conf";  
include "drbd.d/\*.res";  
  
修改global\_common.conf文件内容如下:  
global \{  
usage-count no;  
\}  
common \{  
protocol C;  
startup \{  
wfc-timeout 15;  
degr-wfc-timeout 15;  
outdated-wfc-timeout 15;  
\}  
disk \{  
on-io-error detach;  
fencing resource-only;  
\}  
net \{  
cram-hmac-alg sha1;  
shared-secret "123456";  
\}  
syncer \{  
rate 100M;  
\}  
\}创建一个xserver.res文件内容如下:  
resource xserver \{  
meta-disk internal;  
device /dev/drbd0; \#device指定的参数最后必须有一个数字，用于global的minor-count，  
\#否则会报错。device指定drbd应用层设备。  
on srv5.localdomain\{ \#注意：drbd配置文件中，机器名大小写敏感！  
address 192.168.8.5:7789;  
disk /dev/sdb5;  
\}  
on srv6.localdomain \{  
address 192.168.8.6:7789;  
disk /dev/sdb5;  
\}  
\}  
  
2.3，假设上面的配置是在92.168.8.5上做的，拷贝上面配置好的3个文件到92.168.8.6上  
scp /etc/drbd.conf 192.168.8.6:/etc/drbd.conf  
scp /etc/drbd.d/\* 192.168.8.6:/etc/drbd.d/  
  
3，在两台机器上创建drbd元数据信息:  
\[root@srv5 ~\]\# drbdadm create-md all  
Writing meta data...  
initializing activity log  
NOT initialized bitmap  
New drbd meta data block successfully created.  
  
4，启动服务，  
4.1,在主节点92.168.8.5上  
service drbd start  
在备份节点92.168.8.6上  
service drbd start  
在两台机器上用下面的命令drbd-overview或者cat /proc/drbd查看，发现都是Secondary 备份状态  
\[root@srv5 ~\]\# drbd-overview  
0:xserver Connected Secondary/Secondary Inconsistent/Inconsistent C r-----  
\[root@srv6 ~\]\# cat /proc/drbd  
version: 8.3.15 (api:88/proto:86-97)  
GIT-hash: 0ce4d235fc02b5c53c1c52c53433d11a694eab8c build by mockbuild@builder17.centos.org, 2013-03-27 16:04:08  
0: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r-----  
ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:1044092  
  
4.2,在主节点92.168.8.5上执行下面的命令让其成为主节点  
drbdadm -- --overwrite-data-of-peer primary all  
然后再看状态:  
\[root@srv5 ~\]\# drbd-overview  
0:xserver SyncSource Primary/Secondary UpToDate/Inconsistent C r---n-  
\[=============>......\] sync'ed: 70.6% (310268/1044092)K  
\[root@srv5 ~\]\# drbd-overview  
0:xserver SyncSource Primary/Secondary UpToDate/Inconsistent C r---n-  
\[================>...\] sync'ed: 89.1% (117372/1044092)K  
\[root@srv5 ~\]\# drbd-overview  
0:xserver Connected Primary/Secondary UpToDate/UpToDate C r-----  
  
4.3,将/dev/drbd0格式化并挂载  
在主节点192.168.8.5上执行下面的命令  
mkfs.ext3 /dev/drbd0  
mkdir /xserver-storage  
mount /dev/drbd0 /xserver-storage  
4.4,测试同步  
在主节点192.168.8.5上执行下面的命令  
cd /xserver-storage  
echo "a file created in server5" > testfile  
在备份节点192.168.8.6上执行下面的命令  
mkdir /xserver-storage  
mount /dev/drbd0 /xserver-storage  
\#mount 会出错，因为mount只能在Primary一端使用  
在主节点192.168.8.5上执行下面的命令变成备份节点  
umount /xserver-storage  
drbdadm secondary all  
在备份节点192.168.8.6上执行下面的命令变为主节点，可以看到192.168.8.5同步过来的内容  
drbdadm primary all  
mount /dev/drbd0 /xserver-storage  
less /xserver-storage/testfile  
可以查看到文件的内容为"a file created in server5"  
在192.168.8.6新建一个文件  
echo "a file created in server6" > testfile2  
再将192.168.8.5变为主节点后mount可以看到testfile2的内容也同步了。