多种虚拟机环境下安装Oracle11g RAC

叁歲伎倆 2022-01-17 02:17 298阅读 0赞

# 1、安全环境与网络规划 #

## 1.1、安装环境 ##

RAC节点操作系统：Linux 6.4 x8664  
Cluster software：Oracle Grid Infrastructure 11gr2(11.2.0.4)  
Oracle Database software：Oracle11gr2(11.2.0.4)  
共享存储：ASM

## 1.2、网络规划 ##

节点名称 Public IP Private IP Virtual IP SCAN 名称 SCAN IP  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC]  
注意：Oracle11g新增SCAN-IP，为VIP的一个池概念

## 1.3、Oracle软件组 ##

![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 1]

## 1.4、RAC节点 ##

![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 2]

## 1.5、存储组件 ##

![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 3]

# 2、创建虚拟机 #

## 2.1、VMware vSphere ##

以administrator用户登录虚拟化主机：  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 4]  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 5]  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 6]  
对主机右键点击“新建虚拟机”  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 7]  
选择自定义配置，下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 8]  
给虚拟机命名 rac1，下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 9]  
选择虚拟机存放位置，下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 10]  
选择虚拟机文件存放位置(尽量放于共享存储上，空间大且防止数据丢失)，下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 11]  
选择高版本，下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 12]  
选择操作系统为Linux，版本为Red Hat Enterprise Linux 6(64位)，下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 13]  
配置CPU、内存，下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 14]  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 15]  
选择网卡，配置两块网卡，一块作为Public，另一块作为Private，下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 16]  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 17]  
选择SCSI驱动器类型：LSI Logic并行，下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 18]  
选择创建新磁盘，下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 19]  
配置磁盘大小，下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 20]  
上述三个选项的解释：  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 21]  
选择虚拟设备节点，默认为SCSI(0:0)，选择模式为非独立，下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 22]  
选择在虚拟机创建之前编辑选项，继续  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 23]  
编辑光驱设备，选择ISO文件，完成  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 24]  
查看新建虚拟机配置  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 25]  
以相同方式创建另一个节点rac2。

## 2.2、VMware Workstation ##

新建虚拟机rac1，选择自定义，下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 26]  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 27]  
选择安装操作系统ISO，下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 28]  
命名虚拟机，选择存放位置，下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 29]  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 30]  
配置内存大小，下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 31]  
选择网络类型为桥接网络，下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 32]  
选择I/O控制器类型为LSI Logic，下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 33]  
选择磁盘类型为SCSI，下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 34]  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 35]  
配置磁盘大小，并选择将虚拟磁盘拆分多个文件，下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 36]  
指定磁盘文件，下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 37]  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 38]  
以相同方式创建另一个节点rac2。

## 2.3、Virtual BOX ##

新建虚拟机rac1，命名虚拟机，选择系统类型为Linux，版本为Red Hat （64bit），下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 39]  
配置内存大小，下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 40]  
创建虚拟硬盘，创建  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 41]  
选择虚拟磁盘文件类型，下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 42]  
选择动态分配，下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 43]  
选择文件位置和大小，下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 44]  
创建完成  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 45]  
设置虚拟机参数  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 46]  
选择存储，在右侧属性，点击分配光驱右边的![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 47] ，选择安装操作系统ISO文件  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 48]  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 49]  
以相同方式创建另一个节点rac2。

# 3、安装系统 #

## 3.1、安装系统(两节点) ##

系统安装过程都是一致，因此不予详述。本文只针对安装过程中部分容易出错的地方简述  
选择基本存储设备  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 50]  
提示是否丢弃所有的数据，yes,discard any data  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 51]  
选择自定义分区，Create Custom Layout  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 52]  
进入分区界面  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 53]  
选择标准分区模式，Standard Partition  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 54]  
分别创建虚拟内存(swap)、boot分区、/分区  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 55]  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 56]  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 57]  
分区结果  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 58]  
选择确定格式化  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 59]  
选择写入磁盘  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 60]  
选择默认即可  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 61]  
选择系统模式，Software Development Workstation，Customize Later，其他默认  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 62]  
开始安装系统  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 63]  
安装后，提示重启系统，并有一系列配置，其中启动Kdump  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 64]  
根据提示，再次重启系统，系统安装完毕！

## 3.2、配置网络(两节点) ##

此步骤，需要虚拟机有两块网卡，分别为Public和Private网卡。  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 65]  
使用root用户登录虚拟机，右键![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 66]，选择Edit Connection  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 67]  
按以下步骤操作，分别配置两块网卡IP为上表对应项  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 68]  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 69]  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 70]  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 71]

## 3.3、删除自动生成的虚拟网卡(两节点) ##

所谓虚拟网卡，即执行 ifconfig命令列出的virbr0，如图  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 72]  
执行以下命令来删除该虚拟网卡  
virsh net-list  
virsh net-destroy default  
virsh net-undefine default  
service libvirtd restart

再次使用ifconfig命令查看，该虚拟网卡已不存在  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 73]

## 3.4、测试网络(两节点) ##

1、物理机ping两台虚拟机rac1、rac2的Public IP  
2、rac1节点 ping rac2节点的Public IP和Private IP  
3、rac2节点 ping rac1节点的Public IP和Private IP  
以上三步完全可以ping通即可。

# 4、添加共享存储 #

## 4.1、VMware vSphere ##

### 4.1.1、配置rac1节点 ###

关闭rac1节点，右键rac1节点选择编辑设置，进入配置界面，点击添加  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 74]  
选择硬盘，下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 75]  
创建新的虚拟磁盘  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 76]  
配置磁盘大小，选择厚置备置零（集群专用），指定磁盘的存放位置，下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 77]  
驱动器设备选择SCSI 1:0，模式选择独立（集群必须选择此项），下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 78]  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 79]  
在虚拟机属性中，选择刚添加的SCSI controller 1 驱动器，配置其为物理模式（用于支持共享），以保证rac1、rac2节点的共享访问  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 80]  
重复执行上述步骤，添加另外两块磁盘，将其驱动器设备选择为SCSI 1:1；SCSI 1:2。  
添加3块共享磁盘的rac1节点配置信息如下：  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 81]

### 4.1.2、配置rac2节点 ###

关闭rac2节点，右键rac2节点选择编辑设置，进入配置界面，点击添加  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 82]  
选择硬盘，下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 83]  
选择已有虚拟磁盘，下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 84]  
选择指定的存储设备，此处需要注意：选择在rac1节点中创建的第一块磁盘  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 85]  
驱动器设备选择SCSI 1:0，模式选择独立，下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 86]  
同rac1节点一样，在rac2节点属性中，选择刚添加的SCSI controller 1驱动器，配置其为物理模式用于共享  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 87]  
重复执行以上步骤，添加剩余的2块磁盘。注意，驱动器编号要依次选择SCSI 1:1、SCSI 1:2。  
添加3块共享磁盘的rac2节点配置信息如下：  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 88]

## 4.2、VMware Workstation ##

### 4.2.1、物理机中添加共享磁盘 ###

vmware-vdiskmanager.exe -c -s 5G -a lsilogic -t 2 "d:\\Virtual Machines\\RAC\\shared"\\asm1.vmdk  
vmware-vdiskmanager.exe -c -s 5G -a lsilogic -t 2 "d:\\Virtual Machines\\RAC\\shared"\\asm2.vmdk  
vmware-vdiskmanager.exe -c -s 20G -a lsilogic -t 2 "d:\\Virtual Machines\\RAC\\shared"\\asm3.vmdk  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 89]  
注意：-a 指定磁盘类型 –t 2表示直接划分一个预分配空间的文件。

### 4.2.2、关闭节点，用记事本编辑vmx文件，例如：rac1.vmx(两节点) ###

添加如下内容：  
\#shared disks configure  
disk.EnableUUID = "TRUE"  
disk.locking = "FALSE"  
diskLib.dataCacheMaxSize = "0"  
diskLib.dataCacheMaxReadAheadSize = "0"  
diskLib.dataCacheMinReadAheadSize = "0"  
diskLib.maxUnsyncedWrites = "0"

scsi1.present = "TRUE"  
scsi1.virtualDev = "lsilogic"  
scsil.sharedBus = "VIRTUAL"

scsi1:0.present = "TRUE"  
scsi1:0.mode = "independent-persistent"  
scsi1:0.fileName = "D:\\Virtual Machines\\RAC\\shared\\asm1.vmdk"  
scsi1:0.deviceType = "disk"  
scsi1:0.redo = ""

scsi1:1.present = "TRUE"  
scsi1:1.mode = "independent-persistent"  
scsi1:1.fileName = "D:\\Virtual Machines\\RAC\\shared\\asm2.vmdk"  
scsi1:1.deviceType = "disk"  
scsi1:1.redo = ""

scsi1:2.present = "TRUE"  
scsi1:2.mode = "independent-persistent"  
scsi1:2.fileName = "D:\\Virtual Machines\\RAC\\shared\\asm3.vmdk"  
scsi1:2.deviceType = "disk"  
scsi1:2.redo = ""  
注意：  
1、 此处添加了3块共享盘，因此添加3段内容scsi1:0，scsi1:1，scsi1:2，也即要增加几块盘，就要增加相应段数的内容  
2、 scsi 1:.fileName=后面的内容要与你在物理主机使用vmware-vdiskmanager.exe创建的磁盘存储位置一致  
3、 重启两节点，查看虚拟机配置，确认共享磁盘文件加载成功（不重启系统可能不能识别出磁盘）  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 90]

## 4.3、Virtual BOX ##

### 4.3.1、配置rac1节点 ###

方法1：  
rac1节点的配置也中，选择存储，选择"SATA 控制器"，然单击"添加硬盘"图标 ![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 91]  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 92]  
创建新的磁盘，create new disk  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 93]  
选择默认VDI磁盘模式  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 94]  
选择固定大小（共享磁盘必须选择此选项），下一步  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 95]  
配置共享磁盘存储路径及大小  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 96]  
新建的磁盘，已经连接到rac1虚拟机  
选择此新磁盘。  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 97]  
单击"修改（modify）"图标并选择"Shareable"  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 98]  
重复以上步骤，创建另外2块磁盘。  
最后，增加磁盘后的配置信息  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 99]

方法2：  
1、在物理主机命令行中执行以下语句，创建磁盘  
VBoxManage.exe createhd -filename asm1.vdi -size 5120 -format VDI -variant Fixed  
VBoxManage.exe createhd -filename asm2.vdi -size 5120 -format VDI -variant Fixed  
VBoxManage.exe createhd -filename asm3.vdi -size 204800 -format VDI -variant Fixed  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 100]  
2、连接rac1虚拟机  
VBoxManage.exe storageattach rac1 --storagectl "SATA 控制器" --port 1 --device 0 --type hdd --medium asm1.vdi --mtype shareable  
VBoxManage.exe storageattach rac1 --storagectl "SATA 控制器" --port 2 --device 0 --type hdd --medium asm2.vdi --mtype shareable  
VBoxManage.exe storageattach rac1 --storagectl "SATA 控制器" --port 3 --device 0 --type hdd --medium asm3.vdi --mtype shareable  
3、设置磁盘共享  
VBoxManage.exe modifyhd asm1.vdi --type shareable  
VBoxManage.exe modifyhd asm2.vdi --type shareable  
VBoxManage.exe modifyhd asm3.vdi --type shareable  
4、查看rac1配置信息  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 101]

### 4.3.2、配置rac2节点 ###

rac2节点只需配置磁盘驱动器与虚拟机的连接即可，如下：  
VBoxManage.exe storageattach rac2 --storagectl "SATA 控制器" --port 1 --device 0 --type hdd --medium asm1.vdi --mtype shareable  
VBoxManage.exe storageattach rac2 --storagectl "SATA 控制器" --port 2 --device 0 --type hdd --medium asm2.vdi --mtype shareable  
VBoxManage.exe storageattach rac2 --storagectl "SATA 控制器" --port 3 --device 0 --type hdd --medium asm3.vdi --mtype shareable

# 5、实现共享存储 #

## 5.1、划分共享磁盘(单节点) ##

fdisk –l  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 102]

三个分区作用解释：  
fdisk /dev/sdb --作为ocr和voting disk存放文件  
fdisk /dev/sdc --存放快速恢复区文件  
fdisk /dev/sdd --存放数据库文件  
fdisk /dev/sdb\[c|d\]  
依次n → p → 1 → Enter → Enter → w，实现分区  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 103]

fdisk –l --再次查看并在rac2节点查看，确保与rac1完全一致  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 104]  
分区完毕，不要对新加磁盘进行格式化，保持裸设备。

## 5.2、配置ASM磁盘(两节点) ##

使用udev管理配置磁盘方式  
rpm -qa|grep udev --查看是否安装udev  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 105]

执行以下命令，获取scsi id信息  
scsiid -g -u -d /dev/sdb \[c|d\]  
36000c292f99f2349911c3766f3cc53d7  
36000c293f4c9f2c1fdd38a63e5861ad3  
36000c2994d5eda8fbefc5922b14ab651

编辑udev配置文件，添加rules文件（/etc/udev/rules.d/）并授权添加以下参数。  
方法1：  
vi /etc/udev/rules.d/99-x-asmdisk.rules  
KERNEL=="sdb1", BUS=="scsi", PROGRAM="scsiid -g -u -d /dev/$parent",RESULT=="36000c292f99f2349911c3766f3cc53d7", NAME="asmdiskOCR", OWNER:="grid", GROUP:="dba",MODE="0660"

KERNEL=="sdc1", BUS=="scsi", PROGRAM="scsiid -g -u -d /dev/$parent",RESULT=="36000c293f4c9f2c1fdd38a63e5861ad3", NAME="asmdiskDATA", OWNER:="grid", GROUP:="dba",MODE="0660"

KERNEL=="sdd1", BUS=="scsi", PROGRAM="scsiid -g -u -d /dev/$parent",RESULT=="36000c2994d5eda8fbefc5922b14ab651", NAME="asmdiskFRA", OWNER:="grid", GROUP:="dba",MODE="0660"

注意：  
1、 一行为一条规则  
2、 , 与下一个关键词要有空格  
3、 GROUP:=后面不确定值，dba与asmadmin都可以  
启动udev  
startudev  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 106]  
ls /dev/asmdisk  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 107]

方法2：  
vi /etc/udev/rules.d/99-oracle-asmdevices.rules  
直接在命令行下输入并执行以下循环  
for i in b c d;  
do  
echo "KERNEL==\\"sd\\", BUS==\\"scsi\\", PROGRAM==\\"/sbin/scsiid --whitelisted --replace-whitespace --device=/dev/\\$name\\", RESULT==\\"`/sbin/scsiid --whitelisted --replace-whitespace --device=/dev/sd$i`\\", NAME=\\"asm-disk$i\\", OWNER=\\"grid\\", GROUP=\\"asmadmin\\", MODE=\\"0660\\"" >>/etc/udev/rules.d/99-oracle-asmdevives.rules  
done  
注意：此处的b、c、d是sdb、sdc、sdd去掉sd  
启动udev  
startudev  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 108]  
ls /dev/asm

# 6、配置Linux系统 #

## 6.1、用户组及用户设置(两节点，root用户) ##

### 6.1.1、创建Oracle软件组 ###

groupadd -g 601 oinstall  
groupadd -g 602 dba  
groupadd -g 603 oper  
groupadd -g 604 asmadmin  
groupadd -g 605 asmdba  
groupadd -g 606 asmoper

### 6.1.2、创建grid、oracle用户 ###

useradd -u 601 -g oinstall -G asmadmin,asmdba,asmoper grid  
useradd -u 602 -g oinstall -G dba,oper,asmdba oracle

### 6.1.3、为grid、oracle用户设置密码 ###

passwd grid  
passwd oracle

## 6.2、主机名IP映射文件设置(两节点) ##

vi /etc/hosts --加入以下内容  
\#public:  
192.168.2.231 rac1  
192.168.2.232 rac2

\#vip:  
192.168.2.233 rac1-vip  
192.168.2.234 rac2-vip

\#priv  
1.1.6.231 rac1-priv  
1.1.6.232 rac2-priv

\#SCAN  
192.168.2.235 rac-scan

## 6.3、配置Linux内核参数(两节点) ##

vi /etc/sysctl.conf --加入以下内容  
fs.aio-max-nr = 1048576  
fs.file-max = 6815744  
kernel.shmmni = 4096  
kernel.sem = 250 32000 100 128  
net.ipv4.iplocalportrange = 9000 65500  
net.core.rmemdefault = 262144  
net.core.rmemmax = 4194304  
net.core.wmemdefault = 262144  
net.core.wmemmax = 1048576  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 109]

sysctl –p --使以上设置生效

## 6.4、设置grid、oracle用户设置shell limits(两节点) ##

vi /etc/security/limits.conf --加入以下内容  
grid soft nproc 2047  
grid hard nproc 16384  
grid soft nofile 1024  
grid hard nofile 65536  
grid soft stack 10240  
grid hard stack 32768

oracle soft nproc 2047  
oracle hard nproc 16384  
oracle soft nofile 1024  
oracle hard nofile 65536  
oracle soft stack 10240  
oracle hard stack 32768

vi /etc/pam.d/login --加入以下内容  
session required pamlimits.so  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 110]

## 6.5、创建Oracle Inventory Directory(两节点) ##

mkdir -p /u01/app/oraInventory  
chown -R grid.oinstall /u01/app/oraInventory  
chmod -R 775 /u01/app/oraInventory

## 6.6、创建Oracle Grid Infrastructure Home目录(两节点) ##

mkdir -p /u01/app/grid  
mkdir -p /u01/app/grid/crs  
mkdir -p /u01/app/grid/11.2.0  
chown -R grid.oinstall /u01/app/grid  
chmod -R 775 /u01/app/grid

## 6.7、创建Oracle RDBMS Home目录(两节点) ##

mkdir -p /u01/app/oracle  
chown -R oracle.oinstall /u01/app/oracle  
chmod -R 775 /u01/app/oracle

mkdir -p /u01/app/oracle/product/11.2.0/db1  
chown -R oracle.oinstall /u01/app/oracle/product/11.2.0/db1  
chmod -R 775 /u01/app/oracle/product/11.2.0/db1

## 6.8、安装相应系统支持包(两节点64&32bit) ##

binutils  
compat-libstdc++-33  
elfutils-libelf  
elfutils-libelf-devel  
gcc gcc-c++  
glibc  
glibc-common  
glibc-devel  
glibc-headers  
ksh  
libaio  
libaio-devel  
libgcc  
libstdc++  
libstdc++-devel  
make  
numactl-devel  
sysstat  
unixODBC  
unixODBC-devel

方法1：  
拷贝系统光盘内容到本地目录  
mkdir /yum/  
cp /media/ /yum/  
删除/etc/yum.repos.d/下内容并创建yum.repo  
vi /etc/yum.repos.d/yum.repo  
\[yum\]  
name=yum  
baseurl=file:///yum/  
enabled=1

方法2：  
rpm –ivh –nodeps –force rpm

## 6.9、修改grid、oracle用户环境变量(两节点) ##

Su – grid --切换到grid用户，修改环境变量  
Vi .bashprofile --删除重复内容，加入以下内容  
export ORACLEHOSTNAME=rac1(rac2)  
export ORACLEUNQNAME=rac  
export ORACLEBASE=/u01/app/grid/crs  
export ORACLEHOME=/u01/app/grid/11.2.0  
export ORACLESID=+ASM1(+ASM2)  
export ORACLETERM=xterm  
export PATH=$ORACLEHOME/bin:/usr/sbin:$PATH  
export LDLIBRARYPATH=$ORACLEHOME/lib:/lib:/usr/lib  
export CLASSPATH=$ORACLEHOME/JRE:$ORACLEHOME/jlib:$ORACLEHOME/rdbms/jlib  
export TMP=/tmp  
export TMPDIR=$TMP

Su – oracle --切换到oracle用户，修改环境变量  
Vi .bashprofile --删除重复内容，加入以下内容  
export ORACLEHOSTNAME=rac1(rac2)  
export ORACLEUNQNAME=rac  
export ORACLEBASE=/u01/app/oracle  
export ORACLEHOME=$ORACLEBASE/product/11.2.0/db1  
export ORACLESID=rac1(rac2)  
export ORACLETERM=xterm  
export PATH=$ORACLEHOME/bin:/usr/sbin:$PATH  
export LDLIBRARYPATH=$ORACLEHOME/lib:/lib:/usr/lib  
export CLASSPATH=$ORACLEHOME/JRE:$ORACLEHOME/jlib:$ORACLEHOME/rdbms/jlib  
export TMP=/tmp  
export TMPDIR=$TMP

# 7、关闭防火墙 #

## 7.1、设置SELinux(两节点) ##

1、立即生效  
setenforce 0 --立即关闭SELinux  
getenforce --查看SELinux状态  
2、永久生效  
vi /etc/selinux/config --关闭selinux  
替换SELinux=enforcing为SELinux=disabled  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 111]

## 7.2、关闭防火墙iptables(两节点) ##

service iptables save  
service iptables stop --关闭iptables  
chkconfig iptables off --设置iptables不随系统启动  
chkconfig --list iptables --查看防火墙状态列表

# 8、设置grid、oracle用户ssh等效性 #

ssh等效性操作过程一样，因此只需切换到相应用户执行即可

su – grid --两节点  
cd /home/grid  
rm -rf ~/.ssh  
mkdir ~/.ssh  
chmod 700 ~/.ssh

ssh-keygen -t rsa  
ssh-keygen -t dsa  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 112]

配置同步  
rac1节点  
cat ~/.ssh/idrsa.pub >> ~/.ssh/authorizedkeys  
cat ~/.ssh/iddsa.pub >> ~/.ssh/authorizedkeys  
scp ~/.ssh/authorizedkeys rac2:~/.ssh/authorizedkeys

rac2节点  
cat ~/.ssh/idrsa.pub >> ~/.ssh/authorizedkeys  
cat ~/.ssh/iddsa.pub >> ~/.ssh/authorizedkeys  
scp ~/.ssh/authorizedkeys rac1:~/.ssh/authorizedkeys  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 113]

检测连通性 --两节点  
ssh racdb1 date  
ssh racdb2 date  
ssh racdb1-priv date  
ssh racdb2-priv date  
注意：第一次询问是否要连接，输入yes即可。  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 114]

# 9、时钟同步 #

## 9.1、使用Linux系统的NTP服务同步时钟(两节点) ##

vi /etc/ntp.conf --主节点rac1加入以下内容  
Server 127.127.1.0  
Fudge 127.127.1.0 stratum 11  
Broadcastdelay 0.008

vi /etc/ntp.conf --其他节点rac2加入以下内容  
Server 192.168.2.231 prefer  
Driftfile /var/lib/ntp/drift  
Broadcastdelay 0.008

vi /etc/sysconfig/ntpd --配置NTP服务  
SYNCHWCLOCK=yes  
OPTIONS="-x -u ntp:ntp -p /var/run/ntpd.pid"

/etc/init.d/ntpd restart --启动NTP服务  
chkconfig ntpd on --设置NTP服务随系统启动  
netstat -an |grep 123 --确保该端口以udp方式开放  
ntpstat --查看NTP服务状态

## 9.2、使用oracle集群软件ctss服务同步时钟(两节点) ##

11G R2 默认有自己的时间同步机制，没有NTP也是可以的。有NTP的话ctss应该一直运行观察模式的。使用集群时间同步服务在集群中提供同步服务，需要卸载网络时间协议 (NTP) 及其配置。  
service ntpd stop  
chkconfig ntpd off  
mv /etc/ntp.conf /etc/ntp.conf.original --有/etc/ntp.conf这个文件，ctss是不会启用的  
rm /var/run/ntpd.pid --此文件保存NTP后台程序的pid

# 10、安装前准备 #

本操作需要两节点分别执行！！

上传安装文件，本次安装的是Oracle 11.2.0.4版本，共3个安装包，其中1、2是database包，3是grid包。  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 115]  
分别解压3个包，解压后产生两个目录/setup/database、/setup/grid  
注意：rac2节点只上传grid包，解压即可。

在两个rac节点上安装操作系统程序包cvuqdisk(安装包在/setup/grid/下)。如果没有cvuqdisk，集群验证实用程序就无法发现共享磁盘(/dev/asm)，且在安装后期会收到”Package cvuqdisk not installed”的错误。

root用户下安装cvuqdisk-1.0.9-1.rpm包  
export CVUQDISKGRP=oinstall  
cd /setup/grid/rpm  
rpm –ivh cvuqdisk-1.0.9-1.rpm

su – grid --切换到grid用户  
cd /setup/grid  
./runcluvfy.sh stage -pre crsinst -n rac1,rac2 -fixup -verbose > 1.log --输入1.log，方便查看  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 116]  
如有报错，则执行下面命令后再次执行此命令  
/tmp/CVU11.2.0.1.0grid/runfixup.sh  
rm -rf /tmp/bootstrap  
./runcluvfy.sh stage -pre crsinst -n rac1,rac2 -fixup -verbose  
注意：以上命令执行结果中，提示网络问题、时间同步、DNS问题可忽略！！！

./runcluvfy.sh stage –post hwos –n rac1,rac2 –verbose  
注意：  
1、 两条CVU检查命令的结果均为passed才能继续安装(网络、时间、DNS问题可忽略)。  
2、 此时要保证两节点4个IP（Public、Private）可以互相ping通

# 11、安装Oracle Grid Infrastructure #

## 11.1、安装流程 ##

本操作只需在一个节点分别执行！！

图形界面安装需要在root用户执行如下命令  
xhost +  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 117]  
出现如上输出，即可继续进行图形安装。  
   
su – grid  
cd /setup/grid  
./runInstaller

跳过更新  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
选择安装选项  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
选择高级安装（方便设置参数）  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
Cluster Name可以随意命名；SCAN Name需要与/etc/hosts中配置一致；端口默认1521。不配置GNS  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
添加节点2信息  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
网络信息  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
采用ASM存储管理  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
配置ocr及voting disk存储磁盘组，此处为磁盘组名为CRS  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
更改发现路径/dev/asm，以找到共享磁盘  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
选择规划好的磁盘加入CRS组  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
设置ASM管理密码（为了方便采用统一设置密码）  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
密码不符合oracle规则警告，选择yes继续  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
不适用IPMI  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
选择grid软件ORACLEBASE及ORACLEHOME（事先配置了.bashprofile，这里会自动找到路径）  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
选择oraInventory目录（该目录主要存放安装日志等）  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
安装预检。  
如果两节点ll /dev/asm，可以查看到一致内容，则Device Checks for ASM警告可以忽略；  
如果使用Linux系统NTP服务，则出现Network Time Protocol警告（使用ctss则不会报警）  
可能还会有一些关于DNS、网络的警告，忽略即可  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
略过警告提醒，选择yes继续  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
安装概览  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
安装  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
提示以root用户分别在两节点执行root.sh脚本。注意最后的提示，需要在安装节点先执行root.sh完毕后，再在其他节点执行（此时可以并行执行）！！！  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
rac1节点执行完毕  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
接下来在其他节点执行root.sh  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
INS-20802是监听错误。其原因是/etc/hosts中配置了SCAN的地址，此步如果可以ping通SCAN-IP，那么忽略此错误即可。点击OK继续，安装grid完成。  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]

## 11.2、安装后检查 ##

su – grid  
检查CRS状态  
crsctl check crs  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 119]

检查Cluster资源  
crsstat –t  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 120]

检查CRS节点信息  
olsnodes –n  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 121]

检查两节点Oracle TNS监听进程  
ps -ef|grep lsnr |grep -v 'grep'|grep -v 'ocfs'|awk '\{print$9\}'  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 122]

确认针对Oracle Cluster文件的Oracle ASM功能：  
su – grid  
srvctl status asm –a  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 123]

## 11.3、配置ASM磁盘组 ##

grid用户下，执行asmca，添加物理盘到ASM磁盘组  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
   
创建Oracle数据存放盘  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]

配置oracle数据盘完成  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]

重复以上操作，创建闪回盘。  
最后配置结果：  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]

# 12、安装Oracle DataBase #

## 12.1、安装流程 ##

本操作只需在一个节点分别执行！！

图形界面安装需要在root用户执行如下命令  
xhost +  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 124]  
出现如上输出，即可继续进行图形安装。

su – oracle  
cd /setup/database  
./runInstaller  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]

不接收Oracle安全更新  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
安全更新邮箱警告，选择yes继续  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
跳过更新  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
选择仅安装数据库软件（Install database software only）  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
选择全部节点并测试SSH连通性  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
连通性测试成功  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
选择语言  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
选择企业版  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
选择ORACLEBASE及ORACLEHOME  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
Oracle管理组  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
安装预检。出现SCAN警告，其原因是SCAN-IP最多可以配置3个地址并对应域名，此处未使用DNS Name且只配置了一个IP，因此报错，但不会影响系统使用，可以忽略！  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
忽略SCAN-IP警告，选择yes继续  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
安装概览  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
安装  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
root用户执行root.sh脚本。此处可以在所有节点并行执行（与grid安装最后不同），不过建议依次执行。  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
安装完成  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]

## 12.2、安装数据库 ##

此时oracle用户检查监听程序是否存在  
su – oracle  
lsnrctl status  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 125]  
监听检查完毕，执行以下命令开始创建数据库  
dbca  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
创建数据库  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
选择安装模板（General Purpose or Transaction Processing）  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
选择Admin-Managed，填入Global Database Name（.bashprofile中配置的ORACLEUNQNAME）并选择所有节点  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
选择OEM  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
设置管理密码（为方便使用统一密码）  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
选择数据库文件存储区  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
输入ASM磁盘组管理密码，OK继续  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
选择闪回区ASM磁盘组，按需启用归档  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
配置Database的内存，启用自动内存管理  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
更改字符集（由于在中国需要支持汉字，因此选择ZHS16GBK）  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
数据库存储概览  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
是否创建Oracle安装脚本（Generate Database Creation Scripts）  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
创建数据库概览  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
创建Oracle安装脚本  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
创建数据库  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]  
创建数据库完毕，OK  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 118]

# 13、Oracle RAC维护 #

Oracle Clusterware的命令集可以分为以下4种：  
节点层：osnodes  
网络层：oifcfg  
集群层：crsctl, ocrcheck,ocrdump,ocrconfig  
应用层：srvctl,onsctl,crsstat  
注意：CRS维护需要使用grid用户（root用户需要在grid ORACLEHOME/bin目录下执行），建议在grid用户下维护

## 13.1、节点层 ##

olsnodes –n –i –s  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 126]

## 13.2、网络层 ##

### 13.2.1、列出CRS网卡 ###

oifcfg iflist  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 127]

### 13.2.2、获取CRS网卡信息 ###

oifcfg getif  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 128]

## 13.3、集群层 ##

### 13.3.1、检查CRS状态 ###

crsctl check crs  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 129]

### 13.3.2、检查CRS 单个服务 ###

crsctl check cssd\[crsd|evmd\]  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 130]

### 13.3.3、检查CRS是否自动启动（root用户） ###

crsctl disable|enable crs

### 13.3.4、启动、停止、查看CRS（root用户） ###

crsctl start|stop crs

### 13.3.5、查看Votedisk磁盘位置 ###

crsctl query css votedisk  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 131]

### 13.3.6、维护Votedisk ###

以图新方式安装Clusterware的过程中，在配置Votedisk时，如果选择External Redundancy策略。则只能填写一个Votedisk。但是即使使用External Redundancy作为冗余策略，也可以添加多个Vodedisk，只是必须通过crsctl 命令来添加，添加多个Votedisk后，这些Votedisk 互为镜像，可以防止Votedisk的单点故障。  
需要注意的是，Votedisk使用的是一种“多数可用算法”，如果有多个Votedisk，则必须一半以上的Votedisk同时使用，Clusterware才能正常使用。 比如配置了4个Votedisk，坏一个Votedisk，集群可以正常工作，如果坏了2个，则不能满足半数以上，集群会立即宕掉，所有节点立即重启，所以如果添加Votedisk，尽量不要只添加一个，而应该添加2个。这点和OCR 不一样。OCR 只需配置一个。  
添加和删除Votedisk的操作比较危险，必须停止数据库，停止ASM,停止CRS Stack后操作，并且操作时必须使用-force参数。

以下操作均应使用root用户执行  
1） 查看当前配置  
./crsctl query css votedisk  
2） 停止所有节点的CRS：  
./crsctl stop crs  
3） 添加Votedisk  
./crsctl add css votedisk /dev/raw/raw1 –force  
注意：即使在CRS 关闭后，也必须通过-force 参数来添加和删除Votedisk，并且-force 参数只有在CRS关闭的场合下使用才安全。 否则会报：Cluter is not a ready state for online disk addition.  
4） 确认添加后的情况：  
./crsctl query css votedisk  
5） 启动CRS  
./crsctl start crs

### 13.3.7、查看OCR状态 ###

ocrcheck  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 132]

### 13.3.8、维护OCR ###

1 查看OCR自动备份  
ocrconfig –showbackup

2 使用导出、导入进行备份、恢复模拟案例（root用户）  
Oracle 推荐在对集群做调整时，比如增加，删除节点之前，应该对OCR做一个备份，可以使用export 备份到指定文件，如果做了replace或者restore 等操作，Oracle 建议使用cluvfy comp ocr -n all 命令来做一次全面的检查。该命令在clusterware 的安装软件里。  
1）首先关闭所有节点的CRS  
./crsctl stop crs  
2）用root 用户导出OCR内容  
./ocrconfig -export /u01/ocr.exp  
3）重启CRS  
./crsctl start crs  
4）检查CRS 状态  
./crsctl check crs  
5）破坏OCR内容  
dd if=/dev/zero of=/dev/raw/raw1 bs=1024 count=102400  
6）检查OCR一致性  
./ocrcheck  
7）使用cluvfy 工具检查一致性  
./runcluvfy.sh comp ocr -n all  
8）使用Import 恢复OCR 内容  
./ocrconfig -import /u01/ocr.exp  
9）再次检查OCR  
./ocrcheck  
10)使用cluvfy工具检查  
./runcluvfy.sh comp ocr -n all

3 移动OCR 文件位置模拟案例（root用户）  
将OCR从/dev/raw/raw1 移动到/dev/raw/raw3上。  
1）查看是否有OCR备份  
./ocrconfig -showbackup  
如果没有备份，可以立即执行一次导出作为备份：  
./ocrconfig -export /u01/ocrbackup -s online  
2）查看当前OCR配置  
./ocrcheck  
Status of Oracle Cluster Registry is as follows :  
Version : 2  
Total space (kbytes) : 147352  
Used space (kbytes) : 4364  
Available space (kbytes) : 142988  
ID : 610419116  
Device/File Name : /dev/raw/raw1  
Device/File integrity check succeeded  
Device/File not configured  
Cluster registry integrity check succeeded  
输出显示当前只有一个Primary OCR，在/dev/raw/raw1，没有Mirror OCR。 因为现在只有一个OCR文件，所以不能直接改变这个OCR的位置，必须先添加镜像后在修改，否则会报：Failed to initialize ocrconfig.  
3)添加一个Mirror OCR  
./ocrconfig -replace ocrmirror /dev/raw/raw4  
4)确认添加成功  
./ocrcheck  
5)改变primary OCR 位置  
./ocrconfig -replace ocr /dev/raw/raw3  
确认修改成功：  
./ocrcheck  
6)使用ocrconfig命令修改后，所有RAC节点上的/etc/oracle/ocr.loc 文件内容也会自动同步了，如果没有自动同步，可以手工的改成以下内容。  
more /etc/oracle/ocr.loc  
ocrconfigloc=/dev/raw/raw1  
Ocrmirrorconfigloc=/dev/raw/raw3  
localonly=FALSE

## 13.4、应用层 ##

### 13.4.1、查看CRS状态 ###

crsstat -t –v  
crsstat crsstat ora.scan1.vip --查看ora.scan1.vip状态  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 133]  
crsstat –ls --查看每个资源的权限定义，权限定义格式和Linux 一样  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 134]

### 13.4.2、onsctl命令 ###

onsctl命令用于管理配置ONS(Oracle Notification Service). ONS 是Oracle Clusterware 实现FAN Event Push模型的基础。  
在传统模型中，客户端需要定期检查服务器来判断服务端状态，本质上是一个pull模型，Oracle 10g 引入了一个全新的PUSH 机制--FAN(Fast Application Notification),当服务端发生某些事件时，服务器会主动的通知客户端这种变化，这样客户端就能尽早得知服务端的变化。 而引入这种机制就是依赖ONS实现， 在使用onsctl命令之前，需要先配置ONS服务。  
查看ONS服务状态

onsctl ping  
![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 135]

启动ONS  
onsctl start

查看ONS的详细信息  
onsctl debug

### 13.4.3、srvctl命令 ###

srvctl可以操作下面的几种资源：Database，Instance，ASM，Service，Listener 和Node Application，其中Node application又包括GSD，ONS，VIP。

查看数据库配置  
srvctl config database --显示数据库名  
srvctl config database –d rac --显示指定rac数据库的详细信息

查看各节点资源信息  
srvctl config nodeapps  
srvctl config nodeapps -n rac1 –a -g

查看监听信息  
srvctl config listener  
srvctl config listener –n rac1

配置数据库是否启动  
srvctl enable|disable database -d rac  
srvctl enable|disable database -d rac –i rac1

启动数据库  
srvctl start database -d rac

启动实例  
srvctl start instance -d raw

参考：[http://www.cnblogs.com/rootq/archive/2012/11/14/2769421.html][http_www.cnblogs.com_rootq_archive_2012_11_14_2769421.html]

# 14、附录： #

## 14.1、CRS名词解释： ##

### 14.1.1、CRS一些服务作用 ###

cvu：负责oracle健康检查的进程
    ons：负责不同的节点间的通信，集群同步。
    gsd：负责服务资源的分配，只用于9i RAC，但为了向后兼容才保留的，不影响性能。建议不作处理。
    oc4j：是用于DBWLM(Database Workload Management (DBWLM))的一个资源, WLM在 11.2.0.2 才可用。不作处理即可。
    acfs (ASM Cluster File System) ：基于ASM的集群文件系统，11.2后增加功能。支持更广泛的存储文件类型。ora.acfs表示该服务的支持与否。

### 14.1.2、Oracle Cluster Registry(OCR) ###

OCR 负责维护整个集群的配置信息，包括RAC以及Clusterware资源.为了解决集群 的“健忘”问题,整个集群会有一份配置OCR，最多两分OCR，一个primary OCR和一个mirror OCR互为镜像，以防OCR的单点故障。

### 14.1.3、Votedisk ###

Voting Disk里面记录着节点成员的信息,必须存放在共享存储上,Voting Disk主要为了在出现脑裂时，决定那个Partion获得控制权，其他的Partion必须从集群中剔除。4个Votedisk，坏一个Votedisk，集群可以正常工作，如果坏了2个，则不能满足半数以上，集群会立即宕掉，所有节点立即重启

### 14.1.4、Admin Managed和Policy Managed ###

Policy-Managed方式介绍  
基于策略的管理方式，是以服务器池（Server Pools）为基础的，简单地说，就是先定义一些服务器池，池中包含一定量的服务器，然后再定义一些策略，根据这些策略Oracle会自动决定让多少数据 库实例运行在池中的几台机器上。数据库实例名后缀、数据库实例个数、所运行的主机，这些都是通过策略决定的，而不是数据库管理员事先定好的。  
何种环境适合使用这种新的方式进行管理？当管理大量的服务器集群，并且在这些集群中运行着多种不同重要程度，不同策略的RAC数据库时，为了简化管理，建议使用Policy- Managed方式，实际上Oracle也建议只有在超过3台的服务器的时候才使用Policy-Managed来管理整个数据库集群。想象一下使用 Policy-Managed方式可以达到的效果：如果我们有10台服务器组成，根据不同的应用的重要性定义服务器池的关键程度，然后在其中某些机器意外 停机的情况下，仍然可以自动地保持足够多的机器给重要的系统提供数据库服务，而将不关键的系统数据库服务器个数降低到最低限度。  
策略管理：DBA指定数据库资源运行在哪个服务器池(排除generic or free)。Oracle Clusterware负责将数据库资源放在一台服务器。  
Admin-Managed方式介绍  
实际上上面的表述已经明确说明了，Policy-Managed和Admin-Managed方式的差别。让我们再回顾一下，在以往我们创建一个RAC数 据库大概是怎样的方法，我们在dbca的界面中会选择要将数据库实例运行在整个集群中的几台机器上，或者是2台或者是3台，甚或是更多，但是只要在安装的 时候选定几台机器，那么以后如果不做增减节点的操作，就始终会在这几台机器上运行。而且，通常会根据主机名称的排序自动将每台主机上的数据库实例依次命名 为dbname1到dbnameN。这些在管理员安装完毕以后，都不会再自动变化，这就是Admin-Managed方式。  
管理员管理：DBA指定数据库资源运行的所有服务器，并且按需手动放置资源。这是之前版本Oracle数据库使用的管理策略。  
参考：[http://czmmiao.iteye.com/blog/2128771][http_czmmiao.iteye.com_blog_2128771]

### 14.1.5、Grid Name Service(GNS) ###

RAC 中SCAN 的配置有三种方式：  
 /etc/hosts --常用方式  
 DNS  
 GNS --DHCP+DNS  
参考：[http://blog.csdn.net/tianlesoftware/article/details/42970129][http_blog.csdn.net_tianlesoftware_article_details_42970129]  
[http://download.csdn.net/detail/renfengjun/4488454][http_download.csdn.net_detail_renfengjun_4488454]

### 14.1.6、Intelligent Management Platform Interface(IPMI) ###

智能平台管理接口，IPMI是一种规范的标准，其中最重要的物理部件就是BMC（Baseboard Management Controller），它是一种嵌入式管理微控制器，相当于整个平台管理的“大脑”。通过它IPMI可以监控各个传感器的数据并记录各种事件的日志。在Grid Infrastructure安装期间配置，但一般情况下不配置此选项。

## 14.2、安装问题 ##

### 14.2.1、安装界面乱码 ###

系统默认字符集与安装软件字符集不同  
解决： export LANG=enus

### 14.2.2、xhost +报错 ###

![多种虚拟机环境下安装Oracle11g RAC][Oracle11g RAC 136]  
解决： export DISPLAY=:0 --root用户下  
xhost +  
su - grid  
export DISPLAY=0:0

### 14.2.3、网卡名称与MAC地址不能对应 ###

解决： ①vi /etc/udev/rules.d/70-persistent-net.rules  
②vi /etc/sysconfig/network-scripts/ifcfg-eth0|1  
将①中eth0、eth1名称及MAC地址修改为②中对应内容，重启网络即可

### 14.2.4、Linux6.yum安装报错 ###

warning: rpmtsHdrFromFdno: Header V3 RSA/SHA256 Signature, key ID c105b9de: NOKEY  
updates/gpgkey  
Public key for .rpm is not installed  
解决： rpm --import /etc/pki/rpm-gpg/RPM  
参考：[http://blog.sina.com.cn/s/blog6e2aeba30100pshi.html][http_blog.sina.com.cn_s_blog6e2aeba30100pshi.html]

### 14.2.5、11g支持Linux系统列表 ###

RHEL4.7↑ 5.2↑  
SUSE 10 SP2↑

### 14.2.6、udev配置RAC ASM的几种方式 ###

方法1：60-raw.rules --裸设备  
vi /etc/udev/rules.d/60-raw.rules  
ACTION=="add",KERNEL=="sdb",RUN+="/bin/raw /dev/raw/raw1 %N"  
ACTION=="add",KERNEL=="raw1", OWNER="grid", GROUP="asmadmin",MODE="660"  
ACTION=="add",KERNEL=="sdc",RUN+="/bin/raw /dev/raw/raw2 %N"  
ACTION=="add",KERNEL=="raw2", OWNER="grid", GROUP="asmadmin",MODE="660"  
ls -l /dev/raw/raw  
brw-rw----1 grid asmadmin 8, 96 Jun 29 21:56 /dev/raw1  
brw-rw----1 grid asmadmin 8, 64 Jun 29 21:56 /dev/raw2

方法2：99-oracle-asmdevices.rules --ASM  
vi /etc/udev/rules.d/99-oracle-asmdevices.rules  
KERNEL=="sdb",NAME="asmdiskb",OWNER="grid",GROUP="asmadmin",MODE="0660"  
KERNEL=="sdc",NAME="asmdiskc",OWNER="grid",GROUP="asmadmin",MODE="0660"  
udevadm control --reload-rules  
startudev  
Starting udev:\[ OK \]  
ll /dev/asm  
brw-rw----. 1 gridasmadmin 8, 16 Dec 16 15:52 /dev/asmdiskb  
brw-rw----. 1 gridasmadmin 8, 32 Dec 16 15:52 /dev/asmdiskc

参考：[http://www.cnblogs.com/jimeper/archive/2012/12/09/2809724.html][http_www.cnblogs.com_jimeper_archive_2012_12_09_2809724.html]

### 14.2.7、Oracle11.2.0.1问题 ###

1、安装grid，执行root.sh时报错：  
错误：这是一个Oracle11.2.0.3(不含)之前版本的bug  
CRS-4124: Oracle High Availability Services startup failed.  
CRS-4000: Command Start failed, or completed with errors.  
ohasd failed to start: Inappropriate ioctl for device  
ohasd failed to start at /u01/app/grid/11.2.0/crs/install/rootcrs.pl line 443.  
解决： 开两个root用户窗口  
窗口1：  
$ORACLEHOME/root.sh --出现Adding daemon to inittab时，开始在窗口2执行dd  
窗口2：  
/bin/dd if=/var/tmp/.oracle/npohasd of=/dev/null bs=1024 count=1  
注意：这个问题会存在到以后的重新启动，即每次启动都需要操作此步骤！！！

重启操作步骤(两节点)：  
开两个root用户窗口  
窗口1：  
$ORACLEHOME/crs/install/roothas.pl --清除CRS配置，出现以下结果后继续执行root.sh  
Either /etc/oracle/olr.loc does not exist or is not readable  
Make sure the file exists and it has read and execute access  
/bin/dd: opening \`': No such file or directory  
Successfully deconfigured Oracle Restart stack  
$ORACLEHOME/root.sh --出现Adding daemon to inittab时，开始在窗口2执行dd

窗口2：  
/bin/dd if=/var/tmp/.oracle/npohasd of=/dev/null bs=1024 count=1 --直到不返回错误  
任意窗口：  
su – grid  
crsstart –all --启动集群  
2、netca报错：  
错误：  
line 190: 16835 Aborted  
解决： vi /etc/hosts  
IP hostname\*\*

转载于:https://blog.51cto.com/1456850/2359593

[Oracle11g RAC]: https://s1.51cto.com/images/blog/201903/07/835fc3083761916640d135f4584826e1.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 1]: https://s1.51cto.com/images/blog/201903/07/faa2c35a27efe483b43af5e1fb1d4ceb.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 2]: https://s1.51cto.com/images/blog/201903/07/30fe7de15e0632101a59128df46f2002.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 3]: https://s1.51cto.com/images/blog/201903/07/37f9e7bc4a2cf904509bf31c52181082.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 4]: https://s1.51cto.com/images/blog/201903/07/7d81b8f80c43833a2cb29042bc535f86.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 5]: https://s1.51cto.com/images/blog/201903/07/21848f0cf46aa57b2dc4ac2acc492d2f.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 6]: https://s1.51cto.com/images/blog/201903/07/512e8dc69ebd8ed374cf6efd9e956070.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 7]: https://s1.51cto.com/images/blog/201903/07/92573d2ae1c188ebf81576fe532abbee.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 8]: https://s1.51cto.com/images/blog/201903/07/d90b9856aae4b69be4a25b2818f86a83.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 9]: https://s1.51cto.com/images/blog/201903/07/e2d22b4f2ae5b965d7213703ac0356d0.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 10]: https://s1.51cto.com/images/blog/201903/07/4a0dd98b83c384fefea1bb69e6152d59.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 11]: https://s1.51cto.com/images/blog/201903/07/6da0d46ede0bce80937ba917eccd5ac6.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 12]: https://s1.51cto.com/images/blog/201903/07/340ed2006ed9d9d21ee22cee43f3f76d.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 13]: https://s1.51cto.com/images/blog/201903/07/f62ba3e2f9b51b7c6f1e3e0b4153c247.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 14]: https://s1.51cto.com/images/blog/201903/07/4962ac32d849a3b5668262bd7bbbde95.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 15]: https://s1.51cto.com/images/blog/201903/07/a89e5a576d866646518c843af1cbcc8a.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 16]: https://s1.51cto.com/images/blog/201903/07/53303f0a6287f6869c3793f523c36796.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 17]: https://s1.51cto.com/images/blog/201903/07/386d665486fce08e1eccfc9756a4e696.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 18]: https://s1.51cto.com/images/blog/201903/07/0603c77ea05c41dfe61a31e7986c0078.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 19]: https://s1.51cto.com/images/blog/201903/07/d24cad6f3296c63091c44294fedc5928.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 20]: https://s1.51cto.com/images/blog/201903/07/d2255d3223cbb01067666241b6f950c8.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 21]: https://s1.51cto.com/images/blog/201903/07/5e6265490f7e4666e152a0b3c46a185a.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 22]: https://s1.51cto.com/images/blog/201903/07/08bdd6cc992aa9b0877a9481b48435d6.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 23]: https://s1.51cto.com/images/blog/201903/07/356a52405ff4303c667bdf1c07dc24b9.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 24]: https://s1.51cto.com/images/blog/201903/07/db6f07125cf26bc2db594fa90f0a53a1.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 25]: https://s1.51cto.com/images/blog/201903/07/7a47c508625c11080e9cae797e2b90a3.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 26]: https://s1.51cto.com/images/blog/201903/07/a3c6d90e406a5491610ef53717d31481.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 27]: https://s1.51cto.com/images/blog/201903/07/7299cb9fb8a65b2821f4d0d4e9ff0875.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 28]: https://s1.51cto.com/images/blog/201903/07/8aafe1e6a9f9fbcc0846788fad1dc692.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 29]: https://s1.51cto.com/images/blog/201903/07/37cb776d8369946768142e3231c8b7d8.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 30]: https://s1.51cto.com/images/blog/201903/07/ed4b4da57740043e1ab0cfeec1deb03a.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 31]: https://s1.51cto.com/images/blog/201903/07/8fe6f15fbe4838ff184079a782127615.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 32]: https://s1.51cto.com/images/blog/201903/07/35061a2661a6ee62638bc5ddf2bcb9d1.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 33]: https://s1.51cto.com/images/blog/201903/07/ada40be6ee0ec265b691ec51a5782577.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 34]: https://s1.51cto.com/images/blog/201903/07/f4ab0a5f7bccf6ec5518c150859534a1.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 35]: https://s1.51cto.com/images/blog/201903/07/5527d01af211484bd46a28aed8f43641.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 36]: https://s1.51cto.com/images/blog/201903/07/f45375187fa7c074a65f2ccf2cadb0ea.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 37]: https://s1.51cto.com/images/blog/201903/07/daf3825a1f055bdc462d94a331bc2070.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 38]: https://s1.51cto.com/images/blog/201903/07/85f740fdf4e1ad342e1a1e0f43f99ac1.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 39]: https://s1.51cto.com/images/blog/201903/07/1461ddfea6189ed7483e1fe65adb38fe.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 40]: https://s1.51cto.com/images/blog/201903/07/ad62364532e0441a17735efd60e1192f.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 41]: https://s1.51cto.com/images/blog/201903/07/ad0be4e2d9eb5cb2177337be9aa5d21b.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 42]: https://s1.51cto.com/images/blog/201903/07/38cae48c1c3ebfa05fe9885e0a9f1076.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 43]: https://s1.51cto.com/images/blog/201903/07/05cc055a5fef3836826a1c2ba9ec3f86.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 44]: https://s1.51cto.com/images/blog/201903/07/529dc86a531513fdd7f7d32e6871975b.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 45]: https://s1.51cto.com/images/blog/201903/07/3bab6f14f9012e9c64f07ae5edcdd827.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 46]: https://s1.51cto.com/images/blog/201903/07/6376688d70326a85419215443b42d777.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 47]: https://s1.51cto.com/images/blog/201903/07/7c4d42fd222ec4d80159177916bcea4f.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 48]: https://s1.51cto.com/images/blog/201903/07/50bbb14eee3c95c86d112bde80d223e0.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 49]: https://s1.51cto.com/images/blog/201903/07/0c1bb13a31c9a1bff49095762aaba973.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 50]: https://s1.51cto.com/images/blog/201903/07/770de7b90895c52c7983768d14efb8ea.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 51]: https://s1.51cto.com/images/blog/201903/07/5ca3e42aafaaf49c9888f2ed7b24dbf0.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 52]: https://s1.51cto.com/images/blog/201903/07/84c98065e8849eb41534cc69d2fc1b9c.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 53]: https://s1.51cto.com/images/blog/201903/07/3416930c7656712371175119cb35af24.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 54]: https://s1.51cto.com/images/blog/201903/07/b2aec522ef1d8d191c4ce8612ebe1891.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 55]: https://s1.51cto.com/images/blog/201903/07/df5fb0b4c27b4654e949641cb6d1f218.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 56]: https://s1.51cto.com/images/blog/201903/07/1492c5f0a42c4b524be6307ec1989ea2.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 57]: https://s1.51cto.com/images/blog/201903/07/841f1523fbe69807be140a3adcb09ec8.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 58]: https://s1.51cto.com/images/blog/201903/07/73ffa17909b185eb324389406270eb7f.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 59]: https://s1.51cto.com/images/blog/201903/07/e8787e2220138e0105a2d119fcd59a86.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 60]: https://s1.51cto.com/images/blog/201903/07/10b93b1774bd4a2bd613715312b8f4df.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 61]: https://s1.51cto.com/images/blog/201903/07/c999a1504e92bce8bfbcc7763badc2c9.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 62]: https://s1.51cto.com/images/blog/201903/07/92652baa2ad4d70235864089ce7bcdf5.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 63]: https://s1.51cto.com/images/blog/201903/07/755466d55fe10f38dfa5750016645379.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 64]: https://s1.51cto.com/images/blog/201903/07/a36d2434ca4125413abbba41e2683314.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 65]: https://s1.51cto.com/images/blog/201903/07/b302016f8d27757c6c05e00b6dd55aeb.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 66]: https://s1.51cto.com/images/blog/201903/07/9b140bb95a9ca306c51b34f81b32e01c.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 67]: https://s1.51cto.com/images/blog/201903/07/8b7e2e426cc64bce8efac1110afbd17a.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 68]: https://s1.51cto.com/images/blog/201903/07/a4eb8bb4f09e6d2c26b3a9c1c91c8f0f.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 69]: https://s1.51cto.com/images/blog/201903/07/9bb71b84eee5b23193b231badb7705fc.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 70]: https://s1.51cto.com/images/blog/201903/07/fd000fd3d67b804dc342d7d07226a9f8.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 71]: https://s1.51cto.com/images/blog/201903/07/36b9ef3761096fae4d29e39b6ee732af.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 72]: https://s1.51cto.com/images/blog/201903/07/4ed530b0a866d8ae040339e6736ce059.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 73]: https://s1.51cto.com/images/blog/201903/07/020eabdcc8a6a084da5922d9b006aef4.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 74]: https://s1.51cto.com/images/blog/201903/07/8347ced65d454821f1b533355c621b91.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 75]: https://s1.51cto.com/images/blog/201903/07/927b22ea2e4f81aff62b3e918fd3e465.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 76]: https://s1.51cto.com/images/blog/201903/07/39421052fb91409abc1c4c674ff595ff.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 77]: https://s1.51cto.com/images/blog/201903/07/1b982493cd9945af56eda410d233da84.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 78]: https://s1.51cto.com/images/blog/201903/07/2ac0c3d98c8b8a603ab1c7839e20424c.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 79]: https://s1.51cto.com/images/blog/201903/07/a1fdb53debd95b59e03839020113791c.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 80]: https://s1.51cto.com/images/blog/201903/07/233aaea59cf7329c34e4673ef36dc73d.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 81]: https://s1.51cto.com/images/blog/201903/07/7fbd35211a06effb821975de81958426.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 82]: https://s1.51cto.com/images/blog/201903/07/03bd34de798dee996315adbee637ae50.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 83]: https://s1.51cto.com/images/blog/201903/07/49bb5c44db70aecf0d08d722d083a4db.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 84]: https://s1.51cto.com/images/blog/201903/07/fb121628d946e9a09216317580f28100.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 85]: https://s1.51cto.com/images/blog/201903/07/5609ef672a5454ca7eed8d42914439c3.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 86]: https://s1.51cto.com/images/blog/201903/07/1f16080f226a14e7ad78a9419ede087a.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 87]: https://s1.51cto.com/images/blog/201903/07/5ba02d96e7d849bfdd8251050b5d85da.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 88]: https://s1.51cto.com/images/blog/201903/07/8c5af0c1de761ba6caee659f215d8a3d.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 89]: https://s1.51cto.com/images/blog/201903/07/81c47c213674e75602da6063f76c6c98.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 90]: https://s1.51cto.com/images/blog/201903/07/8b738fed02ae3ac7b95b176b5753ca61.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 91]: https://s1.51cto.com/images/blog/201903/07/6fa771a970df1b253dd8635301a16ff5.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 92]: https://s1.51cto.com/images/blog/201903/07/2decbdc90a4acd89fefa2e9af756051e.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 93]: https://s1.51cto.com/images/blog/201903/07/bf24f13a412bb572c01c1afbd5063fa4.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 94]: https://s1.51cto.com/images/blog/201903/07/da1a1a7822aaa9444b4f2d25f443c6ad.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 95]: https://s1.51cto.com/images/blog/201903/07/aaced84abd14868ed50137a420202ad2.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 96]: https://s1.51cto.com/images/blog/201903/07/688458e7aad3e60a240c2c3f8bd2098b.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 97]: https://s1.51cto.com/images/blog/201903/07/b68844aa83b2de35e13374ffdf4e3f54.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 98]: https://s1.51cto.com/images/blog/201903/07/51419ecf3f0af2c5636aac358645bc4c.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 99]: https://s1.51cto.com/images/blog/201903/07/f29dfecaa5837acc6cbd8633ba524448.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 100]: https://s1.51cto.com/images/blog/201903/07/87d68eec1067d7acdfe6bcea8e85b926.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 101]: https://s1.51cto.com/images/blog/201903/07/599d8a040f7231b16602d04573769da6.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 102]: https://s1.51cto.com/images/blog/201903/07/5beaf79bf08603f27265cc2b55d5c239.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 103]: https://s1.51cto.com/images/blog/201903/07/ba88b3b86034ee5b6777dd61004ffb8c.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 104]: https://s1.51cto.com/images/blog/201903/07/a72334ae4209e6ece1abeabf9c8740f3.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 105]: https://s1.51cto.com/images/blog/201903/07/761c38304c8b97ae91dfee372d6e648f.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 106]: https://s1.51cto.com/images/blog/201903/07/6d11542c97bc50ced1e409b2dc30413d.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 107]: https://s1.51cto.com/images/blog/201903/07/79c1c62728f3df6c9c4d8aca0fb18d7a.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 108]: https://s1.51cto.com/images/blog/201903/07/2912347700dc12fe4c6a6135486818fd.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 109]: https://s1.51cto.com/images/blog/201903/07/61c289497c1ffdd7b89de6c44bde6ee3.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 110]: https://s1.51cto.com/images/blog/201903/07/3ff720943664340e4cdba9774a51f87b.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 111]: https://s1.51cto.com/images/blog/201903/07/d91a28724c6b23ad2a4e7788a2fdd982.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 112]: https://s1.51cto.com/images/blog/201903/07/ae732c43eb29a239437ad267d3d81f66.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 113]: https://s1.51cto.com/images/blog/201903/07/2108c4e2bc146ce4560d8d6f7a7910ad.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 114]: https://s1.51cto.com/images/blog/201903/07/9145f50af366fe64e12b31bf5eba3582.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 115]: https://s1.51cto.com/images/blog/201903/07/f4fdc124b876ef48757793e0c039f545.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 116]: https://s1.51cto.com/images/blog/201903/07/305e7c57e8aa8a89225e48cac9901855.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 117]: https://s1.51cto.com/images/blog/201903/07/bfcb6a320c078113048bb49083cb6844.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 118]: https://s1.51cto.com/101?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 119]: https://s1.51cto.com/images/blog/201903/07/4e220478a3f873e8522282e8ace73ec6.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 120]: https://s1.51cto.com/images/blog/201903/07/bb4a5c5b0f7b0c644c6ef7896115a02e.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 121]: https://s1.51cto.com/images/blog/201903/07/495452f2888a91b2df12a0eb986a464a.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 122]: https://s1.51cto.com/images/blog/201903/07/1e43940757ba365b794e480fbe23b907.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 123]: https://s1.51cto.com/images/blog/201903/07/1e27b611a8cd348afc03437d0cb88c2e.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 124]: https://s1.51cto.com/images/blog/201903/07/e57b624633f56774f8065210d932a0c1.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 125]: https://s1.51cto.com/images/blog/201903/07/4496a3e0137c71a7c7c8bd859c2381b5.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 126]: https://s1.51cto.com/images/blog/201903/07/9ae98b93f43288ae0ef39e88277e25c6.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 127]: https://s1.51cto.com/images/blog/201903/07/a7f81f1595190a12af713e19f98739df.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 128]: https://s1.51cto.com/images/blog/201903/07/48466f3541c9c79d4a861696eebb6b78.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 129]: https://s1.51cto.com/images/blog/201903/07/85196c50dfb9c0bf44ffa8875b7a37ec.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 130]: https://s1.51cto.com/images/blog/201903/07/9d4e9ed547ad5511a414fc33fe124b61.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 131]: https://s1.51cto.com/images/blog/201903/07/5fa0fe693360eb5bb02fec8e027692eb.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 132]: https://s1.51cto.com/images/blog/201903/07/c9a131a41cc653bffff68d82a5c99159.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 133]: https://s1.51cto.com/images/blog/201903/07/3468ff72e0a29afb064b772ae858ef02.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 134]: https://s1.51cto.com/images/blog/201903/07/79007e0152e08d3cd750fcd3db285b94.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[Oracle11g RAC 135]: https://s1.51cto.com/images/blog/201903/07/ddd8f21e151cb0826b76cd155f31c8bb.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[http_www.cnblogs.com_rootq_archive_2012_11_14_2769421.html]: http://www.cnblogs.com/rootq/archive/2012/11/14/2769421.html
[http_czmmiao.iteye.com_blog_2128771]: http://czmmiao.iteye.com/blog/2128771
[http_blog.csdn.net_tianlesoftware_article_details_42970129]: http://blog.csdn.net/tianlesoftware/article/details/42970129
[http_download.csdn.net_detail_renfengjun_4488454]: http://download.csdn.net/detail/renfengjun/4488454
[Oracle11g RAC 136]: https://s1.51cto.com/images/blog/201903/07/79c1c00e668346944c08fb79b0fd4422.png?x-oss-process=image/watermark,size16,textQDUxQ1RP5Y2a5a6i,colorFFFFFF,t100,gse,x10,y10,shadow90,typeZmFuZ3poZW5naGVpdGk=
[http_blog.sina.com.cn_s_blog6e2aeba30100pshi.html]: http://blog.sina.com.cn/s/blog6e2aeba30100pshi.html
[http_www.cnblogs.com_jimeper_archive_2012_12_09_2809724.html]: http://www.cnblogs.com/jimeper/archive/2012/12/09/2809724.html