Solaris 10(x86)构建Oracle 11gR2 RAC之--配置系统环境（1）

蔚落 2022-08-07 10:40 10阅读 0赞

**Solaris 10(x86)构建Oracle 11gR2 RAC之--配置系统环境（1）**

**系统环境：**

**操作系统：Solaris 10（x86-64）**

**Cluster： Oracle GRID 11.2.0**

**Oracle：  Oracle 11.2.0.1.0**

**如图所示：RAC 系统架构**

**[![wKioL1TCBmLDm03UAAIfxyj414U232.jpg][]][wKioL1TCBmLDm03UAAIfxyj414U232.jpg]**

**对于Oracle 11G构建RAC首先需要构建GI(Grid Infrastructure)的架构**

Oracle 11g第二版在新功能上与第一版有了很大的改进，这里把本次安装用到的新功能简单介绍一下，其中主要是把Clusterware 集群件集成到了Grid网格组件中，并且添加了Grid Naming Service(GNS)网格名称服务提供名称转换，这样两个RAC节点的虚拟IP地址(VIP)可以通过DHCP自动获取，不需要手工指定了，这是变化比较大的一点；

还有Cluster Time Synchronization Service(CTSS)集群时间同步服务，在没有NTP服务时，该功能可以保证所有RAC节点的时间保持一致；ASM可以作为统一的存储把Oracle Cluster Registry(OCR)和Voting disks统一安装在ASM磁盘上，不再需要单独安装集群文件系统了，11g第二版也不再支持裸设备了(之前可以把集群件安装到裸设备上)；

还有一个有趣的功能SCAN(Single Client Access Name)即单客户端访问名称而且该功能包括了Failover故障自动切换功能，在访问集群是只写一个SCAN名称就可以了，不需要象以前要把所有节点的VIP写在应用程序的配置文件里面了，这样就大大方便了客户端程序对RAC系统的访问，但该功能需要DNS服务器的支持，这个功能本文中会重点介绍因为我是一个应用程序员感觉这是一个最好的新功能，在用Spring框架连接RAC系统时也非常方便；还有一些新特性如

Automatic Storage Management Cluster File System(ACFS) ASM集群文件系统和Intelligent Platform. Management Interface(IPMI)集成等。

**本案例，通过Solairs 10（x86-64)系统，构建Oracle 11g 的RAC;共享存储采用RAW+ASM的方式进行管理。**

**一、系统环境配置 （在所有node）**

**1、操作系统:**

[root@node1:/]# uname -a
    SunOS node1 5.10 Generic_142910-17 i86pc i386 i86pc
    
    [root@node1:/]# isainfo -kv
    64-bit amd64 kernel modules

**2、网络配置:**

[root@node1:/]# cat /etc/hosts
    #
    # Internet host table
    #
    ::1     localhost       
    127.0.0.1       localhost       
    192.168.8.11   node1    loghost
    192.168.8.13   node1-vip
    10.10.10.11    node1-priv
    
    192.168.8.12   node2
    192.168.8.14   node2-vip
    10.10.10.12    node2-priv
    
    192.168.8.15   scan-ip
    
    ---本案例为测试环境，没有配置DNS Server；对于SCAN ip采用hosts文件解析
    
    网卡配置信息：
    [root@node1:/]# ifconfig -a
    lo0: flags=2001000849<UP,LOOPBACK,RUNNING,MULTICAST,IPv4,VIRTUAL> mtu 8232 index 1
            inet 127.0.0.1 netmask ff000000 
    e1000g0: flags=1000843<UP,BROADCAST,RUNNING,MULTICAST,IPv4> mtu 1500 index 2
            inet 192.168.8.11 netmask ffffff00 broadcast 192.168.8.255
            ether 8:0:27:e9:13:c7 
    e1000g0:1: flags=1000843<UP,BROADCAST,RUNNING,MULTICAST,IPv4> mtu 1500 index 2
            inet 192.168.8.13 netmask ffffff00 broadcast 192.168.8.255
    e1000g1: flags=1000843<UP,BROADCAST,RUNNING,MULTICAST,IPv4> mtu 1500 index 3
            inet 10.10.10.11 netmask ffffff00 broadcast 10.10.10.255
            ether 8:0:27:54:d5:2c 
            
    [root@node2:/]# ifconfig -a
    lo0: flags=2001000849<UP,LOOPBACK,RUNNING,MULTICAST,IPv4,VIRTUAL> mtu 8232 index 1
            inet 127.0.0.1 netmask ff000000 
    e1000g0: flags=1000843<UP,BROADCAST,RUNNING,MULTICAST,IPv4> mtu 1500 index 2
            inet 192.168.8.12 netmask ffffff00 broadcast 192.168.8.255
            ether 8:0:27:9f:cd:76 
    e1000g0:1: flags=1000843<UP,BROADCAST,RUNNING,MULTICAST,IPv4> mtu 1500 index 2
            inet 192.168.8.14 netmask ffffff00 broadcast 192.168.8.255
    e1000g1: flags=1000843<UP,BROADCAST,RUNNING,MULTICAST,IPv4> mtu 1500 index 3
            inet 10.10.10.12 netmask ffffff00 broadcast 10.10.10.255
            ether 8:0:27:3c:6d:ce

**3、 建立oracle、grid用户和组：**

[root@node1:/]# cat mkusr.sh
    groupadd  -g 200 oinstall
    groupadd  -g 201 dba
    groupadd  -g 202 oper
    groupadd  -g 203 asmadmin
    groupadd  -g 204 asmoper
    groupadd  -g 205 asmdba
    
    useradd -u 200 -g oinstall -G dba,asmdba,oper -d /export/home/oracle -m -s /usr/bin/bash oracle
    
    useradd -u 201 -g oinstall -G asmadmin,asmdba,asmoper,oper,dba -d /export/home/grid -m -s /usr/bin/bash grid
    
    [root@node1:/]# id -a oracle
    uid=200(oracle) gid=200(oinstall) groups=201(dba),202(oper),205(asmdba)
    [root@node1:/]# id -a grid
    uid=201(grid) gid=200(oinstall) groups=201(dba),202(oper),203(asmadmin),204(asmoper),205(asmdba)

**4、建立相应安装目录：**

[root@node1:/]# cat mkdir.sh
    mkdir -p /export/home/oraInventory
    chown -R grid:oinstall /export/home/oraInventory/
    chmod -R 775 /export/home/oraInventory/
    mkdir -p /export/home/11.2.0/grid
    chown -R grid:oinstall /export/home/11.2.0/grid/
    chmod -R 775 /export/home/11.2.0/grid/
    mkdir -p /export/home/ora11
    mkdir -p /export/home/ora11/cfgtoollogs
    mkdir -p /export/home/ora11/product/11.2.0/db_1
    chown -R oracle:oinstall /export/home/ora11
    chmod -R 775 /export/home/ora11
    
    [root@node1:/]# ls -l /export/home
    total 26
    drwxr-xr-x   3 root     root         512 Jan 22 16:18 11.2.0
    drwxr-xr-x   2 grid     oinstall     512 Jan 22 16:10 grid
    drwx------   2 root     root        8192 Oct 15  2013 lost+found
    drwxrwxr-x   4 oracle   oinstall     512 Jan 22 16:18 ora11
    drwxrwxr-x   2 grid     oinstall     512 Jan 22 16:18 oraInventory
    drwxr-xr-x   2 oracle   oinstall     512 Jan 22 16:11 oracle

**5、建立oracle、grid用户环境变量:**

[oracle@node1:/export/home/oracle]$ cat .profile
    export EDITOR=vi
    export ORACLE_SID=prod1      ;; ORACLE_SID=prod2  (node2)
    export ORACLE_BASE=/export/home/ora11
    export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1
    export LD_LIBRARY_PATH=$ORACLE_HOME/lib
    export PATH=$ORACLE_HOME/bin:/bin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/X11R6/bin
    umask 022
    
    [grid@node1:/export/home/grid]$ cat .profile
    export EDITOR=vi
    export ORACLE_SID=+ASM1      ;;ORACLE_SID=+ASM2  (node2)
    export ORACLE_BASE=/export/home/ora11
    export ORACLE_HOME=/export/home/11.2.0/grid
    export GRID_HOME=/export/home/11.2.0/grid
    export LD_LIBRARY_PATH=$ORACLE_HOME/lib
    export THREADS_FLAG=native
    export PATH=$ORACLE_HOME/bin:/bin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/X11R6/bin
    umask 022

**6、配置网络参数（用于cache fusion）**

检查网络参数：
    [root@node1:/]# /usr/sbin/ndd /dev/tcp tcp_smallest_anon_port tcp_largest_anon_port
    32768
    65535
    
    [root@node1:/]# cat mknet.sh
    /usr/sbin/ndd -set /dev/tcp tcp_smallest_anon_port 9000
    /usr/sbin/ndd -set /dev/tcp tcp_largest_anon_port 65500
    /usr/sbin/ndd -set /dev/udp udp_smallest_anon_port 9000
    /usr/sbin/ndd -set /dev/udp udp_largest_anon_port 65500
    
    [root@node1:/]# /usr/sbin/ndd /dev/tcp tcp_smallest_anon_port tcp_largest_anon_port
    9000
    65500

**7、修改内核参数：**

[root@node2:/]# cat /etc/system
    set noexec_user_stack=1
    set semsys:seminfo_semmni=100
    set semsys:seminfo_semmns=1024
    set semsys:seminfo_semmsl=256
    set semsys:seminfo_semvmx=32767
    set shmsys:shminfo_shmmax=4294967295
    set shmsys:shminfo_shmmni=100

**8、配置shell资源访问：**

[root@node1:/]# cat /etc/profile
    ulimit -t unlimited
    ulimit -f unlimited
    ulimit -d unlimited
    ulimit -s unlimited
    ulimit -n unlimited
    ulimit -v unlimited

**二、配置共享存储**

对于Oracle 11g RAC,在共享存储中OCR和VOTE磁盘，不能再采用裸设备，而都是通过ASM磁盘组进行管理。
        OCR和VOTE磁盘：(建立ASM NORMAL REDUNDANCY)
        OCR_VOTE DISK1             /dev/rdsk/c0t2d0s0
        OCR_VOTE DISK1             /dev/rdsk/c0t2d0s1
        OCR_VOTE DISK1             /dev/rdsk/c0t2d0s3
        
        DataBase磁盘：(建立ASM NORMAL REDUNDANCY)
        ASM_DATA1                  /dev/rdsk/c0t2d0s4
        ASM_DATA2                  /dev/rdsk/c0t2d0s5
        
        RECOVERY AREA:(建立ASM NORMAL REDUNDANCY) 
        ASM_RCY1                   /dev/rdsk/c0t2d0s6
        ASM_RCY1                  /dev/rdsk/c0t2d0s7

**1、建立磁盘分区（raw）（在node1）**

**注意：**

**     在分区时，不能从Cylinder 0开始，而应该从Cylinder 1开始，进行分区，建立raw设备。**

[root@node1:/]# format 
    Searching for disks...done
    AVAILABLE DISK SELECTIONS:
           0. c0t0d0 <DEFAULT cyl 2607 alt 2 hd 255 sec 63>
              /pci@0,0/pci8086,2829@d/disk@0,0
           1. c0t2d0 <DEFAULT cyl 2608 alt 2 hd 255 sec 63>
              /pci@0,0/pci8086,2829@d/disk@2,0
    Specify disk (enter its number): 1
    selecting c0t2d0
    [disk formatted]
    format> p
    WARNING - This disk may be in use by an application that has
              modified the fdisk table. Ensure that this disk is
              not currently in use before proceeding to use fdisk.
    format> fdisk
    No fdisk table exists. The default partition for the disk is:
      a 100% "SOLARIS System" partition
    Type "y" to accept the default partition,  otherwise type "n" to edit the
     partition table.
    y
    
    partition> 0
    Part      Tag    Flag     Cylinders        Size            Blocks
      0 unassigned    wm       0               0         (0/0/0)           0
    Enter partition id tag[unassigned]: 
    Enter partition permission flags[wm]: 
    Enter new starting cyl[0]: 1
    Enter partition size[0b, 0c, 1e, 0.00mb, 0.00gb]: 1024mb
    
    partition> 1
    Part      Tag    Flag     Cylinders        Size            Blocks
      1 unassigned    wm       0               0         (0/0/0)           0
    Enter partition id tag[unassigned]: 
    Enter partition permission flags[wm]: 
    Enter new starting cyl[0]: 132
    Enter partition size[0b, 0c, 132e, 0.00mb, 0.00gb]: 1024mb
    
    partition> 3
    Part      Tag    Flag     Cylinders        Size            Blocks
      3 unassigned    wm       0               0         (0/0/0)           0
    Enter partition id tag[unassigned]: 
    Enter partition permission flags[wm]: 
    Enter new starting cyl[0]: 263
    Enter partition size[0b, 0c, 263e, 0.00mb, 0.00gb]: 1024mb
    
    partition> 4
    Part      Tag    Flag     Cylinders        Size            Blocks
      4 unassigned    wm       0               0         (0/0/0)           0
    Enter partition id tag[unassigned]: 
    Enter partition permission flags[wm]: 
    Enter new starting cyl[0]: 394
    Enter partition size[0b, 0c, 394e, 0.00mb, 0.00gb]: 5gb
    
    partition> 5
    Part      Tag    Flag     Cylinders        Size            Blocks
      5 unassigned    wm       0               0         (0/0/0)           0
    Enter partition id tag[unassigned]: 
    Enter partition permission flags[wm]: 
    Enter new starting cyl[0]: 1047 
    Enter partition size[0b, 0c, 1047e, 0.00mb, 0.00gb]: 5gb
    
    partition> 5
    Part      Tag    Flag     Cylinders        Size            Blocks
      5 unassigned    wm       0               0         (0/0/0)           0
    Enter partition id tag[unassigned]: 
    Enter partition permission flags[wm]: 
    Enter new starting cyl[0]: 1047 
    Enter partition size[0b, 0c, 1047e, 0.00mb, 0.00gb]: 5gb
    
    partition> 6
    Part      Tag    Flag     Cylinders        Size            Blocks
      6 unassigned    wm       0               0         (0/0/0)           0
    Enter partition id tag[unassigned]: 
    Enter partition permission flags[wm]: 
    Enter new starting cyl[0]: 1700
    Enter partition size[0b, 0c, 1700e, 0.00mb, 0.00gb]: 3gb
    
    partition> 7
    Part      Tag    Flag     Cylinders        Size            Blocks
      7 unassigned    wm       0               0         (0/0/0)           0
    Enter partition id tag[unassigned]: 
    Enter partition permission flags[wm]: 
    Enter new starting cyl[0]: 2092
    Enter partition size[0b, 0c, 2092e, 0.00mb, 0.00gb]: 3gb
    partition> p
    Current partition table (unnamed):
    Total disk cylinders available: 2607 + 2 (reserved cylinders)
    Part      Tag    Flag     Cylinders        Size            Blocks
      0 unassigned    wm       1 -  131        1.00GB    (131/0/0)   2104515
      1 unassigned    wm     132 -  262        1.00GB    (131/0/0)   2104515
      2     backup    wu       0 - 2606       19.97GB    (2607/0/0) 41881455
      3 unassigned    wm     263 -  393        1.00GB    (131/0/0)   2104515
      4 unassigned    wm     394 - 1046        5.00GB    (653/0/0)  10490445
      5 unassigned    wm    1047 - 1699        5.00GB    (653/0/0)  10490445
      6 unassigned    wm    1700 - 2091        3.00GB    (392/0/0)   6297480
      7 unassigned    wm    2092 - 2483        3.00GB    (392/0/0)   6297480
      8       boot    wu       0 -    0        7.84MB    (1/0/0)       16065
      9 unassigned    wm       0               0         (0/0/0)           0
    
    partition> label
    Ready to label disk, continue? y
    partition> quit
    
    在node2查看磁盘分区信息：
    [root@node2:/]# format
    Searching for disks...done
    AVAILABLE DISK SELECTIONS:
           0. c0t0d0 <DEFAULT cyl 2607 alt 2 hd 255 sec 63>
              /pci@0,0/pci8086,2829@d/disk@0,0
           1. c0t2d0 <DEFAULT cyl 2607 alt 2 hd 255 sec 63>
              /pci@0,0/pci8086,2829@d/disk@2,0
    Specify disk (enter its number): 1
    selecting c0t2d0
    [disk formatted]
    ......
    partition> p
    Current partition table (original):
    Total disk cylinders available: 2607 + 2 (reserved cylinders)
    Part      Tag    Flag     Cylinders        Size            Blocks
      0 unassigned    wm       1 -  131        1.00GB    (131/0/0)   2104515
      1 unassigned    wm     132 -  262        1.00GB    (131/0/0)   2104515
      2     backup    wu       0 - 2606       19.97GB    (2607/0/0) 41881455
      3 unassigned    wm     263 -  393        1.00GB    (131/0/0)   2104515
      4 unassigned    wm     394 - 1046        5.00GB    (653/0/0)  10490445
      5 unassigned    wm    1047 - 1699        5.00GB    (653/0/0)  10490445
      6 unassigned    wm    1700 - 2091        3.00GB    (392/0/0)   6297480
      7 unassigned    wm    2092 - 2483        3.00GB    (392/0/0)   6297480
      8       boot    wu       0 -    0        7.84MB    (1/0/0)       16065
      9 unassigned    wm       0               0         (0/0/0)           0
    
    修改raw设备属性（所有node）：
    [root@node1:/]# chown grid:asmadmin /dev/rdsk/c0t2d0s*
    [root@node1:/]# chmod 660 /dev/rdsk/c0t2d0s*
    [root@node1:/]# ls -l /devices/pci@0,0/pci8086,2829@d/disk@2,0:a,raw
    crw-rw----   1 grid   asmadmin      30, 128 Jan 22 17:31 /devices/pci@0,0/pci8086,2829@d/disk@2,0:a,raw

\---未完待续.....

本文出自 “[天涯客的blog][blog]” 博客，请务必保留此出处[http://tiany.blog.51cto.com/513694/1607483][http_tiany.blog.51cto.com_513694_1607483]

[wKioL1TCBmLDm03UAAIfxyj414U232.jpg]: /images/20220805/060b6759b2cd43f99a39d7cc9f8e51df.png
[blog]: http://tiany.blog.51cto.com
[http_tiany.blog.51cto.com_513694_1607483]: http://tiany.blog.51cto.com/513694/1607483