安装一套RAC11G的测试环境，操作系统为Solaris 10，共享磁盘管理使用Volumn Cluster Manager，Oracle版本为1106。

记录一下本次RAC安装过程中遇到的错误。

Solaris10下安装Oracle1106RAC环境（一）：http://yangtingkun.itpub.net/post/468/467067

Solaris10下安装Oracle1106RAC环境（二）：http://yangtingkun.itpub.net/post/468/467250

Solaris10下安装Oracle1106RAC环境（三）：http://yangtingkun.itpub.net/post/468/467251

Solaris10下安装Oracle1106RAC环境（四）：http://yangtingkun.itpub.net/post/468/467252

首先碰到是由于共享存储没有设置成功。

对于配置好的VOLUMN CLUSTER MANAGER，只需要在主节点上使用vxassist make来创建裸设备，从节点上的对应的裸设备会自动创建。

开始的时候设置不正常，主节点划分裸设备后，从节点上没有自动创建。于是采用相同的命令在从节点上创建裸设备。

在Oracle的CLUSTER安装过程中，并没有报错，但是在节点2上执行cluster的配置脚本：/data/oracle/product/11.1/crs/root.sh的时候报错，错误信息如下：

root@newtrade2 # . /data/oracle/product/11.1/crs/root.sh
WARNING: directory '/data/oracle/product/11.1' is not owned by root
WARNING: directory '/data/oracle/product' is not owned by root
WARNING: directory '/data/oracle' is not owned by root
WARNING: directory '/data' is not owned by root
Checking to see if Oracle CRS stack is already configured

Setting the permissions on OCR backup directory
Setting up Network socket directories
Oracle Cluster Registry configuration upgraded successfully
The directory '/data/oracle/product/11.1' is not owned by root. Changing owner to root
The directory '/data/oracle/product' is not owned by root. Changing owner to root
The directory '/data/oracle' is not owned by root. Changing owner to root
The directory '/data' is not owned by root. Changing owner to root
Successfully accumulated necessary OCR keys.
Using ports: CSS=49895 CRS=49896 EVMC=49898 and EVMR=49897.
node <nodenumber>: <nodename> <private interconnect name> <hostname>
node 1: newtrade1 newtrade1-priv newtrade1
node 2: newtrade2 newtrade2-priv newtrade2
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
Now formatting voting device: /dev/vx/rdsk/datavg/vot1
Format of 1 voting devices complete.
Startup will be queued to init within 30 seconds.
Adding daemons to inittab
Expecting the CRS daemons to be up within 600 seconds.
Failure at final check of Oracle CRS stack.
10

而这个错误导致的原因就是共享存储没有设置成功。正常配置的情况下，不会出现这个错误信息。

第二个错误和第一个错误有关，由于发生了第一个错误，导致CLUSTER安装失败，当时只是通过runInstaller工具清除了CLUSTER安装部分，而彻底清除环境，导致第二次安装完成后，执行/data/oracle/product/11.1/crs/root.sh脚本的时候报错，错误信息为：

root@newtrade1 # . /data/oracle/product/11.1/crs/root.sh
Checking to see if Oracle CRS stack is already configured
Oracle CRS stack is already configured and will be running under init(1M)

尝试手工启动crs：

root@newtrade1 # /etc/init.d/init.crs start
Startup will be queued to init within 30 seconds.

等待很长时间，CLUSTER也没有正常启动，检查/tmp目录下对应的日志文件：

root@newtrade1 # more crsctl.2209
Oracle Cluster Registry initialization failed with invalid format: PROC-22: The OCR backend has an invalid format
root@newtrade1 # more crsctl.2211
Oracle Cluster Registry initialization failed with invalid format: PROC-22: The OCR backend has an invalid format
root@newtrade1 # more crsctl.2217
Oracle Cluster Registry initialization failed with invalid format: PROC-22: The OCR backend has an invalid format

需要进行的操作是将整个CLUSTER环境完整的清除。关于清除CLUSTER环境可以参考文章：

11g可以通过crs目录下的install/rootdelete.sh来清除root环境：

root@newtrade1 # cd /data/oracle/product/11.1/database/install
root@newtrade1 # ./rootdelete.sh remote nosharedvar
Getting local node name
NODE = newtrade1
PRKO-2006 : Invalid node name: newtrade1
Oracle Cluster Registry initialization failed with invalid format: PROC-22: The OCR backend has an invalid format
Oracle CRS stack is not running.
Oracle CRS stack is down now.
Removing script for Oracle Cluster Ready services
Updating ocr file for downgrade
Cleaning up SCR settings in '/var/opt/oracle/scls_scr'
Cleaning up Network socket directories

在节点1和节点2分别执行上面的操作，然后利用runInstaller来删除安装的环境，最后是通过操作系统命令删除对应的路径。

然后重新安装CLUSTER即可。

第三个错误是安装Oracle Database软件过程中碰到的错误，Oracle报错：

Unable to create directory /data/oracle. You may not have the proper permission to create the directory, or there is no space left in the volume.

Unable to create the Oracle Base you have specified.

这个错误是由于11g的Cluster安装完成后，将目录的属主改为了root。

root@newtrade1 # ls -l /data
total 4954390
drwxr-xr-x 10 oracle oinstall 512 Nov 11 2007 clusterware
drwxr-xr-x 6 oracle oinstall 512 Jul 11 14:52 database
drwx------ 2 oracle oinstall 8192 Jul 8 17:26 lost+found
drwxr-xr-x 4 root oinstall 512 Jul 11 15:01 oracle
-rw-r--r-- 1 oracle oinstall 495223321 Jul 8 23:06 solaris.sparc64_11gR1_clusterware.zip
-rw-r--r-- 1 oracle oinstall 2040142241 Jul 8 23:52 solaris.sparc64_11gR1_database.zip

Oracle的cluster安装之后运行的脚本会改变CLUSTER目录为root属主，这是正常的，不过11g不但改变了CLUSTER目录的属主，连其的父目录也一起进行了修改，因此这里需要手工将其他目录改回oracle用户属主，在两个节点分别运行：

root@newtrade1 # chown oracle:oinstall /data
root@newtrade1 # chown oracle:oinstall /data/oracle
root@newtrade1 # chown oracle:oinstall /data/oracle/product
root@newtrade1 # chown oracle:oinstall /data/oracle/product/11.1

然后就可以顺利的进行安装了。

第四个问题是由于RAC数据库的特殊性，需要先配置监听，然后在创建数据库。如果这里顺序错误，那么DBCA会出现下面的提示：

Failed to retrieve network listener resources required for the Real Application Clusters high availability extensions configurations on the following nodes:[newtrade1, newtrade2].

Do you want listeners on port 1521 with prefix LISTENER to be created on nodes [newtrade1, newtrade2] automatically? If you world like to configure the listener with differenct properties, run NetCA before continuing.

根据描述，这里可以有两种方法，如果运行默认的设置，那么只要直接点击NEXT就可以了，如果需要对监听进行自定义设置，那么需要另启动一个窗口，利用NETCA工具设置监听后，在返回当前页面进行安装。

总的来说，有了前面几次安装10.2的经历，这次11g RAC的安装还是比较顺利的，就是由于共享存储的设置不当，引发了几个问题，其他部分还是相当顺利的。

杨兄写的文章真是一个棒！收益非浅啊

偶安装1106的RAC一次过的
不过是平台是AS5,难度系数低了一点点.

linux上安装和Solaris的安装还是有不少区别的。