一、使用惠普3par工具配置共享儲存

該部分可由惠普工作人員協助配置，只需將需求告知即可。如果想自己配置，惠普廠商會發送相關的軟體工具以及操作手冊給使用者。

用putty登陸共享儲存，使用showpd -c可以檢視當前陣列櫃的容量及使用情況
說明：當刪除已經建立的虛擬卷時，磁碟空間釋放得特別慢，所以在建立虛擬卷時最好規劃好資源配置。

二、RAC搭建

1、在主機上安裝作業系統：

2、配置RAC環境（包括依賴包的安裝，使用者及使用者組建立，相關環境變數的設定，建立路徑等），該部分網上有很多文件，具體可參考《一步一步在linux上安裝11.2.0.3.0 RAC+Datagard》或者http://www.zhaibibei.cn/oinstall/2.4/

3、使用主機識別共享儲存：

　　3par工具建立好虛擬卷並匯出到主機後，需重啟主機才能識別到，執行fdisk -l 後會看到很多容量相同的磁碟，這是因為3par提供了多路徑配置的功能，相關資訊可以參考：https://zhuanlan.zhihu.com/p/26714897，這裡我們不配置多路徑。按照字母順序選擇前面的幾個磁碟組進行格式化，格式化方法《一步一步在linux上安裝11.2.0.3.0 RAC+Datagard》中有，這裡的意思是假如你建立了五個大小不一樣的虛擬卷，主機會識別到二十個甚至更多（跟光纖卡的個數有關），只需選擇字母排序靠前的前五個大小不一樣的進行格式化即可，格式化後可以看到所有的磁碟都被格式了。　
　　然後安裝oracleasm包，之後進行ASM磁碟的建立，最後進行grid的安裝，grid安裝的最後會報一個PRVF-4657錯誤，該錯誤是由於沒配置DNS導致的，可以忽略，詳細情況可以檢視：

三、進行ASM儲存擴容：

　　在3par工具上新增一個虛擬卷，並匯出到相關主機，RAC主機需要重啟才能識別到新的卷。

首先關庫：

[[email protected] ~]$ srvctl start database -d cdsfc

再關叢集：

[[email protected] bin]#./crsctl stop cluster -all 

最後重啟伺服器，伺服器重啟之後使用fdisk -l檢視，已經能看到新建的卷，然後在節點一上使用oracleasm createdisk 命令建立共享磁碟，在節點二上使用oracleasm scandisks 掃描磁碟，使用oracleasm listdisks 確保兩個節點都能看到新建的共享磁碟，然後在grid使用者下使用sqlplus / as sysasm 登陸

SQL> select group_number,name,TOTAL_MB, FREE_MB from v$asm_diskgroup;--檢視已有的磁碟組

SQL> alter diskgroup DATA  add disk  'ORCL:VOL4' rebalance power 10; --線上增加磁碟的容量

SQL> ALTER DISKGROUP DATA1 REBALANCE POWER 1; --修改rebalance引數為預設值1

四、更改RAC的IP地址，這裡不包括私網：

1、在grid使用者下關閉監聽，兩個節點分別操作 >> lsnrctl stop

2、在一個節點的grid使用者下關閉整個rac資料庫 >> srvctl stop database -d cdsfc

3、關閉叢集，root使用者下，進入到grid/bin目錄下 >> ./crsctl stop cluster -all  會停止所有節點的叢集，如果只需關閉單個節點的叢集，不加後面的all

4、備份OCR檔案，也是在bin目錄下  >> ./ocrconfig -export /temp/ocrexp.exp      恢復時把export改為 import就好

5、關閉CRS >> ./crsctl stop crs

6、更改/etc/hosts檔案，注意只更改相應的IP，主機名不能更改，然後更改網絡卡，更改完成後重啟網路，使新的IP生效。

7、開啟CRS，開啟CRS時會把相關的叢集服務拉起來

8、手動更改rac節點的vip資訊，分別在兩個節點上使用root使用者進入到grid/bin 目錄下執行，由於需要更改scan-IP，所以需要 停止scan服務

檢視scan-IP資訊  >>./srvctl config scan 
停止scan監聽，必須停止該監聽，否則下一步停止scan服務時會報錯 >>./srvctl stop scan_listener     
停止scan服務 >>./srvctl stop scan                   
檢視scan服務狀態 >>./srvctl status scan  
檢視當前vip資訊 >> ./oifcfg getif

然後開始使用命令更改IP資訊，由於rac更改IP需要更改ocr檔案裡的配置資訊，所以需要使用以下命令更改：

節點一：其中紅色部分需要更換為自己的IP資訊，rac1為主機名 >> ./srvctl modify nodeapps -A 10.10.10.10/255.255.255.0/eth0 -n rac1   

節點二：>> ./srvctl modify nodeapps -A 10.10.10.10/255.255.255.0/eth0 -n rac2   

其中一個節點：>> ./srvctl modify scan -n 10.10.10.10

9、啟動scan_listener，scan
啟動scan服務 >> ./srvctl start scan
啟動scan監聽 >>./srvctl start scan_listener

完成後可用步驟8中的命令檢視更改後的vip以及scan-IP資訊，到此為rac更改IP的動作完成，需要注意的是上述步驟中沒有更改私網的IP，且是同網段之間更改，如果需要更改私網IP或者是不同網段之間更換，需要在上述步驟8之前使用oifcfg修改閘道器，詳情可參考https://blog.csdn.net/tianlesoftware/article/details/5362925。