使用crsctl 命令來檢查CRS資源狀態
#./crsctl status resource -t

GI（grid Infrastructure）在ASM下固定的三種類型的檔案存在
Oracle叢集的註冊檔案 OCR
表決檔案 VOTE File
ASM例項的共享SPFILE檔案

11g R2在高可用性方面增加了兩個新的資料庫型別：
Restart Database
Rac one Node Database

RAC的瓶頸在於 Cache Fusion會消耗大量伺服器間的是有網路資源。
方案：支援伺服器新增多個網絡卡組成使用網路，提高使用網路的頻寬。
11.2.0.2 Clusterware之前，隔離特性是 “fast reboot” 即立即重啟，不等待任何事件的完成。
11.2.0.2 Clusterware中，會要求叢集中的元件不必引起節點的立即隔離（重啟），而是會先嚐試對叢集中失敗的元件做一次清理工作，即重啟失敗的元件。如果清理失敗的元件未成功，為了強制清理在執行節點的重啟。

當提出一個節點時，Clusterware會首先嚐試關閉該節點的所有資源，特別是將產生的I/O的程序殺掉，在繼續操作之前確保這IE程序被完全停止，如果因為某些原因不是所有的資源都被停止，或者產生的I/O的程序沒有完全地被停止，Clusterware能然會執行一個重啟操作，或者使用IPMI從叢集中強制提出這個節點。
而當所有資源都能被停止，並且產生的I/O程序全部被殺掉，Clusterware將在各自的節點關閉自己，但被關閉之後將嘗試重啟。 從Oracle高可用性服務守護程序開始，類似於伺服器重啟之後執行的啟動過程

叢集在時間節點中，由於個別節點突然進行時間調整，會導致節點被踢出。那麼叢集提供了時間同步的的服務  
    CTSS   對應的OCTSSD  (Oracle Cluster Time Synchronization Service Daemon)程序  。在安裝的時候只需要確保NTP服務不存在，或沒有被使用，CTSS服務將自動被啟用。。它是擁有主動性的服務，在有NTP時，便只觀察。在沒有NTP後，則開始啟用狀態。
 

#./crsctl check ctss 確定CTSS所在的模式。
Observer Mode（觀察模式）
Active Mode (活動模式)
[[email protected]]$ cluvfy comp clocksync 驗證使用何種時間同步服務方式。（此命令不能在root使用者下執行）
[[email protected]]$ cluvfy comp list 使用cluvfy的幫助。。。。

Clusterware 磁碟檔案
Clusterware 叢集軟體執行需要的磁碟檔案包括：OCR(Oracle叢集登錄檔)、Votedisk(表決磁碟)，11gR2新引入的OLR（本地登錄檔）。
其中OCR與Votedisk 必須存放在共享儲存上。
ohasd 啟動的時候會使用OLR中的資訊。
對於OCR和表決磁碟的ASM磁碟組來說，每個ASM磁碟至少需要1GB的有效儲存空間。
表決磁碟的讀寫都是由ocssd程序完成的
為了提供Clusterware的穩定性，表決磁碟應配置多個，且為奇數。
表決磁碟的任何配置都將自動新增到OCR備份檔案中，表決磁碟資料通過CRSCTL攻擊自動還原到任何新增的表決磁碟中。

增加表決磁碟(表決磁碟最多可以有15個)
# crsctl add css votedisk
刪除表決磁碟
# crsctl delete css votedisk +DATA(在ASM中增加表決磁碟)
如果所有節點上的Oracle Clusterware 都已經關閉，請使用-force選項
# crsctl add css votedisk
# crsctl delete css votedisk -force
在活動狀態下 -force 將不可用，且不能加上這個引數。

crsctl add css votedisk path

crsctl delete css votedisk path

EG：# crsctl add css votedisk '/dev/raw/raw/raw3'

將votedisk從磁碟組A1移動到B1

crsctl replace votedisk +B1

  注意：備份和恢復 voting disk  在11.2版本中。voting disk 是自動備份在OCR中，如果voting disk損壞，則可以替換或重建voting disk.替換是通過先刪除損壞的在增加一個新的voting disk來完成的。voting disk的內容從備份中恢復回來錄一個增加一個新的voting disk。
       注：可以不用備份voting disk
  在ASM中  
       crsctl start crs -excl
       crsctl replace votedisk +ASM_NAME
  在檔案系統中
       crsctl start crs -excl
       crsctl delete css votedisk 'path'
       crsctl add css votedisk 'path'

其中path是全限定路徑。
#crsctl query css votedisk 命令列出當前所使用的表決磁碟，有助於確定要備份的表決磁碟。
11gR2之前備份 表決磁碟命令

dd if=/dev/raw/raw2 of=/oracle/backup/votedisk_0.bak

恢復表決磁碟命令

dd if=/oracle/backup/votedisk0.bak of=/dev/raw/raw2

啟動表決磁碟 votedisk

./crsctl start crs

在ASM下新增表決磁碟
建立ASM磁碟組
sql> create diskgroup VOTE normal redundancy disk ‘/dev/asm-diskj’,’/dev/asm-diskk’,’/dev/asm-diskl’ ATTRIBUTE ‘compatible.rdbms’=‘11.2’,‘compatible.asm’ = ‘11.2’;
將表決磁碟更改到ASM磁碟組中
#./crsctl replace votedisk +VOTE

磁碟心跳在表決磁碟中的檢測
#./crsctl get css disktimeout

叢集登錄檔（OCR --Oracle Cluster Registry）
OCR最多可以定義五個OCR的位置，且必須有一個在共享磁碟上。
如果其中一個OCR出現損壞，通過使用OCRCONFIG管理工具可以很容易地實現失敗OCR檔案的聯機替換。
OCR ocrconfig工具的使用（ocrcheck/ocrdump共三種管理工具）
檢視ocrconfig工具的幫助
[[email protected]**]$ ocrconfig --help
ocrconfig 工具在使用時會在$ORACLE_HOME/log/HOST_NAME/client/ocrconfig_.log中建立日誌檔案，需確保grid使用者對這個目錄有建立的許可權。

Oracle通過/etc/oracle/ocr.loc檔案中的記錄確定OCR檔案和映象檔案的儲存位置。
# vim /etc/oracle/orc.loc
對RAC執行大的操作之前，都應該對OCR進行一次手動的備份
（自動備份）
4個小時：CRS會保留最後3個副本。
每天結束時:CRS會保留最後2個副本。
每週結束時:CRS會保留最後2個副本。
1、手動備份
先配置備份地址
# ./ocrconfig -backuploc 檔案路徑名稱,可以在當前目錄下生成效驗的日誌檔案，來檢查備份檔案。
注意：在11.2.0.4之前，只有OCR相容的裝置上，這個命令才可以用。
可以將OCR的備份位置調整到OCR相容的儲存裝置上。
# ./ocrconfig -manualbackup （手動備份命令）
# ./ocrconfig -showbackup (檢查可用的OCR備份)
匯出的方法備份
# ./ocrconfig -export /home/grid/ (只能匯入到grid使用者許可權下的目錄下)
2、恢復OCR

  有兩種恢復方法
     ①、用自動備份的OCR檔案；
     ②、用手動建立的OCR export files檔案
   1、檢查OCR的狀態
       # ./ocrcheck
       # ./ocrconfig -showbackup   檢查有效的備份
       # ./ocrdump -backupfile 備份路徑與名稱  (會在當前路徑下產生一個檔案：ocrdumpfile,檢視這個檔案，可以驗證ocr的資訊)
    需要先停止所有節點
       #/etc/init.d/init.crs stop
       #/ocrconfig -restore file_name
                         --file_name為自動備份的ocr檔案路徑及名稱
      
   
    恢復後在所有節點啟動crs
       #/etc/init.d/init.crs start
    可以用cluvfy驗證ocr是否正確
       #cluvfy comp ocr -n all  [-verbose]
   2、手工備份（邏輯備份）及恢復方法
       #./ocrconfig -export 檔案路徑加自命名稱  
       #./etc/init.d/init.crs stop        
      讓後用./ocrconfig  -import 檔案路徑加自命名稱（匯出的檔案路徑及名稱）
       #./etc/init.d/init.crs start
     將手工備份的備份，放到所有節點的本地硬碟上
       
   3、使用cluvfy 驗證ocr是否正確。
       cluvfy comp ocr -n all [-verbose]
   
   
   修改OCR配置
       當節點關閉或節點的Oracle Clusterware沒有執行時，ocrconfig不能修改OCR的配置
     1、增加OCR的位置
        #./ocrconfig -add  NEW_OCR_FILE_NAME
     2、遷移OCR到ASM儲存
        從11.2版本開始OCR可以儲存在ASM磁碟組中，ASM相容屬性必須大於等於11.2.0.0
      最多可以有5個OCR位置
         遷移到磁碟組
        #./ocrconfig -add +ASM_DISK_GROUP
     3、替換OCR
         可以更改已存在的OCR的位置或更改已失效的OCR位置到一個可正常工作的OCR位置
        3.1檢查OCR的拷貝除了要被替換的OCR
        #./ocrcheck  （效驗）
        3.2檢查Oracle Clusterware是否正在執行
        #./crsctl check cluster -all
        3.3指定新位置
        #./ocrconfig -replace source_ocr_file - replacement destination_ocr_file
        3.4檢查已替換的OCR是否線上
        #./ocrcheck
      4、刪除OCR
          至少要有一個OCR線上除了要刪除的
         4.1、檢查至少有一個OCR線上除了要刪除的
          ocrcheck
         4.2、刪除
          ocrconfig -delete ocr_file_name
      5、修復OCR在本地節點
        在本地節點上Oracle Clusterware 必須停止
          [root]#ocrconfig -repair -add new_ocr_file_name
          [root]#ocrconfig -repair -delete ocr_file_name
          [root]#ocrconfig -repair -replace source_ocr_file -replacement_ dest_ocr_file 
        重啟Oracle Clusterware
      6、檢查OCR配置的一致性
          ocrcheck 

本地登錄檔 OLR
OLR儲存著ohasd服務啟動時需要的環境資訊，當Clusterware安裝OCR時，OLR被同時安裝和配置。
OLR是被存放在每個節點的 $GRID_HOME/cdata/host_name.olr OLR預設安裝成功後，會自動建立一個OLR備份檔案 OLR備份檔案的路徑$GRID_HOME/cdata/$HOST/backup_xxx.olr