Oracle RAC （11.2.0.4版本） For AIX 6.1安裝手冊
【部分引用別人的文件修改而成，實際經過安裝驗證的文件】
Oracle Rac 11GR2（11.2.0.4）
For AIX6.1+ASM安裝手冊
部分截圖採用了網上別人的圖片以及部分章節
2 安裝環境說明
|
節點 |
|||||
|
節點名稱 |
例項名稱 |
資料庫名稱 |
處理器 |
RAM |
作業系統 |
|
Rac1 |
rac1 |
Rac |
4顆cpu*8核*4228Mhz |
32GB |
AIX6.1 |
|
Rac2 |
rac2 |
4顆cpu*8核*4228Mhz |
32GB |
AIX6.1 |
|
|
網路配置 |
|||||
|
節點名稱 |
公共 IP 地址 |
專用 IP 地址 |
虛擬 IP 地址 |
SCAN 名稱 |
SCAN IP 地址 |
|
Rac1 |
172.1.1.204 |
192.168.0.204 |
172.1.1.206 |
Scan-ip |
172.1.1.208 |
|
Rac2 |
172.1.1.205 |
192.168.0.205 |
172.1.1.207 |
||
|
Oracle 軟體元件 |
|||||
|
軟體元件 |
作業系統使用者 |
主組 |
輔助組 |
主目錄 |
Oracle 基目錄/Oracle 主目錄 |
|
Grid Infra |
grid |
oinstall |
asmadmin、asmdba、asmoper、oinstall |
/home/grid |
/u01/app/grid |
|
/u01/app/11.2/grid |
|||||
|
Oracle RAC |
oracle |
oinstall |
dba、oper、asmdba、oinstall |
/home/oracle |
/u01/app /oracle |
|
/u01/app/oracle/product/11.2.0/db_1 |
|||||
|
儲存元件 |
|||||
|
儲存元件 |
檔案系統 |
卷大小 |
ASM 卷組名 |
ASM 冗餘 |
裝置名 |
|
OCR/VOTING |
ASM |
50G |
CRSDG |
normal |
/dev/rhdisk4-6 |
|
資料 |
ASM |
600G |
DATA |
normal |
/dev/rhdisk7-9 |
|
恢復區 |
ASM |
100G |
FRA_ARCHIVE |
Normal |
/dev/rhdisk10-12 |
在Oracle RAC架構中共有四種IP，分別是Public IP，Private IP，VIP，SCAN IP。它們的作用如下：
Private IP：私有IP用於節點間同步心跳，這個對於使用者層面，可以直接忽略，簡單理解，這個IP是用來保證兩臺伺服器同步資料用的。
Public IP：公有IP一般用於管理員使用，用來確保可以操作到正確的機器，也叫真實IP。
VIP：虛擬IP用於客戶端應用，一般情況下VIP是飄在配置Public IP地址的網絡卡上的。VIP支援失效轉移，通俗說就是配置該VIP的節點宕機了，另一個主機節點會自動接管該VIP，而客戶端沒有任何感覺。這也是為什麼要使用RAC的原因之一，另一個原因，我認為是負載均衡。客戶端在配置tnsnames.ora時，有些場合是要使用的vip，而有些場合又必須使用Public IP。例如，當你在定位一個數據庫的死鎖時，使用Public IP，可以確保連到你想處理的機器。相反此時使用VIP時，會出現不確定性，因為伺服器預設是開啟負載均衡的，也就是有可能你想連A機，系統卻給你分配了B機。
SCAN IP：在Oracle 11gR2以前，如果資料庫採用了RAC架構，在客戶端的tnsnames中，需要配置多個節點的連線資訊，從而實現諸如負載均衡，failover等等RAC的特性。因此，當資料庫RAC叢集需要新增或刪除節點時，需要及時對客戶端機器的tns進行更新，以免出現安全隱患。在11gR2中，為了簡化該項配置工作，引入了SCAN（Single ClientAccess Name）的特性，該特性的好處在於，在資料庫與客戶端之間，添加了一層虛擬的服務層，就是所謂的SCAN IP以及SCAN IP Listener，在客戶端僅需要配置SCAN IP的TNS資訊，通過SCAN IPListener，連線後臺叢集資料庫。這樣，不論叢集資料庫是否有新增或者刪除節點的操作，均不會對client產生影響。
兩個RAC節點主機的規劃：
閘道器：10.1.0.254
|
主機名稱 |
主機別名 |
型別 |
IP地址 |
解析方式 |
|
rac1 |
rac1 |
Public |
172.1.1.204/255.255.255.0 |
host |
|
rac1-vip |
rac1-vip |
Virtual |
172.1.1.206/255.255.255.0 |
host |
|
rac1-priv |
rac1-priv |
Private |
192.168.0.204/255.255.255.0 |
host |
|
rac2 |
rac2 |
Public |
172.1.1.205/255.255.255.0 |
host |
|
rac2-vip |
rac2-vip |
Virtual |
172.1.1.207/255.255.255.0 |
host |
|
rac2-priv |
rac2-priv |
Private |
192.168.0.205/255.255.255.0 |
host |
|
Scan-ip |
Scan-ip |
Virtual |
172.1.1.208/255.255.255.0 |
host |
|
儲存盤名稱 |
大小 |
用途 |
|
hdisk 4 |
50GB |
CRSDG |
|
hdisk 5 |
51GB |
|
|
hdisk 6 |
52GB |
|
|
hdisk 7 |
600GB |
DATA |
|
hdisk 8 |
601GB |
|
|
hdisk 9 |
602GB |
|
|
hdisk10 |
100GB |
FRA_ARCHIVE |
|
hdisk11 |
101GB |
|
|
hdisk12 |
102GB |
|
專案名稱 |
使用者名稱 |
口令或例項 |
|
作業系統使用者 |
root |
|
|
資料庫網格安裝使用者 |
Grid |
|
|
資料庫安裝使用者 |
oracle |
|
|
叢集例項名 |
rac |
|
|
ASM管理 |
Sys |
|
|
資料庫管理 |
sys/system |
|
|
審計使用者 |
rac_vault |
安裝目錄規劃原則：建立/u01檔案系統用來安裝grid、datbase程式。程式都安裝在/u01/app下面，對於grid與database分別建立不同的目錄，分配不同的許可權。其中grid的ORACLE_BASE和ORACLE_HOME建議安裝在不同的目錄下，具體規劃如下：
新建70G lv：oralv
新建檔案系統，掛載點：/u01
grid base目錄：/u01/app/grid #grid使用者的ORACLE_BASE
grid asm安裝目錄：/u01/app/11.2/grid #grid使用者的ORACLE_HOME，也即是安裝時的software location
Oracle base目錄：/u01/app/oracle #oracle使用者的ORACLE_BASE
注：此規劃為後來總結，本次安裝中與此略有出入。Grid使用者的ORACLE_BASE、ORACLE_HOME都需要手工建立。Oracle使用者只建立ORACLE_BASE目錄即可。
說明：下面所列檢查配置任務，預設需要在所有RAC節點執行，有很少的操作步驟只需在一個節點執行即可，這些步驟會一一說明，在檢查配置時應該注意。
主機硬體檢查包括：可用記憶體，頁面交換空間、可用硬碟空間、/tmp目錄可用空間。
1. 使用如下命令檢視主機的記憶體和交換空間，記憶體至少2.5G，交換空間應為物理可用記憶體的2倍。
# /usr/sbin/lsattr -HE -l sys0 -a realmem
attribute value description user_settable
realmem 32243712 Amount of usable physical memory in Kbytes False
#/usr/sbin/lsps -a
2. 檢查硬體架構：#/usr/bin/getconf HARDWARE_BITMODE，要求64位硬體架構。
3. 檢查叢集軟體和資料庫軟體安裝目錄至少有6.5GB可用空間，/tmp目錄至少有1GB可用空間：#df -h。
4．檢視主機資訊
#prtconf
System Model: IBM,8231-E1D
Machine SerialNumber:
Processor Type:PowerPC_POWER7
ProcessorImplementation Mode: POWER 7
Processor Version:PV_7_Compat
Number OfProcessors: 8
Processor ClockSpeed: 4228 MHz
CPU Type: 64-bit
Kernel Type: 64-bit
LPAR Info: 106-E80AT
Memory Size: 31488MB
Good Memory Size:31488 MB
Platform Firmwarelevel: AL770_052
Firmware Version:IBM,AL770_052
Console Login:enable
Auto Restart: true
Full Core: false
Network Information
Host Name: rac1
IP Address: 172.1.1.204
Sub Netmask: 255.255.255.0
Gateway: 10.1.0.254
Name Server:
Domain Name:
Paging SpaceInformation
Total Paging Space: 9216MB
Percent Used: 1%
Volume GroupsInformation
==============================================================================
Active VGs
==============================================================================
rootvg:
PV_NAME PV STATE TOTAL PPs FREE PPs FREE DISTRIBUTION
hdisk0 active 558 304 111..80..00..01..112
hdisk1 active 558 450 111..86..30..111..112
INSTALLED RESOURCELIST
The followingresources are installed on the machine.
+/- = Added ordeleted from Resource List.
* = Diagnostic support not available.
Model Architecture: chrp
Model Implementation: Multiple Processor, PCIbus
+ sys0 System Object
+ sysplanar0 SystemPlanar
* vio0 Virtual I/O Bus
* vsa1 U78AB.001.WZSKA2R-P1-T2 LPARVirtual Serial Adapter
* vty1 U78AB.001.WZSKA2R-P1-T2-L0 AsynchronousTerminal
* vsa0 U78AB.001.WZSKA2R-P1-T1 LPARVirtual Serial Adapter
* vty0 U78AB.001.WZSKA2R-P1-T1-L0 AsynchronousTerminal
* pci8 U78AB.001.WZSKA2R-P1 PCIExpress Bus
+ sissas2 U78AB.001.WZSKA2R-P1-C6-T1 PCI Expressx8 Ext Dual-x4 3Gb SAS Adapter
* sas2 U78AB.001.WZSKA2R-P1-C6-T1 ControllerSAS Protocol
* sfwcomm6 SAS Storage Framework Comm
* sata2 U78AB.001.WZSKA2R-P1-C6-T1 ControllerSATA Protocol
* pci7 U78AB.001.WZSKA2R-P1 PCIExpress Bus
+ ent6 U78AB.001.WZSKA2R-P1-C5-T1 2-Port Gigabit Ethernet-SX PCI-ExpressAdapter (14103f03)
+ ent7 U78AB.001.WZSKA2R-P1-C5-T2 2-PortGigabit Ethernet-SX PCI-Express Adapter (14103f03)
* pci6 U78AB.001.WZSKA2R-P1 PCI Express Bus
+ ent4 U78AB.001.WZSKA2R-P1-C4-T1 2-PortGigabit Ethernet-SX PCI-Express Adapter (14103f03)
+ ent5 U78AB.001.WZSKA2R-P1-C4-T2 2-Port Gigabit Ethernet-SX PCI-ExpressAdapter (14103f03)
* pci5 U78AB.001.WZSKA2R-P1 PCIExpress Bus
+ fcs2 U78AB.001.WZSKA2R-P1-C3-T1 8Gb PCIExpress Dual Port FC Adapter (df1000f114108a03)
* fcnet2 U78AB.001.WZSKA2R-P1-C3-T1 FibreChannel Network Protocol Device
+ fscsi2 U78AB.001.WZSKA2R-P1-C3-T1 FC SCSI I/OController Protocol Device
* sfwcomm2 U78AB.001.WZSKA2R-P1-C3-T1-W0-L0 Fibre ChannelStorage Framework Comm
+ fcs3 U78AB.001.WZSKA2R-P1-C3-T2 8Gb PCIExpress Dual Port FC Adapter (df1000f114108a03)
* fcnet3 U78AB.001.WZSKA2R-P1-C3-T2 FibreChannel Network Protocol Device
+ fscsi3 U78AB.001.WZSKA2R-P1-C3-T2 FC SCSI I/OController Protocol Device
* sfwcomm3 U78AB.001.WZSKA2R-P1-C3-T2-W0-L0 Fibre ChannelStorage Framework Comm
* pci4 U78AB.001.WZSKA2R-P1 PCIExpress Bus
+ fcs0 U78AB.001.WZSKA2R-P1-C2-T1 8Gb PCI ExpressDual Port FC Adapter (df1000f114108a03)
* fcnet0 U78AB.001.WZSKA2R-P1-C2-T1 FibreChannel Network Protocol Device
+ fscsi0 U78AB.001.WZSKA2R-P1-C2-T1 FC SCSI I/OController Protocol Device
* hdisk8 U78AB.001.WZSKA2R-P1-C2-T1-W5000D3100070E30C-L5000000000000 Compellent FC SCSI Disk Drive
* hdisk9 U78AB.001.WZSKA2R-P1-C2-T1-W5000D3100070E30C-L6000000000000 Compellent FC SCSI Disk Drive
* sfwcomm0 U78AB.001.WZSKA2R-P1-C2-T1-W0-L0 Fibre ChannelStorage Framework Comm
+ fcs1 U78AB.001.WZSKA2R-P1-C2-T2 8Gb PCIExpress Dual Port FC Adapter (df1000f114108a03)
* fcnet1 U78AB.001.WZSKA2R-P1-C2-T2 FibreChannel Network Protocol Device
+ fscsi1 U78AB.001.WZSKA2R-P1-C2-T2 FC SCSI I/OController Protocol Device
* hdisk4 U78AB.001.WZSKA2R-P1-C2-T2-W5000D3100070E30A-L1000000000000 Compellent FC SCSI Disk Drive
*hdisk5 U78AB.001.WZSKA2R-P1-C2-T2-W5000D3100070E30A-L2000000000000 Compellent FC SCSI Disk Drive
*hdisk6 U78AB.001.WZSKA2R-P1-C2-T2-W5000D3100070E30A-L3000000000000 Compellent FC SCSI Disk Drive
*hdisk7 U78AB.001.WZSKA2R-P1-C2-T2-W5000D3100070E30A-L4000000000000 Compellent FC SCSI Disk Drive
* sfwcomm1 U78AB.001.WZSKA2R-P1-C2-T2-W0-L0 Fibre Channel StorageFramework Comm
* pci3 U78AB.001.WZSKA2R-P1 PCIExpress Bus
+ ent0 U78AB.001.WZSKA2R-P1-C7-T1 4-PortGigabit Ethernet PCI-Express Adapter (e414571614102004)
+ ent1 U78AB.001.WZSKA2R-P1-C7-T2 4-PortGigabit Ethernet PCI-Express Adapter (e414571614102004)
+ ent2 U78AB.001.WZSKA2R-P1-C7-T3 4-Port Gigabit Ethernet PCI-ExpressAdapter (e414571614102004)
+ ent3 U78AB.001.WZSKA2R-P1-C7-T4 4-PortGigabit Ethernet PCI-Express Adapter (e414571614102004)
* pci2 U78AB.001.WZSKA2R-P1 PCI ExpressBus
+ sissas1 U78AB.001.WZSKA2R-P1-C18-T1 PCIe x4Internal 3Gb SAS RAID Adapter
* sas1 U78AB.001.WZSKA2R-P1-C18-T1 ControllerSAS Protocol
* sfwcomm5 SAS Storage Framework Comm
+ ses0 U78AB.001.WZSKA2R-P2-Y2 SASEnclosure Services Device
+ ses1 U78AB.001.WZSKA2R-P2-Y1 SASEnclosure Services Device
* tmscsi1 U78AB.001.WZSKA2R-P1-C18-T1-LFE0000-L0 SAS I/O ControllerInitiator Device
* sata1 U78AB.001.WZSKA2R-P1-C18-T1 Controller SATAProtocol
* pci1 U78AB.001.WZSKA2R-P1 PCIExpress Bus
* pci9 U78AB.001.WZSKA2R-P1 PCIBus
+ usbhc0 U78AB.001.WZSKA2R-P1 USBHost Controller (33103500)
+ usbhc1 U78AB.001.WZSKA2R-P1 USBHost Controller (33103500)
+ usbhc2 U78AB.001.WZSKA2R-P1 USB Enhanced HostController (3310e000)
* pci0 U78AB.001.WZSKA2R-P1 PCIExpress Bus
+ sissas0 U78AB.001.WZSKA2R-P1-T9 PCIe x4Planar 3Gb SAS RAID Adapter
* sas0 U78AB.001.WZSKA2R-P1-T9 Controller SAS Protocol
* sfwcomm4 SAS StorageFramework Comm
+ hdisk0 U78AB.001.WZSKA2R-P3-D1 SAS DiskDrive (300000 MB)
+ hdisk1 U78AB.001.WZSKA2R-P3-D2 SAS DiskDrive (300000 MB)
+ hdisk2 U78AB.001.WZSKA2R-P3-D3 SAS Disk Drive (300000 MB)
+ hdisk3 U78AB.001.WZSKA2R-P3-D4 SAS DiskDrive (300000 MB)
+ ses2 U78AB.001.WZSKA2R-P2-Y1 SASEnclosure Services Device
* tmscsi0 U78AB.001.WZSKA2R-P1-T9-LFE0000-L0 SAS I/O ControllerInitiator Device
* sata0 U78AB.001.WZSKA2R-P1-T9 Controller SATA Protocol
+ cd0 U78AB.001.WZSKA2R-P3-D7 SATADVD-RAM Drive
+ L2cache0 L2 Cache
+ mem0 Memory
+ proc0 Processor
+ proc4 Processor
+ proc8 Processor
+ proc12 Processor
+ proc16 Processor
+ proc20 Processor
+ proc24 Processor
+ proc28 Processor
主機網路設定檢查：hosts檔案系修改、網絡卡IP配置。
1. 編輯hosts檔案，將如下內容新增到hosts檔案中，指定Public IP、VIP、Private IP。
#public
172.1.1.204 rac1
172.1.1.205 rac2
# private
192.168.0.204 rac1-priv
192.168.0.205 rac2-priv
# virtual
172.1.1.206 rac1-vip
172.1.1.207 rac2-vip
#scan
172.1.1.208 scan-ip
2. 網絡卡的IP地址已經在系統安裝過程中配置完成，可以使用如下命令檢查IP配置情況：#ifconfig–a。
主機軟體配置檢查包括：作業系統版本、系統核心版本、必須軟體包安裝。
1. 檢查作業系統版本：#oslevel -s，最低要求6100-02-01。
2. 檢查作業系統核心：#bootinfo -K，要求64位核心。
3. 檢出主機SSH配置：#lssrc -ssshd。
4. 系統必須安裝如下（或更高版本）軟體包：
bos.adt.base
bos.adt.lib
bos.adt.libm
bos.perf.libperfstat 6.1.2.1 or later
bos.perf.perfstat
bos.perf.proctools
xlC.aix61.rte. 10.1.0.0 or later
xlC.rte. 10.1.0.0or later
gpfs.base 3.2.1.8or later(當使用GPFS共享檔案系統時安裝)
可以使用如下命令：
# lslpp -l bos.adt.*
# lslpp -l bos.perf.*
# lslpp -l xlC.*
# lslpp -l gpfs.*
來檢視系統是否已經安裝相應的軟體包。如果系統中缺少上述軟體包或者版本較低，請使用系統安裝光碟安裝相關軟體包。
AIX 6.1需要安裝如下軟體包：
bos.adt.base
bos.adt.lib
bos.adt.libm
bos.perf.libperfstat 6.1.2.1 or later
bos.perf.perfstat
bos.perf.proctools
rsct.basic.rte
rsct.compat.clients.rte
xlC.aix61.rte 10.1.0.0 (or later)
AIX 5.3需要安裝如下軟體包：
bos.adt.base
bos.adt.lib
bos.adt.libm
bos.perf.libperfstat 5.3.9.0 or later
bos.perf.perfstat
bos.perf.proctools
rsct.basic.rte
rsct.compat.clients.rte
xlC.aix50.rte 10.1.0.0 (or later)
以上filesets安裝與否可以用命令lslpp －l進行檢查確認。預設安裝是不全的，需要手工進行新增。同時系統盤的版本與上述也有差異，安裝嘗試。
其它單個補丁的要求如下：
AIX 6L installations All AIX 6L 6.1 installations Authorized Problem Analysis
Reports (APARs) for AIX 5L v. 5.3 ML06, and the following AIX
fixes:
IZ41855
IZ51456
IZ52319
AIX 5L installations All AIX 5L 5.3 installations Authorized Problem Analysis
Reports (APARs) for AIX 5L v. 5.3 ML06, and the following AIX
fixes:
IZ42940
IZ49516
IZ52331
驗證：#/usr/sbin/instfix -i -k IZ41855
安裝補丁：
由於6100-04不需要任何補丁，所以我們將系統升級到6100-04（但是安裝grid的時候還是出現3個包未安裝提示）
1、 從IBM官網上下載6100-04-00-0943
2、 將補丁檔案上傳至/tmp/tools下
3、smit update_all
選擇不提交，儲存被覆蓋的檔案，可以回滾操作，接受許可協議
COMMIT software updates? No
SAVE replaced files? yes
ACCEPT new license agreements? Yes
升級完後檢視：
# oslevel -s
6100-04-01-0944
5. 檢查java版本：#java-version，要求1.6版本64位。
建立使用者組，使用者和目錄（簡易版，如果是11.2.0.4以上，rootpre.sh會要求更為細緻的組，比如asmadmin等等，具體可參考文件）
建立相應的作業系統組和使用者，先建立組，然後建立使用者：
Ø 以root使用者使用如下命令為網格及Oracle使用者建立OS組：
#mkgroup-'A' id='501' adms='root' oinstall
#mkgroup-'A' id='502' adms='root' asmadmin
#mkgroup-'A' id='503' adms='root' asmdba
#mkgroup-'A' id='504' adms='root' asmoper
#mkgroup-'A' id='505' adms='root' dba
#mkgroup-'A' id='506' adms='root' oper
Ø 建立Oracle軟體所有者：
#mkuser id='501' pgrp='oinstall'groups='dba,asmadmin,asmdba,asmoper' home='/home/grid' fsize=-1 cpu=-1 data=-1rss=-1 stack=-1 stack_hard=-1capabilities=CAP_NUMA_ATTACH,CAP_BYPASS_RAC_VMM,CAP_PROPAGATE grid
#mkuser id='502' pgrp='oinstall'groups='dba,asmdba,oper' home='/home/oracle' fsize=-1 cpu=-1 data=-1 rss=-1stack=-1 stack_hard=-1capabilities=CAP_NUMA_ATTACH,CAP_BYPASS_RAC_VMM,CAP_PROPAGATE oracle
Ø 檢查上面建立的兩個使用者：
#id grid
#id oracle
Ø 使用passwd命令為grid（密碼：grid）和oracle（密碼：oracle）賬戶設定密碼。
#passwdgrid
#passwdoracle
修改磁碟陣列為grid oinstall（如果是11.2.0.4以上，根據設定的需求，可能會要求更改為 grid dba，是具體設定而定）：
建立Oracle軟體相應的目錄結構，包括：GRID目錄，RDBMS目錄。
注意grid使用者的BASE目錄和HOME目錄不能有父子關係。
Ø 以root使用者建立“Oracle inventory 目錄”，並更改許可權：
#mkdir-p /u01/app/oraInventory
#chown-R grid:oinstall /u01/app/oraInventory
#chmod-R 775 /u01/app/oraInventory
Ø 以root使用者建立“Grid Infrastructure BASE 目錄”
#mkdir-p /u01/app/grid
#chowngrid:oinstall /u01/app/grid
#chmod-R 775 /u01/app/grid
Ø 以root使用者建立“Grid Infrastructure Home 目錄”
#mkdir-p /u01/app/11.2.0/grid
#chown-R grid:oinstall /u01/app/11.2.0/grid
#chmod-R 775 /u01/app/11.2.0/grid
Ø 以root使用者建立“Oracle Base 目錄”
#mkdir-p /u01/app/oracle
#mkdir/u01/app/oracle/cfgtoollogs
#chown-R oracle:oinstall /u01/app/oracle
#chmod-R 775 /u01/app/oracle
Ø 以root使用者建立“Oracle RDBMS Home 目錄”
#mkdir-p /u01/app/oracle/product/11.2.0/db_1
#chown-R oracle:oinstall /u01/app/oracle/product/11.2.0/db_1
#chmod-R 775 /u01/app/oracle/product/11.2.0/db_1
如果分別以oracle使用者和grid使用者修改環境引數檔案，修改之後可以使用如下命令使其生效：$.profile。如果使用root使用者修改則不需要重新載入環境配置檔案。
1. 在rac1節點上設定grid使用者和oracle的環境變數引數。
Ø grid使用者：編輯家目下的.profile檔案，新增如下內容：
export ORACLE_BASE=/u01/app/grid
export ORACLE_HOME=/u01/app/11.2.0/grid
export ORACLE_SID=+ASM1
export ORACLE_HOSTNAME=rac1
export NLS_LANG=AMERICAN_AMERICA.AL32UTF8
export NLS_DATE_FORMAT="yyyy-mm-ddhh24:mi:ss"
export PATH=$PATH:$ORACLE_HOME/bin:$ORACLE_HOME/OPatch
Ø oracle使用者：編輯家目下的.profile檔案，新增如下內容：
umask 022
export ORACLE_BASE=/u01/app/oracle
exportORACLE_HOME=/u01/app/oracle/product/11.2.0/db_1
export ORACLE_SID=rac1
export ORACLE_HOSTNAME=rac1
export ORACLE_UNQNAME=rac
export NLS_LANG=AMERICAN_AMERICA.AL32UTF8
export NLS_DATE_FORMAT="yyyy-mm-ddhh24:mi:ss"
export PATH=$PATH:$ORACLE_HOME/bin:$ORACLE_HOME/OPatch
2. 在rac2節點上設定grid使用者和oracle的環境變數引數。
Ø grid使用者：編輯家目下的.profile檔案，新增如下內容：
umask 022
export ORACLE_BASE=/u01/app/grid
export ORACLE_HOME=/u01/app/11.2.0/grid
export ORACLE_SID=+ASM2
export ORACLE_HOSTNAME=rac2
export NLS_LANG=AMERICAN_AMERICA.AL32UTF8
export NLS_DATE_FORMAT="yyyy-mm-ddhh24:mi:ss"
export PATH=$PATH:$ORACLE_HOME/bin:$ORACLE_HOME/OPatch
Ø oracle使用者：編輯家目下的.profile檔案，新增如下內容：
umask 022
exportORACLE_BASE=/u01/app/oracle
exportORACLE_HOME=/u01/app/oracle/product/11.2.0/db_1
export ORACLE_SID=rac2
export ORACLE_HOSTNAME=rac2
export ORACLE_UNQNAME=rac
export NLS_LANG=AMERICAN_AMERICA.AL32UTF8
export NLS_DATE_FORMAT="yyyy-mm-ddhh24:mi:ss"
export PATH=$PATH:$ORACLE_HOME/bin:$ORACLE_HOME/OPatch
注意：環境變數要注意是否含有空格，雖然安裝可以正常進行，但是安裝完後命令都不能正常執行，比如你在grid使用者執行asmcmd，進入的是一個空例項，你無法管理ASM例項，那麼出了問題就回天無力了，所以還是注意檢查下，就算安裝完了，也需要重新請重灌。
系統引數的修改包括：虛擬記憶體管理引數、網路引數、系統核心引數、非同步IO。
從AIX 6.1以後，下屬值貌似是預設值了，跟Oracle installguide一致，因此無需修改:
vmo -p -o minperm%=3
vmo -p -o maxperm%=90
vmo -p -o maxclient%=90
vmo -p -o lru_file_repage=0
vmo -p -o strict_maxclient=1
vmo -p -o strict_maxperm=0
1. 分別使用如下命令檢視虛擬記憶體管理引數，
vmo -L minperm%
vmo -L maxperm%
vmo -L maxclient%
vmo -L lru_file_repage
vmo -L strict_maxclient
vmo -L strict_maxperm
如果設定不合適，使用如下命令修改：
#vmo -p -o minperm%=3
#vmo -p -o maxperm%=90
#vmo -p -o maxclient%=90
#vmo -p -o lru_file_repage=0
#vmo -p -o strict_maxclient=1
#vmo -p -o strict_maxperm=0
2. 檢查網路引數設定
Ø ephemeral引數：
使用命令no -a |fgrep ephemeral可以檢視當前系統ephemeral引數設定，建議的引數設定如下
tcp_ephemeral_high = 65500
tcp_ephemeral_low = 9000
udp_ephemeral_high= 65500
udp_ephemeral_low = 9000
如果系統中引數設定和上述值不一樣，使用命令修改：
#no -p -o tcp_ephemeral_low=9000 -o tcp_ephemeral_high=65500
#no -p -o udp_ephemeral_low=9000 -o udp_ephemeral_high=65500
Ø 使用如下命令修改網路可調整引數：
#no -r -o rfc1323=1
#no -r -o ipqmaxlen=512
#no -p -o sb_max=4194304
#no -p -o tcp_recvspace=65536
#no -p -o tcp_sendspace=65536
#no -p -o udp_recvspace=1351680 該值是udp_sendspace的10倍，但須小於sb_max
#no -p -o udp_sendspace=135168
備註：-r表示reboot後生效，-p表示即刻生效.
3. 檢查核心引數maxuproc（建議16384）和ncargs（至少128）
#lsattr -E -l sys0 -a ncargs
#lsattr -E -l sys0 -a maxuproc
如果設定不合適使用如下命令修改：
#chdev -l sys0 -a ncargs=256
#chdev -l sys0 -a maxuproc=16384
4. 檢查非同步IO是否開啟，AIX6.1預設系統已經開啟，使用如下命令查詢：
#ioo -a | more 或 #ioo -o aio_maxreqs
注意：AIX5.3使用如下命令檢視lsattr -El aio0 -a maxreqs
下面的幾步操作均需要在所有節點執行。
1. 修改物理卷的屬主和許可權：
#chown grid:asmadmin /dev/rhdisk4
#chown grid:asmadmin /dev/rhdisk5
#chown grid:asmadmin /dev/rhdisk6
#chown grid:asmadmin /dev/rhdisk7
#chown grid:asmadmin /dev/rhdisk8
#chown grid:asmadmin /dev/rhdisk9
#chown grid:asmadmin /dev/rhdisk10
#chown grid:asmadmin /dev/rhdisk11
#chown grid:asmadmin /dev/rhdisk12
#chmod 660 /dev/rhdisk4
#chmod 660 /dev/rhdisk5
#chmod 660 /dev/rhdisk6
#chmod 660 /dev/rhdisk7
#chmod 660 /dev/rhdisk8
#chmod 660 /dev/rhdisk9
#chmod 660 /dev/rhdisk10
#chmod 660 /dev/rhdisk11
#chmod 660 /dev/rhdisk12
2. 修改物理卷屬性，共享儲存磁碟的reserve_policy屬性需要是no，使用如下命令檢視：
#lsattr -E -l hdisk4 | grep reserve_policy
#lsattr -E -l hdisk5 | grep reserve_policy
#lsattr -E -l hdisk6 | grep reserve_policy
#lsattr -E -l hdisk7 | grep reserve_policy
#lsattr -E -l hdisk8 | grep reserve_policy
#lsattr -E -l hdisk9 | grep reserve_policy
#lsattr -E -l hdisk10 | grepreserve_policy
#lsattr -E -l hdisk11 | grepreserve_policy
#lsattr -E -l hdisk12 | grepreserve_policy
如果需要修改reserve_policy屬性，使用如下命令：
#chdev -l hdisk4 -areserve_policy=no_reserve
#chdev -l hdisk5 -areserve_policy=no_reserve
#chdev -l hdisk6 -areserve_policy=no_reserve
#chdev -l hdisk7 -areserve_policy=no_reserve
#chdev -l hdisk8 -areserve_policy=no_reserve
#chdev -l hdisk9 -areserve_policy=no_reserve
#chdev -l hdisk10 -areserve_policy=no_reserve
#chdev -l hdisk11 -areserve_policy=no_reserve
#chdev -l hdisk12 -areserve_policy=no_reserve
3、每臺主機的硬碟資訊
hdisk0 00f8e8092df611fa rootvg active
hdisk1 00f8e8082e4a46d5 rootvg active
hdisk2 00f8e80857a08edf appvg active
hdisk3 none None
#本地磁碟，其中hdisk0和hdisk1做成系統映象，hdisk2和hdisk3做成映象用於應用安裝
hdisk4 none None
hdisk5 none None
hdisk6 none None
#oracle 的OCR和Voting盤，設定為正常冗餘
hdisk7 none None
hdisk8 none None
hdisk9 none None
#oracle的資料盤，正常冗餘。
hdisk10 none None
hdisk11 none None
hdisk12 none None
#oracle的閃回以及歸檔盤，正常冗餘。
檢視LUN，如果已經有了PVID的話，需要進行清除。
chdev -l hdisk2 -a pv=clear
重複同樣的操作，清除2-6所有LUN的PVID
Oracle 11g R2提供Cluster Time SynchronizationService（CTSS）叢集時間同步服務，在沒有NTP服務時，該功能可以保證所有RAC節點的時間保持一致。ASM可以作為統一的儲存把Oracle Cluster Registry（OCR）和Voting disks統一安裝在ASM磁碟上，不再需要單獨安裝叢集檔案系統了，11g第二版也不再支援裸裝置了（之前可以把叢集件安裝到裸裝置上）。還有一個功能SCAN（Single Client Access Name）即單客戶端訪問名稱而且該功能包括了Failover故障自動切換功能，在訪問叢集是隻寫一個SCAN名稱就可以了，不需要象以前要把所有節點的VIP寫在應用程式的配置檔案裡面了，這樣就大大方便了客戶端程式對RAC系統的訪問，但該功能需要DNS伺服器的支援。SCAN配置也可以採用hosts檔案作解析。
如果系統配置了NTP服務，CTSS服務會處於觀察者模式，配置NTP具體步驟可參考AIX服務配置。
11.2,中，配置SSH需要作如下設定：
By default, OUI searches for SSH public keys in the directory /usr/local/etc/,and
ssh-keygen binaries in /usr/local/bin. However, on AIX, SSH public keys
typically are located in the path /etc/ssh, and ssh-keygen binaries are locatedin
the path /usr/bin. To ensure that OUI can set up SSH, use the following commandto
create soft links:
# ln -s /etc/ssh /usr/local/etc
# ln -s /usr/bin /usr/local/bin
配置root環境變數:
====================================================================
export ORACLE_BASE=/u01/app/grid
export ORACLE_HOME=/u01/app/11.2.0/grid
export PATH=$ORACLE_HOME/OPatch:$ORACLE_HOME/bin:$PATH
if [ -t 0 ]; then
stty intr ^C
fi
export AIXTHREAD_SCOPE=S
set -o vi
alias ll=”ls -lrt”
SSH信任關係也可在grid安裝時選擇自動配置。
注意：Oracle11g R2 grid在AIX上自動配置ssh時會報錯，因為Oracle呼叫的命令路徑和AIX系統上命令實際路徑不符，可以修改oracle安裝程式的sshsetup.sh指令碼，或按照oracle呼叫路徑新增程式軟連線，具體路徑安裝過程中Oracle會提示。
具體安裝方法本處不詳述，需要下載openssh、openssl，安裝時需先安裝openssl，然後再安裝openssh。
也可以通過AIX系統光碟，執行smitty install，選擇所有ssh包安裝。
安裝完畢後可以檢查：
# lslpp -l | grep ssh
3.10.1.2 然後在grid安裝中選擇自動配置SSH雙機信任關係
l 修改/etc/ssh/sshd_config
將：
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys
前面的註釋去掉。
l 利用命令:ssh-keygen生成key
全部選擇預設的就可以 , 生成的private key和publicKey會儲存在 ~/.ssh目錄下 .
注: 為了後面的訪問方便, passphrase一行密碼一般設定為空.
l 將2臺機器的public key互相傳給對方
可以有好幾種方法: ftp , rcp , scp都可以 .這裡我們通過FTP將兩個節點的~/.ssh下的id_rsa、id_rsa.pub兩個檔案分別拷下來傳至對方。由於同名，分別將其更改為id_rsa239、id_rsa239.pub、id_rsa237、id_rsa237.pub，為了區分，後面加上其IP標識。
l 建立authorized_keys檔案
由於上面修改了sshd_config檔案 , 其中一行為
AuthorizedKeysFile .ssh/authorized_keys
為認證讀取檔案的位置 .
我們採取預設的方式 , 在~/.ssh下touch一個authorized_keys檔案.
touch authorized_keys
將傳輸過來的對方主機的pub key內容 ,追加到authorized_keys檔案上,
Node1(192.168.0.204):
bash-3.00# cat id_rsa204.pub > authorized_keys
node2(192.168.0.205):
# cat id_rsa205.pub > authorized_keys
測試：
ssh 192.168.0.204
ssh 192.168.0.205
第一次登入會出現提示，輸入yes後以後就不會了
以下兩個節點都執行：
#su – grid
$mkdir ~/.ssh
$chmod 700 ~/.ssh
$/usr/bin/ssh-keygen -t rsa
rac1:/home/grid$/usr/bin/ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/home/grid/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
提示輸入密碼時，保持為空，直接回車即可。
以下只在節點1上執行：
$ touch ~/.ssh/authorized_keys
$ ssh rac1 cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
$ ssh rac2 cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
$ scp ~/.ssh/authorized_keys rac2:.ssh/authorized_keys
修改如下：
$ touch ~/.ssh/authorized_keys
$ ssh rac1 cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
$ ssh rac2 cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
$ scp ~/.ssh/authorized_keys rac2:.ssh/authorized_keys
以下只在節點2上執行：
$ chmod 600 ~/.ssh/authorized_keys
配置完成後按方法1中測試方法進行測試。
3.11 DNS配置（避免grid最後驗證報錯，可忽略）
#[/]mv/usr/bin/nslookup /usr/bin/nslookup.org
#[/]cat/usr/bin/nslookup
#!/usr/bin/sh
HOSTNAME=${1}
if[[ $HOSTNAME = "rx-cluster-scan" ]]; then
echo "Server: 24.154.1.34"
echo "Address: 24.154.1.34#53"
echo "Non-authoritative answer:"
echo "Name: rx-cluster-scan"
echo "Address: 1.1.1.11" #假設1.1.1.1為SCAN地址
else
/usr/bin/nslookup.org $HOSTNAME
fi
注意：if you need to modify your SQLNET.ORA, ensure thatEZCONNECT is in the list if you specify the order of the naming methods usedfor client name resolution lookups (11gRelease 2 default is NAMES.DIRECTORY_PATH=(tnsnames, ldap, ezconnect)).
A、安裝11gR2 RAC要求必須配置ssh使用者對等性，以前配置rsh的方式現在已經無法通過安裝檢查。OUI中提供了自動配置ssh使用者對等性的按鈕，因此無需再事先手動配置。
需要注意的是：該功能完全針對Linux環境進行的開發，因此在AIX環境中，需要事先作如下操作：
ln -s /usr/bin/ksh/bin/bash
mkdir -p /usr/local/bin
ln -s /usr/bin/ssh-keygen/usr/local/bin/ssh-keygen
在配置對等性時，OUI會使用/bin/bash，而AIX預設是沒有bash的，因此需要將ksh軟連結到bash（當然你也可以安裝bash包）。
同樣，OUI會使用/usr/local/bin/ssh-keygen產生對等性金鑰，而AIX中在安裝了OpenSSH以後，ssh-keygen命令預設是儲存在/usr/bin中，因此也需要做link。
B、在成功安裝完Grid Infrastructure之後，執行cluvf命令可能會報錯。
# cluvfy comp nodeapp -verbose
ERROR:
CRS is not installed on any of the nodes
Verification cannot proceed
並且，在碰到這樣的錯誤之後，也無法安裝RAC，會碰到如下錯誤：
[INS-35354] The system on which you areattempting to install Oracle RAC is not part of a valid cluster.
也就是無論是cluvf命令還是OUI，都認為這個機器上沒有安裝CRS，並不是在一個叢集環境中。但是實際上執行crsctl check crs命令是完全正常的。
這個錯誤的解決方法可以參看MetalinkNote [ID 798203.1]，大體上來說就是在安裝Grid Infrastructure的時候，inventory.xml檔案中丟掉了CRS=”true”字樣，這無疑是安裝程式的bug。需要手工detachHome再attachHome。
2. 將p13390677_112040_AIX64-5L_3of7.zip解壓到當前資料夾：
#cd /home/grid
#unzip p13390677_112040_AIX64-5L_3of7.zip
如果沒有安裝unzip包也可以用jar解壓。
#jar -xvfp13390677_112040_AIX64-5L_1of7.zip
3. 修改解壓後的資料夾grid的許可權：
#chown -R grid:oinstall/home/grid/grid
4.2 使用CVU指令碼校驗系統是否滿足安裝需求
安裝Oracle RAC環境需要多個步驟。硬體、OS、叢集軟體、資料庫軟體應按照順序來安裝。每一個步驟所包含的重要元件都是成功安裝不可缺少的。Oracle提供了一個工具CVU（Cluster Verification Utility）用於在Oracle RAC的安裝過程中驗證系統是否滿足安裝需求。
1. 以grid使用者登入系統，確認當前目錄為grid使用者家目，即使用pwd命令輸出的結果為：
#pwd //命令執行結果為“/home/grid/”
#cd grid //進入到安裝程式根目錄
2. 執行CVU指令碼校驗系統，並將檢查結果輸出到report.txt文字檔案中。
#./runcluvfy.sh stage -precrsinst -n rac1,rac2 -fixup -verbose >report.txt
3. 可以使用如下命令檢視分析 report.txt檔案：
#cat report.txt|grep failed
4. 將安裝介質grid目錄下rootpre.sh拷貝到所有節點grid使用者的家目錄下，root使用者執行rootpre.sh在所有節點：
#scp -r /home/grid/grid/rootpre/[email protected]:/home/grid/rootpre/
#./ rootpre.sh
1. 首先在宿主機上安裝Xmanager軟體，並在宿主機上開啟一個"Xmanager - Passive"會話程序。
2. 在宿主機上以grid使用者SSH遠端連線到Linux主機，輸入如下命令：xclock，驗證圖形介面是否可以正常在本地顯示。如果可以正常顯示一個“鐘錶”圖形（如下圖），請繼續後續的步驟，如果不能正常顯示，請檢查排錯。
3. 在SSH會話中，切換到grid安裝目錄下，執行安裝指令碼開啟grid安裝程式。
./runInstaller
#su - grid
rac1:/home/grid$exportDISPLAY=172.1.165.172:0.0
rac1:/home/grid$/u01/soft/grid/runInstaller
********************************************************************************
Yourplatform requires the root user to perform certain pre-installation
OSpreparation. The root user should runthe shell script 'rootpre.sh' before
youproceed with Oracle installation. rootpre.sh can be found at the top level
ofthe CD or the stage area.
Answer'y' if root has run 'rootpre.sh' so you can proceed with Oracle
installation.
Answer'n' to abort installation and then ask root to run 'rootpre.sh'.
********************************************************************************
Has'rootpre.sh' been run by root on all nodes? [y/n] (n)
y
StartingOracle Universal Installer...
CheckingTemp space: must be greater than 190 MB. Actual 9516 MB Passed
Checkingswap space: must be greater than 150 MB. Actual 9216 MB Passed
Checkingmonitor: must be configured to display at least 256 colors. Actual 16
777216 Passed
Preparingto launch Oracle Universal Installer from /tmp/OraInstall2014-01-03_11-
05-23PM.Please wait ...rac1:/home/grid$
4. 彈出OUI主介面，選擇“Skipsoftware updates”，點選“Next”。
5. 選擇“Install and Configure Oracle Grid Infrastructure for a Cluster”，點選“Next”。
6. 選擇“Advanced Installation”，點選“Next”。
7. 選擇新增“Simplified Chinese”到“Selected Langusges”，點選“Next”。
8. 輸入相關配置資訊，如下圖所示，點選“Next”。
9. 點選“Add”，增加一個網格節點rac2，具體配置資訊如下圖，點選“OK”，之後點選“Next”。如果前面沒有配置“SSH互信”，可以在此步配置。
10. OUI安裝程式會自動區分Public和Private網路，點選“Next”。
11. 選擇“Oracle ASM”儲存，點選“N