CÀI đặt ORACLE RAC với FreeNAS

CÀI ĐẶT ORACLE 11G R2 RAC
Bảng theo dõi thay đổi tài liệu
Ngày
30/03/2017

Người thay đổi
Đinh Văn Hoán

Lý do
Viết tài liệu Oracle RAC

Ghi chú

Mục lục

1. Thông tin cài đặt
Public IP
Private IP
OS
Hostname
DB cluster
SCAN
Cluster name

Node 1
Node 2
FreeNAS
10.0.0.37
10.0.0.38
10.0.0.139
192.168.10.37

192.168.10.38
Oracle Linux 6.6
Oracle Linux 6.6
vmrac37
vmrac38
vmrac
10.0.0.27 – vmrac-scan
10.0.0.28 – vmrac-scan
10.0.0.29 – vmrac-scan
Vmrac-cluster

1


2. Cài đặt SAN
2.1. Cấu hình trên FreeNAS
2.2. Cấu hình trên node

- Cài đặt gói iSCSI
yum -y install iscsi-initiator-utils lsscsi
- Cấu hình khởi động cùng OS
chkconfig iscsi on
chkconfig iscsid on
service iscsi start
service iscsid start
- Kết nối đến SAN
iscsiadm -m discovery -t sendtargets -p x.x.x.x
x.x.x.x là IP của SAN Storage
- Cấu hình tự động kết nối iSCSI disk khi OS khởi động
iscsiadm -m node --op update -n node.startup -v automatic

- Map iSCSI disk vào OS
iscsiadm -m node -p x.x.x.x --login
x.x.x.x là IP của SAN Storage
- Xem thông tin các disk đã được map
/dev/disk/by-path/
 Trên node 2, sau khi đã cài đặt iSCSI chỉ cần gõ lệnh: partprobe để lấy cấu
hình disk đã được cấu hình trên node 1.
1.1. Cấu hình disk trên OS
- Sử dụng fdisk để định dạng các disk đã được map từ SAN thành định dạng của
OS
2


3. Cài đặt gói pre-install, tạo user và thư mục
3.1. Trường hợp cài đặt được gói pre-install

• Trên node 1:
- Cài đặt gói pre-install Oracle
yum install oracle-rdbms-server-11gR2-preinstall.x86_64
- Tạo thêm user
groupadd asmdba
groupadd asmoper
groupadd asmadmin
groupadd oper
- Phân quyền user oracle
usermod -G oper,dba,oinstall,asmdba,asmadmin,asmoper oracle
- Tạo thư mục và phân quyền
mkdir -p /u01/app
mkdir -p /u01/grid

mkdir -p /u01/setup
chown -R oracle:oinstall /u01
chmod 775 -R /u01
passwd oracle
• Trên node 2
- Thực hiện tương tự như trên node 1, ngoài trừ groupadd với ID user tương ứng
với bên node 1
Ví dụ:
groupadd -g 4555 asmdba (với 4555 là id group asmdba bên node 1 với lệnh id asmdba)

3


3.2. Trường hợp cài đặt tham số OS thủ công

- Kiểm tra các package cần thiết cho Oracle Database 11.2.0.4
rpm -q binutils compat-libstdc++-33 compat-libstdc++-33 coreutils elfutils-libelf
elfutils-libelf-devel gcc gcc-c++ glibc glibc glibc-common glibc-devel glibc-devel
glibc-headers ksh libaio libaio libaio-devel libaio-devel libgcc libgcc libstdc++
libstdc++ libstdc++-devel make sysstat unixODBC unixODBC-devel

- Cài đặt bổ sung những packet còn thiếu.
- Tạo user và thư mục cài đặt
-

groupadd oinstall
groupadd dba
groupadd oper
useradd -g oinstall -G dba,oper oracle
passwd oracle

mkdir -p /u01/app/oracle/product/11.2.0/db_1
chown -R oracle:oinstall /u01/app/oracle
chmod -R 775 /u01/app/oracle
mkdir -p /u01/app/oraInventory
chown -R oracle:oinstall /u01/app/oraInventory
chmod -R 755 /u01/app/oraInventory
mkdir -p /u02/app/oracle/oradata
chown -R oracle:oinstall /u02

Cấu hình một số file trong hệ điều hành
File /etc/hosts
Thêm đoạn sau vào cuối file /etc/sysctl.conf và comment (#) những tham số giống ở bên
trên
-

# Oracle Configuration
fs.aio-max-nr = 1048576
fs.file-max = 6815744
kernel.shmall = 2097152
kernel.shmmax = 3221225472
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 9000 65500
4


net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048576

- Sau đó áp dụng các thay đổi
sysctl -p

- Thêm đoạn sau vào cuối file /etc/security/limits.conf
oracle
oracle
oracle
oracle
oracle
oracle

soft
hard
soft
hard
soft
hard

nproc 2047
nproc 16384
nofile 1024
nofile 65536
stack 10240
stack 10240

- Thêm vào file /etc/pam.d/login nếu chưa có
session
-

required

pam_limits.so

Thêm đoạn sau vào cuối file /etc/profile

if [ $USER = "oracle" ]; then
if [ $SHELL = "/bin/ksh" ]; then
ulimit -u 16384
ulimit -n 65536
else
ulimit -u 16384 -n 65536
fi
fi
- Cấu hình file .bash_profile cho user oracle
# --------------------------------------------------# OS User:
oracle
# Application: Oracle Database Software Owner
# Version:
Oracle 11g release 2
# ---------------------------------------------------

5


# Get the aliases and functions
if [ -f ~/.bashrc ]; then
. ~/.bashrc
fi
#alias ls="ls -FA"
JAVA_HOME=/u01/app/oracle/product/11.2.0/db_1/jdk; export JAVA_HOME

ORACLE_SID=orcldb01; export ORACLE_SID
ORACLE_UNQNAME=orcldb01; export ORACLE_UNQNAME
ORACLE_BASE=/u01/app/oracle; export ORACLE_BASE
ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1; export ORACLE_HOME
ORACLE_PATH=/u01/app/oracle/dba_scripts/sql:$ORACLE_HOME/rdbms/admin; export ORACLE_PATH
ORACLE_TERM=xterm; export ORACLE_TERM
NLS_DATE_FORMAT="DD/MM/YYYY HH24:MI:SS"; export NLS_DATE_FORMAT
TNS_ADMIN=$ORACLE_HOME/network/admin; export TNS_ADMIN
ORA_NLS11=$ORACLE_HOME/nls/data; export ORA_NLS11
PATH=.:${JAVA_HOME}/bin:$JAVA_HOME/db/bin:${PATH}:$HOME/bin:$ORACLE_HOME/bin:
$ORACLE_HOME/Opatch
PATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin
PATH=${PATH}:/u01/app/oracle/dba_scripts/bin
export PATH
LD_LIBRARY_PATH=$ORACLE_HOME/lib
LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$ORACLE_HOME/oracm/lib
LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib
export LD_LIBRARY_PATH
CLASSPATH=$ORACLE_HOME/JRE
CLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlib
CLASSPATH=${CLASSPATH}:$ORACLE_HOME/rdbms/jlib
CLASSPATH=${CLASSPATH}:$ORACLE_HOME/oc4j/ant/lib/ant.jar
CLASSPATH=${CLASSPATH}:$ORACLE_HOME/oc4j/ant/lib/ant-launcher.jar
CLASSPATH=${CLASSPATH}:$JAVA_HOME/db/lib/derby.jar
CLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlib
export CLASSPATH
THREADS_FLAG=native; export THREADS_FLAG
export TEMP=/tmp
export TMPDIR=/tmp
umask 022

6


4. Cấu hình file host
- Cấu hình trên file host giống nhau trên cả 2 node

5. Cài đặt ASM
- Cài đặt packet oracleasm
yum install oracleasm-support*

- Khởi tạo ASM
/etc/init.d/oracleasm configure
oracle
dba
y
y
- Tạo đĩa cho Oracle ASM
/etc/init.d/oracleasm createdisk ASMDISK1 /dev/sdb1
- Sau khi tạo xong các đĩa ASM, dùng câu lệnh sau để kiểm tra lại
/etc/init.d/oracleasm querydisk ASMDISK1
- Để liệt kê danh sách các ổ đĩa ASM, dùng lệnh:
ls -l /dev/oracleasm/disks/
7


On node 2,
[root@primary02 ~]# partprobe

6. Cài đặt Grid

+ Upload file zip chứa bộ cài đặt Grid và Oracle lên node 1 bằng user oracle
+ Trong user oracle, giải nén bộ cài đặt Grid và Oracle
+ Sử dụng Xbrowser kết nối tới node 1 bằng user oracle
Vào thư mục grid đã được giải nén, gõ lệnh ./runInstaller
+ Chọn Skip software updates -> Next
+ Install and Configure Oracle Grid Infrastructure for a Cluster -> Next
+ Advanced Installation -> Next
+ English -> Next
+ Nhập Cluster name, SCAN Name, bỏ chọn Configure GNS -> Next
+ Cấu hình các node trong cluster
Chọn Add để thêm node, nhập Public Hostname và Virtual hostname
Chọn SSH Connectivity.. , nhập password user oracle, chọn Setup để cấu hình ssh giữa
các node
Cài đặt xong SSH, chọn Next để tiếp tục
+ Network -> Next
+ Oracle Automatic Storage Management -> Next
+ Tạo diskgroup VOTE -> Next
+ Nhập password cho quản trị ASM -> Next
+ Do not use IPMI -> Next
+ Chọn user và group quản trị ASM -> Next
+ Chọn Grid Home -> Next
+ Chọn Inventory Home -> Next
+ Pre-install check -> (fix) -> Next
8


+ Install
+ Chạy script theo hướng dẫn
+ Finish

7. Cài đặt Oracle Software
Trong thư mục database đã được giải nén
+ Chạy ./runInstaller
+ Bỏ chọn I wish to… -> Next
+ Skip software updates -> Next
+ Install database software only -> Next
+ Chọn node -> Next
+ English -> Next
+ Enterprise Edition -> Next
+ Chọn DB HOME -> Next
+ Chọn group dba và oper -> Next
+ Pre-install check -> (Fix) -> Next
+ Install
+ Finish

8. Cài đặt Oracle Database
+ Chạy lệnh dbca
+ Oracle Real Application Cluster Database -> Next
+ Create database -> Next
+ General Purpose -> Next
+ Nhập Global Database name -> Next
+ Bỏ cài đặt EM -> Next
+ Nhập password system -> Next
+ Chọn kiểu lưu trữ ASM -> Chọn Diskgroup -> Next
+ Chọn FRA -> Next
+ Cấu hình Memory Management -> Next
+ Cấu hình Redo file, Control file -> Next
+ Create database -> Finish

9

9. Quản trị Oracle RAC
# Kiểm tra tình trạng cluster
[oracle@rac1 ~]$ crsctl check crs
[oracle@rac1 ~]$ crsctl check cluster
[oracle@rac1 ~]$ crsctl check cluster -all
[oracle@rac1 ~]$ crsctl status resource -t
# Stop CRS trên tất cả các node
[root@rac1 bin]# ./crsctl stop cluster -all
# Stop CRS trên node cụ thể
[root@rac1 bin]# ./crsctl stop has
# Disable CRS tự động start
[root@rac1 bin]# ./crsctl disable has
# Enable CRS tự động start
[root@rac1 bin]# ./crsctl enable has
# Start CRS trên 1 node cụ thể
[root@rac1 bin]# ./crsctl start has
# Kiểm tra tình trạng database
[oracle@rac1 ~]$ srvctl status database -d RACDB
# Stop một instance
10


[oracle@rac1 ~]$ srvctl stop instance -i RACDB1 -d RACDB
[oracle@rac1 ~]$ srvctl status database -d RACDB
# Start một instance
[oracle@rac1 ~]$ srvctl start instance -i RACDB1 -d RACDB
# Stop database RAC
[oracle@rac1 ~]$ srvctl stop database -d RACDB

# Start the database RAC
[oracle@rac1 ~]$ srvctl start database -d RACDB
# Stop the listener on a Node
[oracle@rac1 ~]$ srvctl stoplistener -n rac1
# Start the listener on a Node
[oracle@rac1 ~]$ srvctl start listener -n rac1
# Check the voting disk
[oracle@rac1 ~]$ crsctl query css votedisk
# Show OCR backup
[root@rac1 bin]# ./ocrconfig -showbackup
# Take a manual backup of the OCR
[root@rac1 bin]# ./ocrconfig -manualbackup
11