Nội dung Cơ sở hạ tầng trung tâm dữ liệu pptx

1
© 2005 Cisco Systems, Inc. All rights reserved.
KẾT NỐI MẠNG TRUNG TÂM DỮ LiỆU
KiẾN TRÚC SERVER FARM VÀ HƯỚNG
DẪN THIẾT KẾ
TERRY SEETO
GIÁM ĐỐC GiẢI PHÁP KINH DOANH
CISCO CHÂU Á THÁI BÌNH DƯƠNG
CCIE #3119
222
© 2005 Cisco Systems, Inc. All rights reserved.
Nội dung
Cơ sở hạ tầng trung tâm dữ liệu
• Tổng quan về kiến trúc Server Farm
• Yêu cầu thiết kế cho Server Farm
• Mô hình thiết kế lớp truy nhập
• Ảnh hưởng đến khả năng mở rộng và mật độ
• Độ khả dụng cao trong trung tâm dữ liệu
• Tổng kết
TỔNG QUAN VỀ KiẾN TRÚC
CHUYỂN MẠCH SERVER FARM
CỦA TRUNG TÂM DỮ LiỆU
333
© 2005 Cisco Systems, Inc. All rights reserved.
444
© 2005 Cisco Systems, Inc. All rights reserved.
Định nghĩa Lớp truy nhập DC
Máy chủ Lớp 2, Lớp 3 và kết nối Mainframe
• Yêu cầu lớp 2 và lớp
3
• Gắn đơn và đôi

• Chuyển mạch lớp 2,
hiệu năng cao, trễ
thấp
• Hỗn hợp yêu cầu cao
• Nhiều lựa chọn
đường lên
• Xử lý STP chỉ cho
VLAN được đặt cấu
hình
• Sử dụng dich vụ tại
lớp kết hợp
L3
Access
Blade
Chassis w/
Integrated
Switch
Blade
Chassis w/
Pass Thru
Mainframe
w/ OSA
L2 w/ Clustering
and NIC Teaming
Lõi doanh nghiệp
Kết hợp DC
Lõi DC
Truy nhập DC
555
© 2005 Cisco Systems, Inc. All rights reserved.

• Kết hợp các đường
truy nhập lên vào lõi
DC
• Tải xử lý STP lớn
• Cung cấp ứng dụng
tiên tiến và chức năng
an ninh thông qua các
mô đun dịch vụ
• Duy trì trạng thái
phiên và bảng kết nối
cho dự phòng
• Những dịch vụ này là
gì?
Định nghĩa lớp kết hợp DC
Cung cấp dịch vụ An ninh/Ứng dụng dùng chung
Lõi doanh nghiệp
Truy nhập DC
Mô đun dịch vụ
Truy
nhập lớp
3
Blade
Chassis w/
Integrated
Switch
Blade
Chassis w/
Pass Thru
Mainframe
w/ OSA

L2 w/ Clustering
and NIC Teaming
666
© 2005 Cisco Systems, Inc. All rights reserved.
Định nghĩa lớp kết hợp DC
Các dịch vụ tích hợp
• Các dịch vụứng dụng và an ninh có thể được triển khai như:
Dụng cụ
Phiến dịch vụ
• Phiến dịch vụ như phiến tường lửa và phiến cân bằng tải …
cung cấp các chức năng trạng thái dựa trên phần cứng
• Các phiến tích hợp làm tối ưu hóa không gian giá, quản lý cấu
hình và đi cáp
• Cung cấp độ linh hoạt cao nhất và kinh tế quy mô
Các dịch vụ lớp 4 – 7: FW, SLB, SSL, IDS
+
777
© 2005 Cisco Systems, Inc. All rights reserved.
Định nghĩa lớp tích hợp DC
Đường giao tiếp máy chủ đến máy chủ
• Mô đun kết hợp có thể cung cấp tuyến giao tiếp sơ cấp cho lưu lượng giữa các máy chủ
• Sự xuất hiện của lưu lượng phi truyền thống
• Tạo nên dự phòng và số lượng các đường lên 10GE ít hơn
• Máy chủ được cung cấp với PCI-X NIC’s và GE
• Quy hoạch băng thông cho dung lượng máy chủ thực trong tương lai
Truy nhập
Kết hợp
Lõi DC
Tồn tại những loại lưu lượng máy chủ tới máy chủ nào?
Tương tác nhiều lớp, Dự phòng, Nhân bản, Thông điệp nhóm, Lưu trữ qua IP

888
© 2005 Cisco Systems, Inc. All rights reserved.
Định nghĩa lớp DC lõi
Ma trận chuyển mạch tốc độ cao cho các mô đun kết hợp
• Liên kết các mô đun AGG
• Cách biệt miền gây lỗi
• Mở rộng những đường kính STP lớn
• Cải thiện mở rộng 10GE
• Quy hoạch và xây dựng trước lõi DC
N x 100 máy chủ
N x 100 máy chủ
Mô đun kết hợp 1
Mô đun kết hợp 2
DC Core
Kết hợp
GE/10GE
GE/10GE
Truy nhập
Lõi doanh nghiệp
999
© 2005 Cisco Systems, Inc. All rights reserved.
Định nghĩa ma trận chuyển mạch máy chủ DC
Ma trận chuyển mạch máy chủ cho lưu lượng liên máy chủ
• Ma trận chuyển mạch máy
chủ kiến tạo theo mục
tiêu, cho phép:
RDMA trễ thấp
Ảo hóa máy chủ
Tính toán Lưới/Tiện ích
• Môi trường Cluster

Tạo cluster cơ sở dữ liệu
Tạo cluster HA
Tạo cluster HPC
• Chuyển mạch Gateway
sang IP và lớp lưu trữ
• Mới, hiện đại, vẫn đang
chín muồi
NAS
NAS
Máy chủ phiến
Máy chủ
UNIX/Windows
Ma trận máy
chủảo#2
(phiến)
Ma trận máy
chủảo#1
Linux/Windows
Hạ tầng IP
UNIX
UNIX
WIN
WIN
Enterprise GRID
Mạng lưu trữ
Ma trận chuyển mạch
máy chủ
Infiniband
Ethernet
Ethernet

FC
YÊU CẦU THIẾT KẾ TRONG
SERVER FARM
101010
© 2005 Cisco Systems, Inc. All rights reserved.
DC-2101
11127_05_2005_c1
111111
© 2005 Cisco Systems, Inc. All rights reserved.
Khi nào cần có lân cận lớp 2?
Thỏa mãn yêu cầu ứng dụng Server Farm
• Tạo Cluster: các ứng dụng
thường được thực thi trên
nhiều máy chủ được tạo
cluster để xuất hiện như
một thiết bị đơn nhất;
chung cho các yêu cầu HA
và cân bằng tải; (Windows
MSCS và NLB)
• Phần mềm tạo nhóm NIC
yêu cầu lân cận lớp 2 giữa
các NIC cùng nhóm
Ứng dụng
Microsoft
.NET
Ứng dụng Java,
J2EE…
121212
© 2005 Cisco Systems, Inc. All rights reserved.
Định nghĩa Lân cận lớp 2

“Lân cận lớp 2 giữa các máy chủ có nghĩa là các máy
chủ này nằm trong cùng miền quảng bá. Khi các
máy chủ là lân cận lớp 2, mỗi máy chủ nhận được
tất cả các gói tin multicast và quảng bá từ máy chủ
khác.”
Packet Magazine: Quý hai, 2005
Thiết kế Lớp truy nhập trung tâm dữ liệu
131313
© 2005 Cisco Systems, Inc. All rights reserved.
Định nghĩa máy chủ nhóm (clustered)
Các nhóm cho độ khả dụng cao
• Mục tiêu chung: tập hợp nhiều máy
chủ để thể hiện như một hệ thống
thống nhất nhờ phần mềm đặc biệt
và kết nối mạng
• Nhóm với 2 nút HA có thể sử dụng
cáp nối chéo riếng để trao đổi dữ
liệu, trạng thái phiên, giám sát …
• Hai hay nhiều máy chủ dùng bọ
chyển mạch để cung cấp kết nối tại
vùng lớp 2 cách biệt/VLAN
• Ví dụ: Dịch vụ nhóm MS-Windows
2003 Advanced Server 2003 Cluster
Service (MSCS), cho Exchange and
SQL Servers (tối đa 8 nút)
• Veritas Clustering cho HA
• Cần có lân cận lớp 2
Server-A
Server-B
Mạng Cluster với 2 nút

-Kết nối cáp chéo
Giao diện mặt trước
Giao diện mặt trước
Mạng cluster với 2 hay nhiều nút
Chạy trên chuyển mạch VLAN
A
B
C
141414
© 2005 Cisco Systems, Inc. All rights reserved.
Định nghĩa máy chủ nhóm
Nhóm phân phối tải
• Các ứng dụng giao dịch/dựa
trên HTTP được “ghép
nhóm” với mục tiêu mở rộng
(ví dụ MSCS NLB, đến 32 nút
mạng
• Khoảng lớp 2 được dùng để
“multicast” mọi gói tin đến
đến mọi máy chủ trong
nhóm (cần có Lân cận lớp 2)
• Một địa chỉ IP được gắn với
địa chỉ MAC multicast trong
phản hồi arp nhóm
(Windows)
• Các bộ cân bằng tải được
chế tạo đặc biệt cung c
ấp
phần cứng tiêu chuẩn dựa
trên giải pháp unicast

hỗ trợ
hàng trăm nút mạng
Front-End Interface
Server-Based NLB Uses
Flooding: Multicast
Address Used in Arp
Reply for Server IP
SLB Hardware:
Use Unicast-
Based Solution
Cluster Network
A
B
C
A
B
C
Cluster Network
To VIP
To Reals
151515
© 2005 Cisco Systems, Inc. All rights reserved.
Định nghĩa máy chủ nhóm
Tạo nhóm CSDL
• Mục tiêu: cải thiện thời gian khóa CSDL
và cho phép quét song song hiệu quả
hơn
• Ví dụ nhóm CSDL
Oracle 10g RAC
IBM DB2 Parallel

SQL Server
MySQL Cluster
• Cách tiếp cận lưu trữ
Dùng chung mọi thứ
Khóa FS
Không dùng chung
Cắt miếng CSDL
• Các lựa chọn kết nối theo chuẩn
Ethernet, Infiniband
Trễ thấp + băng thông cao
Gateway đa giao thức
Máy chủ
ứng dụng
IBM DB2
Parallel
Oracle RAC
Hạ tầng IP
Nhóm CSDL trên
Ethernet
Mạng lưu trữ
Ma trận chuyển mạch
máy chủ
IBM
DB2
Parallel
MySQL
Cluster
Nhóm CSDL trên
Infiniband
Máy chủ

ứng dụng
161616
© 2005 Cisco Systems, Inc. All rights reserved.
Định nghĩa máy chủ nhóm
Các nhóm tính toán hiệu năng cao (HPC)
• Tạo ảnh động
• Địa chấn học
• Khai thác dầu
• Sinh hóa
• Phân tích tài chính
• Thông lệ chung cho thuê môi trường HPC
Những ứng dụng đặc thù
Nút chính
(có thể nhiều)
Mặt trước
Hệ thống file chung
Nút tính toán
(đến hàng chục
ngàn)
NAS, SAN
E
t
h
e
r
n
e
t

(

N
F
S
,

i
S
C
S
I
)
,

F
C
,

I
B

G
a
t
e
w
a
y
Có thể là giao diện/hạ
tầng chung
Mặt sau để đồng bộ nút/chia sẻ dữ liệu bằng các

giao thức IP/TCP hay RDMA (MPI, uDAPL, SDP,
SRP)
Ethernet, Infiniband
Ethernet
Implementations are very
customized and rarely alike
Back End
171717
© 2005 Cisco Systems, Inc. All rights reserved.
Ethernet,
Infiniband,
Myrinet,
Quadrics
Định nghĩa máy chủ nhóm
Yêu cầu/Ảnh hưởng của các nhom HPC
• Có thể cần Lân cận lớp 2
giữa các nút tính toán
(phụ thuộc vài ứng dụng)
• Hệ thống file dùng chung
cho các nút tính toán
• Độ trễảnh hưởng lớn
đến hiệu năng
• Nhân viên mạng và hệ
thống thường không trao
đổi rõ ràng các nhu cầu
tạo nhóm
• Ai xác định máy chủ sẽ
đưa vào nhóm? Cùng
giá? Hàng?
• Các tuyến lên lớp truy

nhập có bịảnh hưởng
không?
Các nút
chủ
Công cộng
Riêng
Đồng bộ nút
và chia sẻ
dữ liệu với
MPI/DAPL/
SDP
GE đến NAS, FC SAN, iSCSI)
File System
Lớp truy nhập
Access Layer
Nút tính
toán
Kết hợp
Lớp truy nhập
181818
© 2005 Cisco Systems, Inc. All rights reserved.
Máy chủ nhóm
Ảnh hưởng của thiết kế mạng
• Máy chủ-A và máy chủ B
giao tiếp trên lớp 2 để trao
đổi trạng thái, phiên và các
thông tin khác
• Máy chủ (2 hay nhiều) trong
nhóm có thể nằm tại các bộ
chuyển mạch truy nhập khác

nhau – mở rộng VLAN và
đường kính Tree diameter
• Ma trận nhóm máy chủ đến
máy chủ có thể yêu cầu
tuyến lên băng thông lớn
hơn (GEC, 10GE)
Trung kế
Kết hợp
Máy chủ-A Máy chủ-B
VLAN 10
191919
© 2005 Cisco Systems, Inc. All rights reserved.
Yêu cầu máy chủ phiến
Các lựa chọn kết nối
Sử dụng mô đun nối thông
Sử dụng chuyển mạch Ethernet tích hợp
Khung máy chủ phiến
Khung máy chủ phiến
Lớp kết hợp
Chuyển mạch
lớp 2 ngoài
Chuyển mạch
lớp 2 tích
hợp
Giao diện1
Giao diện2
CÁC MÔ HÌNH THIẾT KẾ LỚP
TRUY NHẬP
202020
© 2005 Cisco Systems, Inc. All rights reserved.

DC-2101
11127_05_2005_c1
212121
© 2005 Cisco Systems, Inc. All rights reserved.
Mô hình thiết kế với truy nhập lớp 2
Định nghĩa truy nhập lớp 2
• Truy nhập lớp 2 cung
cấp lân cận lớp 2 giữa
những máy chủ trong
các bộ chuyển mạch
truy nhập
• Điều này không có
nghĩa phải chuyển
không cân thiết tất cả
VLAN qua mọi bộ
chuyển mạch truy nhập
• Xử lý lớp 3 trước tiên
được thực hiện trong
lớp kết hợp
• Topo lớp 2 gồm có
looped, loop free, và
hub và spoke
L
ớ
p

2

s
ử

d
ụ
n
g

t
r
u
n
g

k
ê

8
0
2
.
1
q
Lớp3
Kết hợp
Lõi DC
222222
© 2005 Cisco Systems, Inc. All rights reserved.
Mô hình thiết kế với truy nhập lớp 2
Thiết kế hữu hoàn
• VLAN được mở rộng
giữa các chuyển mạch
kết hợp, tạo ra topo

khép vòng
• Spanning Tree được sử
dụng để ngăn chặn các
vòng thực sự (Rapid
PVST+, MST)
• Tuyến dự phòng tồn tại
thông qua đường lên
thứ hai bị khóa
• Tuyến dự phòng sẽ
chuyển tiếp khi tuyến
sơ cấp bị mất
Root sơ cấp
HSRP sơ cấp
Root thứ cấp
HSRP thứ cấp
F
F
F
F
F
B
F
F
B
F
B
B
F
F
F

F
.1Q Trunk
F
F
F
F
232323
© 2005 Cisco Systems, Inc. All rights reserved.
Mô hình thiết kế với truy nhập lớp 2
Thiết kế hữu hoàn (looped)
• Các dịch vụ như firewall và
cân bằng tải có thể được
triển khai tại lớp kết hợp
và dùng chung trên nhiều
bộ chuyển mạch lớp truy
nhập
• VLAN chủ yếu nằm giữa
các cặp chuyển mạch truy
nhập
• VLAN có thể được cung
cấp trên bộ chuyển mạch
truy nhập khác nếu cần với
các lý do quản trị
• Tạo nhóm NIC và tạo cụm
có thể
được hỗ trợ trên
các mô đun lớp truy nhập
Tủ máy 1
Tủ máy 2
Lõi DC

.1Q Trunk
Máy chủ 1
Máy chủ 2
Máy chủ 3
Máy chủ 4
Máy chủ 5
242424
© 2005 Cisco Systems, Inc. All rights reserved.
Mô hình thiết kế với Truy nhập lớp 2
Nhược điểm của thiết kế hữu hoàn lớp 2
• Nhược điểm chính: nếu
có vòng xuất hiện, mạng
có thể trở nên không
quản lỷ được do sự nhân
bản khung vô hạn
• Các tính năng mới cộng
thêm thông lệ tối ưu cải
thiện độ ổn định và ngăn
chặn điều kiện vòng
UDLD
Loopguard
Rootguard
BPDUguard
3/2 3/2
3/1 3/1
Switch 1
Switch 2
DST MAC 0000.0000.4444
DST MAC 0000.0000.4444
0000.0000.3333

252525
© 2005 Cisco Systems, Inc. All rights reserved.
Mô hình thiết kế với Truy nhập lớp 2
Thiết kế phi hoàn (loop free)
• Mỗi cặp chuyển mạch
truy nhập được ấn định
một nhóm VLAN đặc thù
cho cặp đó
• Giữa các bộ chuyển
mạch kết hợp không có
VLAN
• Spanning Tree được kích
hoạt nhưng không cổng
nào bị khóa
• Mọi tuyến đều chuyển
tiếp
• Tạo nhóm NIC và tạo cụm
có thể được hỗ trợ trong
các mô đun lớp truy nhập
10.10.20.0
VLAN 10
Layer 3 Link
VLAN 20
10.10.10.0
Gateway 10.10.10.1VLAN 10
Gateway 10.10.20.1
VLAN 20
Lõi DC