KIẾN TRÚC CÁC HỆ THỐNG TÍNH TOÁN - CHƯƠNG 4 potx

1
KIẾN TRÚC CÁC HỆ THỐNG TÍNH TOÁN
Nguyễn Phú Bình
Trần Trung Kiên
Bộ môn KTMT - Khoa CNTT
Trường ĐH Bách Khoa Hà Nội
2
Lưu ý của tác giả
 Không được tự ý sao chép hay quảng bá bài giảng này khi chưa
được sự đồng ý của các tác giả.
 Địa chỉ liên hệ của các tác giả:
Nguyễn Phú Bình
Email:
Mobile: 0983533925
Website: />Trần Trung Kiên
Email:
Mobile: 0914919392
Bộ môn Kỹ thuật Máy tính
Khoa Công nghệ Thông tin
Trường Đại học Bách Khoa Hà Nội
C1- P322, Tel: 8696125
Website:
3
Kiến trúc các hệ thống tính toán
Chương 4
Hệ thống song song phân cụm và
Tính toán lưới
( Cluster and Grid Cumputing)
Nguyễn Phú Bình – Trần Trung Kiên
Bộ môn Kỹ thuật Máy tính, Khoa Công nghệ Thông tin
Trường Đại học Bách Khoa Hà Nội

4
Nội dung chương 4
4.1. Hệ thống song song phâm cụm (Cluster)
4.2. Tính toán lưới ( Grid Computing)
4.3. Ứng dụng hệ thống song song trong mô hình lưới
5
4.1. Hệ thống song song phâm cụm
1. Giới thiệu về Cluster:
 Một hệ thống tính toán song song phân cụm
(Cluster/bó) là một hệ thống máy tính cục bộ bao gồm
một tập các máy tính độc lập và một mạng liên kết giữa
các máy tính.
6
4.1. Hệ thống song song phâm cụm
 Một hệ thống song song phân cụm/cục bộ với ý nghĩa
là toàn bộ các thành phần hệ thống nằm trong một khu
vực địa lý hẹp (thường là 1 phòng) và được quản lý tập
trung như là một hệ thống thống nhất.
 Các nút trong hệ bó có thể là sự kết hợp của các máy
tính đơn bộ xử lý với các máy nhiều bộ xử lý
(SMP - symmertric multiprocesor
7
4.1. Hệ thống song song phâm cụm
 Ưu điểm lớn nhất của hệ thống này là giá thành của hệ
thống nhỏ hơn so với các hệ thống sever tương ứng
khác. Cùng với sự phát triển nhanh chóng của máy
tính cá nhân (PC), hiện nay một hệ thống dựa trên
công nghệ LAN và PC có thể đạt được hiệu năng đến
vài chục thậm chí là vài trăm Gigaflops trong khi giá
thành lại rẻ hơn rất nhiều so với các siêu máy tính.

 Ưu điểm thứ hai của hệ thống bó là sự linh hoạt của
cấu hình. Số lượng nút, dung lượng bộ nhớ trên mỗi
nút, số lượng bộ xử lý trên mỗi nút, và cấu hình mạng
và hàng loạt các tham số khác đều mang tính tuỳ biến
cao.
8
4.1. Hệ thống song song phâm cụm
2. Các thành phần phần cứng:
 Các thiết bị phần cứng của nút tính toán:
 Một nút tính toán phải cung cấp chức năng tính toán
và
 chức năng lưu trữ dữ liệu
 Các thiết bị mạng :
 Công nghệ mạng thường được sử dụng trong hệ thống //
phân cụm là LAN và SAN (System Area Network).
 LAN chỉ cho phép tạo nên một hệ thống có bộ nhớ phân tán
 SAN lại hỗ trợ bộ nhớ phân tán chia xẻ (distributed shared
memory) cho phép tổ chức một bộ nhớ logic chia xẻ trong khi
bộ nhớ vật lý phân tán trên các nút.
 Giá cả của các thiết bị SAN đắt hơn LAN rất nhiều.
9
4.1. Hệ thống song song phâm cụm
3. Các thành phần phần mềm:
 Thư viện và môi trường lập trình
 Các phần mềm quản lý tài nguyên và phân tải
10
4.1. Hệ thống song song phâm cụm
Thư viện và môi trường lập trình:
 Lập trình song song trong các hệ thống tính toán bó là
phức tạp hơn các hệ thống máy tính khác

 Hệ thống tính toán có bộ nhớ phân tán, do vậy truyền
thông giữa các nút trong quá trình tính toán thường là
truyền thông điệp
 Các thư viện truyền thông điệp dành cho hệ thống bó
hiện nay có thể kể đến là: MPI, PVM, Active Message
và CMMD (Connected Machine Message )
 MPI với nhiều ưu điểm có thể coi là sự lựa chọn tốt cho
các hệ thống tính toán bó. ®
11
4.1. Hệ thống song song phâm cụm
Thư viện và môi trường lập trình (…):
 Khi các nút mạng trong hệ thống tính toán bó không chỉ
là các máy tính đơn bộ xử lý mà có cả các máy tình
nhiều bộ xử lý với bộ nhớ chia xẻ thì cần có sự kết hợp
giữa mô hình bộ nhớ chia xẻ và mô hình truyền thông
điệp.
 Thư viện mã nguồn mở OpenMP là một thư viện thích
hợp để tạo ra các chưưong trình song song như vậy.
12
4.1. Hệ thống song song phâm cụm
Thư viện và môi trường lập trình (…):
 Một trong những thành phần quan trọng của các
chương trình tính toán song song là các giải thuật song
song .
 Hiện nay, các thư viện giải thuật song song rất sẵn
dùng và hầu hết là mã nguồn mở.
 Chúng là kết quả của các đề tài nghiện cứu trong các
trường đại học, các viện ngiên cứu trên toàn thế giới.
Các thư viện có thể kể đến là: LAPACK, BLAS,
ARPACK, ScaLAPACK, PETSc, hypre, LINPACK…

13
4.1. Hệ thống song song phâm cụm
Các phần mềm quản lý tài nguyên và phân tải:
 Thư viện và các ngôn ngữ lập trình song song tạo cho
người lập trình môi trường lập trình.
 Phần mềm quản lý tài nguyên và phân tải lại tạo ra một
môi trường tính toán hiệu quả và ổn định.
 Phân tải là việc phân bổ các tiến trình tính toán trên tài
nguyên hệ thống sao cho hiệu năng hoạt động của hệ
thống là tối ưu.
14
4.1. Hệ thống song song phâm cụm
Các phần mềm quản lý tài nguyên và phân tải(…):
 PBS (Portable Batch System) :
 Hệ thống phân tải và quản lý tài nguyên rất mạnh do NASA
phát triển.
 Tiếp nhận các công việc (job) từ người sử dụng,
 Bảo vệ công việc đó cho đến khi nó được thực hiện,
 Thực hiện công việc và trả lại kết quả cho người sử dụng.
15
4.1. Hệ thống song song phâm cụm
Các phần mềm quản lý tài nguyên và phân tải(…):
 CODINE :
 Dùng cho các hệ thống máy tính máy tính đồng bộ như SMP
hoặc các siêu máy tính dạng vector.
 Ngoài ra, còn cung cấp các cơ chế để quản lý các chính sách
của hệ thống // phân cụm và cân bằng tải động cho các công
việc.
16
4.1. Hệ thống song song phâm cụm

Các phần mềm quản lý tài nguyên và phân tải(…):
 CONDOR:
 Thường dùng để phân tải tài nguyên và lập lịch cho các công
việc trên hệ thống máy trạm (workstations).
 Hỗ trợ sử dụng các điểm kiểm tra (checkpoint) và chuyển giao
các công việc giữa các máy trạm.
17
4.1. Hệ thống song song phâm cụm
4. Hệ thống quản lý tài nguyên và phân tải PBS:
 PBS hiện nay đã trở thành một hệ phân tải hàng đầu
trong các siêu máy tính và trở thành chuẩn cho các hệ
thống bó trên Linux.
 PBS cung cấp rất nhiều chức năng và lợi ích cho các
hệ thống tính toán hiệu năng cao.
 Một số chức năng quan trọng nhất của PBS:
 Chia sẻ tài nguyên :cung cấp một cơ chế lập lịch cho các
công việc một cách trong suốt, bởi bất kỳ người sử dụng nào
có đủ thẩm quyền. Công việc có thể được yêu cầu từ một máy
client bất kỳ, cục bộ hay từ xa.
18
4.1. Hệ thống song song phâm cụm
 Một số chức năng quan trọng nhất của PBS(…):
 Giao diện: đồ hoạ hoặc chế độ tương tác (interactive); PBS
cũng hỗ trợ giao diện sử dụng chế độ dòng lệnh cho những
người sử dụng chuyên nghiệp.
 Cơ chế bảo mật cho phép quản trị thiết lập hoặc huỷ bỏ việc
truy cập đến PBS của một người sử dụng, một nhóm người,
một máy hoặc một mạng nào đó.
 Nhật ký cho phép ghi lại tất cả các hoạt động trên của hệ
thống theo từng người, từng nhóm người hoặc từng máy.

 Tự động chuyển tệp là cơ chế sao chép các tệp cần thiết
cho việc thực hiện một công việc trên các máy trạm tính toán.
Các tệp cần chuyển có thể là các tệp dữ liệu hoặc các tệp
thực thi .
19
4.1. Hệ thống song song phâm cụm
 Một số chức năng quan trọng nhất của PBS(…):
 Hỗ trợ các công việc song song cho phép hoạt động cùng
với các thư viện lập trình song song như MPI, PVM và HPF.
Các chương trình có thể được lập lịch để chạy trên các hệ đa
bộ xử lý hoặc trên các hệ thống đa máy tính.
 Hỗ trợ tính toán lưới: cung cấp công nghệ siêu tính toán
(meta-computing) và tính toán lưới, bao gồm việc hỗ trợ cho
GGT (Globus Grid Toolkit) ®
 Tự động phân tải là cơ chế cho phép phân tải các công việc
trên các tài nguyên của hệ thống.
 Hỗ trợ nhiều hệ thống máy tính và nhiều hệ điều hành:
Linux, Unix, Solaris,…
20
4.1. Hệ thống song song phâm cụm
 PBS bao gồm 3 thành phần chính là:
 Module quản lý công việc (PBS Server)
 Module thực thi công việc (PBS Mom)
 Module lập lịch (PBS Scheduler)
21
4.1. Hệ thống song song phâm cụm
 Module quản lý công việc (PBS Server):
 Là thành phần trung tâm của PBS
 Tất cả các thành phần khác của PBS giao tiếp với mô đun
quản lý công việc này

 Chức năng của mô đun quản lý công việc là cung cấp các
dịch vụ như:
-Nhận các công việc lô (batch job),
-Chuyển đổi các các công việc giữa các máy,
-Bảo vệ công việc khi có sự cố hệ thống và thực hiện công
việc (chuyển công việc cho mô đun thực thi công việc)
 Module này quản lý một hoặc nhiều hàng đợi công việc
(queue), một công việc phải thuộc vào một hàng đợi. Các
hàng đợi được server quản lý bởi một tập thuộc tính như kiểu,
tài nguyên, tên …
22
4.1. Hệ thống song song phâm cụm
 Mô đun thực hiện công việc (PBS Mom) :
Được chia nhỏ thành hai phần chức năng sau:
 Job Executor (JE):
- Là tiến trình ngầm chịu trách nhiệm thực thi công việc
- JE nhận một bản copy công việc từ Server,
- Xử lý công việc,
- Sau đó đảm nhận luôn công việc trả kết quả về cho user nếu
được Server yêu cầu.
- Mỗi một tiến trình ngầm JE chạy trên một máy tính trạm
trong Cluster
 Resource Monitor (RM): theo dõi, kiểm tra các nguồn tài
nguyên của hệ thống và báo cho bộ lập lịch Scheduler.
23
4.1. Hệ thống song song phâm cụm
 Mô-đun lập lịch ( PBS Scheduler) :
 Là thành phần chịu trách nhiệm lập lịch xem công việc nào sẽ
được thực hiện và công việc đó sẽ được thực hiện trên tài
nguyên nào.

 PBS Scheduler giao tiếp với với các RM trong thành phần
thực hiện công việc (MOM) của các máy để lấy về thông tin
trạng thái tại các máy đó.
24
4.1. Hệ thống song song phâm cụm
 Đệ trình công việc trong PBS
 Người sử dụng có thể thực hiện lệnh trực tiếp trên màn
hình console để truyền công việc và các yêu cầu của
mình tới Server.
 Các shell chuẩn của linux có thể giúp ta biên dịch mã
lệnh để thực hiện các job. Sau đây là một ví dụ dùng
Bourne Shell (sh)
25
4.1. Hệ thống song song phâm cụm
 Ý nghĩa của các lệnh này như sau:
 Lệnh 1: Cố định cho mọi shell script. Nó chỉ ra shell nào sẽ được sử
dụng để thực hiện script.
 Lệnh 2 đến 4: chỉ ra các yêu cầu tài nguyên sau “-l”. Cụ thể là yêu
cầu 1 giờ walltime, 400 mb bộ nhớ và 4 CPU.
 Lệnh 5: nó yêu cầu PBS hợp nhất các luồng ra stdout và stderr vào
một luồng duy nhất (“-j oe”).