tính toán lưới -chương 4 triển khai môi trường lưới tính toán

Chương 4
Chương 4
Triển khai môi trường
Triển khai môi trường
lưới tính toán
lưới tính toán
Giảng viên: TS Đàm Quang Hồng Hải
Giảng viên: TS Đàm Quang Hồng Hải
TÍNH TOÁN LƯỚI
TÍNH TOÁN LƯỚI
Nhu cầu triển khai môi trường
Nhu cầu triển khai môi trường
lưới tính toán
lưới tính toán
•
Ngày nay mạng máy tính phát triển mạnh,
nhất là mạng Internet với hàng triệu máy
tính kết nối với nhau. Đối với người dùng
bình thường công suất tính toán của máy
tính thường không được sử dụng hết.
•
Xây dựng môi trường lưới cho phép khai
thác thời gian rỗi của các máy tính trong
xã hội để phục vụ các nghiên cứu khoa học
phức tạp.
Môi trường lưới
Môi trường lưới
cho phép
cho phép
khai thác tài nguyên
khai thác tài nguyên

Những bài toán cần thực thi
Những bài toán cần thực thi
trên môi trường lưới
trên môi trường lưới
•
Bài toán thu và xử lý những tín hiệu từ bên ngoài
trái đất nhằm có thể tìm ra một nền văn minh nào
đó bên ngoài trái đất, nếu dùng một máy tính có
công suất tính toán lớn cũng phái mất rất nhiều
thời gian để xử lý.
•
Bài toán phá mã với phép thử lần lượt tất cả
trường hợp có thể của khóa cho đến khi tìm được
khóa đúng.
•
Dự án nghiên cứu khả năng chống căn bệnh ung
thư, cần phân tích số lượng lớn mô ung thư cùng
một lúc, nếu dùng một máy tính thông thường
mất khoảng 168 năm
Khảo sát yêu cầu triển khai
Khảo sát yêu cầu triển khai
•
Trong thiết kế kiến trúc lưới, bước khảo sát yêu
cầu là bước rất quan trọng, kết qủa của nó sẽ ảnh
hưởng trực tiếp đến tất cả các bước tiếp theo.
•
Người thiết kế phải đưa ra được những thông tin
cần thiết như:
–
Mục đích của việc xây dựng lưới là gì?

–
Lưới có những yêu cầu gì về nghiệp vụ, hạ tầng và ứng
dụng?
•
Cuối cùng cần phải tinh chỉnh và xem xét lại xem
những yêu cầu này có phù hợp với hạ tầng phần
cứng và phần mềm cũng như nguồn nhân lực sẵn
có hay không.
Thiết kế kiến trúc lưới
•
Việc xây dựng một hệ thống tính toán lưới
không chỉ đơn thuần là cài đặt các phần
mềm, các ứng dụng trên các tài nguyên
kết nối sẵn có mà phải thiết kế một cách
bài bản, chuyên nghiệp.
•
Cần thiết phải có các phân tích tổng thể
bao gồm quy mô, phần mềm, cấu trúc lưới
…
Các tài nguyên hạ tầng
Các tài nguyên hạ tầng
triển khai môi trường lưới
triển khai môi trường lưới
Lựa chọn hạ tầng lưới
Lựa chọn hạ tầng lưới
•
Khái niệm hạ tầng ở đây bao gồm cả phần cứng
vật lý và các phần mềm được sử dụng để kểt nối
các máy tính của một lưới lại với nhau. Hạ tầng
này cung cấp các dịch vụ cho việc kết nối, đảm

bảo an toàn và quản trị.
•
Người quản trị cần nắm được đủ những tài nguyên
nào mình có được như: máy tính, máy chủ, đường
truyền … nhằm có thể triển khai hệ thống lưới.
•
Xác định quy mô của hệ thống lưới mình định xây
dựng
Intragrid
Intragrid
•
Intragrid: thường được triển khai trong các tổ
chức hoặc doanh nghiệp. Dựa trên kiến trúc mạng
LAN hoặc mạng Intranet dùng riêng của tổ chức,
doanh nghiệp đó.
•
Intragrid có băng thông và mức độ sẵn sàng cao;
Cơ chế an toàn, bảo mật riêng rẽ;
•
Môi trường tác nghiệp độc lập. Topo lưới dạng này
rất phù hợp khi triển khai các lưới tính toán hoặc
lưới dữ liệu.
Quy mô lưới tình toán
Quy mô lưới tình toán
Extragrid
Extragrid
• Extragrid: được thiết lập dựa trên hai hoặc nhiều
Intragrid. Đặc trưng của loại topo này là: Cơ chế
an toàn, bảo mật phân tán; Có sự tham gia của
nhiều tổ chức doanh nghiệp;

•
Dựa trên mạng WAN. Extragrid thích hợp với các tổ
chức muốn xây dựng kết nối mạng với các đối tác
của mình (B2B) nhằm chia sẻ tài nguyên, dữ liệu
dựa trên sự tin tưởng lẫn nhau.
Intergrid
Intergrid
•
Intergrid: xây dựng trên mạng WAN hoặc
Internet và được sử dụng bởi các công ty
công nghệ, tập đoàn công nghiệp, hoặc
nhà sản xuất công nghiệp. Đặc trưng của
Intergrid là: Có sự tham gia của nhiều tổ
chức; Kết nối nhiều đối tác; Kết nối nhiều
mạng liên kết; Cơ chế an ninh phức tạp,
phân tán.
Các mạng lưới tính toán
Các mạng lưới tính toán
trên thế giới
trên thế giới
•
Hiện nay trên thế giới có nhiều các hệ thống tính toán
công cộng bao gồm các lưới tính toán Quốc tế, lưới
tính toán Quốc gia, lưới tính toán các trường Đại học
và doanh nghiệp
•
Lưới tính toán Quốc tế: European Middleware
Initiative (EMI) Europe, World Community Grid,
Berkeley Open Infrastructure for Network Computing
(BOINC)

• Lưới tính toán quốc gia: GridPP (UK), CNGrid (China),
France Grilles (France), D-Grid (Germany), GARUDA
(India), VECC (Calcutta, India), IsraGrid (Israel),
INFN Grid (Italy), HunGrid (Hungary), InteGrade
(Brazil), PL-Grid (Poland), National Grid Service (UK),
Open Science Grid (USA), TeraGrid (USA)
Môi trường lưới tính toán
Môi trường lưới tính toán
công cộng
công cộng
•
Có hàng triệu máy tính ở nhiều quốc gia
trên thế giới đã tình nguyện tham gia, cho
phép các nhà khoa học sử dụng năng lực
xử lý trong máy tính của họ những lúc
không dùng tới để nghiên cứu
•
Ví dụ: BOINC (Berkeley Open
Infrastructure for Network Computing) là
phần mềm trung gian cho tính toán tình
nguyện và tính toán lưới, gồm có hai phía:
phía server và phía client.
Tham gia Lưới công cộng
Tham gia Lưới công cộng
•
Người dùng cần tải một ứng dụng về máy
tính để kết nối vào mạng lưới cùng với
những máy tính tình nguyện khác.
•

Mỗi khi máy tính của người dùng rảnh rỗi,
năng lực xử lý của máy tính đó sẽ được tận
dụng để phục vụ cho nghiên cứu khoa học.
•
Người dùng có thể lựa chọn tham gia các
dự án khác nhau
Các dự án trong lưới Boinc
Các dự án trong lưới Boinc
Dự án Boinc
Dự án Boinc
•
Ban đầu BOINC được xây dựng để phục vụ dự án
SETI@home, một dự án tìm kiếm tín hiệu ngoài
trái đất. Sau đó nó trở lên phổ biến và được sử
dụng cho nhiều dự án tính toán khác nhau trong
nhiều lĩnh vực như toán học, y học, sinh hoc…
•
60 dự án sử dụng mạng lưới Boinc với khả năng
xử lý lên tới 2.500 teraflop (gấp hai lần khả năng
xử lý của siêu máy tính lớn nhất thế giới hiện
nay),
•
Mạng lưới kết nối những người tình nguyện bằng
phần mềm Boinc hiện có 4 triệu máy tính tình
nguyện, trong đó có khoảng 20 nghiên cứu về y
học.
Kiến trúc của mạng BOINC
Kiến trúc của mạng BOINC
• Hệ thống BOINC gồm có
2 thành phần chính là hệ

thống Server và phần
mềm
Work Unit trong Boinc
Work Unit trong Boinc
•
Work Unit là một khái niệm có nhiều nghĩa trong
dự án Boinc được hiểu là một đơn vị tính toán sẽ
được thực hiện. BOINC cung cấp các chương trình
tiện ích và cả các chương trình C cho việc tạo ra
các workunit.
•
Work Unit là một khối lượng thông tin (dữ liệu)
cần tính toán có thể có kích thước nhỏ (200-500
KB) tới kích thước lớn vài MB.
•
Work Unit có thể là một tính toán nhỏ của bài
toán, được thực hiện trên hệ thống.
• Một Work Unit có thể bao gồm nhiều Task, Result
là kết quả của một task, Server sẽ tự động tạo ra
những tập kết quả tương ứng với các Work Unit
khi một Work Unit được tạo
Work Unit
Work Unit
Server của hệ thống BOINC
Server của hệ thống BOINC
•
BOINC Server (Backend Server) có thể
chạy trên một hoặc nhiều máy tính khác
nhau, điều này giúp cho hệ thống BOINC
dễ dàng mở rộng quy mô của dự án.

•
BOINC Server chạy trên nền tàng hệ điều
hành Linux và sử dụng APACHE, PHP và
MySQL làm nền tảng cho hệ thống web và
cơ sở dữ liệu.
Hoạt động của Bonic
Hoạt động của Bonic
•
Các ứng dụng tính toán chạy trên máy tính
thành viên, kết quả được gưi lên cơ sở dữ
liệu của ứng dụng tính toán, tại đây nó sẽ
được xử lý.
•
Trước khi kết quả được gửi lên cơ sở dữ
liệu của ứng dụng tính toán, nó được kiểm
tra tính đúng đắn bởi Server Backend.
•
Server Backend kiểm tra tính đúng đắn
của kết quả bằng cách gửi các workunit tới
nhiều máy khác nhau, và so sánh kết quả
nhận được của một workunit khác nhau.
Quá trình trao đổi giữa
Quá trình trao đổi giữa
Client và Server
Client và Server
Hoạt động của Server dự án
Hoạt động của Server dự án
•
Project back end: cung cấp các ứng dụng và work
unit, xử lý các kết quả tính toán.

•
BOINC server complex: quản lý sự phân phối và
tập hợp dữ liệu. Bao gồm:
–
Một hay nhiều trình phục vụ lập lịch, giao tiếp với các
máy tình nguyện.
–
Một cơ sở dữ liệu quan hệ, chứa thông tin về công việc,
kết quả đạt được và thông tin về những người tình
nguyện.
–
Các chương trình và thư viện tiện ích cho phép project
back end có thể tương tác với server complex.
–
Giao diện web cho những người tình nguyện và các nhà
phát triển.
– Dữ liệu server: phân phối các file dữ liệu đầu vào cho
tính toán và tập hợp các file chứa kết quả. Dựa vào giao
thức HTTP, chương trình CGI với lệnh POST.