Xây dựng hệ thống Grid Computing trên nền tảng Alchemi Và sử dụng định luật Amdahl trong tính toán lươi
Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (691.85 KB, 35 trang )
!"
#$%
Báo cáo chuyên đề: Tính Toán Lưới GVHD: PGS. TS. Nguyễn Phi Khứ
LỜI CẢM ƠN
Trước tiên, em xin gửi lời cảm ơn chân thành nhất tới PGS. TS. Nguyễn
Phi Khứ đã tận tình hướng dẫn, giảng dạy truyền đạt những kiến thức nền
tảng cơ bản cho chúng em về môn học:"Tính Toán Lưới".
Em xin được gửi lời cảm ơn chân thành tới các thầy cô giáo trong khoa
Công nghệ thông tin - Trường đại học Công nghệ thông tin- Đai học
QG.TPHCM đã tần tình giúp đỡ và giảng dạy cho chúng em trong những môn
học vừa qua.
Trong thời gian vừa qua mặc dù em đã cố gắng rất nhiều để hoàn thành
tốt môn học. Song chắc chắn kết quả nghiên cứu sẽ không tránh khỏi những
thiếu sót, vì vậy em kính mong nhận được sự chỉ bảo và góp ý của quý thầy cô
và các bạn.
Em xin chân thành cám ơn!
Hà Nội, tháng 7 năm 2013
Học viên thực hiện
Bùi Hữu Tiến - CH1102010
Lời nói đầu
Công nghệ Grid Compung ra đời đánh dấu một bước phát triển mới .Trong lĩnh vực điện toán
hiệu năng cao. Nó cho phép tận dụng năng lực xử lý, lưu trữ cùng các tài nguyên nhàn rỗi khác để
cung cấp một môi trường 6nh toán có năng lực xử lý lớn, khả năng lưu trữ dồi dào để giải quyết
Học Viên: Bùi Hữu Tiến - MHV: CH1102010 - 2 -
Báo cáo chuyên đề: Tính Toán Lưới GVHD: PGS. TS. Nguyễn Phi Khứ
các bài toán phức tạp - khó có thể giải quyết được với các công nghệ hiện hành hoặc giải quyết
được nhưng với chi phí rất cao - trong khoa học, thương mại. Grid Compung giúp tận dụng tối đa
tài nguyên, tăng cường hợp tác, giảm chi phí đầu tư trong khi vẫn cung cấp năng lực 6nh toán như
mong muốn. Hiện nay, đất nước ta đang thực hiện công cuộc công nghiệp hoá, hiện đại hóa, trong
đó việc rút ngắn sự tụt hậu, phát triển về khoa học công nghệ là yếu tố then chốt quyết định đến
thành công của công cuộc đổi mới. Song song với quá trình phát triển, ngày càng có nhiều bài toán
mới, đòi hỏi năng lực xử lý lớn xuất hiện trong khoa học, thương mại và quản lý đất nước. Các
công nghệ 6nh toán hiện hành cũng được áp dụng nhưng không thể triển khai rộng rãi để có thể
giải quyết hết các nhu cầu do chi phí đầu tư quá lớn. Việc nghiên cứu, áp dụng công nghệ Grid
Compung là một giải pháp tốt để giải quyết các Unh huống này. Hơn nữa, công nghệ Grid
Compung hiện nay còn khá mới mẻ, đang trong giai đoạn hoàn thiện, việc cùng tham gia nghiên
cứu với cộng đồng thế giới sẽ giúp chúng ta học hỏi kinh nghiệm, ến tới làm chủ công nghệ, từ đó
có thể phát triển theo hướng đi của riêng mình, đáp ứng nhu cầu 6nh toán hiệu năng cao ngày
càng tăng của đất nước. với nh thần tham gia nghiên cứu, học hỏi công nghệ, đề tài ểu luận của
em: "Tìm hiểu công nghệ Grid compung và &''' ( xây dựng 6nh toán lưới trên nên tảng
Alchemi" được thực hiện nhằm đi những bước đầu ên trong quá trình nghiên cứu, phát triển, ứng
dụng Grid vào thực tế. Tiểu luận nghiên cứu các vấn đề chung của công nghệ Grid Compung, xây
dựng 6nh toán lưới trên nền tảng Alchemi, 6nh toán một số bài toán với Alchemi, hiệu suất bài
toán với Alchemi
Học Viên: Bùi Hữu Tiến - MHV: CH1102010 - 3 -
Báo cáo chuyên đề: Tính Toán Lưới GVHD: PGS. TS. Nguyễn Phi Khứ
)*+, #/0&'.1
234
5634#/&'78696:;1<=>*?= =.@A&'5
B0C==DE=FDGHD7<9.IJ
63%D.5/.,!7.'GJ=K=D7L"DMNO#
IJ..#/P9'3#QRSTUNV'W6XL I<:D!'QY I
7HD7>.$#)B+Z6YJA,!L[R\.
]^1R\]UUDJBV_,!#$6DJ7<#.6X=F
.IJ#`a7>"b6!C))57'a'GY.
.#/#'_0.D:5#0JI'GJBI[50
C&'Y_6a=.@
Y=G7<9D=F.IJ769 L%$.&'9#C9
.IJDV'W.5/.#W L%7.D/.6)#37.5,
!DI/.,!7.0&'$.L I<#P6/#/:L$D
M= L3DMD#JDcLI= =F#=d'Q.IJ
Td'Q'0#!.eD;D6'Q&'69fI'GJ
!#'0, D6'Q6XL I<#P6/):L!GV
'WD I/Dg7<#.If.P.IJ
h2!IJ..#/P9'3#Q&'E=d'QC9.IJ6X
.P/.B'3#Q#!P97.DJ 6<#M'QV
6!D0.=.PD=K=D:L$DE7<9/.7X..IJ6X6!
..!BNV'WQ1J.LC9=6X7L"N0C
=.77<9L)i,7L"NZ6)#3P.J&'
3=dX
j"kklD7.$_A=J.[R .1U6VD'W6XL'G7<
C.=J.IN>b7<9=!Bfd%N/.=J.IB
#.2<"kkmD'G=J. HDL;6<0/
L'G&'II?n?jopR?#j (7qo: 'p .=U#*q
rnsR*t1r' n s U6Vu0&'6V;vM0n
j1:I#`kkj"kkw*?= 6xZ'G*qrnsD
u == V'G&:.=+7D5'G/LN0&'#
.1+Z6Y6<ID#0X0&';JP=65#=G
J!.D6.N/.,!D$601D/. CD#
6x.69_G.
h+.IJN&'
.IJN&':yB=.@
h+.IJ
2I.IJ,:<PD.7zR.1I =U69.P:;:5#
fd%N<:3&':5#fd%7LWBYXYC65D7<
ODBI/7.Yh6X7.IJN&'@
6)LPBI!'Q0YJ5' N&'I#BIJI
Q:5
+<7<!'QD#0J{6XYX
G==J/.:5fd%7.
hBI!'QG/.J/.' 7.&'
h+.IJ._
+.IJ,:<!&'.IJ._|<:3&'V
Học Viên: Bùi Hữu Tiến - MHV: CH1102010 - 4 -
Báo cáo chuyên đề: Tính Toán Lưới GVHD: PGS. TS. Nguyễn Phi Khứ
.P5=C'.9._Q#Q#0G!'QJ&'+.IJ.
_YX:5D,64!a<:3._7}5V'W6X
._'_0.BV!'QD7<:3._YX69=d'Q6X
"7._D"0.=.PD7L"=F#6L:L1$IN'_0.
hh+.IJB@
Cơ chế quản lý: có tác dụng làm cho việc lưu chuyển trong mạng được tốt
hơn, hiệu quả hơn thông qua các quyền ưu tiên, chế …
Cơ chế thẩm tra: cho phép xác định các đặc điểm của mạng.
+ Các kho mã nguồn: là nơi quản lý tất cả các loại tài nguyên và tất cả các
phiên bản của mã nguồn …
+ Các bộ sưu tập: là cơ chế bắt buộc để hiện thực và truy vấn các bộ sưu tập
cũng như các thao tác cập nhật như trong cơ sở dữ liệu quan hệ …
h~/D!'Q
&'YX696a/YX •6XJPLHI
&'/I869J5=C' + &'D75#0
6<ODY={d'_0.6<' 6x696a/#G2IYX
5LC6X1<70M#/:L I//
~€9•‚'Q
5=CM97=d'Q0&'.1@
uD$'Q.IJ|ƒ.<,!6/.Y59
.IJ|D IV8=d'Q<m„V
fd%…DIL= # †VAL|[&'YXC.=d'Q.IJ
|I /.7.D#M'QDd5#0J5I6:$5
6<5I7L|)6Xfd%Da‡5#0yd#0
6<I|7fd%==Dc&'E7<9/.7.
_|6XB57._)D69P.6X"0.=.PD651
$I)=#I6)F )< L%'_0.5!"N&'_
:b=d'Q.IJC)5,!Va#P6/7697
B656v‡J/..IJ)\&'DYX.IXB656<
.IJ|7DaYXJ.IJ5'ˆ'DZ6Y"7L
"3.6GN0C&'YX L%/.B.IJD'6YYXE
'‰, #/B65=d'Q.IJ,!D|9B63
<9=d'Q.IJ
Td'Q…==uL"=d'Q…==56a.I0#V
N&'D#0|9..N7HD=!B'&'
.PYXOL I<:6v‡"Gfd%7I
'9DMD7<D7'.LD'G:V1<D0#†QD<7<
=LeD#P/.4#G7
hE9J< 5_6YY HN
0&'.1E#6)L9=FD#0_556y
5J<
~E=FD=d'QPLB.IJu8E=F.
7zD'_0.D&'YXE=FPLB.IJ6I
69=FD:"BD<:36a:0D/D:L I/D'3#QDc\M
'QD<.5V'W.C":"7<C* NJ6XG05!
'Q7'_0.D!'Q6YYX69d6</.I&'Y7<C
* JDZ6Y:".I$* N"JP/.Dc
Học Viên: Bùi Hữu Tiến - MHV: CH1102010 - 5 -
Báo cáo chuyên đề: Tính Toán Lưới GVHD: PGS. TS. Nguyễn Phi Khứ
m+"1$I0CI0C&'VF#
63%D'6YD<.Y=GC#/.y60I|0C7B5#3MD:5
vB7:3L;/ L3&'Y7L"GB#0
J5' 770Y|0Cj<. H)_D0C
VGD/.:L'GvN#0 HYX69BIJ
/.I7.&'6X6L:L651$IC6
Š+"7L" L30CQ1J.LPL.IJ#.P
'0 L%6)P0C|B6 B_)56X L3C)
)=;B01D}JB6YD6C# L%#4D
Y/.'G=d'Q)=;B1D&'E L%65.1J=d'Q
.IJN'GI+6ID|'GV3.0 L%5=C
.IJDVfLIgB.IJN'GI6|7'G7
6a#P6/D<..IJ'a=G707V\5)'
&'.PDg.CJYX69L I<'ˆ'+J6I0.5=CM9
7=d'Q0&'.1D&'vBP/.9M77X7X
<;6ID.z#g.CQX6 B9M7.\P6/LX.‰:L
P&'D=d'QCQb77CPg.CQX0
&'.1YX69!'Q:7 H‹)B@
Œ2v‡"Gfd%Rƒq t .1UDIJ..O•V
7< LC
Œƒ'_0.D6v‡L.$D._D59'_0.D
Œ=G9D=F_56y
Học Viên: Bùi Hữu Tiến - MHV: CH1102010 - 6 -
Báo cáo chuyên đề: Tính Toán Lưới GVHD: PGS. TS. Nguyễn Phi Khứ
)**•+#7<O'.1
Để tạo thành một hệ thống theotính toán lưới, chúng phải bao gồm nhiều
thành phần. Có hai tiêu chí để đánh giá và chia công việc theo từng thành
phần.
2.1.1. Phân chia theo mô hình chức năng.
Về mặt chức năng thì lưới gồm các thành phần sau:
ổng tương tác (Grid portal):là một giao diện cho phép người dùng sử dụng các
ứng dụng lưới, do đó lưới trở nên trong suốt với người dùng.
Thành phần bảo mật (Security):là cơ chế đảm bảo các hoạt động như xác thực,
cấp quyền, bảo mật-toàn vẹn dữ liệu và tính sẵn sàng của dữ liệu.
Chức năng an ninh nút (Node Security Function): chức năng này chịu tránh
nhiệm xác thực và bảo mật cho từng nút trong quá trình giao tiếp giữa nó và
các thành phần khác bên trong mạng lưới. Nó phụ thuộc vàohệ điều hànhvà
các hệ thống lưới cụ thể, thường thấy là cơ chế cấp chứng chỉ quyền truy cập.
Bộ lập lịch (Scheduler):là phần phối hợp quá trình thực thi của nhiều công
việc song song. Đơn giản, người sử dụng có thể chọn nút thích hợp để chạy tác
vụ, sau đó chỉ việc kích hoạt lệnh để định tuyến công việc đó tới nút đã chọn.
Thành phần môi giới (Broker):sau khi người dùng được xác nhận
quyền gia nhập vào mạng lưới bởi thành phần an ninh nút, thành phần này sẽ
chỉ rõ ứng dụng của người dùng được sử dụng tài nguyên nào và đảm bảo tài
nguyên được sẵn sàng sử dụng theo tham số truyền vào.
Quản lý, phân bổ tài nguyên (grid resource allocation manager, GRAM): cung
cấp dịch vụ để kích hoạt từng công việc trên từng tài nguyên cụ thể; kiểm
tra trạng thái công việc; đọc kết quả khi công việc đó kết thúc. Các thông tin
của thành phần này sau đó sẽ được bộ lập lịch sử dụng.
Tài nguyên (Resource):tài nguyên lưới bao gồm bộ xử lý, bộ lưu trữ, các ứng
dụng và các thành phần.
Quản lý dữ liệu (Data management):dữ liệu có thể nằm ở tài nguyên, hoặc
là kết quả thực thi của một tác vụ nào đó. Thành phần quản lý dữ liệu phải đảm
bảo an toàn và ổn định trong quá trình di chuyển dữ liệu giữa các lưới.
Giao thức (Protocol):là thành phần đảm bảolien kếtcác thành phần
chức năng kể trên để có thể hoạt động và tương tác được với nhau trong mạng
lưới.
2.1.2. Các thành phần theo mô hình vật lý
Thành phần mạng (Networks): mạng đóng vai trò là cơ sở hạ tầng để
truyền số liệu và các thông tin giám sát công việc giữa các điểm trong mạng
lưới. Băng thông mạng là một thuộc tính rất quan trọng liên quan đên hiệu suất
lưới.
Học Viên: Bùi Hữu Tiến - MHV: CH1102010 - 7 -
Báo cáo chuyên đề: Tính Toán Lưới GVHD: PGS. TS. Nguyễn Phi Khứ
Thành phần tính toán (Computation): được cung cấp bởi các bộ xử lý trong
lưới, chúng đa dạng về tốc độ, kiến trúc, nền tảng phần mềm và lưu trữ.
Thành phần lưu trữ (Storage): dữ liệu có thể được lưu trữ phân tán trên nhiều
thiết bộ xử lý hoặc một mạng SAN. Mỗi bộ xử lý thường cung cấp một dung
lượng lưu trữ nhất định. Hệ thống file thường được dùng là NFS, DFS hoặc
GPFS
Phần mềm và bản quyền (Software and License): về phương diện phần
mềm trong môi trường tính toán lưới thì mức độ ổn định của ứng dụng phần
mềm và bản quyền phần mềm là hai vất đề cần được quan tâm nhất.
Các thiết bị đặc biệt: một vài nút trên lưới có thể có những thiết bị đặc biệt,
chẳng hạn các thiết bị quân sự, y tế, hay các thiết bị chuyên dụng khác.
u<O'.1
u<O&'D *?= D57<Oƒ
5Y.6a6XDPDYX69fI'GZ:P!'
69'G #vNO0C&'2I57<O
;u<OI8 I63IJ...P#/<7<#X7#Q6MM
6X7L\0fI'GD6aQX.z.5#Z'GDZ4#G!'Q
Ž6I1<N7<O@
ƒu<O&',
Học Viên: Bùi Hữu Tiến - MHV: CH1102010 - 8 -
Báo cáo chuyên đề: Tính Toán Lưới GVHD: PGS. TS. Nguyễn Phi Khứ
+?:
Chức năng chính của tầng này là cung cấp các loại tài nguyên chia sẻ, được
phép truy cập của mạng lưới thông qua các giao thức mạng lưới. Các loại tài
nguyên này bao gồm: tài nguyên tính toán, các hệ thống lưu trữ dữ liệu, các
catalog thông tin, các tài nguyên mạng và các đầu cảm biến (sensors).
Các thành phần ở tầng này được triển khai ở mức cục bộ; các thao tác tài
nguyên đặc biệt diễn ra trên các tài nguyên đặc biệt trong tầng này chính là
một kết quả của các thao tác được chia sẽ ở tầng cao hơn. Như vậy là có một
sự ràng buộc tinh vi, chặt chẽ giữa các chức năng được cài đặt ở lớp nền với
các thao tác chia sẻ được hỗ trợ ở tầng khác.
Các loại tài nguyên trong tầng này đều bị ràng buộc bởi hai cơ chế :
Cơ chế quản lý tài nguyên (Resource Management Mechanism): cho phép
cung cấp khả năng điều phối chất lượng dịch vụ.
Cơ chế thẩm tra (Enquiry Mechanism): cho phép tìm hiểu cấu trúc, tình trạng
và các tính năng của tài nguyên .
Các phân loại tài nguyên chính trong tầng tác chế:
+ Tài nguyên tính tóan: là các cơ chế bắt buộc tuân thủ khi bắt đầu chạy
chương trình, cho phép kiểm soát, điều khiển việc thi hành các tiến trình.
Cơ chế quản lý: cho phép quản lý các loại tài nguyên đã được xác định rõ vị trí
làm cho các tiến trình đạt được lợi ích nhiều hơn .
Cơ chế thẩm tra: có khả năng xác định rõ phần cứng , phầm mềm nhờ các
thông tin về tình trạng của hệ thống (tải hiện thời, tình trạng hàng đợi …)
+ Tài nguyên lưu trữ: là cơ chế bắt buộc cho việc lấy về và tải lên các tập tin từ
hệ thống lưu trữ, cho phép đọc một phần của tập tin cũng như cho phép chọn
lọc dữ liệu từ các tập tin ở xa.
Cơ chế quản lý: làm cho việc di chuyển tập tin dễ dàng hơn (không gian, băng
thông đĩa, băng thông mạng, tải của CPU …)
Cơ chế thẩm tra: xác định tình trạng phần cứng và phần mềm thông qua các
thông tin tải. Thí dụ dung lượng đĩa còn trống, băng thông sử dụng …
+ Tài nguyên mạng:
Cơ chế quản lý: có tác dụng làm cho việc lưu chuyển trong mạng được tốt hơn,
hiệu quả hơn thông qua các quyền ưu tiên, chế …
Cơ chế thẩm tra: cho phép xác định các đặc điểm của mạng.
+ Các kho mã nguồn: là nơi quản lý tất cả các loại tài nguyên và tất cả các
phiên bản của mã nguồn …
+ Các bộ sưu tập: là cơ chế bắt buộc để hiện thực và truy vấn các bộ sưu tập
cũng như các thao tác cập nhật như trong cơ sở dữ liệu quan hệ …
2.2.2. Tầng Connectivity
Đây là tầng quan trọng để tạo nên hạt nhân của các giao thức xác thực và
truyền thông bắt buộc của các giao dịch đặc trưng trong hệ thống mạng lưới.
Giao thức truyền thông cho phép chuyển đổi dữ liệu qua lại giữa các loại tài
Học Viên: Bùi Hữu Tiến - MHV: CH1102010 - 9 -
Báo cáo chuyên đề: Tính Toán Lưới GVHD: PGS. TS. Nguyễn Phi Khứ
nguyên ở tầng chế tác. Giao thức xác thực được xây dựng trên các dịch vụ
truyền thông để cung cấp các cơ chế mã hóa và bảo mật trong việc kiểm tra
xác thực người dùng và tài nguyên mạng lưới.
Truyền thông bao gồm các công đoạn: truyền thông tin, định tuyến và đặt tên.
Những giao thức này tương tự như các giao thức trong TCP/IP: Internet
Protocol (IP) , Transport Protocols (TCP , UDP) và các giao thức tầng ứng
dụng (DNS , OSPF , RSVP …)
Các vấn đề bảo mật phức tạp trong mạng lưới được giải quyết bằng các giải
pháp xây dựng và nâng cấp từ các chuẩn đã có. Trong truyền thông hiện có rất
nhiều các chuẩn bảo mật được phát triển trong ngữ cảnh Internet. Giải pháp
xác thực trong môi trường mạng lưới các tổ chức ảo bao gồm các đặc điểm sau
:
+ Cơ chế đăng nhập một lần (Single Sign On): người dùng chỉ cần đăng nhập
vào mạng lưới một lần duy nhất. Sau đó hệ thống phải quản lý người dùng đã
xác thực và cho phép truy cập các tài nguyên được phép trong lớp chế tác mà
không yêu cầu cung cấp các thông tin xác thực nữa.
+ Cơ chế ủy quyền (Delegation, Proxy): người dùng có thể ủy quyền lại cho
một chương trình trong một khoảng thời gian xác định truy cập đến các loại tài
nguyên mà anh ta được phép sử dụng. Chương trình này cũng có thể ủy quyền
có điều kiện một phần các tập quyền của nó cho chương trình con khác. Hệ
thống mạng lưới phải hiểu, kiểm soát chặt chẽ và đáp ứng tốt cơ chế ủy quyền
này một cách trong suối đối với chương trình được trao ủy quyền.
+ Cơ chế tích hợp đa giải pháp bảo mật địa phương (Integration with various
local security solutions): Đặc điểm của mạng lưới là mỗi site chứa tài nguyên
mạng lưới đều có cơ chế bảo mật tại chỗ không giống nhau (các cơ chế xác
thực như Kerberos, LDAP, Active Directory, username/password, ). Cơ chế
bảo mật mạng lưới phải có khả năng giao tiếp bên trong với các cơ chế bảo
mật địa phương mà không yêu cầu thay thế toàn bộ các giải pháp bảo mật hiện
có, nhưng cần có cơ chế ánh xạ bảo mật trong các môi trường cục bộ khác
nhau.
+ Cơ chế quan hệ tin tưởng dựa trên người dùng (User-based Trust
Relationships): người dùng có thể sử dụng các loại tài nguyên có được từ sự
kết hợp của nhiều nhà cung cấp khác nhau. Việc kết hợp đó không bắt buộc
các nhà cung cấp tài nguyên phải tác động qua lại lẫn nhau nhựng phải đảm
bảo cấu hình của cơ chế bảo mật hiện có. Ví dụ, xem xét trường hợp một
người dùng có quyền sử dụng hai site A và site B. Khi đó người dùng có
quyền dùng site A và B cùng một lúc mà không cần phải thông qua các quản
trị viên của các site A và B, khi các site này đã được thiết lập cơ chế quan hệ
tin tưởng dựa trên người dùng.
Giải pháp bảo mật của mạng lưới cũng đồng thời cung cấp khả năng hỗ trợ cơ
chế bảo vệ truyền thông một cách linh hoạt và khả năng hỗ trợ này được cho là
đáng tin cậy hơn giao thức TCP/IP truyền thống trên Internet.
Học Viên: Bùi Hữu Tiến - MHV: CH1102010 - 10 -
Báo cáo chuyên đề: Tính Toán Lưới GVHD: PGS. TS. Nguyễn Phi Khứ
2.2.3. Tầng Resource
Tầng này được xây dựng trên nền tảng sẵn có của tầng kết nối . Đây là
tầng dùng để xác định các giao thức chính cho các quá trình thương lượng,
khởi tạo, kiểm tra, điều khiển, tính toán và kiểm toán chi phí của các thao tác
được chia sẻ trên các tài nguyên. Những giao thức trong tầng tài nguyên sẽ gọi
các chức năng trong tầng chế tác để truy cập và sử dụng các loại tài nguyên
cục bộ.
Có hai loại giao thức chính trong các giao thức của tầng tài nguyên:
+ Giao thức thông tin (Information protocol): cho phép lấy các thông tin về
cấu trúc, tình trạng của một loại tài nguyên nào đó trong mạng lưới.
+ Giao thức quản lý (Management protocol): dùng để sắp xếp quản lý thứ tự
các truy cập đến các tài nguyên được chia sẻ.
2.2.4. Tầng Collective
Trong khi tầng tài nguyên chỉ cho phép truy cập đến một loại tài nguyên
đơn thì tầng kết hợp tập thể lại chứa các giao thức và dịch vụ cho phép giao
tiếp giữa các tài nguyên trong mạng lưới. Tầng này bao gồm các dịch vụ chính
như sau:
+ Các dịch vụ thư mục (Directory Services): cho phép các thành phần tham gia
trong hệ thống mạng lưới tổ chức ảo tìm hiểu sự tồn tại và các thuộc tính của
các loại tài nguyên của họ. Một dịch vụ thư mục cũng cho phép người dùng
truy vấn các thuộc tính của tài nguyên, loại tài nguyên, tính khả dụng …
+ Các dịch vụ chứa chấp, lập lịch, môi giới (Co-allocation, Scheduling &
Broker Services): cho phép các thành phần tham gia vào mạng lưới tổ chức ảo
gởi yêu cầu đến một hay nhiều máy chủ cho các mục đích chứa chấp, lập lịch
và môi giới truy cập các tài nguyên tương ứng.
+ Các dịch vụ giám sát và dự báo (Monitoring and Diagnostic Services): cho
phép hệ thống hỗ trợ kiểm soát tài nguyên trong mạng lưới các tổ chức ảo.
+ Các dịch vụ nhân bản dữ liệu (Data Replication Services): cho phép hỗ trợ
việc quản lý lưu trữ tài nguyên trong mạng lưới tổ chức ảo (kể cả mạng và
năng lực tính toán) tạo điều kiện cho truy cập tài nguyên đến mức cao nhất có
thể.
+ Các hệ thống lập trình hỗ trợ mạng lưới (Grid-enable Programming
Systems): tương tự như mô hình lập trình giao tiếp ứng dụng (API) thông
thường, nhưng dùng trong môi trường mạng lưới. Hệ thống này cho phép sử
dụng các dịch vụ mạng lưới để xác định các thông tin tài nguyên, thực hiện cơ
chế bảo mật mạng lưới, định vị trí tài nguyên và tất cả những gì có liên quan
đến mạng lưới.
+ Hệ thống quản lý tải và môi trường cộng tác (Workload Management
System & Collaboration Framework): tương tự như môi trường giải quyết vấn
Học Viên: Bùi Hữu Tiến - MHV: CH1102010 - 11 -
Báo cáo chuyên đề: Tính Toán Lưới GVHD: PGS. TS. Nguyễn Phi Khứ
đề PSE (Problem Solving Environment), hệ thống này cung cấp các đặc tả,
cách dùng và quản lý đa bước, quản lý tính đồng bộ, đa luồng, đa thành
phần… trong các tiến trình tính toán.
+ Dịch vụ tìm kiến phần mềm (Software Discovery Service): hỗ trợ tìm kiếm
và lựa chọn phần mềm cài đặt và làm nền tảng cho mạng lưới.
2.2.5. Tầng Application
Đây là tầng cuối cùng trong kiến trúc mạng lưới, bao gồm tất cả các ứng
dụng hướng tới người dùng trong môi trường mạng lưới của các tổ chức ảo.
Về nguyên tắc, người sử dụng có thể tương tác với mạng lưới thông qua tầng
ứng dụng một cách trong suốt mà không nhận biết được sự có mặt của các tầng
khác trong mạng lưới
Học Viên: Bùi Hữu Tiến - MHV: CH1102010 - 12 -
Báo cáo chuyên đề: Tính Toán Lưới GVHD: PGS. TS. Nguyễn Phi Khứ
)h•5=C&''' ( M
h234&''' ( @
&''' ( Y/b_!'Q#06/.
&''' ( L%= .ID.I$#6,1@
.P7L"7<C=C9.= 'P..IJ={VBID
.'_0.D<:37c.PQ6X L%D7;BJ7<6,
1
jJ#Q#9MN''' ( @
YhQ6M@•I'G1<D#!YQ6M.D;#
.e};#0C69fI'J_1<#!#P/.Q6M
7.j_1<#!I6/.8697< L):LD/
L#/#0f$DfGD7.IJD.If.P.IJŽ6YD#0fI
'G1<D!.e#;P HD<.7DO8fI'G
69_!'Q6aW234!.e@jY634
5'.#.|=G706,60=d'QIJ..Zf2/.IP
H#<6XG0 :IR47L"GX7.
YX#0#.D#69G0:;!VU0CQ
.5#
.Pn*.e@6Y'0$!'Q.eD6341<
.e6X#<x#0D#P.ON&':bE
x69=d'QBuY''' ( OX!'Q7
$!PD q •‘#0$B!=7 &L
MVX/7$.X.IJyX
!'Q:b=d'Qt (7!7fI'GBZ6..PZ.
9B;!#IJ..!'Q#0X0CVB.
P/.'3#QXD6"$#:L$O#0B650. L
VB
u<O&''' ( @
Học Viên: Bùi Hữu Tiến - MHV: CH1102010 - 13 -
Báo cáo chuyên đề: Tính Toán Lưới GVHD: PGS. TS. Nguyễn Phi Khứ
ƒ3N'' ( b_n1#?:
&''' ( b_@!'QR1UD7<P.Rt:U
&''' ( yM@ 1Dp =. # 1#I
h5=C&''' (
h&:.=+7
&0.
&:.=/.y;69'W6XfI'G0C#!'QJ
/L+7I.P'3#Q##06X.7XD7# L%
.IJD L%$1D.P)<:L$'_0.V'W0C
'3#QD1<#!NYEV'WYX'ˆ'.If.P
.IJ;fIJIQ:5N&:.=69X:;,!&:.=n D
J:Ll6V#"kkwDJ:L6IPJ:Lml6V#"
ll
u<O
P.ON&:.=yhY'3#QMD'3#QI69.If.P 5
:L$R= .II U}Y'3#Q6Y@'3#Q L%.IJRp =.
UD'3#Q L%1R*t1T # UD'3#Q L%'_0.RŽ
U&:.=6YY'3#QIB#.DOYX69=d'Q5
65$a7<9.#.6XX!'Q
Học Viên: Bùi Hữu Tiến - MHV: CH1102010 - 14 -
Báo cáo chuyên đề: Tính Toán Lưới GVHD: PGS. TS. Nguyễn Phi Khứ
ƒh@u<ON&:.=+7
+q= # !'3#QN06/.D'3#QB+`*D
+M!Q6XfI'G)<:L$Dd#06XGR’:
=.:==UD L%.IJD L%1.IJ+).P'3#Q#
Q6X)#'3#Q:J'#0G!"v<.
+:L$&T*
+I.P)!fGNV'WV#)<
:L56,'_0.jY'GJ/LTTDu*#.e•mlk+&T*.P
'3#QD!##06XG#P6/:L$V@•
G5R= =qU#0=d'Q'3#QN0C !
$R 1“ UNV'W•G#0=d'Q.IJ 1“ N=
xY'_0.
”I I/jV'W.C.I$#.IJN0CLY5
1“ =.:’ fB#57LJI;f69.P:;V L3N0
C!GIL697%:;5,!RnU0C1;ƒ.<
'3#Q6v‡V'WL69fG7=d'Q!"NY2/.I
6L:L#0C0#:L$'_0.LV=d'Q‹0C
S.L%.IJR =. U
&YIyM=.@
&:.= =. 1 R&pnU@&pn.P7L"G#0J
I;fD#L7< LG0B7uV'Wd5#0J
7 ' JI;fD 7 ' ={7Xf V'WI6x
69fGIj<.V'WI6x69fGY={B5’: 6X
Học Viên: Bùi Hữu Tiến - MHV: CH1102010 - 15 -
Báo cáo chuyên đề: Tính Toán Lưới GVHD: PGS. TS. Nguyễn Phi Khứ
L%#6/.7X#0G#0I+WI.5#:X.VR= '. UN0
C’: Y69I$!I7Y/.B:X.V@
: :=I= R}TUD'=tIRT?UD#' # +&pn!&:.=
=. = “1. RpTU'W6X!1#/.IJ5#0
6XG=C9…D7MCX.N:5Dc
&:.= === 'I= R&nTTU@&nTT)<.I$$10CD
YE!'QYX6HD$1J0CZf&nTT=d'Q&T*6X6L
:L6O I/B76H'_0.J0C
Ž3#Q.P1N.IJR*t1= # =U
&YI.P.5NOR' U#0C'
'=# I= # RŽTU.P,96X:#.I#P1.IJN
0CŽTy:@'W*t1#' =R*=UDY3.0$
9'_0.#/1DBN.IJ•!&' =. t1
= # R&p*TUDY3.0LV.I#P#/1N.IJ#$$#
•JW&'t1' f= # R&**TUDY6/QR' fU1
.IJ69.P:;&p*T#&**T76"7%#Y
S.L%'_0.RŽ U
&YI.P10M##06X.I/LD._# L%$'_0.jY
yM@
&'?+@2I!;5N!?+b6L:L'_0.69.IX6,
V69:L$D61$I#0. LjDY69BIJ&T*
b6L:L .I/$69fG6OVD6O I/
p 1' @I|95“ YX69._/.)
Vp 1= # RpTU3.0B#fY:L=
R U
h…j*]po
&0.
…j*]po.P5V:y #= # …j*]po|9#0.I$
.IJ#'_0.V5'ˆ'D/B#
u<O
Học Viên: Bùi Hữu Tiến - MHV: CH1102010 - 16 -
Báo cáo chuyên đề: Tính Toán Lưới GVHD: PGS. TS. Nguyễn Phi Khứ
ƒ~@u<ON…j*]po
…j*]po69<7< 7<O:Rƒ~U+ ZMV'W6.
.CD…j*]po0C7qN69fI'G :y@
+V'W@V'WBI…j*]po JIBaI
+IN@|.I6345a5#…= R…j*]po&'
= U6X7YX7<C#
+0C@…= .P)<.I$6<.IJ#.IJ'_0.
O69,!5a5#\= R\.= U\= YXf 50
CG#._BI.
…j*]po :y@–nR’: 1 U#–R’:
U–n'W6X7;B#0D–6/.7X#0$7< LG
#0#0DBN5IJ..#7< LG69Ln–]R:=
’::’ U+77<C#…j*]po…= (I#d#0 n–]
…j*]po (IC#'.IPPL7<C#…= jY.P5638#
5,6XV'WYX7<C#:b=d'Q!TT
…j*]po\= y@j–TR (7’:=. #=U#+T*R =I= t U
j–T L%PL#069d#0C…j*]poDG0#0fGV
'W:bg7<5!G90NV'W)=;'_0.NY……Ž}
+T*$#0Zj–T#6O#0C6XG
+, #/ G05#0…j*]po'' (
+7…j*]poBDD L%#0D6y:5#0D'.IX'_0.
_0CD= +7B5n–]6Xd#0#/N+N
…j*]po={G#0=.@
Học Viên: Bùi Hữu Tiến - MHV: CH1102010 - 17 -
Báo cáo chuyên đề: Tính Toán Lưới GVHD: PGS. TS. Nguyễn Phi Khứ
.IXn–]1W9#0C
2y:5Y1#.
.IX#0#'_0._IBD0CD#= #.
S.L%B@
56)#3GN…j*]po5#0j–T={G#0'V'W
d#0C5#0YXY5a/.#0‡#0‡†
5#0#69f 5#Q6)L
uj–TG5#0DY={B5QJ0C#0I+Q
I69f 5…= N#0+PL$1=d'Q G
#0={69._…= N#0+PL#QG
G5#06/.769E.I$G1<#$1N0C
R•= U+I#6YD75#Q6Y.C=d'Q5$1N0CDY={E
$16Y#…= DOPLJ$1={69G0J$169
._…= un–]#0G…= NY={69fY6
hh&':.=
ŽG&':.=5'Gx.y;D.5/.) '‹6.:;&p*ŽT:.5
…# =It :. Dn.=jYE7<9.= '3#QR= # q
'.= U#&''' ( 6X|9!'Q T # }.= ==jY7<
9/J #65Z.9b 66'BD|B
N.IJ#0'' ( PZYNX!
'Q}JB6YDY$.0G10MR.1I.1UL
'Z.= 6<&'#0CR qq U&':.==d'Q
7<#0 L%.IJ=F#10N'3#Q
+Z6Y"7L")BN'3#Q&'DE L%0. L#0.#
..IJ&':.=|910;/.!7.@
Œ!.IJR#M'Q@:.7z…#.IJ._U
Œ!!'QR#M'Q@B65d!'Q<7<.CU
Œ+$'3#Q6x697<9R#M'Q@#:B'3#Q
/.#W7.U—;7<R.1 IUO#0B
J7<O'3#Q6YDV'W'3#QLL1/!
'Q#.P'GJ_IJ..P63DV'WYXC.Y#0
:bH'3#Q<5B#/M
ƒm7<O
&':.=
ƒ#{
PI
N
&':.=
#0J7<#
0
'' (
7
&:.=D
…j*]po#n &':.=.P/4#G=.@
Học Viên: Bùi Hữu Tiến - MHV: CH1102010 - 18 -
Báo cáo chuyên đề: Tính Toán Lưới GVHD: PGS. TS. Nguyễn Phi Khứ
˜o = &'*t=.. Rn U
a'W7H6/.=d'Q06/.'v…fD
B,!)B#‹v'GJ=™r'(=Ž6YD
n 69X6XQ#Q..G0L&'$'Q7L"
'Z;69fI'GJ/=™jo+? (7D.P7L"fI
'GA' =7&'[DY†.P$6C9W#'0
r := # E.I$6<= # Z:P7zV$|9T]n#
•
˜.= oI'p =. n1R:U
:50C$3.= 6X6L:Lb.IJ=F
#0NV'W6XOYX5B#/='V'W
f63
˜&'oI'\.o = R&'7 Ž ID. ( 7 U
2IYXH5X0N)<3V7<&'7
Ž IR&ŽU5'3#Q6"7%E.P'3#QYX6"7%#
'3#QH.P#EV1J.'WYX.I#P6Xg'3#QW
9#..5=C.5N'3#Q6X.I$Rn ==UD)<6.#D#
M7=d'QY. ( 7 RU50C$3# L%
.IJ )<3VjYE6,"G|BI
N6B'03VD.P#1J.Q
7 T # D7 p =. n D#7 p =. }7 Rp}UjY|9/.
7<E6,.IJDg7<C#1J.QDE6#/.
)<$37.
˜&'+''n.1T # =R&'}7U
&'}75'3#Q7<#L&'.P5B:L$D
EV1J.'W'3#QR&'T # =. =R&TUUL.P'3#Q
R&'T # #' =R&TUU#/#0=d'Q'3#QN
˜&'p =. }7 'T '.R&':.=}7 U
&':.=p =. }7 .P5'0Z.96C#=G!BN&':b
=.C .I$.IJ6XG#0J&'jY=d'Q
IJ..NV'W6XB5$#0Dg7<.IJD$3DG#
7X=D#PI7< L#/7#07<O&':.=:7 Y7L"63#3#PI
'_0.<Z/..y#.IX)fd%jY†Y7L"HG)
!'_0.CP/.= 'GJ=GYaN“ #P96V.I/'_
0.
˜&'=R&U
&q5( :q6X7X=#6/.7XJ&'&q
1<# =. :7 &':.=#j'q&#=d'Q'3#QNO6X7;
B#7X=#0G!'QjY.P1$$#/1<G
Z!1<#06<!, :5!'Qu7<ODV'WYX
$9“ 7< L &q
˜&'T.1R&'TU@
}57&'T.P10M#0DL$.IJ#7<C
B#7L"DP.D#W L%7.jY|9):LfI
'G!'QD'3#Q1Q#Q#0g7<.IJD.P'0Q#Q
#0P.IJ#Q# L%#0GjY†.P55
'0G 6XBV'W#.IJ"IYX69
=d'Q6XL$0C==# =. :7 a&'= '.
Học Viên: Bùi Hữu Tiến - MHV: CH1102010 - 19 -
Báo cáo chuyên đề: Tính Toán Lưới GVHD: PGS. TS. Nguyễn Phi Khứ
6X90. LNL.$$3Dc
h~n
h~&0.
W#=G"; P=CNIJ.D%;
fI'G5=J.IE'G#.y.IJNI6XL
I<:Y I7HD7>.$#)BcI69
6aJ* .1Da†69H#5#J7&'.1D qq
RU.1c&'.15B0CD:CM==DE
B=FD.IXH#$9.y.IJ65$#L#/63%DWI
7L"=KYD=.PB65DM#IJ..#/P9'3#QNV=d'Q
'' ( n 69#X:;6BH :. RšUDE
$9=!BNIB5=J.ILRIU
6XX!'QBIJ6Yn 69<7<#Q6M'ˆ'=d'Q
7P6BD651$I#7L";5n /x.y
;69XJ/L=™jo+? (7BIJ06/.r'(=
5=C"M69|9:;n @$9I76yPD
G0JOR' =UD$6C9D|9( := # E
BB.c
n 6x69=d'Q6XX5=C!'Q7HD)B@}nT+R}=
n T +U•69=d'Q6Xf63)6y_.|=HD
&':.=:7 •=d'Qn #'GB.R&':UD
T*p]•Y#‡!'QNI#"NšDfd%:L=™of D
TIN›25q'_0.!'Q#00.D""=.P
:xY#Lxc
h~u*œj+pš”nƒ•+ƒžj&+€jƒ+]Ÿj ¡*nƒo*
BN0Cn
+0Cn DOR' =U L%D6/.7XDG
069~B@ Dof .D…= D==‘ j'
+6YYOM6Y#v DOvB6Y#vof .J7<
G1<# …= =YXG0!'QJ0C7d
#0 +.CW==‘ .P'0'3
#Q( :
Học Viên: Bùi Hữu Tiến - MHV: CH1102010 - 20 -
Báo cáo chuyên đề: Tính Toán Lưới GVHD: PGS. TS. Nguyễn Phi Khứ
ƒŠ•#0Cn
!'QR'1U7G0J69
.yR '=U Y0#Q6/.7XD L%!'QD.y'_0.R '=U
NO7G0J0Cof .L6"7MG
1<# D#3.=G=G1<N G0#0
+$9.yR '=U$ZV=d'QR…= =U69.BD# 3
G0 !GJof .||.yY I/.1JJ.N
.IJ•A6<•G0R?= ?=T # 'R??TUU[T.7G0f
#0Dof .LB7< LG0.yR 'U D=.6Y
Y!"$9B7< L#dL#/V=d'Q
hof .
of .1<$.yR '=U#0Z #G0Oof .Y
XG0;B@.IJ'QR' ' 'UD7.IJ'QRq' ' 'U@
• Ž ' '@BIE L%G1<of .+V9I
={8:<of .LG0.y#0
• jq' ' '@BIEof .G0.y#0JQ=.C
I;B|+V9I1<_of .#
1<5/.\#$Iof .G65dIJ..1<$G0.y#0
~…=
!'Q'R'1U69BIJOR' U…= n n*1<
$IJ..G0!ZOR' U…= #Y0G05B
#0IV=d'Q@d!'QD!'Q.y#0D,
97< LN.y#0D:7< LN!'QD:.y#0:3
|
m==q‘ •r :T # =
==q‘ 5'0'3#Q( := # DEG0'
Học Viên: Bùi Hữu Tiến - MHV: CH1102010 - 21 -
Báo cáo chuyên đề: Tính Toán Lưới GVHD: PGS. TS. Nguyễn Phi Khứ
’:=R7#!'Q'R'1U .yR 'UU'’:=1<$
Z==q‘69#/ D=.6Y 1<$#
.yR '=UG0 )<J==q‘En WI
86X)M#PL/L|9'3#Q( :
Š#0J0C=d'Qn
ĥ#0J0C=d'Qn
n 69fI'G •= # D=d'Qn 6XJ7<I
0CL‡x6/.70=.@
• GH5IR' U0C6Y#v L%R U#6aJ6Y
Y n
• IvBJ0C6Y#vIG0#0R f .U#
Yof .n DP.6X$#0G0Z n
Y6aNn R n Dof .n U)6a)
6C'ˆ'D6v‡P.CX.JIR|I6a
? r7j US.6a6)L/:V7
hhT=&''' (
Thuộc
tính\
Middle
ware
UNICORE Globus Gridbus Alchemi
Tập
trung
vào
Mô hình lập
trình cấp cao
Các service cấp
thấp
Trừu tượng
hoá và các
mô hình thị
trường tính
toán
$
Lĩnh Tập trung vào Mô hình tính Mô hình tính xây dựng một
Học Viên: Bùi Hữu Tiến - MHV: CH1102010 - 22 -
Báo cáo chuyên đề: Tính Toán Lưới GVHD: PGS. TS. Nguyễn Phi Khứ
vực thực thi và
kiểm soát job
toán chung,
tổng quát
toán chung,
tổng quát
siêu máy tính dựa
trên tài nguyên
các máy tính cái
nhân
Kiến
trúc
Hệ thống đa
tầng theo chiều
sâu
Bộ toolkit có
phân tầng và
module hoá
Hệ thống các
thành phân
tầng
Gồm 4
nodes :Manager,
Executor, User,
Cross Platform
Manager Node
Chuẩn
sử
dụng
Mới bắt đầu áp
dụng OGSA,
OGSI vào
phiên bản hiện
đang phát triển.
OGSA,OGSI. Không có.
OGSA,OGS
I nếu sử
dụng với
Globus
OGSA,OGSI
Mô
hình
triển
khai
Abstract Job
Object
Mô hình đồng
hồ cát ở mức
độ hệ thống
Mô hình
đồng hồ cát
ở mức độ hệ
thống
==q‘r :
T #
Công
nghệ
cài đặt
Java C và Java C, Java, C#
và Perl
C#
Nền
tảng
thực thi
Unix Unix Unix và
Windows
với .NET
Linux ,windows
vớiMicrosoft
.NETFramework
Môi
trường
lập
trình
Môi trường
workload
Thay thế các
thư viện của
Unix và C. Các
thư viện MPI
đặc biệt
(MPICH-
G),CoG
(Commodiy
Grid) kits với
Java, Python,
CORBA,
Matlab, Java
Server Pages,
Perl và Web
Services
Broker Java
API,Ngôn
ngữ tham số
dựatrênXML
. Mô hình
Grid Thread
trong
Alchemi.
C# ,với hệ diều
hành windows
hoặc linux ,sư
dụng
Microsoft .NET
Framework ,thư
viện n '
Mô
hình
Mã nguồn mở Mã nguồn mở Mã nguồn
mở
Mã nguồn mở
Học Viên: Bùi Hữu Tiến - MHV: CH1102010 - 23 -
Báo cáo chuyên đề: Tính Toán Lưới GVHD: PGS. TS. Nguyễn Phi Khứ
phân
phối
Sử
dụng
trong
một số
ứng
dụng
và
người
dùng
+EuroGrid
+Grid
Interoperability
Project (GRIP)
+OpenMolGrid
+ Japanese
NAREGI
+ AppLeS
+ Ninf
+ Nimrod-G
+ NASA IPG
+ Condor-G
+ Gridbus
Broker
+ UK eScience
Project
+ GriPhyN ,
+ EU Data
Grid.
+ ePhysics
Portal
+ Belle
Analysis
Data Grid
+ NeuroGrid
+ Natural
Language
Engineering
+HydroGrid
+Amsterdam
Private Grid.
BLAST (Basic
Local Alignment
Search Tool)
,Gridbus
broker
,CSIRO,Styam
của Ấn Độ
Quản
lý tài
nguyên
Không có Có broker
service
Gridbus
broker .
Gridbus broker
Cách
thức
liên lạc
Mô hình AJO,
khôn hỗ trợ
chuyểnmessage
đồng bộ.
Thư viện
Nexus
Không có
thông tin
Thư viện
n '
Bảo
mật
Sử dụng
Secure
Socket Layer
(SSL)
protocol và
chứng
chỉ chứng
thựcX.509V3.
Thông qua
GSI, cũng dựa
trên SSL và
X.509V3
+Dựa trên
GSI của
Globus
+ Sử dụng
các chức
năng bảo
mật của
Microsoft
.NET
Framework
(Alchemi).
Mã hóa dữ liệu
bằng thuật toán
DES
Học Viên: Bùi Hữu Tiến - MHV: CH1102010 - 24 -
Báo cáo chuyên đề: Tính Toán Lưới GVHD: PGS. TS. Nguyễn Phi Khứ
)*\••I'G0C&'.1J/Ln \=d'Q63.$
n')
~n
~BI
—;NI,9q=d'Q5B/.I65$XO
5_I==Da=J.ILPP'‹#YY697L
"fd%=J.I#MP‡=#=J.I.I/C
+7IL.I/CR#M'Q.= =U6x69<7<5=C9‡7<
9a{.y.IJ6yPD=G"; P=C7<C
* E70I69'QJ5 I)/.2/.IDW
#G<bI6X:V6#'069PMV=d
'Q6O!DV85VN=!Bfd%69=d'Q6x"=G
6<759=!Bfd%Y=K!NQW.7z
…JI6X:* aB5:57<CI6x69H+M
j/.'G6x!7LN706Y
'=:. ' #T 1¢ƒ
~6aDP.#B65
~,:<IJ..@=™jo+? (7
~
J696aJ5I,63#9MIIJ..Y@TST # lll
aTŽolllj<.=d'QTST # D6L:LbTST # . 11697M
Bj<.7DxI '‹6X6a#.e:3TŽollln ƒxI
.%5$7e. L30CR5ULV9£.%@TST # `TŽo
7P<L696aJW5I ¤
6a
ƒwn
)=;'_0.
6a
n
YX
696a
<
65@
¥j5!
'Q:
VJI
6X:
r'(=
¥j5d
=,'3#QR8
|9J
r'(=j+`lll`•`llhU
¥2X6a 5d=,!'QD=d'Q:56a T .2X6a
<65'3#QR= # q' UD=d'Q T # T .:P..
L<65+V9<65= # q' D6aAn T # [#
P.={BIG65Jr'(=77;65T.76aDd=,r'(=YX
69=d'Q6X7X='3#Qjn T # YX69=d
Học Viên: Bùi Hữu Tiến - MHV: CH1102010 - 25 -
