bài giảng hệ điều hành mạng nâng cao chương iii hệ thống file phân tán

H
H
ệ
ệ
đi
đi
ề
ề
u h
u h
à
à
nh m
nh m
ạ
ạ
ng
ng
nâng cao
nâng cao
Gi
Gi
ả
ả
ng viên: Ho
ng viên: Ho
à
à
ng Xuân D
ng Xuân D
ậ

ậ
u
u
Email:
Email:
Khoa Công ngh
Khoa Công ngh
ệ
ệ
thông tin 1
thông tin 1
H
H
ọ
ọ
c vi
c vi
ệ
ệ
n Công ngh
n Công ngh
ệ
ệ
BC
BC
-
-
VT
VT
HĐH m

HĐH m
ạ
ạ
ng nâng cao
ng nâng cao
III. H
III. H
ệ
ệ
th
th
ố
ố
ng file phân t
ng file phân t
á
á
n
n
2
2
III.
III.
H
H
ệ
ệ
th
th
ố

ố
ng file phân t
ng file phân t
á
á
n
n
• Hệ thống file và hệ thống file phân tán
• Đặt tên và tính trong suốt
• Các ngữ nghĩa của việc chia sẻ
• Các phương pháp truy nhập từ xa
• Các vấn đề về khả năng chịu lỗi
• Các vấn đề về khả năng mở rộng
• Giới thiệu hệ thống file phân tán của
Google (Google Distributed File System)
HĐH m
HĐH m
ạ
ạ
ng nâng cao
ng nâng cao
III. H
III. H
ệ
ệ
th
th
ố
ố
ng file phân t

ng file phân t
á
á
n
n
3
3
H
H
ệ
ệ
th
th
ố
ố
ng file v
ng file v
à
à
h
h
ệ
ệ
th
th
ố
ố
ng file phân t
ng file phân t
á

á
n
n
• Hệ thống file (FS - file system)
• Hệ thống file phân tán (DFS -
distributed file system)
• Các khái niệm về hệ thống phân tán và
hệ thống file phân tán.
HĐH m
HĐH m
ạ
ạ
ng nâng cao
ng nâng cao
III. H
III. H
ệ
ệ
th
th
ố
ố
ng file phân t
ng file phân t
á
á
n
n
4
4

H
H
ệ
ệ
th
th
ố
ố
ng file
ng file
• Hệ thống file (file system) l à một phương pháp
tổ chức và lưu trữ các file và dữ liệu của chúng.
• Hệ thống file cho phép người sử dụng dễ dàng
tìm kiếm và truy nhập các file.
• Hệ thống file có thể sử dụng:
– Các thiết bị lưu trữ (đĩa cứng, đĩa mềm, CD) để lưu
trữ files, hoặc
– Cho phép truy nhập đến dữ liệu trên máy chủ file
thông qua một giao thức mạng (NFS, SMB, …)
HĐH m
HĐH m
ạ
ạ
ng nâng cao
ng nâng cao
III. H
III. H
ệ
ệ
th

th
ố
ố
ng file phân t
ng file phân t
á
á
n
n
5
5
H
H
ệ
ệ
th
th
ố
ố
ng file (ti
ng file (ti
ế
ế
p)
p)
• Các loại hệ thống file:
– Disk File System: s ử dụng các thiết bị lưu trữ có kết
nối trực tiếp hoặc gián tiếp với máy tính để lưu trữ file
(phổ biến là đĩa).
• Các loại Disk FS thông dụng là FAT, NTFS, ext2, ext3, ISO

9960 và UDF (Universal Disk Format).
– Database file system: s ử dụng các khái niệm của
CSDL để quản lý files. Thay vì các files được quản lý
theo cấu trúc phân cấp (cây), các files được nhận
dạng bằng các thuộc tính, như loại file, chủ đề, tác
giả hoặc mô tả file.
HĐH m
HĐH m
ạ
ạ
ng nâng cao
ng nâng cao
III. H
III. H
ệ
ệ
th
th
ố
ố
ng file phân t
ng file phân t
á
á
n
n
6
6
H
H

ệ
ệ
th
th
ố
ố
ng file (ti
ng file (ti
ế
ế
p)
p)
• Các loại hệ thống file:
– Transactional file system: L à loại hệ thống file chuyên
dụng, dùng để lưu trữ các giao dịch. Thường được
dùng nhiều trong ngành Ngân hàng.
– Network file system: l à một hệ thống file cho phép
truy nhập các files trên máy chủ. NFS hoạt động như
là một client của một giao thức truy nhập file từ xa.
NFS còn được gọi là Distributed File System (DFS).
• Ví dụ: NFS (Sun), AFS (Andrew FS), GFS (Google FS), FTP.
– Special purpose file system: L à các hệ thống file
không phải là DFS và NFS.
• Ví dụ: trong các hệ thống mà các files được quản lý động bởi
các phần mềm phục vụ cho giao tiếp giữa các tiến trình,
hoặc dành cho không gian lưu tr ữ tạm thời.
HĐH m
HĐH m
ạ
ạ

ng nâng cao
ng nâng cao
III. H
III. H
ệ
ệ
th
th
ố
ố
ng file phân t
ng file phân t
á
á
n
n
7
7
H
H
ệ
ệ
th
th
ố
ố
ng file (ti
ng file (ti
ế
ế

p)
p)
• Hệ điều hành – Hệ thống file sử dụng:
– MS-DOS:
• FAT (FAT12, FAT16)
– Windows 95, 98, Me:
• VFAT (FAT32)
– NT4, 2000, XP, 2003:
• NTFS
– Unix, Linux:
• ext2, ext3
– Mac OS:
• HFS (Hierachical FS)
HĐH m
HĐH m
ạ
ạ
ng nâng cao
ng nâng cao
III. H
III. H
ệ
ệ
th
th
ố
ố
ng file phân t
ng file phân t
á

á
n
n
8
8
H
H
ệ
ệ
th
th
ố
ố
ng file phân t
ng file phân t
á
á
n
n
• Hệ thống file phân tán (Distributed File System -
DFS) là một hệ thống file hỗ trợ chia sẻ files và
các tài nguyên trên mạng.
• Về mặt hình thức và với người dùng, DFS hoàn
toàn tương tự như hệ thống file cục bộ.
• Các DFS phổ biến:
– NFS (Sun),
– AFS (Andrew FS) v à
– Common Internet File System (CIFS) – dựa trên giao
thức SMB (Server Message Blocks).
HĐH m

HĐH m
ạ
ạ
ng nâng cao
ng nâng cao
III. H
III. H
ệ
ệ
th
th
ố
ố
ng file phân t
ng file phân t
á
á
n
n
9
9
H
H
ệ
ệ
th
th
ố
ố
ng file phân t

ng file phân t
á
á
n (ti
n (ti
ế
ế
p)
p)
• Nhu cầu cần có DFS:
– Nhu cầu chia sẻ dữ liệu của các users (khoảng cách, sự tiện
lợi)
– Yêu cầu lưu trữ khối lượng dữ liệu khổng lồ cho web,
database, audio, video, …
• 101,435,253 websites v ào tháng 11/2006
• 1991-1997 tăng 850%/năm
• 1998-2001 tăng 150%/năm
• 2002-2006 tăng 25%/năm
– Tính sẵn dùng ở mọi lúc, mọi nơi
– DFS có khả năng mở rộng tốt và khả năng
chịu lỗi cao.
– Theo nghiên cứu của IDC, năm 2006, loài người tạo ra 161 tỷ
GB thông tin, và dự báo con số này sẽ tăng 6 lần, đạt 988 tỷ
GB vào năm 2010.
HĐH m
HĐH m
ạ
ạ
ng nâng cao
ng nâng cao

III. H
III. H
ệ
ệ
th
th
ố
ố
ng file phân t
ng file phân t
á
á
n
n
10
10
H
H
ệ
ệ
th
th
ố
ố
ng file phân t
ng file phân t
á
á
n (ti
n (ti

ế
ế
p)
p)
• Lịch sử phát triển
– 1980s: Chia sẻ file dùng đĩa mềm (copy-vận chuyển-
copy)
– 1980s: Chia sẻ file dùng FTP: vẫn cần 2 lần copy và
user phải biết địa chỉ vật lý của ftp server
– SPRITE network OS: Gi ữa những năm 1980 tại ĐH
University of California at Berkerly
– 1983: AFS: Thực hiện tại ĐH Carnegie Mellon v ới sự
hỗ trợ của IBM.
– 1985: Sun NFS
HĐH m
HĐH m
ạ
ạ
ng nâng cao
ng nâng cao
III. H
III. H
ệ
ệ
th
th
ố
ố
ng file phân t
ng file phân t

á
á
n
n
11
11
H
H
ệ
ệ
th
th
ố
ố
ng file phân t
ng file phân t
á
á
n (ti
n (ti
ế
ế
p)
p)
• Lịch sử phát triển
– Đầu năm 1990s: CODE (kế tiếp của AFS)
– ZEBRA: Đầu những năm 1990 tại ĐH
University of California at Berkerly
– HARP: Đầu những năm 1990 tại ĐH MIT
– Lustre: DFS mã m ở, có khả năng kết hợp

hàng chục ngàn nút và cung cấp dung lượng
lưu trữ đến petabytes.
• KB, MB, GB, TB, PB (petabytes), EB (exabyte)
• Phiên bản mới nhất: 1.80 vào tháng 5/2009.
HĐH m
HĐH m
ạ
ạ
ng nâng cao
ng nâng cao
III. H
III. H
ệ
ệ
th
th
ố
ố
ng file phân t
ng file phân t
á
á
n
n
12
12
DFS
DFS
-
-

C
C
á
á
c yêu c
c yêu c
ầ
ầ
u
u
• Tính trong suốt (Transparency):
– Mạng trong suốt (Network transparency): m áy khách có thể truy
nhập file từ xa sử dụng tập các thao tác giống như khi truy nhập
các file cục bộ;
– Vấn đề di chuyển của người dùng (user mobility): người dùng có
thể đăng nhập vào bất cứ máy nào trong hệ thống.
• Hiệu năng (Performance): là khoảng thời gian đáp ứng
mỗi yêu cầu truy nhập. Hiệu năng của DFS phải tương
đương với hiệu năng của hệ thống file cục bộ.
• Khả năng chịu lỗi (Fault Tolerrence): h ệ thống vẫn có
khả năng cung cấp dịch vụ nếu một số thành phần của
nó gặp trục trặc.
• Khả năng mở rộng (Scalability): kh ả năng thích nghi với
việc tăng tải
HĐH m
HĐH m
ạ
ạ
ng nâng cao
ng nâng cao

III. H
III. H
ệ
ệ
th
th
ố
ố
ng file phân t
ng file phân t
á
á
n
n
13
13
DFS
DFS
-
-
C
C
á
á
c kh
c kh
á
á
i ni
i ni

ệ
ệ
m
m
• Hệ thống phân tán (Distributed System):
– Một tập hợp các máy tính có liên kết lỏng (loosely
coupled machines);
– Các máy tính trong hệ thống có thể là các máy tính
lớn hoặc máy trạm;
– Chúng được kết nối với nhau bằng một mạng truyền
thông (thường là LAN).
– Tài nguyên cục bộ và từ xa:
• Các tài nguyên của bản thân một máy tính thuộc mạng là tài
nguyên cục bộ;
• Các tài nguyên nằm trên các máy khác trong mạng là tài
nguyên từ xa.
HĐH m
HĐH m
ạ
ạ
ng nâng cao
ng nâng cao
III. H
III. H
ệ
ệ
th
th
ố
ố

ng file phân t
ng file phân t
á
á
n
n
14
14
DFS
DFS
-
-
C
C
á
á
c kh
c kh
á
á
i ni
i ni
ệ
ệ
m (ti
m (ti
ế
ế
p)
p)

• Dịch vụ (Service): là một phần mềm chạy trên
một hoặc nhiều máy tính cung cấp một chức
năng cụ thể cho các máy khách.
• Máy chủ (Server): là một phần mềm cung cấp
dịch vụ chạy trên một một máy tính.
• Máy khách (client):
– Là một tiến trình (process) mà có thể gọi một dịch vụ,
sử dụng một tập các thao tác.
– Tập các thao tác này cấu thành giao diện máy khách
(client interface).
– Các máy khách thường xây dựng các giao diện phù
hợp với các ứng dụng bậc cao, hoặc cho phép người
sử dụng trực tiếp truy nhập.
HĐH m
HĐH m
ạ
ạ
ng nâng cao
ng nâng cao
III. H
III. H
ệ
ệ
th
th
ố
ố
ng file phân t
ng file phân t
á

á
n
n
15
15
DFS
DFS
-
-
C
C
á
á
c kh
c kh
á
á
i ni
i ni
ệ
ệ
m (ti
m (ti
ế
ế
p)
p)
• Một hệ thống file cung cấp các dịch vụ về files
cho các máy khách.
• Giao diện máy khách cho một dịch vụ file được

hợp thành từ một tập các thao tác trên file (tạo,
xoá, đọc, ghi).
• DFS là một FS mà trong đó các máy khách,
máy chủ và các thiết bị lưu trữ nằm rải rác trong
các máy tính của một hệ thống phân tán.
– Do vậy, các hoạt động dịch vụ file phải được thực thi
trên mạng, thay vì trên một kho lưu trữ tập trung như
trong 1 hệ thống đơn lẻ.
HĐH m
HĐH m
ạ
ạ
ng nâng cao
ng nâng cao
III. H
III. H
ệ
ệ
th
th
ố
ố
ng file phân t
ng file phân t
á
á
n
n
16
16

Đ
Đ
ặ
ặ
t tên v
t tên v
à
à
t
t
í
í
nh trong su
nh trong su
ố
ố
t
t
(Naming and Tr
(Naming and Tr
ansparency)
ansparency)
• Tính trong suốt và tính độc lập
về vị trí
• Các phương pháp đặt tên
• Các kỹ thuật thực hiện đặt tên
HĐH m
HĐH m
ạ
ạ

ng nâng cao
ng nâng cao
III. H
III. H
ệ
ệ
th
th
ố
ố
ng file phân t
ng file phân t
á
á
n
n
17
17
Đ
Đ
ặ
ặ
t tên v
t tên v
à
à
t
t
í
í

nh trong su
nh trong su
ố
ố
t (ti
t (ti
ế
ế
p)
p)
• Đặt tên (naming) là một ánh xạ (mapping)
giữa các đối tượng logic và các đối tượng vật
lý.
• Người dùng thường sử dụng các đối tượng
logic, còn hệ thống thường xử lý các đối
tượng vật lý.
• VD:
– Người dùng thường tham chiếu đến một file thông
qua tên của nó.
– Hệ thống quản lý file thông qua s ố nhận dạng và
cuối cùng được ánh xạ thành các khối lưu trữ trên
đĩa.
HĐH m
HĐH m
ạ
ạ
ng nâng cao
ng nâng cao
III. H
III. H

ệ
ệ
th
th
ố
ố
ng file phân t
ng file phân t
á
á
n
n
18
18
Đ
Đ
ặ
ặ
t tên v
t tên v
à
à
t
t
í
í
nh trong su
nh trong su
ố
ố

t (ti
t (ti
ế
ế
p)
p)
• Việc ánh xạ nhiều lớp đối với đối tượng file
cung cấp tính trừu tượng cho người dùng,
giúp ẩn các chi tiết của việc một file được lưu
trữ như thế nào và file được lưu trữ ở đâu.
• Trong các hệ thống DFS trong suốt, tính trừu
tượng được bổ sung thêm một đặc tính mới:
đặc tính ẩn vị trí của file được lưu trữ trong
mạng.
• Trong các hệ thống file cục bộ: ánh xạ tên là
một địa chỉ trong một đĩa, còn trong DFS, ánh
xạ tên bao gồm cả máy chứa đĩa lưu trữ file.
HĐH m
HĐH m
ạ
ạ
ng nâng cao
ng nâng cao
III. H
III. H
ệ
ệ
th
th
ố

ố
ng file phân t
ng file phân t
á
á
n
n
19
19
T
T
í
í
nh trong su
nh trong su
ố
ố
t v
t v
à
à
t
t
í
í
nh đ
nh đ
ộ
ộ
c l

c l
ậ
ậ
p v
p v
ề
ề
v
v
ị
ị
tr
tr
í
í
• Hai phương pháp ánh xạ tên file:
– Trong suốt vị trí: Tên của một file không biểu thị một
thông tin nào về vị trí lưu trữ vật lý của file.
– Độc lập vị trí: Tên của một file không cần phải thay
đổi khi vị trí vật lý của file thay đổi.
• Phương pháp đặt tên độc lập về vị trí là phương
pháp ánh xạ động do nó có thể ánh xạ cùng một
tên file đến các vị trí khác nhau tại hai thời điểm
khác nhau.
• Độc lập vị trí là một thuộc tính “mạnh” hơn trong
suốt vị trí.
HĐH m
HĐH m
ạ
ạ

ng nâng cao
ng nâng cao
III. H
III. H
ệ
ệ
th
th
ố
ố
ng file phân t
ng file phân t
á
á
n
n
20
20
T
T
í
í
nh trong su
nh trong su
ố
ố
t v
t v
à
à

đ
đ
ộ
ộ
c l
c l
ậ
ậ
p (ti
p (ti
ế
ế
p)
p)
• File độc lập vị trí thường được tham
chiếu như:
– File di trú (file migration), ho ặc
– File di động (File mobility)
• => việc dịch chuyển vị trí của file hoàn
toàn trong suốt đối với người dùng.
HĐH m
HĐH m
ạ
ạ
ng nâng cao
ng nâng cao
III. H
III. H
ệ
ệ

th
th
ố
ố
ng file phân t
ng file phân t
á
á
n
n
21
21
Phân bi
Phân bi
ệ
ệ
t trong su
t trong su
ố
ố
t v
t v
à
à
đ
đ
ộ
ộ
c l
c l

ậ
ậ
p v
p v
ị
ị
tr
tr
í
í
• Trừu tượng:
– Do độc lập vị trí tách dữ liệu khỏi vị trí, độc
lập vị trí cung cấp tính trừu tượng hoá cao
hơn. Các file độc lập về vị trí có thể được
xem như các kho chứa dữ liệu không gắn
với một ví trí lưu trữ cụ thể nào.
– Ngược lại, với trong suốt về vị trí, tên file vẫn
mô tả một tập các khối đĩa vật lý cụ thể dù
chúng được ẩn.
HĐH m
HĐH m
ạ
ạ
ng nâng cao
ng nâng cao
III. H
III. H
ệ
ệ
th

th
ố
ố
ng file phân t
ng file phân t
á
á
n
n
22
22
Phân bi
Phân bi
ệ
ệ
t trong su
t trong su
ố
ố
t v
t v
à
à
đ
đ
ộ
ộ
c l
c l
ậ

ậ
p v
p v
ị
ị
tr
tr
í
í
• Chia sẻ dữ liệu:
– Trong suốt về vị trí cho phép người dùng chia sẻ dữ
liệu một cách thuận lợi.
• Người dùng có thể chia sẻ file từ xa bằng cách đặt tên
chúng theo cách trong suốt về vị trí như thể chúng là dữ
liệu cục bộ.
• Tuy nhiên, cách chia sẻ này có nhiều bất lợi do các tên
logic vẫn được gắn cố định với các thiết bị lưu trữ vật lý.
– Độc lập vị trí cho phép cung cấp sẵn khả năng chia
sẻ không gian lưu tr ữ và các đối tượng dữ liệu. Một
cách tổng thể, có thể coi không gian lưu tr ữ toàn hệ
thống như một tài nguyên ảo và đơn nhất, mà trong
đó các file có thể di chuyển.
HĐH m
HĐH m
ạ
ạ
ng nâng cao
ng nâng cao
III. H
III. H

ệ
ệ
th
th
ố
ố
ng file phân t
ng file phân t
á
á
n
n
23
23
Phân bi
Phân bi
ệ
ệ
t trong su
t trong su
ố
ố
t v
t v
à
à
đ
đ
ộ
ộ

c l
c l
ậ
ậ
p v
p v
ị
ị
tr
tr
í
í
• Cấu trúc:
– Độc lập vị trí phân tách cấu trúc phân cấp
tên khỏi cấu trúc các thiết bị lưu trữ và cấu
trúc liên kết các máy chủ.
– Trong suốt về vị trí có tính tương đồng giữa
đơn vị thành phần và đơn vị máy. Hệ thống
máy được cấu hình tương tự như hệ thống
tên.
HĐH m
HĐH m
ạ
ạ
ng nâng cao
ng nâng cao
III. H
III. H
ệ
ệ

th
th
ố
ố
ng file phân t
ng file phân t
á
á
n
n
24
24
C
C
á
á
c phương ph
c phương ph
á
á
p đ
p đ
ặ
ặ
t tên
t tên
• Kết hợp tên máy (host) và tên cục bộ:
– Ví dụ: host:local name, trong đó host là tên máy và
local name là tên file cục bộ. Trong Windows để truy
nhập 1 file chia sẻ từ xa, sử dụng:

\\host\shared name\local name.
– Vị trí không trong suốt và vị trí không độc lập
– Có thể sự dụng cùng một tập các thao tác cho file cục
bộ và file ở xa
– Cung cấp tính trong suốt về mạng
– DFS là một tập hợp của các đơn vị thành phần riêng
rẽ; các đơn vị thành phần này là các hệ thống file cục
bộ.
HĐH m
HĐH m
ạ
ạ
ng nâng cao
ng nâng cao
III. H
III. H
ệ
ệ
th
th
ố
ố
ng file phân t
ng file phân t
á
á
n
n
25
25

C
C
á
á
c phương ph
c phương ph
á
á
p đ
p đ
ặ
ặ
t tên (ti
t tên (ti
ế
ế
p)
p)
• Kết hợp các thư mục ở xa vào không gian tên
cục bộ:
– Ví dụ: Sử dụng tính năng “map network drive ” trong
Windows hoặc trình mount trong Unix/Linux (s ử dụng
trong Sun’s NFS) để kết hợp các thư mục chia sẻ vào
không gian tên cục bộ.
– Cung cấp tính trong suốt về vị trí
– Cấu trúc tên linh hoạt
– Có khả năng tạo không gian tên riêng cho t ừng máy