Hệ thống file phân tán

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

BÀI GIẢNG MÔN HỌC
HỆ ĐIỀU HÀNH MẠNG

2. HỆ THỐNG FILE PHÂN TÁN

Giảng viên:

TS. Hoàng Xuân Dậu

Điện thoại/E-mail:
Bộ môn:

An toàn thông tin - Khoa CNTT1


BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG

2. HỆ THỐNG FILE PHÂN TÁN

2. Hệ thống file phân tán
1.
2.
3.
4.
5.
6.

www.ptit.edu.vn

Hệ thống file và hệ thống file phân tán
Vấn đề đặt tên và tính trong suốt trong DFS
Các ngữ nghĩa của việc chia sẻ
Các phương pháp truy nhập từ xa
Một mô hình DFS đơn giản
GFS - Google Distributed File System

GIẢNG VIÊN: TS. HOÀNG XUÂN DẬU
BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1

Trang 2


BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG

2. HỆ THỐNG FILE PHÂN TÁN

2.1 Hệ thống file và hệ thống file phân tán
 Hệ thống file (FS - File system)
 Hệ thống file phân tán
(DFS – Distributed file system)
 Các khái niệm về hệ thống phân tán và
hệ thống file phân tán.

www.ptit.edu.vn

GIẢNG VIÊN: TS. HOÀNG XUÂN DẬU
BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1

Trang 3

BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG

2. HỆ THỐNG FILE PHÂN TÁN

2.1.1 Hệ thống file
 Hệ thống file (file system) là một phương pháp tổ chức và
lưu trữ các file và dữ liệu của chúng.
 Hệ thống file cho phép người sử dụng dễ dàng tìm kiếm và
truy nhập các file.
 Hệ thống file có thể sử dụng:
 Các thiết bị lưu trữ (đĩa cứng, đĩa mềm, CD) để lưu trữ files, hoặc
 Cho phép truy nhập đến dữ liệu trên máy chủ file thông qua một giao
thức mạng (NFS, SMB, …)

www.ptit.edu.vn

GIẢNG VIÊN: TS. HOÀNG XUÂN DẬU
BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1

Trang 4


BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG

2. HỆ THỐNG FILE PHÂN TÁN

2.1.1 Hệ thống file (tiếp)

 Các loại hệ thống file:






Disk File System
Database file system
Transactional file system
Network file system
Special purpose file system

www.ptit.edu.vn

GIẢNG VIÊN: TS. HOÀNG XUÂN DẬU
BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1

Trang 5


BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG

2. HỆ THỐNG FILE PHÂN TÁN

2.1.1 Hệ thống file (tiếp)

 Các loại hệ thống file:
 Disk File System:
• Sử dụng các thiết bị lưu trữ có kết nối trực tiếp hoặc gián tiếp với

máy tính để lưu trữ file (phổ biến là đĩa);
• Các files thường được quản lý theo cấu trúc phân cấp (cây);
• Các loại Disk FS thông dụng là FAT (FAT16, FAT32), NTFS, ext2,
ext3, ext4, ISO 9960 và UDF (Universal Disk Format).

www.ptit.edu.vn

GIẢNG VIÊN: TS. HOÀNG XUÂN DẬU
BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1

Trang 6


BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG

2. HỆ THỐNG FILE PHÂN TÁN

2.1.1 Hệ thống file (tiếp)

 Các loại hệ thống file:
 Database file system:
• Sử dụng các khái niệm của CSDL để quản lý files;
• Các files được nhận dạng bằng các thuộc tính, như loại file, chủ đề,
tác giả hoặc mô tả file.

www.ptit.edu.vn

GIẢNG VIÊN: TS. HOÀNG XUÂN DẬU
BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1

Trang 7


BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG

2. HỆ THỐNG FILE PHÂN TÁN

2.1.1 Hệ thống file (tiếp)

 Các loại hệ thống file:
 Transactional file system:
• Là loại hệ thống file chuyên dụng, dùng để lưu trữ các giao
dịch;
• Thường được dùng nhiều trong ngành Ngân hàng, trong đó
mỗi file là một giao dịch.

www.ptit.edu.vn

GIẢNG VIÊN: TS. HOÀNG XUÂN DẬU
BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1

Trang 8


BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG

2. HỆ THỐNG FILE PHÂN TÁN

2.1.1 Hệ thống file (tiếp)

 Các loại hệ thống file:
 Network file system:
• Là một hệ thống file cho phép truy nhập các files lưu trên máy chủ;
• NFS hoạt động như là một client của một giao thức truy nhập file từ
xa;
• NFS còn được gọi là Distributed File System (DFS).
• Ví dụ: NFS (Sun), AFS (Andrew FS), GFS (Google FS), HDFS.
FTP.

www.ptit.edu.vn

GIẢNG VIÊN: TS. HOÀNG XUÂN DẬU
BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1

Trang 9


BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG

2. HỆ THỐNG FILE PHÂN TÁN

2.1.1 Hệ thống file (tiếp)

 Các loại hệ thống file:
 Special purpose file system:
• Là các hệ thống file không phải là DFS và NFS.
• Ví dụ:
– Trong các hệ thống mà các files được quản lý động bởi các phần mềm
phục vụ cho giao tiếp giữa các tiến trình, hoặc dành cho không gian lưu
trữ tạm thời;

– Bảng trắng (White board) là một dạng file đặc biệt.

www.ptit.edu.vn

GIẢNG VIÊN: TS. HOÀNG XUÂN DẬU
BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1

Trang 10


BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG

2. HỆ THỐNG FILE PHÂN TÁN

2.1.1 Hệ thống file (tiếp)
 Hệ điều hành – Hệ thống file sử dụng:
 MS-DOS:
• FAT (FAT12, FAT16)

 Windows 95, 98, Me:
• VFAT (FAT32)

 NT4, 2000, XP, 2003, 2008, Windows 7, 8, 10:
• NTFS

 Unix, Linux:
• ext2, ext3, ext4 (Extended File System)

 Mac OS:
• HFS (Hierachical FS)

www.ptit.edu.vn

GIẢNG VIÊN: TS. HOÀNG XUÂN DẬU
BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1

Trang 11


BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG

2. HỆ THỐNG FILE PHÂN TÁN

2.1.2 Hệ thống file phân tán
 Hệ thống file phân tán (Distributed File System - DFS) là
một hệ thống file hỗ trợ chia sẻ files và các tài nguyên
trên mạng.
 Về mặt hình thức và đối với người dùng, DFS hoàn toàn
tương tự như hệ thống file cục bộ.
 Các DFS phổ biến:
 NFS (Sun)
 AFS (Andrew FS)
 Common Internet File System (CIFS) – dựa trên giao thức SMB
(Server Message Blocks)
 GFS (Google): hệ thống file phân tán của Google
 HDFS (Hadoop distributed file system): hệ thống file phân tán
dựa trên nền tảng mở Hadoop.
www.ptit.edu.vn

GIẢNG VIÊN: TS. HOÀNG XUÂN DẬU

BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1

Trang 12


BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG

2. HỆ THỐNG FILE PHÂN TÁN

2.1.2 Hệ thống file phân tán (tiếp)
 Nhu cầu cần có DFS:
 Nhu cầu chia sẻ dữ liệu của các users (khoảng cách, sự tiện lợi)
 Yêu cầu lưu trữ khối lượng dữ liệu khổng lồ cho web, database,
audio, video,…
•
•
•
•
•
•
•
•

www.ptit.edu.vn

Khoảng 85,5 triệu websites vào tháng 12/2006
Khoảng 238 triệu websites vào tháng 12/2009
Gần 700 triệu websites vào tháng 12/2012
Hơn 940 triệu websites vào tháng 10/2015
Gần 1,5 tỷ website vào tháng 2.2017 (theo NetCraft)

1991-1997 tăng 850%/năm
1998-2001 tăng 150%/năm
2002-2006 tăng 25%/năm

GIẢNG VIÊN: TS. HOÀNG XUÂN DẬU
BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1

Trang 13


BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG

2. HỆ THỐNG FILE PHÂN TÁN

2.1.2 Hệ thống file phân tán (tiếp)
 Nhu cầu cần có DFS:
 Tính sẵn dùng ở mọi lúc, mọi nơi
 DFS có khả năng mở rộng tốt và khả năng chịu lỗi cao.
 Theo nghiên cứu của IDC, năm 2006, loài người tạo ra 161 tỷ
GB thông tin, con số của năm 2011 là 1.800 tỷ GB, năm 2013 là
4.400 tỷ GB và dự báo con số này sẽ tăng thêm 10 lần, ước đạt
44.000 tỷ GB vào năm 2020.
 Nhu cầu lưu trữ rất lớn của các nhà cung cấp dịch vụ Internet:
• Facebook có gần 1,89 tỷ người dùng hoạt động (tính đến đầu 2017)
• Gmail có khoảng 900 triệu người dùng (tính đến 5/2015), với dung
lượng cho phép là 15 GB/user.

www.ptit.edu.vn

GIẢNG VIÊN: TS. HOÀNG XUÂN DẬU

BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1

Trang 14


BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG

2. HỆ THỐNG FILE PHÂN TÁN

2.1.2 Hệ thống file phân tán (tiếp)
 Lịch sử phát triển
 1980s: Chia sẻ file dùng đĩa mềm (copy-vận chuyển-copy)
 1980s: Chia sẻ file dùng FTP: vẫn cần 2 lần copy và user phải
biết địa chỉ vật lý của ftp server
 SPRITE network OS: Giữa những năm 1980 tại ĐH University of
California at Berkerly
 1983: AFS: Thực hiện tại ĐH Carnegie Mellon với sự hỗ trợ của
IBM.
• OpenAFS là phiên bản mã mở của AFS. OpenAFS vẫn được duy trì
và phát triển. Phiên bản mới nhất là 1.6.11.1 phát hành vào 4.2015.

 1985: Sun NFS

www.ptit.edu.vn

GIẢNG VIÊN: TS. HOÀNG XUÂN DẬU
BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1

Trang 15

BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG

2. HỆ THỐNG FILE PHÂN TÁN

2.1.2 Hệ thống file phân tán (tiếp)
 Lịch sử phát triển
 Đầu năm 1990s: CODE (kế tiếp của AFS)
 ZEBRA: Đầu những năm 1990 tại ĐH University of California at
Berkerly
 HARP: Đầu những năm 1990 tại ĐH MIT
 Lustre: DFS mã mở, có khả năng kết hợp hàng chục ngàn nút và
cung cấp dung lượng lưu trữ đến petabytes.
• KB, MB, GB, TB, PB (petabytes), EB (exabyte)
• Phiên bản 1.80 vào tháng 5/2009.
• Phiên bản 2.6.0 phát hành vào tháng 3.2015.

www.ptit.edu.vn

GIẢNG VIÊN: TS. HOÀNG XUÂN DẬU
BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1

Trang 16


BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG

2. HỆ THỐNG FILE PHÂN TÁN

2.1.2 DFS - Các yêu cầu

 Tính trong suốt (Transparency):
 Mạng trong suốt (Network transparency): máy khách có thể truy
nhập file từ xa sử dụng tập các thao tác giống như khi truy nhập
các file cục bộ;
 Vấn đề di chuyển của người dùng (user mobility): người dùng có
thể đăng nhập vào bất cứ máy nào trong hệ thống.

www.ptit.edu.vn

GIẢNG VIÊN: TS. HOÀNG XUÂN DẬU
BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1

Trang 17


BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG

2. HỆ THỐNG FILE PHÂN TÁN

2.1.2 DFS - Các yêu cầu
 Hiệu năng (Performance):
 Là khoảng thời gian đáp ứng mỗi yêu cầu truy nhập;
 Hiệu năng của DFS phải tương đương với hiệu năng của hệ
thống file cục bộ.

 Khả năng chịu lỗi (Fault Tolerrence): hệ thống vẫn có
khả năng cung cấp dịch vụ nếu một số thành phần của
nó gặp trục trặc.
 Khả năng mở rộng (Scalability): khả năng thích nghi với
việc tăng tải.

www.ptit.edu.vn

GIẢNG VIÊN: TS. HOÀNG XUÂN DẬU
BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1

Trang 18


BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG

2. HỆ THỐNG FILE PHÂN TÁN

2.1.2 DFS - Các khái niệm
 Hệ thống phân tán (Distributed System):
 Một tập hợp các máy tính có liên kết lỏng (loosely coupled machines);
 Các máy tính trong hệ thống có thể là các máy tính lớn hoặc
máy trạm;
 Chúng được kết nối với nhau bằng một mạng truyền thông
(thường là LAN).
 Tài nguyên cục bộ và từ xa:
• Các tài nguyên của bản thân một máy tính thuộc mạng là tài nguyên
cục bộ;
• Các tài nguyên nằm trên các máy khác trong mạng là tài nguyên từ xa.

www.ptit.edu.vn

GIẢNG VIÊN: TS. HOÀNG XUÂN DẬU
BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1

Trang 19


BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG

2. HỆ THỐNG FILE PHÂN TÁN

2.1.2 DFS - Các khái niệm (tiếp)
 Dịch vụ (Service):
 Là một phần mềm chạy trên một hoặc nhiều máy tính cung cấp
một chức năng cụ thể cho các máy khách.

 Máy chủ (Server):
 Là một phần mềm cung cấp dịch vụ chạy trên một một máy tính.

www.ptit.edu.vn

GIẢNG VIÊN: TS. HOÀNG XUÂN DẬU
BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1

Trang 20


BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG

2. HỆ THỐNG FILE PHÂN TÁN

2.1.2 DFS - Các khái niệm (tiếp)
 Máy khách (client):
 Là một tiến trình (process) mà có thể gọi một dịch vụ, sử dụng

một tập các thao tác.
 Tập các thao tác này cấu thành giao diện máy khách (client
interface).
 Các máy khách thường xây dựng các giao diện phù hợp với các
ứng dụng bậc cao, hoặc cho phép người sử dụng trực tiếp truy
nhập.

www.ptit.edu.vn

GIẢNG VIÊN: TS. HOÀNG XUÂN DẬU
BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1

Trang 21


BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG

2. HỆ THỐNG FILE PHÂN TÁN

2.1.2 DFS - Các khái niệm (tiếp)
 Một hệ thống file cung cấp các dịch vụ về files cho các
máy khách.
 Giao diện máy khách cho một dịch vụ file được hợp
thành từ một tập các thao tác trên file (tạo, xoá, đọc,
ghi).

www.ptit.edu.vn

GIẢNG VIÊN: TS. HOÀNG XUÂN DẬU
BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1

Trang 22


BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG

2. HỆ THỐNG FILE PHÂN TÁN

2.1.2 DFS - Các khái niệm (tiếp)
 DFS là một FS mà trong đó các máy khách, máy chủ và
các thiết bị lưu trữ nằm rải rác trong các máy tính của
một hệ thống phân tán.
 Do vậy, các hoạt động dịch vụ file phải được thực thi trên mạng,
thay vì trên một kho lưu trữ tập trung như trong 1 hệ thống
đơn lẻ.

www.ptit.edu.vn

GIẢNG VIÊN: TS. HOÀNG XUÂN DẬU
BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1

Trang 23


BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG

2. HỆ THỐNG FILE PHÂN TÁN

2.2 Vấn đề đặt tên và tính trong suốt trong DFS
 Khái quát về vấn đề đặt tên

 So sánh tính trong suốt và tính độc lập
về vị trí
 Các phương pháp đặt tên
 Các kỹ thuật thực hiện đặt tên

www.ptit.edu.vn

GIẢNG VIÊN: TS. HOÀNG XUÂN DẬU
BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1

Trang 24


BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG

2. HỆ THỐNG FILE PHÂN TÁN

2.2.1 Khái quát về vấn đề đặt tên
 Đặt tên (naming) là một ánh xạ (mapping) giữa các
đối tượng logic và các đối tượng vật lý;
 Người dùng thường sử dụng các đối tượng logic, còn
hệ thống thường xử lý các đối tượng vật lý.
 Ví dụ:
 Đối tượng logic: Người dùng thường tham chiếu đến một file
thông qua tên của nó.
 Đối tượng vật lý: Hệ thống quản lý file thông qua số nhận
dạng và cuối cùng được ánh xạ thành các khối lưu trữ trên
đĩa.

www.ptit.edu.vn

GIẢNG VIÊN: TS. HOÀNG XUÂN DẬU
BỘ MÔN: AN TOÀN THÔNG TIN - KHOA CNTT1

Trang 25