Xây dựng kho dữ liệu an toàn với mã huffman

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

Mai Văn Hà

XÂY DỰNG KHO DỮ LIỆU AN TOÀN
VỚI MÃ HUFFMAN

LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN
Ngành: Kỹ thuật phần mềm

HÀ NỘI - 2015

1


ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

Mai Văn Hà

XÂY DỰNG KHO DỮ LIỆU AN TOÀN
VỚI MÃ HUFFMAN

LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN
Chuyên ngành: Kỹ thuật phần mềm
Mã số: 60480103

.

Cán bộ hướng dẫn: PGS. TS Vương Đạo Vy

HÀ NỘI - 2015

2


Lời cảm ơn
Lời đầu tiên tôi xin gửi lời cảm ơn chân thành và biết ơn sâu sắc tới PGS.TS.
Vƣơng Đạo Vy và TS. Lê Phê Đô, ngƣời thầy đã chỉ bảo và hƣớng dẫn tận tình cho tôi
trong suốt quá trình nghiên cứu khoa học và thực hiện luận văn này.
Tôi xin chân thành gửi lời cảm ơn tới gia đình, ngƣời thân và bạn bè – những
ngƣời luôn ở bên tôi những lúc khó khăn nhất, luôn động viên tôi, khuyến khích tôi trong
cuộc sống và trong công việc.
Tôi xin chân thành cảm ơn!
Tác giả
Mai Văn Hà

3


Lời cam đoan
Tôi xin cam đoan luận văn đƣợc hoàn thành trên cơ sở nghiên cứu, tổng hợp và
phát triển các nghiên cứu tóm tắt đa văn bản trong nƣớc và trên thế giới do tôi thực hiện.
Luận văn này là mới, các đề xuất trong luận văn do chính tôi thực hiện, qua quá
trình nghiên cứu đƣa ra và không sao chép nguyên bản từ bất kì một nguồn tài liệu nào
khác.

4

MỤC LỤC
CHƢƠNG 1. TỔNG QUAN VỀ KHO LƢU TRỮ DỮ LIỆU Error! Bookmark not
defined.
1.1. Sự cần thiết của kho lƣu trữ dữ liệu .............. Error! Bookmark not defined.
1.2. Kho lƣu trữ .................................................... Error! Bookmark not defined.
1.2.1. Khái niệm ............................................. Error! Bookmark not defined.
1.2.2. Cấu trúc của một hệ thống kho dữ liệu Error! Bookmark not defined.
1.3. Lƣu trữ đám mây .......................................... Error! Bookmark not defined.
1.3.1. Công nghệ lƣu trữ đám mây ................. Error! Bookmark not defined.
1.3.2. Các loại hình đám mây lƣu trữ ............. Error! Bookmark not defined.
1.3.3. Mô hình kiến trúc ................................. Error! Bookmark not defined.
a. SaaS ........................................................ Error! Bookmark not defined.
b. IaaS ......................................................... Error! Bookmark not defined.
c. PaaS ........................................................ Error! Bookmark not defined.
1.3.4. Đặc điểm của Đám mây ....................... Error! Bookmark not defined.
a. Tự sửa chữa ............................................ Error! Bookmark not defined.
b. Lƣợng truy cập lớn ................................. Error! Bookmark not defined.
c. Khả năng mở rộng tuyến tính ................. Error! Bookmark not defined.
d. Hƣớng dịch vụ ........................................ Error! Bookmark not defined.
e. Điều khiển SLA(Service level agreement) ............ Error! Bookmark not
defined.
f.

Khả năng ảo hóa ..................................... Error! Bookmark not defined.

g. Tính ứng dụng linh hoạt ......................... Error! Bookmark not defined.
1.3.5. Lợi ích của công nghệ lƣu trữ đám mây.............. Error! Bookmark not
defined.
a. Tính linh hoạt ......................................... Error! Bookmark not defined.
5

b. Khắc phục sự cố ..................................... Error! Bookmark not defined.
c. Phần mềm tự động cập nhật ................... Error! Bookmark not defined.
d. Miễn giảm chi phí đầu tƣ ....................... Error! Bookmark not defined.
e. Tăng cƣờng làm việc nhóm .................... Error! Bookmark not defined.
f.

Làm việc ở mọi nơi ................................ Error! Bookmark not defined.

g. Kiểm soát dữ liệu.................................... Error! Bookmark not defined.
h. Bảo mật ................................................... Error! Bookmark not defined.
i.

Tính cạnh tranh ....................................... Error! Bookmark not defined.

j.

Thân thiện với môi trƣờng ...................... Error! Bookmark not defined.

1.3.6. Dịch vụ đám mây lƣu trữ...................... Error! Bookmark not defined.
a. Mô hình dịch vụ đám mây lƣu trữ .......... Error! Bookmark not defined.
b. Một số dịch vụ đám mây lƣu trữ hiện nay ............ Error! Bookmark not
defined.
CHƢƠNG 2. XÂY DỰNG HỆ THỐNG LƢU TRỮ ĐÁM MÂY VỚI HADOOP
........................................................................................... Error! Bookmark not defined.
2.1. Phát biểu bài toán và lựa chọn giải pháp ...... Error! Bookmark not defined.
2.1.1. Phát biểu bài toán ................................... Error! Bookmark not defined.
2.1.2. Lựa chọn giải pháp công nghệ ............... Error! Bookmark not defined.
2.2. Big Data ........................................................ Error! Bookmark not defined.

2.2.1 Big Data là gì? ........................................ Error! Bookmark not defined.
2.2.2. Hadoop là gì? ......................................... Error! Bookmark not defined.
a. Giới thiệu sơ lƣợc Apache Hadoop ........ Error! Bookmark not defined.
b. Định nghĩa về Hadoop ............................ Error! Bookmark not defined.
2.2.3. Thành phẩn của Hadoop ........................ Error! Bookmark not defined.
2.2.4. Lợi ích từ công nghệ Big Datacủa Hadoop .......... Error! Bookmark not
defined.
6


2.3. Hadoop Distributed File System (HDFS) ..... Error! Bookmark not defined.
2.3.1. Giới thiệu ............................................... Error! Bookmark not defined.
2.3.2. Kiến trúc HDFS ..................................... Error! Bookmark not defined.
2.3.3. Quá trình đọc file trên HDFS................. Error! Bookmark not defined.
2.3.4. Ghi file trên HDFS ................................. Error! Bookmark not defined.
2.4. Triển khai cài đặt hệ thống lƣu trữ đám mây với HDFS ... Error! Bookmark
not defined.
CHƢƠNG 3. TỔNG QUAN VỀ MÃ HÓA DỮ LIỆU ........... Error! Bookmark not
defined.
3.1. Sự cần thiết của mã hóa dữ liệu .................... Error! Bookmark not defined.
3.2. Mã hóa dữ liệu .............................................. Error! Bookmark not defined.
3.2.1. Khái niệm về mã hóa thông tin .............. Error! Bookmark not defined.
3.2.2. Phân loại các thuật toán mã hóa ............ Error! Bookmark not defined.
c. Mã hóa cổ điển ....................................... Error! Bookmark not defined.
d. Mã đối xứng ........................................... Error! Bookmark not defined.
e. Mã hóa bất đối xứng ............................... Error! Bookmark not defined.
f.

Mã hóa hàm băm .................................... Error! Bookmark not defined.

g. Mã hóa khóa lai ...................................... Error! Bookmark not defined.
h. Mã hóa khóa bí mật ................................ Error! Bookmark not defined.
i.

Mã hóa khóa công khai .......................... Error! Bookmark not defined.

3.3. Hệ mã hóa Vigenere ..................................... Error! Bookmark not defined.
3.3.1. Hệ mã hóa Caesar .................................. Error! Bookmark not defined.
3.3.2. Hệ mã hóa Vigenere .............................. Error! Bookmark not defined.
CHƢƠNG 4. TỔNG QUAN VỀ NÉN VÀ GIẢI NÉN .......... Error! Bookmark not
defined.
4.1. Sự cần thiết của nén dữ liệu .......................... Error! Bookmark not defined.
7


4.2. Nén dữ liệu .................................................... Error! Bookmark not defined.
4.2.1. Định nghĩa nén dữ liệu........................... Error! Bookmark not defined.
4.2.2. Quá trình nèn và giải nén ....................... Error! Bookmark not defined.
4.2.3. Nén văn bản ........................................... Error! Bookmark not defined.
4.3. Giải thuật mã hóa Huffman .......................... Error! Bookmark not defined.
4.3.1. Mã hóa dữ liệu trong máy tính .............. Error! Bookmark not defined.
4.3.2. Mã phi tiền tố ......................................... Error! Bookmark not defined.
4.3.3. Lý thuyết Mã Huffman .......................... Error! Bookmark not defined.
a. Bài toán:.................................................. Error! Bookmark not defined.
b. Thuật toán xây dựng cây mã Huffman ... Error! Bookmark not defined.
c. Thuật toán giải mã .................................. Error! Bookmark not defined.
d. Ứng dụng mã hóa Huffman để nén file .. Error! Bookmark not defined.
CHƢƠNG 5. GIỚI THIỆU BÀI TOÁN MÃ HÓA VĂN BẢN TIẾNG VIỆT Error!
Bookmark not defined.
5.1. Yêu cầu bài toán ........................................... Error! Bookmark not defined.

5.2. Đề xuất giải pháp cho mã hóa và nén văn bản tiếng Việt . Error! Bookmark
not defined.
5.2.1. Mã hóa văn bản tiếng Việt với phƣơng pháp mã hóa Vigenere ..... Error!
Bookmark not defined.
5.2.2. Nén văn bản tiếng Việt với phƣơng pháp mã hóa Huffman ........... Error!
Bookmark not defined.
5.2.3. Tập văn bản mẫu cho việc mã hóa và nén văn bản Tiếng Việt ...... Error!
Bookmark not defined.
5.3. Xử lý văn bản và liệt kê tỷ lệ xuất hiện của các từ ...... Error! Bookmark not
defined.
5.4. Xây dựng bộ mã Huffman ............................ Error! Bookmark not defined.

8


5.5. Má hóa văn bản Tiếng việt sử dụng phƣơng pháp mã Vigenere ........... Error!
Bookmark not defined.
5.5.1. Yêu cầu bài toán .................................... Error! Bookmark not defined.
5.5.2. Mô hình xử lý ........................................ Error! Bookmark not defined.
5.5.3. Giải thích mô hình xử lý ........................ Error! Bookmark not defined.
a. Các bƣớc để mã hóa một văn bản........... Error! Bookmark not defined.
b. Các bƣớc để giải mã văn bản ................. Error! Bookmark not defined.
c. Ghi chú ................................................... Error! Bookmark not defined.
5.6. Nén và giải nén văn bản Tiến Việt sử dụng phƣơng pháp mã Huffman
....................................................................................... Error! Bookmark not defined.
5.6.1. Yêu cầu bài toán .................................... Error! Bookmark not defined.
5.6.2. Mô hình xử lý ........................................ Error! Bookmark not defined.
5.6.3. Kết quả thực hiện ................................... Error! Bookmark not defined.
a. Nén dữ liệu ............................................. Error! Bookmark not defined.
b. Giải nén dữ liệu ...................................... Error! Bookmark not defined.

5.6.4. Giới thiệu chƣơng trình nén và giải nén văn bản tiếng Việt........... Error!
Bookmark not defined.
a. Cửa sổ Form xây dựng bộ mã Huffman: Error! Bookmark not defined.
b. Nén văn bản tiếng Việt ........................... Error! Bookmark not defined.
c. Giải nén văn bản tiếng Việt. ................... Error! Bookmark not defined.
KẾT LUẬN............................................................... Error! Bookmark not defined.
TÀI LIỆU THAM KHẢO ........................................................................................ 11

9


MỞ ĐẦU
Khoảng 10 năm trƣớc, khi việc lƣu trữ thông tin cá nhân trên các thiết bị lƣu trữ di
động nhƣ đĩa mềm (floopy disk) với dung lƣợng khá khiêm tốn 4MB và USB thời điểm
cao nhất lúc bấy giờ là 128MB; Việc sở hữu một ổ cứng với dung lƣợng 40GB đã là đủ
lớn thậm chí là dƣ thừa cho nhu cầu sử dụng của cá nhân.
Nhƣng hiện nay, với sự phát triển của Công nghệ thông tin, nhu cầu sử dụng tài
nguyên và lƣu trữ dữ liệu của con ngƣời ngày càng nhiều và những con số đó đã trở nên
hết sức nhỏ bé. Dung lƣợng dữ liệu gia tăng không ngừng, yêu cầu ngày càng cao về hiệu
năng truy xuất, tính ổn định và sự sẵn sàng của dữ liệu; việc lƣu trữ đã và đang trở nên rất
quan trọng.
Lƣu trữ dữ liệu không còn đơn giản là cung cấp các thiết bị lƣu trữ dung lƣợng lớn mà
còn bao gồm cả khả năng quản lý, chia sẻ cũng nhƣ sao lƣu và phục hồi dữ liệu trong mọi
trƣờng hợp
Với sự tiến bộ mạnh mẽ của internet, việc sử dụng cáp quang với tốc độ khá nhanh
ngày càng trở lên phổ cập; Chính nhờ đó đã phát triển nên một ngành dịch vụ khá mới
hiện nay đó là các dịch vụ lƣu trữ thông tin trên mạng và qua đám mây. Rất nhiều các
công ty lớn nhƣ Microsoft, Apple, Google, Dropbox, Mediafire, Rapidshare … đang
cung cấp các dịch vụ lƣu trữ và chia sẻ dữ liệu trên nền điện toán đám mây.
Tuy đáp ứng đƣợc yêu cầu về việc lƣu trữ, chia sẻ dữ liệu cũng nhƣ dung lƣợng lớn

nhƣng việc lƣu trữ qua các đám mây cũng có những nhƣợc điểm về vấn đề an ninh dữ
liệu trƣớc sự tấn công của tin tặc, tính pháp lý liên quan đến các dữ liệu đƣợc lƣu trữ trên
mạng…
Mục tiêu của luận văn này nhằm nghiên cứu giải pháp xây dựng kho lƣu trữ dữ liệu
hiệu quả và an toàn, bảo mật dữ liệu ngƣời dùng dựa trên việc xây dựng các thuật toán
mã hóa phục vụ cho việc má hóa văn bản, nén và giải nén văn bản theo ngôn ngữ Tiếng
Việt.
Thông qua việc phân tích từ (từ đơn, từ ghép) trong tiếng Việt và áp dụng vào các giải
thuật mã hóa, qua đó nâng cao hiệu quả của việc mã hóa cũng nhƣ nén dữ liệu trong kho
lƣu trữ an toàn.
10


TÀI LIỆU THAM KHẢO
-

Nén dữ liệu:
o />7u

-

Lý thuyết thông tin:
o />ng_tin

-

Claude Shannon:
o />
-

o />kh%C3%B3a_c%C3%B4ng_khai
HDFS:
o />o />-cn-thit-phi-m-nganh-ao-to-trinh-i-hclu-tr-tai-liu-in-t-nhm-ap-ng-nhu-cu-hinhp-ca-vit-nam-hin-nay&catid=47:tin-cong-nghe-thong-tin&Itemid=53
o />o />o />o />
11