Nghiên cứu một số thuật toán cho web caching và ứng dụng (Luận văn thạc sĩ)

ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

Nguyễn Quang Thành

NGHIÊN CỨU MỘT SỐ THUẬT TOÁN CHO WEB
CACHING VÀ ỨNG DỤNG
Chuyên ngành: Khoa học máy tính
Mã số: 60. 48. 01. 01

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

NGƯỜI HƯỚNG DẪN KHOA HỌC:
PGS.TS Nguyễn Văn Tam

Thái Nguyên, năm 2016


i

LỜI CAM ĐOAN
Luận văn là kết quả nghiên cứu và tổng hợp các kiến thức mà học viên đã thu
thập được trong quá trình học tập tại trường Đại học Công nghệ thông tin và
Truyền thông - Đại học Thái Nguyên, dưới sự hướng dẫn, giúp đỡ của các
thầy cô và bạn bè đồng nghiệp, đặc biệt là sự hướng dẫn, giúp đỡ của PGS.TS
Nguyễn Văn Tam.
Tôi xin cam đoan luận văn không phải là sản phẩm sao chép của bất kỳ
tài liệu khoa học nào.
Học viên

NGUYỄN QUANG THÀNH

ii

LỜI CẢM ƠN
Đầu tiên tôi xin gửi lời cảm ơn sâu sắc nhất tới PGS.TS Nguyễn Văn
Tam, người hướng dẫn khoa học, đã tận tình chỉ bảo, giúp đỡ tôi thực hiện
luận văn.
Tôi xin cảm ơn các thầy cô trường Đại học Công nghệ thông tin và
Truyền thông - Đại học Thái Nguyên đã giảng dạy và truyền đạt kiến thức
cho tôi.
Cuối cùng, tôi xin cảm ơn những người thân và các bạn bè chia sẻ, gúp
đỡ tôi hoàn thành luận văn này.
Mặc dù đã hết sức cố gắng hoàn thành luận văn với tất cả sự nỗ lực của
bản thân, nhưng luận văn vẫn còn những thiếu sót. Kính mong nhận được
những ý kiến đóng góp của quý Thầy, Cô và bạn bè đồng nghiệp.
Tôi xin chân thành cảm ơn!
Việt trì ngày 10 tháng 05 năm 2016

Nguyễn Quang Thành


iii

MỤC LỤC
TRANG PHỤ BÌA
LỜI CAM ĐOAN .............................................................................................. i
LỜI CẢM ƠN ................................................................................................... ii
MỤC LỤC ........................................................................................................ iii
PHỤ LỤCDANH MỤC CÁC KÍ HIỆU, CÁC CHỮ VIẾT TẮT ................... iv

DANH MỤC CÁC KÍ HIỆU, CÁC CHỮ VIẾT TẮT ..................................... v
DANH MỤC CÁC HÌNH VẼ......................................................................... vi
DANH MỤC CÁC BẢNG.............................................................................. vii
MỞ ĐẦU ........................................................................................................... 1
CHƯƠNG 1: TỔNG QUAN VỀ WEB CACHING ......................................... 3
1.1. Giới thiệu web caching .......................................................................... 3
1.1.1. Vấn đề tải truy cập Internet và web caching .................................. 3
1.1.2. Định nghĩa web Caching ................................................................ 5
1.1.3. Một số khái niệm về Caching ........................................................ 6
1.2. Các kiến trúc web Caching ................................................................... 9
1.2.1. Kiến trúc cache phân tầng và phân tán .......................................... 9
1.2.2. Kiến trúc kết hợp (Caching lai) .................................................... 14
1.3. Ưu nhược điểm của Web caching ........................................................ 18
1.4. Kết luận chương 1 ................................................................................ 19
CHƯƠNG 2: MỘT SỐ THUẬT TOÁN WEB CACHING ........................... 20
2.1. Thuật toán Least Frequently Used with Dynamic Aging (LFU-DA) . 20
2.2. Thuật toán Greedy Dual Size (GDS) ................................................... 21
2.3. Thuật toán Cost Effective (CE) ........................................................... 21
2.4. Thuật toán Least recently used (LRU) ................................................. 23
2.4.1. Thay thế trang ............................................................................... 23
2.4.2. Các thuật toán thay thế trang......................................................... 24
2.4.3. Vấn đề thay thế Cache................................................................... 28
2.5. Các thuật toán dựa trên LRU trong Web caching ............................... 32
2.6. Kết luận chương 2 ................................................................................ 38
CHƯƠNG 3: KỸ THUẬT CACHE TRONG WEB PROXY ........................ 39
3.1. Cơ bản về cache trong Squid .............................................................. 39
3.1.1. Lệnh cache_dir ............................................................................. 40
3.1.2. Thuật toán thay thế ....................................................................... 43
3.1.3. Loại bỏ đối tượng Cache .............................................................. 45
3.2. Điều khiển cache trong Squid ............................................................. 49

3.2.1. Thông tin kết nối ........................................................................... 50
3.2.2. Thông tin Cache ............................................................................ 52
3.2.3. Thời gian dịch vụ trung bình ......................................................... 53
3.2.4. Sử dụng tài nguyên........................................................................ 55


iv

3.2.5. Hàm quản lý bộ nhớ sử dụng ........................................................ 57
3.2.6. Kỹ thuật quản lý bộ nhớ trong ...................................................... 58
3.2.7. Mô tả các file sử dụng trong Squid ............................................... 58
3.2.8. Cấu trúc dữ liệu trong Squid: ........................................................ 60
3.3. Mô hình thử nghiệm và đánh giá kết quả............................................ 61
3.3.1. Cài đặt Squid ................................................................................ 61
3.3.2. Thống kê, vẽ đồ thị ....................................................................... 67
3.3.3. Đánh giá kết quả............................................................................ 71
3.4. Kết luận chương 3 ................................................................................ 71
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ...................................................... 72
TÀI LIỆU THAM KHẢO ............................................................................... 73
PHỤ LỤC


v

DANH MỤC CÁC KÍ HIỆU, CÁC CHỮ VIẾT TẮT

Kí hiệu

Tên đầy đủ

ISP

Internet Service Provider

ARPANET

Advanced Research Projects Agency Network

NSFNET

National Science Foundation Network

WAN

Wide Area Network

CPU

Central Processing Unit

LRU

Least recently used

LFU - DA

Least Frequently Used with Dynamic Aging

HLRU

History LRU

GDS

Greedy Dual Size

CE

Cost Effective

DNS

Domain Name System

WWW

World Wide Web


vi

DANH MỤC CÁC HÌNH VẼ
Hình 1.1. Vị trí của bộ nhớ Web cache ............................................................. 7
Hình 1.2. Sơ đồ biểu diễn Proxy server cache .................................................. 8
Hình 1.3. Vị trí đặt origin server cache ............................................................ 8
Hình 1.4. Mô hình phân cấp của ISP ............................................................... 9
Hình 1.5. Mô hình phân cây ............................................................................ 10
Hình 1.6. Sơ đồ đầy đủ một kiến trúc phân tầng Web Caching của một ISP . 11
Hình 1.7. Sơ đồ kiến trúc phân tán Web caching của một ISP ....................... 11
Hình 1.8. Sơ đồ Hybrid Web Caching của một ISP ....................................... 14

Hình 1.9. Thời gian kết nối trung bình cho toàn bộ N trang Web, phụ thuộc
vào số cache kết hợp k .................................................................................... 15
Hình 1.10. Thời gian kết nối của Caching phân cấp, caching phấn tán và
caching hỗn hợp .............................................................................................. 15
Hình 1.11. Thời gian truyền của N trang Web ............................................... 16
Hình 1.12. Thời gian truyền cho caching lai với số bộ đệm tối ưu k, ρ=0,8 . 17
Hình 2.1. Cấu trúc một phần tử trong bảng trang ........................................... 24
Hình 2.2. Lược đồ thay thế nội dung cache của thuật toán LRU .................. 25
Hình 2.3. Cấu trúc một phần tử trong bảng trang ........................................... 27
Hình 2.4. Thuật toán thay thế cache LRU....................................................... 32
Hình 2.5. Thuật toán thay thế cache HLRU.................................................... 36
Hình 3.1. Mô hình thử nghiệm ........................................................................ 61
Hình 3.2. Giải nén thư mục nguồn .................................................................. 62
Hình 3.3. Biên dịch # ./configure ................................................................... 62
Hình 3.4. Bảy đường dẫn đặt Squid ............................................................... 63
Hình 3.5. Biên dịch mã nguồn ....................................................................... 64
Hình 3.6. Cài đặt Squid ................................................................................... 64
Hình 3.7. Giao diện chạy Squid ..................................................................... 66
Hình 3.8. Giao diện chạy Squidclient ............................................................ 67
Hình 3.10. Cache hit và Byte hit, cùng số yêu cầu ......................................... 71


vii

DANH MỤC CÁC BẢNG
Bảng 2.1. Các thuộc tính hữu ích nhất của mỗi đối tượng lưu trữ i .............. 28
Bảng 2.2. Cấu trúc dữ liệu chính của LRU và HLRU .................................... 37


1

MỞ ĐẦU
I. LÝ DO CHỌN ĐỀ TÀI
Ngày nay, World Wide Web (WWW) ngày càng phát triển đi sâu vào
mọi ngõ ngách cuộc sống hiện đại, là phương tiện truy cập mạng đơn giản,
thân thiện với người sử dụng. Việc sử dụng dịch vụ Web đang tăng theo cấp
số mũ, lưu lượng WWW trên các mạng Internet quốc gia và quốc tế cũng tăng
đột biến. Và Việt Nam cũng không nằm ngoài vòng xoáy của cơn lốc WWW,
cổng giao tiếp điện tử,....... đang là những ứng dụng mới và đang được phát
triển. Trong tương lai, các ứng dụng này càng phát triển hơn cùng sự phát
triển của hạ tầng mạng máy tính và đòi hỏi nền tảng công nghệ thông tin ngày
càng cao. Tuy nhiên để có được điều đó không phải là vấn đề đơn giản. Hiện
tại mạng máy tính tại Việt Nam ngày càng phát triển, tuy nhiên với điều kiện
của nước ta, cơ sở vật chất hạ tầng mạng máy tính còn thấp kém. Chất lượng
dịch vụ và thời gian đáp ứng có thể được cải thiện bằng cách giảm tải cho
mạng, một trong số đó là phương pháp sử dụng kỹ thuật Webcaching. Kỹ
thuật Web caching ra đời nâng cao được hiệu quả trong việc thực hiên tăng
tốc các ứng dụng WWW.
Bản thân làm công việc quản lý hệ thống mạng với mong muốn nghiên
cứu về hạ tầng mạng cơ sở, tôi lựa chọn đề tài: “Nghiên cứu một số thuật
toán cho Web Caching và ứng dụng”.
Luận văn trước tiên nghiên cứu một số thuật toán Web Caching. Trên
cơ sở đó, luận văn nghiên cứu và trình bày thuật toán LRU trong phần mềm
Squid proxy để nâng cao hiệu quả ứng dụng WWW của hệ thống. Cuối cùng
là chương trình thử nghiệm và đánh giá kết quả của thuật toán LRU trong
Squid proxy tại ngân hàng Vietinbank chi nhánh đền Hùng - tỉnh Phú Thọ.
II. MỤC TIÊU, ĐỐI TƯỢNG, PHẠM VI NGHIÊN CỨU


Mục tiêu

Nắm bắt cơ bản được các thuật toán Web Caching và các ứng dụng của
phương pháp này.


2

Trên cơ sở nghiên cứu, tìm hiểu lý thuyết về thuật toán LRU và thử
nghiệm Web caching sử dụng thuật toán LRU.
 Đối tượng và phạm vi nghiên cứu
- Tìm hiểu xây dựng thuật toán LRU trong việc thử nghiêm Web
Caching.
- Cài đặt thử nghiệm.
III. PHƯƠNG PHÁP NGHIÊN CỨU
- Phương pháp nghiên cứu tài liệu, phân tích, tổng hợp.
- Phương pháp trao đổi khoa học, lấy ý kiến chuyên gia.
- Phương pháp thực nghiệm và đối chứng qua chương trình thử
nghiệm.


Luận văn đầy đủ ở file: Luận văn full