Đảm bảo hiệu năng và độ tin cậy cho hệ thống thư điện tử lưu lượng lớn

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ

NGUYỄN QUỐC ANH

ĐẢM BẢO HIỆU NĂNG VÀ ĐỘ TIN CẬY CHO HỆ THỐNG
THƢ ĐIỆN TỬ LƢU LƢỢNG LỚN

LUẬN VĂN THẠC SỸ

HÀ NỘI - 2006


ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ

NGUYỄN QUỐC ANH

ĐẢM BẢO HIỆU NĂNG VÀ ĐỘ TIN CẬY CHO
HỆ THỐNG THƢ ĐIỆN TỬ LƢU LƢỢNG LỚN
Ngành: Công nghệ thông tin
Mã số: 1.01.10.

LUẬN VĂN THẠC SỸ
NGƯỜI HƯỚNG DẪN KHOA HỌC:
TS. Tôn Quốc Bình

HÀ NỘI - 2006


MỤC LỤC

LỜI CẢM ƠN ...................................................................................................... 9
MỞ ĐẦU........................................................................................................... 10
CHƢƠNG 1: CÁC KIẾN THỨC CƠ BẢN VỀ HỆ THỐNG . Error! Bookmark not defined.
THƢ ĐIỆN TỬ ............................................................. Error! Bookmark not defined.
1.1. Thành phần POP3 ..................................................... Error!
1.2. Thành phần chuyển thƣ(MTA) .................................. Error!
1.3. Thành phần SMTP:.................................................... Error!
1.4. Thành phần IMAP ..................................................... Error!
1.5. Thành phần MSS ....................................................... Error!
1.6. Thành phần chỉ mục(Directory) ................................ Error!
1.7. Webmail Server ........................................................ Error!
1.8. Một số thành phần khác có liên quan ....................... Error!
1.9. Kiến trúc hệ thống Mail tập trung............................ Error!
1.10 Kiến trúc hệ thống Mail phân tán ............................ Error!
1.11. Kiến trúc lai ghép ................................................... Error!
1.12. Kiến trúc hệ thống của nhà cung cấp dịch vụ ......... Error!

Bookmark
Bookmark
Bookmark
Bookmark
Bookmark
Bookmark
Bookmark
Bookmark
Bookmark
Bookmark
Bookmark
Bookmark

not
not
not
not
not
not
not
not
not
not
not
not

defined.
defined.
defined.
defined.
defined.
defined.
defined.
defined.
defined.
defined.
defined.
defined.

CHƢƠNG 2: CÁC KỸ THUẬT CẦN ÁP DỤNG KHI XÂY DỰNG HỆ THỐNG THƢ
ĐIỆN TỬ DÀNH CHO NHÀ CUNG CẤP DỊCH VỤ CHUYÊN NGHIỆP Error! Bookmark
not defined.
2.1.Đảm bảo hiệu năng ................................................... Error! Bookmark not defined.

2.1.1. Định cỡ hệ thống ............................................. Error! Bookmark not defined.
2.1.2. Phát triển kiến trúc của hệ thống: ................... Error! Bookmark not defined.
2.1.3. Các phƣơng pháp nâng cấp, tách tải trên 1 cụm ......... Error! Bookmark not
defined.
2.1.4. Các phƣơng pháp phân chia tải cho nhiều cụm Error! Bookmark not defined.
2.1.5. Một số đề xuất và khuyến nghị: ....................... Error! Bookmark not defined.
2.2. Đảm bảo độ sẵn sàng cao ......................................... Error! Bookmark not defined.
2.2.1. Đối với các thành phần xử lý............................ Error! Bookmark not defined.
2.2.2. Chế độ tin cậy cao đối với các thành phần lƣu trữ ....... Error! Bookmark not
defined.
2.2.3. Một số đề xuất và khuyến nghị ......................... Error! Bookmark not defined.
2.3. An ninh thƣ điện tử .................................................. Error! Bookmark not defined.
2.3.1. Tổng quan về Công cụ chống spam và virus .... Error! Bookmark not defined.
2.3.2. Xây dựng các chính sách chống spam và virus:Error! Bookmark not defined.
2.3.3. Triển khai các thành phần an ninh trong hệ thống: ..... Error! Bookmark not
defined.

CHƢƠNG 3: HỆ THỐNG MAIL QUY MÔ LỚN VÀ CÁC THÁCH THỨC ............ Error!
Bookmark not defined.

3.1. Hệ thống thƣ điện tử quy mô lớn ............................. Error! Bookmark not defined.
3.2. Các thách thức đối với hệ thống thƣ điện tử quy mô lớn ...... Error! Bookmark not
defined.
3.2.1. Vấn đề lƣu lƣợng lớn........................................ Error! Bookmark not defined.
3.2.2. Virus, Spam, Relay ........................................... Error! Bookmark not defined.


3.2.3 Các khó khăn về băng thông trên mạng diện rộng ....... Error! Bookmark not
defined.

CHƢƠNG 4: ĐỀ XUẤT YÊU CẦU KỸ THUẬT ĐỐI VỚI HỆ THỐNG THƢ ĐIỆN TỬ
LƢU LƢỢNG LỚN ....................................................... Error! Bookmark not defined.
4.1.
4.2.
4.3.
4.4.
4.5.
4.6.
4.7.
4.8.
4.9.
4.10.
4.11.
4.12.
4.13.
4.14.
4.15.

Về mặt kiến trúc ..................................................... Error!
Yêu cầu về tính năng chung của hệ thống.............. Error!
Yêu cầu về tính sẵn sàng của hệ thống. ................. Error!
Yêu cầu về hạ tầng cho hệ thống ........................... Error!
Yêu cầu về nền tảng phần cứng và phần mềm ....... Error!
Yêu cầu về các tính năng của MTA ......................... Error!
Yêu cầu về các tính năng của POP3........................ Error!
Yêu cầu về các tính năng hỗ trợ IMAP4.................. Error!
Yêu cầu về các tính năng hỗ trợ Webmail .............. Error!
Yêu cầu về các tính năng của MSS ......................... Error!
Yêu cầu về các tính năng chống virus và spam ...... Error!
Yêu cầu về cơ sở dữ liệu hộp thƣ của hệ thống ...... Error!

Yêu cầu về hệ thống quản trị ................................. Error!
Yêu cầu về kiểm soát chất lƣợng dịch vụ ............... Error!
Yêu cầu về một số tính năng khác.......................... Error!

Bookmark
Bookmark
Bookmark
Bookmark
Bookmark
Bookmark
Bookmark
Bookmark
Bookmark
Bookmark
Bookmark
Bookmark
Bookmark
Bookmark
Bookmark

not
not
not
not
not
not
not
not
not
not

not
not
not
not
not

defined.
defined.
defined.
defined.
defined.
defined.
defined.
defined.
defined.
defined.
defined.
defined.
defined.
defined.
defined.

5.1. Tiêu chí và căn cứ thiết kế hệ thống ......................... Error!
5.2. Thiết kế tổng thể:...................................................... Error!
5.3. Thiết kế chi tiết ......................................................... Error!
5.4. Đảm bảo độ tin cậy cao ............................................. Error!
5.5. Quản trị hệ thống ...................................................... Error!
5.6. Giải pháp chống Virus/Spam..................................... Error!
5.7. Giải pháp mở rộng hệ thống ...................................... Error!

Bookmark
Bookmark
Bookmark
Bookmark
Bookmark
Bookmark
Bookmark

not
not
not
not
not
not
not

defined.
defined.
defined.
defined.
defined.
defined.
defined.

CHƢƠNG 5: GIẢI PHÁP XÂY DỰNG HỆ THỐNG THƢ ĐIỆN TỬ CHO MẠNG VNN
................................................................................... Error! Bookmark not defined.

KẾT LUẬN ................................................................... Error! Bookmark not defined.
TÀI LIỆU THAM KHẢO ..................................................................................... 11

DANH MỤC TỪ VIẾT TẮT VÀ THUẬT NGỮ
Thuật ngữ
Mail
POP
IMAP
MSS
SMTP
LDAP/Directory
Webmail
Virus
Spam
Relay
MTA
ISP
DNS
Message
LMTP
Dispacher
Queue
LAN
WAN
RFC
ACL
DIT
Replication
FireWall
Load Balancer
DNS Round Robin
RAID

SLED
LUN
MTDL
Mailling list
Authenticate
Mail Filter
Black List
SSL
Router
VPN
Multiplexor
Appliance
Multi-Process
Foward
Attached File
Quota
Sieve
MultiMaster

Diễn giải
Thư điện tử
Một giao thức truy nhập thư, sử dụng chủ yếu năng lực của Client
Một giao thức nhận thư, sử dụng chủ yếu năng lực máy chủ
Thành phần lưu trữ thư
Thành phần gửi nhận thư
Thành phần chỉ mục
Thành phần phục vụ truy nhập thư qua Web
Các phần mềm/đoạn mã phát tán gây hại trên mạng
Các thư rác không mong muốn/hoặc quấy rối
Hiện tượng sử dụng máy chủ để gửi thư không hợp lệ

Chịu trách nhiệm định tuyến, phân phối thư
Nhà cung cấp dịch vụ Internet
Dịch vụ tên miền
Tin nhắn, có thể hiểu tương đương thư điệntử
Giao thức thu gọn để chuyển thư
Là một trình gửi lưu lượng đa nhiệm, chuyên gửi kết nối SMTP hoặc LMTP
đến tổ hợp của các luồng SMTP hoặc LMTP server để xử lý theo từng giao
thức cụ thể.
Hàng đợi
Mạng cục bộ
Mạng diện rộng
Bản ghi nhớ - phục vụ việc bàn luận và duyệt các chuẩn
Access Control List
Cây thông tin thư mục
Đồng bộ dữ liệu
Tường lửa
Thiết bị chia tải cứng
Chia tải thông qua DNS
Redundant Array of independent Disks
Single Large Expensive Disks - Đĩa đơn dung lượng lớn giá thành cao
Logical Unit Khối cục bộ
Mean time to data loss - Thời gian dừng dịch vụ do mất dữ liệu
Danh bạ gửi thư
Xác thực người dùng
Thành phần lọc thư
Danh sách đen - dùng cho chống spam
Secure Sockets layer
Định tuyến
Virtual Private Network
Trung chuyển cho thành phần lưu thư

Thiết bị cứng hoá dùng cho lọc thư
Xử lý đa tiến trình
Chuyển tiếp(thư)
File đính kèm
Hạn mức(hộp thư)
Một ngôn ngữ tiêu chuẩn dùng cho lọc thư
Nhiều chủ thể chính - Dùng cho đồng bộ LDAP


DANH MỤC BẢNG BIỂU

Bảng
Bảng
Bảng
Bảng
Bảng

1:
2:
3:
4:

Các chế độ tin cậy cao
So sánh các cấu hình Raid
Các luồng an toàn MTA trọng yếu
Ánh xạ điều khiển truy nhập

Trang
45
51

60
61


DANH MỤC HÌNH VẼ
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình

Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình

Hình vẽ
1: Thành phần cơ bản của hệ thống thư điện tử
2: Giao thức POP3
3: Kiến trúc kênn
4: Kênh hoán chuyển
5: Mô hình 2 lớp không có LMTP

6: Mô hình 2 tầng có LMTP
7: Kiến trúc SMTP
8: Giao thức SMTP
9: Giao thức IMAP
10: Kiến trúc MSS
11: Minh hoạ cây thư mục
12: Các thành phần dịch vụ HTTP
13: Kiến trúc đấu nối tập trung
14: Kiến trúc đấu nối phân tán
15: Kiến trúc đấu nối lai ghép
16: Kiến trúc đấu nối của nhà cung cấp dịch vụ
17: Kiến trúc hai lớp
18: Kiến trúc một lớp
19: Chia sẻ tải
20: Tin cậy cao bất đối xứng
21: Tin cậy cao đối xứng
22: Chế độ tin cậy cao N+1
23: Hệ thống lọc virus
24: Hệ thống chống thư rác
25: Hệ thống Danh sách đen
26: Bảng ánh xạ kích hoạt
27: Lây nhiễm Virus
28: Thư rác
29: Minh hoạ kết quả thử nghiệm CPU
30: Mô hình thử nghiệm
31: Mô hình thiết kế tổng thể
32: Các thành phần chính
32: Thư vào MTA-in
33: Thư ra MTA-out
33: Hoạt động của MMP

34: Thiết kế chi tiết
35: Đồng bộ LDAP
36: Đồng bộ nhiều chiều
37: Giao dịch LDAP thường
38: Giao dịch LDAP với LMTP
39: Cân bằng tải
40: Giao dịch Directory
41: Chống Spam
42: Tổng quan Symantec Brightmail AntiSpam
43 Các thành phần Symantec Brightmail AntiSpam
44: Bộ lọc Brightmail AntiSpam
45: Kiểm tra Virus/Spam
46: Hệ thống đã tích hợp

Trang
5
7
8
9
11
12
13
15
17
18
22
23
24
25
26

27
33
34
36
37
38
39
51
52
52
57
63
64
75
77
80
81
82
83
83
85
86
87
87
88
89
92
100
101
102

103
104
105


Hình 47: Tính sẵn sàng của hệ thống lọc thư
Hình 48: Mô hình hệ thống mở rộng

106
109


LỜI CẢM ƠN

Tôi xin gửi lời cảm ơn sâu sắc đến thầy giáo hướng dẫn, tiến sỹ Tôn Quốc Bình, người đã giành
nhiều thời gian chỉ bảo để tôi có thể hoàn thành luận văn. Những lời cảm ơn chân thành nhất
cũng xin được gửi đến các đồng nghiệp, những người thực sự mong muốn và giúp đỡ tôi đạt
được các hiểu biết sâu hơn về lĩnh vực này.
Không có sự hỗ trợ của gia đình và nhà trường, chắc chắn quá trình học tập và nghiên cứu của
tôi sẽ vấp phải rất nhiều khó khăn.
Một lần nữa, tôi xin được bày tỏ lòng biết ơn đối với tất cả những người đã ủng hộ và giúp đỡ
tôi hoàn thành đề án tốt nghiệp, xin gửi lời chúc sức khoẻ và hạnh phúc.


MỞ ĐẦU

Ngày nay hệ thống thư điện tử vẫn đang giữ vị thế là một phương tiện trao đổi thông
tin hữu ích hàng đầu trên mạng Internet và là một dịch vụ cơ bản của các ISP(Internet Service
Provider). Trong môi trường Internet đang phát triển rất nhanh dẫn đến sự bùng nổ thuê bao
cùng các hiệu ứng spam, lây nhiễm virus …, đòi hỏi của khách hàng đối với các nhà cung cấp

dịch vụ ngày càng cao kéo theo các khó khăn không ngừng gia tăng đối với các hệ thống thư
điện tử quy mô lớn về hiệu năng, độ tin cậy, chịu đựng quá tải, khả năng chống spam, virus,
…
Chúng ta đã biết khá nhiều các phần mềm hệ thống thư điện tử, phần mềm lọc thư, các
phương thức chia sẻ tải, các phương thức cài đặt cụm…, nhưng thiết kế như thế nào để tích
hợp được một hệ thống thư điện tử với quy mô của nhà khai thác chuyên nghiệp lại là một vấn
đề khó khăn, vì những thiết kế của các nhà khai thác lớn như Yahoo, Google, China.com …
thường không được tiết lộ.
Trong khuôn khổ của đề tài, ngoài việc trình bày các kiến thức nền tảng để có thể xây dựng hệ
thống thư điện tử quy mô lớn, học viên đưa ra đề xuất về các yêu cầu kỹ thuật đối với hệ thống
thư điện tử cho các nhà cung cấp dịch vụ nhằm đáp ứng được các yêu cầu khắt khe của người
sử dụng. Phần cuối của đề tài trình bày giải pháp xây dựng hệ thống thư điện tử cho mạng
VNN với thiết kế đảm bảo cung cấp dịch vụ với 500 nghìn hộp thư, có kiến trúc mở rộng được
đến 2,5 triệu hộp thư, đáp ứng được các yêu cầu kỹ thuật đã đặt ra. Giải pháp này có thể sử
dụng để tham khảo như một một ví dụ.
Mặc dù đã có nhiều cố gắng, nhưng đề tài không thể tránh khỏi các thiếu sót, rất mong
nhận được sự chỉ bảo góp ý của các thầy cô giáo, các đồng nghiệp để đề tài được hoàn thiện
hơn.


TÀI LIỆU THAM KHẢO
[1]_ />s_exchange.pdf
- CAPACITY PLANNING FOR MICROSOFT EXCHANGE Saqib N. Syed, Yefim Somin, Divya
Prakash BMC Software, Inc.
[2] />- Sun Java System Communications Services 6 2005Q4 Deployment Planning Guide
- Sun Java™ System Messaging Server 6 Deployment Planning Guide 2004Q2
- Directory Server 5.2 Technical Overview
[3] f/rfc/
-

rfc1730
rfc2033
rfc1939
rfc2821

[4] />[5] />[6] />- EdgeGx
- EdgeGx with BrightMail Antispam
- EdgeGX with McAfee AntiVirus
[7] />- Email Mx Datasheet
- Messaging Anti-Abuse Solution Keep Spam and Viruses Out of Email
- Edge Gx Anti-Abuse Stop messaging abuse closest to the source
[8]_ />[9]_ />f