Nghiên cứu giải pháp nâng cao tốc độ hiển thị dữ liệu trên bản đồ trực tuyến

Header Page 1 of 128.

1

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ

TRẦN THỊ HƢƠNG

NGHIÊN CỨU GIẢI PHÁP NÂNG CAO TỐC ĐỘ HIỂN THỊ
DỮ LIỆU TRÊN BẢN ĐỒ TRỰC TUYẾN

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

Hà Nội – 2015

luan van thac si - luan van kinh te - khoa luan - tai lieu -Footer Page 1 of 128.


Header Page 2 of 128.

2

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ

TRẦN THỊ HƢƠNG

NGHIÊN CỨU GIẢI PHÁP NÂNG CAO TỐC ĐỘ HIỂN THỊ
DỮ LIỆU TRÊN BẢN ĐỒ TRỰC TUYẾN
Ngành: Công nghệ thông tin

Chuyên ngành: Hệ thống thông tin
Mã số: 60480104

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS.TS NGUYỄN HẢI CHÂU

Hà Nội – 2015

luan van thac si - luan van kinh te - khoa luan - tai lieu -Footer Page 2 of 128.


Header Page 3 of 128.

3
LỜI CAM ĐOAN
Tôi xin cam đoan nội dung và những kết quả của luận văn tốt nghiệp này là do tôi tự
nghiên cứu dưới sự hướng dẫn của PGS.TS Nguyễn Hải Châu. Trong toàn bộ nội dung
của luận văn, những nội dung được trình bày là của cá nhân tôi hoặc được tổng hợp từ
nhiều nguồn tài liệu khác. Tất cả các tài liệu tham khảo đều được trích dẫn rõ ràng ở
phần cuối của luận văn.
Tôi xin cam đoan những lời trên là sự thật. Nếu sai tôi xin hoàn toàn chịu trách nhiệm.
Hà Nội, ngày 20 tháng 11 năm 2015
Học viên

Trần Thị Hương

luan van thac si - luan van kinh te - khoa luan - tai lieu -Footer Page 3 of 128.

Header Page 4 of 128.

4
LỜI CẢM ƠN
Tôi xin gửi lời cảm ơn sâu sắc tới PGS.TS Nguyễn Hải Châu, người đã tận tình
chỉ bảo tôi những kiến thức chuyên môn, phương pháp nghiên cứu khoa học đồng thời
cũng là tấm gương trong mọi mặt của cuộc sống để tôi học tập và noi theo.
Tôi xin chân thành cảm ơn các thầy, cô giáo trường Đại học Công nghệ đã cung
cấp cho tôi những kiến thức bổ ích trong thời gian tôi học tập tại trường.
Cuối cùng tôi xin gửi lời cảm ơn tới gia đình tôi đã luôn ủng hộ tôi trên con
đường học tập và nghiên cứu với nhiều khó khăn, vất vả. Mặc dù tôi đã cố gắng hết
sức trong quá trình làm luận văn nhưng không thể tránh khỏi thiếu sót, rất mong nhận
được những góp ý của thầy cô và các bạn.
Hà Nội, ngày 20 tháng 11 năm 2015
Học viên

Trần Thị Hương

luan van thac si - luan van kinh te - khoa luan - tai lieu -Footer Page 4 of 128.


Header Page 5 of 128.

5
MỤC LỤC

LỜI CAM ĐOAN ..........................................................................................................1
LỜI CẢM ƠN ................................................................................................................4
MỤC LỤC ......................................................................................................................5
DANH MỤC CHỮ VIẾT TẮT.....................................................................................7

DANH MỤC HÌNH .......................................................................................................8
DANH MỤC BẢNG BIỂU .........................................................................................10
MỞ ĐẦU ....................................................................... Error! Bookmark not defined.
CHƢƠNG 1. TỔNG QUAN ....................................... Error! Bookmark not defined.
1.1. Khái quát hóa bản đồ............................................ Error! Bookmark not defined.
1.1.1. Lịch sử phát triển và các khái niệm đang tồn tại .........Error! Bookmark not
defined.
1.1.2. Định nghĩa, ý nghiã, mục đích và các nhân tố.............Error! Bookmark not
defined.
1.1.3. Khái quát hóa bản đồ số và các quy tắc khái quát hóa bản đồ .......... Error!
Bookmark not defined.
1.1.4. Lược giản hóa bản đồ từ tập dữ liệu điểm cụm. ..........Error! Bookmark not
defined.
1.2. Phân cụm (Phân cụm)........................................... Error! Bookmark not defined.
1.2.1. Khái niệm ......................................................... Error! Bookmark not defined.
1.2.2. Phân tích cụm là gì? ........................................ Error! Bookmark not defined.
1.2.3. Các kĩ thuật phân cụm..................................... Error! Bookmark not defined.
1.3. Giới thiệu hệ quản trị cơ sở dữ liệu PostgreSQL ............. Error! Bookmark not
defined.
1.3.1. Giới thiệu .......................................................... Error! Bookmark not defined.
1.3.2. Các đặc điểm của PostgreSQL ........................ Error! Bookmark not defined.
1.3.3. Ưu nhược điểm của PostgreSQL .................... Error! Bookmark not defined.
1.3.4. Module PostGIS ............................................... Error! Bookmark not defined.
CHƢƠNG 2. GIẢI PHÁP NÂNG CAO TỐC ĐỘ HIỂN THỊ DỮ LIỆU ĐỊA LÝ
TRÊN BẢN ĐỒ TRỰC TUYẾN ................................ Error! Bookmark not defined.
2.2. Giới thiệu các kĩ thuật phân cụm. ....................... Error! Bookmark not defined.

luan van thac si - luan van kinh te - khoa luan - tai lieu -Footer Page 5 of 128.

Header Page 6 of 128.

6
2.2.1. Các thuật toán phân cụm cơ bản. ................... Error! Bookmark not defined.
2.2.2. Các độ đo sử dụng trong phân cụm. ............... Error! Bookmark not defined.
2.3. Gộp nhóm với thuật toán phân vùng K-means .. Error! Bookmark not defined.
2.3.1. Giới thiệu về thuật toán phân vùng K-means. Error! Bookmark not defined.
2.3.2. Cấu trúc của thuật toán phân vùng K-means Error! Bookmark not defined.
2.4. Gộp nhóm với thuật toán phân cấp Agglomerative Hirearchical (AH) Error!
Bookmark not defined.
2.4.1. Giới thiệu về thuật toán phân cấp ................... Error! Bookmark not defined.
2.4.2. Cấu trúc của thuật toán phân cấp .................. Error! Bookmark not defined.
2.5. So sánh thuật toán K-means và thuật toán AH............. Error! Bookmark not
defined.
2.5.1.

Thuật toán K-means ..................................... Error! Bookmark not defined.

2.5.2.

Thuật toán AH .............................................. Error! Bookmark not defined.

CHƢƠNG 3. THỰC NGHIỆM .................................. Error! Bookmark not defined.
3.1. Xây dựng bộ CSDL thực nghiệm......................... Error! Bookmark not defined.
3.2. Import dữ liệu vào hệ quản trị CSDL PostgreSQL ......... Error! Bookmark not
defined.
3.3. Lập trình xây dựng trang Web thử nghiệm ....... Error! Bookmark not defined.
3.3.1. Xây dựng trang Web và hiển thị dữ liệu điểm ATM ....Error! Bookmark not
defined.
3.3.2. Ứng dụng thuật toán phân cấp Agglomerative Hirearchical lập trình tăng

tốc độ hiển thị dữ liệu điểm ATM ............................. Error! Bookmark not defined.
KẾT LUẬN .................................................................. Error! Bookmark not defined.
TÀI LIỆU THAM KHẢO...........................................................................................11

luan van thac si - luan van kinh te - khoa luan - tai lieu -Footer Page 6 of 128.


Header Page 7 of 128.

7
DANH MỤC CHỮ VIẾT TẮT
Ký hiệu
AH
API
ATM
DBMS
GIS
GPS

Diễn giải
Agglomerative Hirearchical
Application Programming Interface
Automatic Teller Machine
Database Management System
Geographical Information System
Global Positioning System

Tiếng Việt
Phân cấp gộp
Giao diện lập trình ứng dụng

Máy rút tiền tự động
Hệ quản trị cơ sở dữ liệu
Hệ thống thông tin địa lý
Hệ thống định vị toàn cầu

luan van thac si - luan van kinh te - khoa luan - tai lieu -Footer Page 7 of 128.


Header Page 8 of 128.

8
DANH MỤC HÌNH
Hình 1.1. Sự khác biệt giữa khái quát hóa bản đồ và tỷ lệ hóa bản đồ………….……11
Hình 1.2. Khái quát hóa bản đồ ………………...…………………………………….12
Hình 1.3. Phương pháp hình sao và phương pháp bậc thang trong kỹ thuật khái quát
hóa …………………………………………………………………………………....14
Hình 1.4. Lược giản hóa đối với một tập điểm ………………………………….…...20
Hình 1.5. Lựa chọn các điểm gần nhất để nhóm. . …………………………………...22
Hình 1.6. Loại bỏ các điểm gần tâm cụm……………………………………………..23
Hình 1.7. Sự khác biệt giữa các dữ liệu điểm gốc và các dữ liệu điểm sau khi khái quát
hóa lúc bản đồ được phóng to………………………………………………………...23
Hình 1.8. Việc thể hiện tập dữ liệu điểm gốc và tập dữ liệu điểm sau khi khái quát hóa
về tỷ lệ 1:10.000.000………………………………………………………………….24
Hình 1.9. Các cách khác nhau để phân cụm cùng một tập điểm ………………..…...27
Hình 2.1a. Thuật toán phân cụm phân cấp 1……………………………………….…34
Hình 2.1b. Sơ đồ cây 1 ……………………………………………………………….34
Hình 2.1c. Thuật toán phân cụm phân cấp 2 …………………………………………34
Hình 2.1d. Sơ đồ cây 2 ………………………………………………………….……34
Hình 2.2: Thuật toán phân vùng………………………………………………………34
Hình 2.3. Quy trình hoạt động của thuật toán k-means…………………...…...……..36

Hình 2.4. Gán k tâm cụm một cách ngẫu nhiên………………………………………36
Hình 2.5. Gán mỗi điểm vào một cụm gần nhất …………………………….......……37
Hình 2.6. Tâm của mỗi cụm dịch chuyển sau khi được tính toán lại ………….……..37
Hình 2.7. Gán lại các điểm vào các cụm gần nhất và lặp lại………………………….37
Hình 2.8. Thuật toán phân cụm phân cấp……………………………………………..40
Hình 2.9. Quá trình chạy thuật toán phân cấp phân cụm……………………..………40
Hình 2.10. Quy trình thuật toán phân cấp phân cụm………………………………....42
Hình 2.11. Sơ đồ hình cây…………………………………………………………….43
Hình 2.12. Độ đo single-link.…………………………...…………………………….44
Hình 2.13. Độ đo complete-link ……..……..…………………………...……………44
Hình 2.14. Độ đo centroid-link ………..…………………………………...…………45
Hình 2.15. Độ đo group-average …………………………….………………..……...45
Hình 2.16. Một cây phân cấp của thuật toán phân cụm AH………………….……... 45
Hình 3.1. Biên tập dữ liệu trên phần mềm ArcGIS…………………………...………48
Hình 3.2. Cấu trúc bảng thuộc tính của dữ liệu………………………………………48
Hình 3.3. Bảng thuộc tính của dữ liệu ATM khu vực Hà Nội…………….………….49

luan van thac si - luan van kinh te - khoa luan - tai lieu -Footer Page 8 of 128.


Header Page 9 of 128.

9
Hình 3.4. Hộp thoại tạo Databases…………………………………..………………..50
Hình 3.5. Cơ sở dữ liệu ATM Thành phố Hà Nội ……………………………………50
Hình 3.6. Hộp thoại đưa shapefile lên Databases……………………………..……...51
Hình 3.7. Hộp thoại Import Options……………………………………….………….52
Hình 3.8. Cơ sở dữ liệu trong Databases db_test – atm………………………………52
Hình 3.9. Trang Web đơn giản với bản đồ nền GoogleMap……………..….………..53
Hình 3.10. Mã tạo trang Web với bản đồ nền GoogleMap……..…………….………54

Hình 3.11. Hiển thị dữ liệu điểm ATM trên Web…………………………….………54
Hình 3.12. Minh họa quá trình gộp nhóm bằng thuật toán AH…………………...…..55

luan van thac si - luan van kinh te - khoa luan - tai lieu -Footer Page 9 of 128.


Header Page 10 of 128.

10
DANH MỤC BẢNG BIỂU
Bảng 1.1. Minh họa các quy tắc khái quát hóa……………………………………17
Bảng 1.2. So sánh hiệu suất lưu trữ số liệu …………………………….………...29
Bảng 1.3. So sánh một số tính năng cơ bản………………………………………30
Bảng 1.4. So sánh phương thức quản lý và phân vùng..…………………...….….30
Bảng 1.5. So sánh một số tính năng cơ bản………………………………………31
Bảng 1.6. So sánh phương thức quản lý và phân vùng…………………………...31
Bảng 3.1. Các hạng mục xây dựng trang Web thử nghiệm……………………….53
Bảng 3.2. Thống kê hiệu suất phân cụm với thuật toán AH……………………...57

luan van thac si - luan van kinh te - khoa luan - tai lieu -Footer Page 10 of 128.


Header Page 11 of 128.

11

TÀI LIỆU THAM KHẢO
Tiếng Việt
1. Nguyễn Thị Ngọc Diễm (2014), So sánh một số thuật toán phân cụm dữ liệu,
Luận văn thạc sỹ, Học viện công nghệ bưu chính viễn thông, tr.5-9.

2. Phạm Thị Phép (2013), Ứng dụng công nghệ Webgis mã nguồn mở phục vụ
công tác quảng bá du lịch, Đại học Nông Lâm tp. Hồ Chí Minh, tr.10-12.
3. Nhữ Thị Xuân (2006), Bản đồ học, Nhà xuất bản Đại học quốc gia Hà Nội.
tr.8-9, 103-108.
4. Fan Hong, Trần Quỳnh An, Tự động tổng quát hóa bản đồ, Tạp chí KHKT
Mỏ địa chất, số 44, 10-2013, tr.23-29.
5. Nguyễn Hà Nam, Nguyễn Trí Thành, Hà Quang Thụy (2012), Giáo trình
khai phá dữ liệu, Nhà xuất bản ĐHQGHN Hà Nội, tr.179-192.
Tiếng Anh
6. Atta Rabbi and Epameinondas Batsos (Master of Science Thesis in
Geoinformatics - 2012), Phân cụm and cartographic simplification of point
data set.
7. Bader M. (2001), Energy Minimization methods for feature displacement in
map generation, doctoral thesis, Universty of Geography, University of Zurich,
Switzerland.
8. Epameinondas Batsos, Politis Panagiotis (2006), Creation of geographic –
cartographic data, multiple, continuous scale of topographic maps using
satellite images VHR. Concepts, problems, suggestions, bachelor thesis,
Department of Land surveying, Technological Educational Institution of
Athens, Athens – Greece.
9. Jiawei Han, Micheline Kamber (2006), Data mining: Concepts and Techniques,
2nd ed., Elsevier Science, Sanfransico, United states.
10. Robert B.McMaster, K.Stuart Shea (1992), Generalization in digital
cartography, The Association of American Geographers, Washington.
11. Robert B.McMaster, K.Stuart Shea (1989), Cartographic Generalization
in a Digital Enviroment: when & how to generalize, Proceeding of 9th Internati
onal Symposium on Computer ‐ Assisted Cartography, Baltimore.
12. Pang Ning Tan, M. Steinbach, V. Kumar (2006), Introduction to Data Mining,
Addison‐Wesley, Minesota, United states.
13. L.Kaufman & P.J. Rousseeuw (1990), Finding Groups in Data: an Introduction

to Cluster Analysis, John Wiley & Sons Ltd., New York.

luan van thac si - luan van kinh te - khoa luan - tai lieu -Footer Page 11 of 128.


Header Page 12 of 128.

12
14. Zhu and Dreher (2008), Improving web search by categorization, phân cụm,
and personalization, Springer-Verlag, pp. 659-666.
15. Geraci, Pellegrini, Maggini, and Sebastiani (2006), Cụm generation and cụm
labelling for web snippets: A fast and accurate hierarchical solution,
ISPIRE, pp. 25-36
16. Charu C.Aggarwal, Chandan K.Reddy (2014), Data phân cụm: algorithms
and applications, Taylor & Francis Group, LLC, pp. 15-19.
17. Gregory Smith (2012), PostgreSQL 9.0 High Performance, PACKT pp. 8 12.
Web
18. www.wattpad.com
19. www.postgresql.org
20. www.vi.wikipedia.org/wiki/So_sánh_các_hệ_quản_trị_cơ_sở_dữ_liệu_quan
_hệ
21.

luan van thac si - luan van kinh te - khoa luan - tai lieu -Footer Page 12 of 128.