Ứng dụng data reviewer kiểm định chất lượng dữ liệu GIS (áp dụng với dữ liệu ngành cấp nước

BỘ TÀI NGUYÊN VÀ MÔI TRƯỜNG
ĐẠI HỌC TÀI NGUYÊN VÀ MÔI TRƯỜNG THÀNH PHỐ HỒ CHÍ MINH
KHOA TRẮC ĐỊA VÀ BẢN ĐỒ

ĐỒ ÁN TỐT NGHIỆP

ỨNG DỤNG DATA REVIEWER
KIỂM ĐỊNH CHẤT LƯỢNG DỮ
LIỆU GIS (ÁP DỤNG VỚI DỮ LIỆU
NGÀNH CẤP NƯỚC
SVTH: Lê Hồng Nhung
GVHD: ThS. Trần Thị Phương Dung

Hồ Chí Minh, 2017


LỜI CAM ĐOAN
Tôi, Lê Hồng Nhung, xin cam đoan đây là công trình độc lập của riêng tôi, được
thực hiện với sự hướng dẫn của cô Lê Minh Vĩnh và anh Nguyễn Văn Phú.
Các số liệu sử dụng trong đồ án có nguồn gốc rõ ràng. Các kết quả trong đồ án
này là trung thực, không chỉnh sửa, do chính tôi làm ra.

Tp. HCM, ngày…..tháng…..năm TP.HCM
Người cam đoan.

Lê Hồng Nhung

I


LỜI CẢM ƠN

Để đồ án này có thể hoàn thành tốt đẹp theo đúng tiến độ quy định. Tôi đã nhận được
rất nhiều sự hỗ trợ, giúp đỡ của các cơ quan, tổ chức và cá nhân.Với tình cảm sâu sắc,
chân thành nhất, cho phép tôi được bày tỏ lòng biết ơn đến gia đình, bạn bè, các cá
nhân, cơ quan tổ chức đã tạo điều kiện và giúp đỡ tôi trong quá trình thực hiện đồ án.
Trước tiên tôi xin gửi tới quý thầy cô Khoa Kỹ Thuật Trắc Địa – Bản Đồ, Trường
Đại Học Tài Nguyên và Môi Trường TP.HCM lời chào trân trọng, lời chúc sức khỏe
và lời cảm ơn sâu sắc. Với sự quan tâm, dạy dỗ, hướng dẫn tận tình của quý thầy cô.
Đến nay tôi đã hoàn thành đồ án “ Ứng Dụng Data Reviewer kiểm định chất lượng
dữ liệu GIS (Áp dụng với dữ liệu ngành cấp nước)’’.
Đặt biệt tôi xin gửi lời cảm ơn chân thành nhất đến cô Lê Minh Vĩnh ( GV Khoa Trắc
Địa – Bản Đồ) và anh Nguyễn Văn Phú (Chuyên viên IT- Công Ty Cổ Phần Cấp
Nước Phú Hòa Tân) đã quan tâm giúp đỡ, tận tình hướng dẫn tôi trong suốt quá trình
thực hiện đồ án.
“ Em cảm ơn cô đã không ngại khó khăn mở từng buổi giảng để chia sẽ với chúng
em cách thực hiện đồ án, mặc dù sức khỏe cô không được tốt, đi lại rất khó khăn sau
khi gặp phải chấn thương ở chân. Cảm ơn cô đã hết lòng vì chúng em. Em rất biết
ơn và xin khắc ghi hình ảnh người một người cô tâm huyết với nghề. Em sẽ không thể
quên được hình ảnh cô với chiếc nạn gỗ trên bục giảng. Một lần nữa em xin cảm ơn
cô bằng tất cả lòng biết ơn.”
Đồ án này cũng không thể hoàn thành nếu không có sự giúp đỡ hổ trợ của anh Phú
– Chuyên viên IT Công Ty Cổ Phần Cấp Nước Phú Hòa Tân. Em xin gửi đến anh lời
cảm ơn chân thành nhất. Cảm ơn anh đã tận tình hướng dẫn em thực hiện một đề tài
hoàn toàn mới.
Tôi xin bày tỏ lòng biết ơn đến Ban lãnh đạo trường Đại Học Tài Nguyên Môi Trường
TPHCM.
Không thể không nhắc đến sự hổ trợ của các anh chị thuộc tập đoàn Đông Phương
trong suốt quá trình thực hiện đồ án.
Đến nay đồ án đã được hoàn thiện, tuy nhiên vẫn còn nhiều thiếu sót. Tôi rất mong
nhận được sự chỉ dẫn, đóng góp ý kiến để đồ án có thể ứng dụng tốt hơn.
Trân Trọng !

II


TÓM TẮT
Đề Tài : “ Ứng dụng Data Reviewer kiểm định chất lượng dữ liệu GIS (Áp dụng
với dữ liệu ngành cấp nước)”.
Sinh viên thực hiện : Lê Hồng Nhung
Cùng với sự phát triển mạnh mẽ của công nghệ thông tin, Hệ Thống Thông Tin Địa
Lý được sử dụng để khai thác và quản lý nguồn dữ liệu có yếu tố không gian, và một
trong những yêu cầu kỹ thuật của hệ thống này là nguồn dữ liệu phải được chuẩn hóa
theo một số quy tắc nhất định. Chính vì vậy, đề tài đặt ra nhiệm vụ tìm hiểu và ứng
dụng bộ công cụ của ESRI là Data Reviewer trong việc kiểm định chất lượng dữ liệu,
cụ thể là xây dựng quy trình, tạo ra một bộ luật phục vụ kiểm định chất lượng dữ liệu
GIS. Trong phạm vi đồ án, dữ liệu sử dụng để ứng dụng kiểm định là dữ liệu mạng
lưới cấp nước.
Trên cơ sở tìm hiểu các đặc điểm của dữ liệu ngành cấp nước, một bộ cơ sở dữ liệu
GIS được xây dựng (giả định) với các lớp nền và chuyên ngành (các lớp đường ống
cấp nước, van, mối nối, đồng hồ khách hàng…) trên địa bàn phường 15 quận 10. Bộ
dữ liệu này sẽ được dùng để đưa vào kiểm định. Tiếp theo, trên cơ sở tìm hiểu bộ
công cụ Data Reviewer, một quy trình chung để xây dựng Batch Job (bộ luật) được
xác định. Trên cơ sở quy trình chung này và dựa trên các yêu cầu kỹ thuật của dữ liệu
cấp nước, Batch Job để chuẩn hóa dữ liệu ngành cấp nước được hình thành gồm các
luật và thông số theo yêu cầu của dữ liệu cấp nước. Để kiểm tra tính khả dụng của
Batch Job, các dữ liệu đã xây dựng sẵn được đưa vào kiểm định, phát hiện lỗi và từ
đó đưa ra các đề xuất phù hợp.
Kết quả của đề tài là là sự kết hợp giữa lý thuyết và yêu cầu thực tế của ngành, có sản
phẩm cụ thể đã qua thực nghiệm là một Batch Job phục vụ kiểm định chất lượng dữ
liệu theo yêu cầu kỹ thuật, quy chuẩn của ngành cấp nước. Bộ Batch Job gồm 10
nhóm phục vụ kiểm tra hơn 50 trường hợp theo yêu cầu dữ liệu ngành cấp nước, được

chạy thử nghiệm với dữ liệu và cho kết quả, báo lỗi theo đúng yêu cầu. Vì vậy, có thể
kết luận việc ứng dụng Data Reviewer để kiểm định dữ liệu GIS là hợp lý, khả dụng
và có thể mở rộng áp dụng cho các ngành nghề khác với điều kiện sử dụng dữ liệu
tương ứng.

III


MỤC LỤC
CHƯƠNG 1. MỞ ĐẦU. ........................................................................................... 2
1.1 Đặt Vấn Đề. ........................................................................................................ 2
1.2 Mục Tiêu ............................................................................................................ 2
1.3 Nội Dung Và Phạm Vi Nghiên Cứu. ................................................................ 2
1.3.1 Giới hạn đề tài. ............................................................................................ 2
1.3.2 Nội Dung. .................................................................................................... 3
1.4 Cấu Trúc Của Đồ Án. ....................................................................................... 3
CHƯƠNG 2. TỔNG QUAN .................................................................................... 5
2.1 Giới thiệu về ngành cấp nước. ......................................................................... 5
2.2 Giới thiệu về GIS ............................................................................................... 5
2.2.1 Ý niệm chung. ............................................................................................. 5
2.2.2 Các thành phần trong hệ GIS. ..................................................................... 6
2.2.3 Giới thiệu về ArcGIS 10.4.1 ....................................................................... 7
2.3 Giới thiệu về Data Reviewer. .......................................................................... 7
2.3.1 Chuẩn hóa dữ liệu. ...................................................................................... 7
2.3.2 Giới thiệu về Data Reviewer. ...................................................................... 7
2.3.3 Các khả năng ứng dụng của Data Reviewer. ............................................ 10
2.3.4 Các nhóm chức năng chính của Data Reviewer. ...................................... 11
CHƯƠNG 3. DỮ LIỆU VÀ QUY TRÌNH THỰC HIỆN. .................................. 14
3.1 Dữ Liệu. ............................................................................................................ 14
3.1.1 Đặt vấn đề. ................................................................................................ 14

3.1.2 Đặc điểm dữ liệu ngành cấp nước. ............................................................ 14
3.1.3 Thiết kế và xây dựng CSDL...................................................................... 16
3.2 Quy Trình Thực Hiện. .................................................................................... 20

IV


3.2.1

Quy trình chung. ......................................................................................... 20

3.2.2

Các yêu cầu kỹ thuật về dữ liệu. ................................................................ 21

3.2.3

Các nhóm lệnh chức năng trong Data Reviewer ...................................... 24

3.2.4

Xác định quy trình chung để xây dựng Batch Job .................................. 27

3.2.5

Xây dựng các Batch Job dùng kiểm tra dữ liệu cấp nước: ..................... 33

CHƯƠNG 4. CHƯƠNG 4. KẾT QUẢ VÀ THẢO LUẬN ................................. 35
4.1 CSDL Cấp Nước. ............................................................................................. 35
4.2 Xây dựng Batch Job để kiểm tra dữ liệu cấp nước...................................... 40

4.2.1 Khởi động phiên làm việc tự động kiểm tra dữ liệu. ................................ 41
4.2.2 Khởi tạo Batch Job (Áp dụng thực tế với dữ liệu ngành cấp nước). ........ 41
4.2.3 Lưu Batch Job. .......................................................................................... 56
4.3 Kết quả kiểm tra với dữ liệu cấp nước. ......................................................... 56
4.3.1 Thực hiện kiểm tra. ................................................................................... 56
4.3.2 Kết quả. ..................................................................................................... 58
4.3.3 Nhận xét. ................................................................................................... 60
4.4 Các kiến nghị về chuẩn hóa dữ liệu. .............................................................. 61
CHƯƠNG 5. KẾT LUẬN VÀ KIẾN NGHỊ ......................................................... 64
5.1 Kết quả. ............................................................................................................ 64
5.2 Ý kiến đề xuất – kiến nghị. ............................................................................. 64

V


DANH MỤC TỪ VIẾT TẮT.
 CSDL : Cơ sở dữ liệu.
 ĐT : Đối tượng.
 KTXH: Kinh tế xã hội.
 MLCN : Mạng lưới cấp nước.
 GIS: Geographic Information System.
 SQL : Ngôn ngữ truy vấn SQL.
 VD: Ví dụ.

VI


DANH MỤC HÌNH ẢNH.
Hình 2.1 Nền tảng của GIS ...................................................................................... 6
Hình 2.2 : Các thành phần của GIS. ........................................................................ 7

Hình 2.3 : Giao diện thanh công cụ Data Reviewer................................................ 8
Hình 2.4 : Các nhóm lệnh của Data Reiviewer ........................................................ 12
Hình 2.5: Batch Job .................................................................................................. 15
Hình 3.1 : Mạng lưới cấp nước ................................................................................ 20
Hình 3.2 : Sơ đồ quy trình thực hiện. ....................................................................... 28
Hình 3.3 : Khởi động phiên làm việc mới................................................................ 29
Hình 3.4 : Khởi tạo Batch Job. ................................................................................. 30
Hình 3.5 : Thao tác thêm lệnh kiểm tra.................................................................... 31
Hình 3.6 : Cửa sổ Reviewer Session manager. ........................................................ 31
Hình 3.7 : Cửa sổ Batch Validate............................................................................. 32
Hình 3.8 : Sau khi add file Batch Job. ..................................................................... 33
Hình 3.9 : Vị trí điểm lỗi .......................................................................................... 33
Hình 3.10 : Cửa sổ Update Results. ......................................................................... 35
Hình 4.1 : Lớp thửa đất phường 15, quận 10, TP.HCM. ......................................... 35
Hình 4.2 : Lớp giao thông ........................................................................................ 36
Hình 4.3: Lớp Tim đường ........................................................................................ 36
Hình 4.4 : Đường ống truyền tải. ............................................................................. 37
Hình 4.4 : Đường ống truyền tải .............................................................................. 38
Hình 4.6 : Lớp đường ống ngánh ............................................................................. 38
Hình 4.7 : Lớp đồng hồ. ........................................................................................... 39
Hình 4.8 : Lớp Van .................................................................................................. 39
Hình 4.9 : Lớp mối nối. ............................................................................................ 40
Hình 4.10 : Một phần CSDL mạng lưới đường ống cấp nước................................ 40
Hình 4.11 : Tạo phiên làm việc mới. ....................................................................... 41
Hình 4.12 Khởi tạo Batch Job. ................................................................................. 41
Hình 4.13 : Thiết lập các thông số trên cửa sổ Dupplicate Geometry check. .......... 42
Hình 4.14 : Geometry on Geometry check .............................................................. 44
Hình 4.15 Đồng hồ tổng không kết nối với ống ngánh. ........................................... 45
Hình 4.16 : Mối nối không được chồng đè lên các đối tượng dạng điểm................ 46
VII

Hình 4.17: Danh bạ đồng hồ khách hàng không được trống ................................... 46
Hình 4.18 : Domain Check....................................................................................... 47
Hình 4.19 : Subtype check. ...................................................................................... 48
Hình 4.20 : Kiểm tra lỗi trùng lắp Vertex lớp OngTruyenTai ................................. 49
Hình 4.21: Multipart Line Check. ............................................................................ 50
Hình 4.22 : Kiểm tra các đường không phải dạng tuyến ( Non-linear Check). ....... 51
Hình 4.23 : Kiểm tra các đường chéo nhau.............................................................. 52
Hình 4.24 : Kiểm tra các đường có góc nhọn ( Cutbacks Check) ........................... 53
Hình 4.25 : Mối nối phải bắt dính với ống truyền dẫn hoặc ống phân phối ............ 54
Hình 4.26 : Cửa sổ Reviewer Session manager. ...................................................... 55
Hình 4.27 : Cửa sổ Batch Validate........................................................................... 56
Hình 4.28 : Sau khi add file Batch Job .................................................................... 57
Hình 4.29 : Bảng lỗi. ................................................................................................ 57
Hình 4.30 : Kết quả kiểm tra trường hợp các đoạn ống phân phối có độ dài < = 0.2m.
58
Hình 4.31 Kết quả kiểm tra trường hợp Mã Van Không được trống....................... 58
Hình 4.32 : Quy trình xử lý lỗi dữ liệu sau khi kiểm tra. ......................................... 60

VIII


DANH MỤC BẢNG BIỂU.
Bảng 2.1 Các công cụ chính của thanh công cụ Data Reviewer.............................. 10
Bảng 3.1 Mô tả các lớp phần CSDL nền ................................................................. 16
Bảng 3. 2 Mô tả các lớp phần CSDL chuyên đề. ..................................................... 19
Bảng 3.3 Dữ liệu đường ống. ................................................................................... 21
Bảng 3.4 Dữ liệu đồng hồ. ....................................................................................... 22
Bảng 3.5 Dữ liệu van................................................................................................ 23

Bảng 3.6 Dữ liệu điểm nối. ...................................................................................... 24
Bảng 4.1 : Một số lỗi phổ biến. ................................................................................ 59

IX


CHƯƠNG 1.

MỞ ĐẦU.

1.1 Đặt Vấn Đề.
Ngày nay với sự phát triển của công nghệ thông tin, để quản lý các dữ liệu có tính
không gian (có vị trí địa lý), người ta sử dụng Hệ Thống Thông Tin Địa Lý
(Geographic Information System - GIS). Một trong những yêu cầu kỹ thuật của một
hệ thống thông tin địa lý là dữ liệu phải được chuẩn hóa, để có thể thực hiện các phép
xử lý, phân tích và trao đổi thông tin, tích hợp với các phần mềm GIS.
Trong ngành cấp nước hiện nay đã có ứng dụng GIS trong việc quản lý, vận hành các
đường ống và vấn đề chuẩn hóa dữ liệu cũng cần được đặt ra. Việc kiểm tra chất
lượng dữ liệu nhằm đảm bảo dữ liệu phải được tuân theo một chuẩn thống nhất của
ngành. Các chuẩn của dữ liệu là một yếu tố rất quan trọng để thực hiện quy hoạch,
phân tích, vận hành và quản lý mạng lưới cấp nước một cách hiệu quả.
Việc kiểm định chất lượng dữ liệu trước đây thường được thực hiện thủ công với một
vài công cụ hổ trợ (như Topology, check Geometry..).Việc kiểm định dữ liệu bằng
các công cụ riêng lẽ, chuẩn hóa dữ liệu thủ công thường mất nhiều thời gian và công
sức, đồng thời không đảm bảo được chất lượng dữ liệu.
Để giải quyết được bài toán về chất lượng dữ liệu, người dùng GIS cần một bộ công
cụ hỗ trợ kiểm định, chuẩn hóa dữ liệu một cách tự động. Đó cũng chính là lý do hình
thành nên đề tài “Ứng dụng Data Reviewer trong kiểm định chất lượng dữ liệu GIS
(Áp dụng cụ thể với dữ liệu ngành cấp nước.”.
1.2 Mục Tiêu

Nhằm mục đích hỗ trợ việc tạo ra CSDL (Cơ sở dữ liệu) chuẩn và nâng cao năng suất
cũng như hiệu quả công việc chuẩn hóa dữ liệu, đồ án được xác định với các mục tiêu
sau:
-

-

Ứng dụng Data Reviewer kết hợp với ngôn ngữ truy vấn SQL tạo ra một Batch
Job ( bộ luật) phục vụ kiểm định chất lượng dữ liệu GIS một cách tự động, đạt
độ chính xác theo yêu cầu, nhằm giúp đưa dữ liệu về một quy chuẩn chung
theo quy định của ngành (cấp nước).
Áp dụng thử nghiệm bộ luật cho dữ liệu ngành cấp nước để đề xuất các kiến
nghị phù hợp.

1.3 Nội Dung Và Phạm Vi Nghiên Cứu.
1.3.1 Giới hạn đề tài.
Dữ Liệu: Do dữ liệu ngành cấp nước là dữ liệu bảo mật của công ty nên dữ liệu sử
dụng trong đề tài là dữ liệu giả định, thực hiện trong phạm vi địa bàn Phường 15

2


Quận 10 Thành Phố Hồ Chí Minh nhưng vẫn đảm bảo đầy đủ các yếu tố nội dung,
dựa trên đặc điểm, yêu cầu của mạng lưới cấp nước trong thực tế.
Ứng dụng GIS: Ứng dụng ArcGIS Desktop, ArcGIS Data Reviewer và một số câu
lệnh truy vấn SQL đơn giản.
1.3.2 Nội Dung.
Ứng dụng bộ công cụ Data Reviewer kiểm định chất lượng dữ liệu. Đồng thời xây
dụng quy trình chung kiểm định chất lượng dữ liệu GIS và một bộ luật kiểm định
chất lượng dữ liệu GIS ( áp dụng với dữ liệu ngành cấp nước giả định) đối với các

đối tượng cụ thể mà ngành cấp nước yêu cầu.
Công việc cụ thể gồm:
- Tìm hiểu các đặc điểm, yêu cầu dữ liệu của ngành cấp nước
- XD CSDL cấp nước trên địa bàn nghiên cứu (giả định)
- Xác định các yêu cầu về dữ liệu của ngành cấp nước:





Yêu cầu kỹ thuật về mạng lưới các đường ống.
Yêu cầu kỹ thuật về hệ thống van.
Yêu cầu kỹ thuật về hệ thống đường ống.
Các yêu cầu về thuộc tính .

- Tìm hiểu chức năng bộ công cụ Data Reviewer và ngôn ngữ truy vấn SQL.
- Xây dựng quy trình chung tạo nên bộ luật giúp kiểm định chất lượng dữ liệu tự động
(Batch Job).
- Ứng dụng quy trình trên tạo ra Bacth Job kiểm định chất lượng dữ liệu đối với dữ
liệu cấp nước ( giả định).
- Đề xuất phương án chỉnh sửa dữ liệu sau khi kiểm định.
1.4

Cấu Trúc Của Đồ Án.

Đồ án được trình bày trong 5 chương với nội dung cụ thể như sau:
Chương 1. Mở đầu : Chương 1 là phần giới thiệu về hoàn cảnh cũng như lý do hình
thành nên đề tài, giới thiệu tổng thể về đề tài.
Chương 2. Tổng Quan : Ở chương 2 sẽ giới thiệu tổng quan về các đối tượng đề tài
bao gồm cả cơ sở lý thuyết và phần chính của đề tài là bộ công cụ Data Reviewer.

Tại chương 2 cũng sẽ làm rõ một số vấn đề tổng quan về dữ liệu ngành cấp nước tạo
cơ sở cho việc áp dụng XD CSDL giả định và thực hiện kiểm định chất lượng dữ liệu
ở chương 4.

3


Chương 3 : Dữ liệu và Quy Trình Thực Hiện : trình bày quy trình thực hiện chung
của đề tài.
Chương 4 : Kết Quả và Thảo Luận: xây dựng một quy trình chung tạo ra Bacth Job
và áp dụng quy trình đó xây dựng một Batch Job chuẩn hóa dữ liệu đối với dữ liệu
ngành cấp nước.
Chương 5: Kết Luận – Kiến Nghị : Rút ra kết luận chung của đề tài, nêu lên ưu và
nhược điểm của đề tài, từ đó đưa ra những đề xuất và kiến nghị.

4


CHƯƠNG 2.

TỔNG QUAN

2.1 Giới thiệu về ngành cấp nước.
Trong những thập niên gần đây, tài nguyên nước đang bị khai thác quá mức dẫn đến
suy thoái, nhiều hệ thống cấp nước không đáp ứng yêu cầu, thất thoát nước xảy ra
thường xuyên. Đặc biệt trong điều kiện gia tăng dân số hiện nay, tình hình khan hiếm
nước và tình trạng thất thoát nước xảy ra ngày càng nghiêm trọng.
Yêu cầu về cấp nước, môi trường đô thị và nông thôn đòi hỏi một nguồn nhân lực
phong phú đủ về số lượng và đảm bảo về chất lượng và cả kiến thức chuyên môn.
Mạng lưới cấp nước ở nước ta nói chung và mạng lưới cấp nước ở quận 10 nói riêng

được xây dựng và phát triển qua nhiều thời kỳ, nhiều hệ thống cũ vẫn đang tồn tại
song hành với hệ thống mới đã được phát triển và cải tạo. Nhìn chung việc quản lý
mạng lưới cấp nước hiện nay gặp rất nhiều khó khăn , do mạng lưới cấp nước hầu
như được chôn sâu dưới lòng đất, không thể trực tiếp nhìn thấy được.
Đặc biệt trong giai đoạn hiện nay dân cư TP.HCM đang tăng nhanh đến mức báo
động do nhiều nguồn nhập cư từ các vùng miền, do đó việc quản lý, bảo trì, giải
quyết các sự cố cấp nước đang gặp rất nhiều khó khăn. Chính vì vậy, cần phải áp
dụng GIS trong quản lý và có một bộ CSDL chuẩn để phục vụ kiểm soát công tác
vận hành cũng như quản lý mạng lưới này.
2.2 Giới thiệu về GIS
2.2.1 Ý niệm chung.
“GIS là một hệ thống thông tin áp dụng cho dữ liệu địa lý, và được xem như là một
hệ thống gồm phần cứng, phần mềm với các chức năng được thiết kế để thu thập, lưu
trữ, truy cập và biến đổi, phân tích và thể hiện dữ liệu tham chiếu đến vị trí trên mặt
đất, nhằm hổ trợ giải quyết các bài toán quy hoạch và quản lý phức tạp” (Trần Trọng
Đức, 2013).
GIS được áp dụng trong rất nhiều lĩnh vực khác nhau như hành chính, quy hoạch, địa
chất, lâm nghiệp, nông nghiệp, an ninh quốc phòng và những phát triển của GIS liên
quan đến nhiều lĩnh vực công nghệ khác nhau – khoa học máy tính, đồ họa, kỹ thuật
cơ sở dữ liệu, thống kê, toán học, đo đạc, bản đồ...Hình minh họa sự hình thành GIS
như là kết quả của sự tổng hợp nhiều lĩnh vực khác nhau.

5


G
I
S

Khoa học trái đất.

 Trắc địa, bản đồ.
Địa lý.
Thống kê không gian.

Hình 2.1 Nền tảng của GIS.

Sự đa dạng trong các lĩnh vực ứng dụng GIS dẫn đến có rất nhiều nhận thức khác
nhau về GIS, cũng như những thách thức về nguồn dữ liệu đầu vào của GIS.Tuy
nhiên chúng có thể được nhóm vào các nhóm nhận thức sau.
-

Nhóm nhận thức liên quan đến bản đồ.
Nhóm nhận thức liên quan đến cơ sở dữ liệu.
Nhóm nhận thức liên quan đến khả năng phân tích không gian.
Nhóm nhân thức liên quan đến hỗ trợ quá trình lập quyết định.
2.2.2 Các thành phần trong hệ GIS.

“Năm thành phần quan trọng cấu thành GIS: Phần cứng, phần mềm, quy trình, dữ
liệu và con người. Năm thành phần này phải tương thích phù hợp với nhau và hoàn
chỉnh để GIS có thể hoạt động hiệu quả.Không thành phần nào có thể hoạt động mà
không có các thành phần khác.” (Trần Trọng Đức, 2013).

6


Hình 2.2 : Các thành phần của GIS.

Chuẩn hóa dữ liệu là một việc quan trọng để có được một bộ dữ liệu tốt: không còn
các dị thường, lỗi dữ liệu (update anomaly, insertion anomaly, deletion anomaly),
không có dư thừa dữ liệu.

Một trong những việc quan trọng để tạo ra được bộ CSDL chuẩn là kiểm tra dữ theo
các tiêu chí khác nhau của từng ngành.
Việc đảm bảo tính chính xác của dữ liệu là một công việc hết sức quan trọng để thực
hiện quy hoạch và phân tích dữ liệu, chất lượng dữ liệu là yếu tố hàng đầu ảnh hưởng
đến việc quản lý, và sử dụng dữ liệu.
2.2.3 Giới thiệu về ArcGIS 10.4.1
Năm 2017 ESRI đã phát hành ArcGIS phiên bản 10.4.1 là một phiên bản được cải
tiến với nhiều công cụ mới phù hợp với nhu cầu của thị trường nhưng về cơ bản các
thành phần chính của ArcGIS 10.4.1 vẫn không thay đổi so với các phiên bản trước
đó.
Trong ArcGIS ta có thể sử dụng bộ công cụ Data Reviewer.
2.3 Giới thiệu về Data Reviewer.
2.3.1 Chuẩn hóa dữ liệu.
Chuẩn hóa dữ liệu là quá trình kiểm tra chất lượng dữ liệu so với yêu cầu kỹ thuật
thực tế từ đó đưa ra nguyên tắc chung để tiến hành chỉnh sửa dữ liệu.
2.3.2 Giới thiệu về Data Reviewer.
Data Reviewer là một bộ công vụ trong ArcGIS, bao gồm một loạt các công cụ hỗ
trợ phân tích dữ liệu tự động. Nó có thể sử dụng để phát hiện các lỗi dữ liệu về đối
tượng thuộc tính và các mối quan hệ trong CSDL. Kiểm tra dữ liệu chứa các quy tắc
7


phân tích và có thể tạo những luật riêng phù hợp với tính chất của từng tổ chức khác
nhau. Kết quả kiểm tra sẽ được ghi lại , người dùng có thể kiểm tra và sửa lỗi một
cách dễ dàng.Với các tính năng trên Data Reviewer có thể giải quyết được bài toán
chuẩn hóa dữ liệu

Hình 2.3 : Giao diện thanh công cụ Data Reviewer

Dưới đây là chức năng của các công cụ chính của thanh công cụ Data Reviewer.

CÔNG CỤ

CHỨC NĂNG
Bắt đầu hoặc kết thúc
một phiên kiểm tra
mới hoặc có sẳn.
Cấu hình tùy chọn
của một phiên làm
việc.
Xem và tương tác
với từng kết quả
trong bảng danh sách
kiểm tra.
Điều hướng đến các
đối tượng đang được
chọn hoặc kết quả
kiểm tra.
Ghi đối tượng vào
Reviewer Table.
Lựa chọn một hoặc
nhiều đối tượng và
xem thông tin thuộc
tính của chúng trong
cửa sổ Indentify
Tạo và biên tập
Reviewer Batch job.

TÊN GỌI

Reviewer Session
Manager

Reviewer Table

Browse Feature

Select and
Indentify

Reviewer Batch
Job Manager

8

GHI CHÚ

Bảng mô tả các
lỗi.

Zoom đến các
lỗi được phát
hiện ra.


Kiểm tra tính hợp lệ
của Batch Job với dữ
liệu đang được hiển
thị trên bản đồ.
Chạy lệnh kiểm tra Thực thi lệnh.

các dữ liệu đang
được hiển thị trên
bản đồ với một số
điều kiện cụ thể
Chạy một hoặc nhiều
Batch Job để kiểm tra
các dữ liệu đang
được hiển thị trên
bản đồ.
Ghi đối tượng đang
được lựa chọn thành
một dòng trong
Reviewer Table.

Run Data Check

Reviewer Batch
Validate

Commit To
Reviewer Table

Đánh dấu các vị trí bị Gắn cờ
thiếu đối tượng trên điểm sai
bản đồ
Tương tác và điều
Reviewer Overview hướng tới Polygon
Grid
Tạo một lưới để phân
Create Polygon

chia khu vực kiểm tra
Grid Wizard
theo từn vùng.
Flag Missing
Feature

Nhập/Xuất Reviewer
table từ một không
gian làm việc nấy
sang một không gian
làm việc khác.
Hiển thị tổng số đối
tượng của từng
Feature class hiện có

Table
Importer/Exporter

Total Feature
Count

9

các


trong
Table
Content.

of

Bảng 2.1 : các công cụ chính của thanh công cụ Data Reviewer

2.3.3 Các khả năng ứng dụng của Data Reviewer.
Bộ công cụ Data Reviewer có thể ứng dụng trong các lĩnh vực sau :
 Ngành cấp nước / Xử lý nước thải / Nước ngầm :
Đối với ngành cấp nước nói chung việc quản lý duy trì chính xác vị trí mạng lưới
đường ống là hết sức quan trọng đối với các công tác :
-

-

Quản lý các công trình xây dựng và sửa chữa mạng lưới, phân tích không gian.
Data Reviewer hỗ trợ các ứng dụng định tuyến, kiểm soát sự cố để điều động
nhân lực đến vị trí sự cố.
Hỗ trợ đánh dấu đường ống trong các dự án đào.
Duy trì độ dài chính xác của đường ống cùng với thông tin thuộc tính quan
trọng như vật liệu ống, đường kính, ngày lắp đặt, v.v ...
Duy trì vị trí chính xác của van, vòi nước và vòi bơm vv là rất quan trọng đối
với chương trình cách ly van / van khẩn cấp, tiếp cận vòi chữa cháy trong các
trường hợp khẩn cấp.

 Ngành Giao Thông – Vận tải / Cầu đường.
-

Duy trì kiểm kê chính xác độ dài đường phố :
Báo số tiền thuế được phân bổ cho nhà nước. Việc này được phân bổ dựa trên
chiều dài trên tất cả các đường phố trên cơ sở quận huyện.
Tất cả các đường phố của một quận cụ thể đều phải có đường biên chính xác.

 Ngành Viễn Thông/ Điện Lực.
-

Duy trì kiểm tra chính xác vị trí đường dây điện:
Quản lý trang thiết bị điện.
Quản lý, điều động sửa chửa bảo trì các trang thiết bị điện khi có sự cố.
Hỗ trợ đánh dấu các tuyến đường dây trong vùng cấm.
Mô hình hóa cơ sở vật chất.
Kiểm kê đánh giá hiện trạng cơ sở vật chất....

 Ngành Trắc Địa.
-

Duy trình chính xác vị trí các yếu tố KTXH.
Quản lý kiểm soát dữ liệu ranh thửa, CSDL nền.
Quản lý kiểm soát độ chính xác dữ liệu thửa đất.
Kiểm soát dữ liệu thuộc tính trong Hồ Sơ Địa Chính.
10


Sử dụng Data Reviewer có thể giúp :
 Đảm bảo chất lượng dữ liệu : Việc quản lý nguồn tài nguyên dữ liệu cho doanh
nghiệp là việc làm tất yếu và rất quan trọng. Cần đảm bảo chất lượng dữ liệu.Với Arc
GIS Data Reviewer có thể hỗ trợ quá trình chuẩn hóa chất lượng dữ liệu và trở thành
một phần trong chiến lược quản lý dữ liệu của tổng thể.
 Tiết kiệm thời gian và chi phí: Các tính năng kiểm tra dữ liệu tự động của Data
Reviewer giúp giải phóng được một lượng lớn nguồn nhân lực thủ công phục vụ công
tác kiểm tra dữ liệu, từ đó tiết kiệm được thời gian và cả chi phí cùng với sự phát triển
mạnh mẽ của khoa học kỹ thuật để đạt được những sản phẩm chất lượng cao, nhiều

doanh nghiệp phải chi trả một khoảng chi phí rất lớn về lập trình để viết các đoạn
code hoặc các công cụ riêng để kiểm tra dữ liệu cho họ.Với Arc GIS Data Reivewer
thì các kiểm tra này có thể diễn ra nhanh chóng, có thể giải quyết nhiều vấn đề về cả
không gian lẫn thuộc tính.
Các ưu điểm của Data Reviewer
 Đa Dạng : Data Reviewer có thể phục vụ cho CSDL riêng lẻ hoặc trên enterprise
Geo database.
 Đáp ứng các yêu cầu dữ liệu đặc trưng của từng doanh nghiệp: Data Reviewer cho
phép doanh nghiệp tạo ra các bộ luật phục vụ kiểm định chất lượng dữ liệu theo từng
yêu cầu riêng của doanh nghiệp, tạo nên tính nhất quán về dữ liệu của doanh nghiệp
đó.
Tăng tính minh bạch cho dữ liệu: Data Reivewer giúp ta có cái nhìn sâu sắc vào
nguồn và nguyên nhân gây ra chất lượng dữ liệu kém bằng cách sử dụng các số liệu
thống kê sau khi chạy lệnh kiểm tra tự động.Sử dụng các báo cáo và bảng điều khiển
để theo dõi tình trạng của dữ liệu, xác định xu hướng lỗi dữ liệu thông báo cho người
dùng để đưa ra biện pháp khắc phục.
 Chia sẽ dữ liệu: Sử dụng Data Reivewer từ máy chủ cho phép việc chia sẻ dữ liệu
lên Enterprise, Web để các đối tượng liên quan có thể cùng sử dụng chung nguồn dữ
liệu đồng nhất của doanh nghiệp.
2.3.4 Các nhóm chức năng chính của Data Reviewer.
Về cơ bản ArcGIS Data Reviewer và chia làm các nhóm chức năng chính sau:
Kiểm tra lỗi dữ liệu tự động: Arc GIS Data Reivewer với hơn 40 lệnh kiểm tra
riêng lẽ, chia thành 10 nhóm chính phục vụ việc kiểm định chất lượng dữ liệu tự
động một cách nhanh chóng.

11


Hình 2.4 : Các nhóm lệnh của Data Reiviewer

Cho phép tạo các bộ luật theo tiêu chí riêng của doanh nghiệp: Arc GIS Data
Reivewer cho phép bạn tạo các bộ luật với yêu cầu kỹ thuật riêng phục vụ kiểm tra
dữ liệu đặc trưng của từng doanh nghiệp.

Hình ảnh 2.5: Batch Job

Nhóm chức năng các công cụ chuẩn hóa dữ liệu: Arc GIS Data Reviewer tích hợp
giữa việc đưa ra các lệnh kiểm tra dữ liệu và các công cụ thống kê hỗ trợ khắc phục
lỗi dữ liệu.
Nhóm chức năng hỗ trợ xuất các báo cáo thống kê về lỗi dữ liệu: Arc GIS Data
Reivewer sau khi kiểm định lỗi dữ liệu sẽ xuất ra các file thống kê thông báo, dưới
dạng bảng giúp người dùng có thể kiểm soát các nguyên nhân gây ra lỗi dữ liệu.

12


13


CHƯƠNG 3.

DỮ LIỆU VÀ QUY TRÌNH THỰC HIỆN

3.1 Dữ Liệu.
3.1.1 Đặt vấn đề.
Do tính bảo mật của ngành cấp nước, nên dữ liệu được dùng trong đồ án chỉ là dữ
liệu giả định và mô phỏng theo dữ liệu của Công Ty CP Cấp Nước Phú Hòa Tân.
Việc thiết kế dữ liệu dựa trên kiến thức thu thập được trong quá trình tìm hiểu đặc
điểm dữ liệu trong thực tế khi đi thực tập tại Cty Cấp nước và các tài liệu liên quan
(Giáo trình Cấp Nước, Nguyễn Đình Tuấn – Nguyễn Lan Hương, Đại Học Bách

Khoa Đà Nẵng, Năm 2008.)
3.1.2 Đặc điểm dữ liệu ngành cấp nước.
Các đối tượng trong mạng lưới cấp nước.
-

-

-

-

Đường ống truyền tải: dùng để vận chuyển nước từ trạm bơm đến mạng phân
phối nước. Đường ống có kích thước lớn đường kính lên đến 1000mm hoặc
2000mm tùy theo mô hình hệ thống.
Đường ống phân phối: dùng để vận chuyển nước từ đường ống truyền tải đến
đường ống nhánh. Các đường ống phân phối đi dọc theo đường phố. Đường
ống phân phối thường có đường kính từ 80mm, 100mm và lớn hơn.
Đường ống ngánh: Đường ống có đường kính nhỏ hơn 80mm cấp nước trực
tiếp tới các hộ tiêu thụ. Cuối đường ống dịch vụ là các đồng hồ đo nước, các
Van và phụ kiện đấu nối với đường ống cấp nước bên trong nhà.
Van: là thiết bị vận hành dùng để điều khiển dòng nước trong hệ thống ống.
Bao gồm Van điều khiển Van hệ thống, Van xả cặn, …
Đồng hồ nước: là dụng cụ để đo lượng nước khách hàng sử dụng.
Mối nối: thiết bị đấu nối dùng để liên kết các đoạn ống trên mạng lại với nhau.
Trụ cứu hỏa: các trụ cung cấp nước cho việc chữa cháy.
Van trụ cứu hỏa: là thiết bị vận hành điều khiển dòng nước trong hệ thống
ống dẫn cho trụ cứu hỏa.

Đặc điểm dữ liệu.
Theo tác giả Nguyễn Đình Tuấn và Nguyễn Lan Hương (Nguyễn Đình Tuấn,

Nguyễn Lan Hương, 2008):
“Mạng lưới cấp nước là một trong những bộ phận quan trọng của hệ thống cấp nước,
làm nhiệm vụ vận chuyển và phân phối nước đến các nơi tiêu dùng. Giá thành xây
dựng mạng
lưới thường chiếm 50-70% giá thành xây dựng toàn bộ hệ thống cấp nước.”

14


Mạng lưới cấp nước (MLCN) bao gồm các đường ống chính, ống nhánh và các ống
nối phân phối nước. MLCN có thể thiết kế theo các sơ đồ: cụt, vòng, hỗn hợp.
-

Mạng lưới cụt có tổng chiều dài đường ống nhỏ nhưng không đảm bảo an toàn
cấp

nước: Khi một ống nào đó ở đầu mạng bị sự cố thì toàn bộ khu vực phía sau sẽ bị mất
nước.
-

Mạng lưới vòng sẽ khắc phục được nhược điểm đó.

Hình ảnh 3.1 : Mạng lưới cấp nước
 Các yêu cầu cơ bản của MLCN ( />Mạng lưới cấp nước là một hạng mục công trình chiếm chi phí lớn của quốc gia, tuy
nhiên lại được đặt ngầm dưới lòng đất nên rất phức tạp trong quá trình thiết kế, thi
công, vận hành. Yêu cầu chính là phải đảm cung cấp đủ , liên tục lượng nước với áp
lực nhất định đến với các điểm tiêu dùng. Để thực hiện được điều đó mạng lưới cấp
nước cần đáp ứng một số yêu cầu cơ bản (Nguyễn Đình Tuấn, Nguyễn Lan Hương,
2008):
-

-

Phải bền chắc, có khả năng chống lại động lực học trong và ngoài ống.
Thành trong ống phải nhẵn, chống xâm thực.
Có thời gian sử dụng lâu dài.
Các chi tiết lắp đặt phải gọn nhẹ, có độ bền cơ học cao.
Trong các hệ thống cấp nước có thể linh động ở những vùng miền khác nhau
tùy vào điều kiện tự nhiên của vùng đó.
Tùy theo địa hình địa chất của khu vực và kích thước ống, đường ống có thể
đặt trực tiếp trên nền đất hoặc trên bê tông. Thông thường đường ống được đặt
song song với cốt mặt thiết kế, hoặc trên vĩa hè, cách gốc cây xanh, móng nhà
tối thiểu 3-5m.
Khi đi qua sông, đầm lầy: đường ống có thể đi theo thành cầu.

15


-

Khi đi qua đường oto, xe lửa phải đặt ống trong lồng ống, hai đầu đều bố trí
giếng thăm có van.
Khi đi qua bãi rác, nghĩa trang, nghĩa địa: Nếu bắt buộc phải duy chuyển mồ
mả, bãi rác, thì khi lắp đặt phải tiến hành khử độc, khử trùng,hoặc phải lắp
đường ống nổi.

 Nguyên tắc vạch tuyến MLCN ( />-

Tổng chiều dài đường ống là nhỏ nhất.
Đường ống phải bao trùm các đối tượng dùng nước.

Hướng vận chuyển chính của nước đi về cuối mạng lưới và các điểm dùng
nước.
tập trung, cách nhau 300 - 600m.
Hạn chế bố trí các đường ống đi qua sông, đê, đầm lầy, đường xe lửa,...
3.1.3 Thiết kế và xây dựng CSDL.

Bộ cơ sở dữ liệu giả định được mô phỏng thiết kế và xây dựng dựa trên các đặc điểm
cũng như yêu cầu kỹ thuật về dữ liệu của ngành cấp nước.
Bộ CSDL giả định bao gồm 2 phần chính :
 CSDL nền gồm 3 lớp:
- Lớp thửa đất : Được thiết kế dạng vùng mô phỏng các thửa đất khu vực phường
15, quận 10, TP.HCM.
- Lớp giao thông : Được thiết kế dạng vùng gồm hệ thống các trục đường giao
thông chính và phụ (bao gồm hẽm ) tại địa bàn phường 15, quận 10, TP.HCM.
- Lớp tim đường: Được thiết kế dạng đường ( polyline ), thể hiện tim đường của
các trục đường giao thông chính.
TÊN LỚP

KIỂU DỮ LIỆU GHI CHÚ

1

Thuadat

Polygon

2

Giaothong

Polygon

3

Timduong

Polyline

STT

Bảng 3.1 Mô tả các lớp phần CSDL nền.

 CSDL chuyên đề gồm 11 lớp như sau:
- Lớp ống truyền tải: Được thiết kế dạng đường (polyline ) mô tả hệ thống các
đường ống truyền tải.
- Lớp đường ống phân phối: Được thiết kế dạng đường ( polyline ) mô tả hệ
thống các đường ống phân phối.

16