Nghiên cứu một số vấn đề về cơ sở dữ liệu và ứng dụng trong bài toán quản lý dân cư

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

BÙI TRUNG HIẾU

NGHIÊN CỨU MỘT SỐ VẤN ĐỀ VỀ CƠ SỞ DỮ LIỆU
VÀ ỨNG DỤNG TRONG BÀI TOÁN QUẢN LÝ DÂN CƯ

LUẬN VĂN THẠC SĨ: HỆ THỐNG THÔNG TIN

Hà Nội - 2016


ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

BÙI TRUNG HIẾU

NGHIÊN CỨU MỘT SỐ VẤN ĐỀ VỀ CƠ SỞ DỮ LIỆU
VÀ ỨNG DỤNG TRONG BÀI TOÁN QUẢN LÝ DÂN CƯ

Ngành: Hệ thống thông tin
Chuyên ngành: Hệ thống thông tin
Mã số: 60.48.01.04

LUẬN VĂN THẠC SĨ: HỆ THỐNG THÔNG TIN

NGƯỜI HƯỚNG DẪN KHOA HỌC: GS. TS VŨ ĐỨC THI

Hà Nội - 2016

1

LỜI CẢM ƠN
Đầu tiên, tôi xin gửi lời biết ơn sâu sắc đến thầy Giáo sư, Tiến sĩ Vũ Đức
Thi, thầy đã dành nhiều thời gian và tâm huyết hướng dẫn và giúp tôi hoàn
thành tốt luận văn tốt nghiệp này. Thầy đã định hướng nghiên cứu các kiến thức
cần thiết và hữu ích đúng trọng tâm của vấn đề, đồng thời tạo mọi điều kiện
thuận lợi nhất cho tôi trong quá trình học tập và nghiên cứu đề tài luận văn.
Tôi cũng xin được bày tỏ lòng biết ơn tới các thầy, cô giáo trường Đại học
Công nghệ đã tham gia giảng dạy và chia sẻ những kinh nghiệm quý báu cho
bản thân tôi. Tôi xin gửi lời cảm ơn đến các thấy và các anh chị đã thường
xuyên giúp đỡ, trao đổi, góp ý về những vấn đề khoa học liên quan tới luận văn.
Cuối cùng, tôi cũng bày tỏ lòng biết ơn về sự giúp đỡ của các anh, chị
đang công tác tại Cục Cảnh sát đăng ký, quản lý cư trú và cơ sở dữ liệu quốc gia
về dân cư; và Văn phòng Bộ - cơ quan nơi tôi công tác đã tạo điều kiện tốt nhất
cho tôi về thời gian cũng như động viên tôi hoàn thành luận văn.
Một lần nữa, tôi xin chân thành cảm ơn !
Hà Nội, tháng 10 năm 2016
Học viên
Bùi Trung Hiếu


2

LỜI CAM ĐOAN
Những kiến thức trình bày trong luận văn là do tôi tìm hiểu, nghiên cứu
và trình bày lại theo cách hiểu. Trong quá trình làm luận văn, tôi có tham khảo
các tài liệu có liên quan và đã ghi rõ nguồn tài liệu tham khảo đó. Tôi xin cam
đoan đây là công trình nghiên cứu của tôi và không sao chép của bất kỳ ai.

Hà Nội, tháng 10 năm 2016
Học viên

Bùi Trung Hiếu


3

MỤC LỤC
LỜI CẢM ƠN ................................................................................................................1
LỜI CAM ĐOAN ..........................................................................................................2
DANH MỤC CÁC KÍ HIỆU, TỪ VIẾT TẮT ............................................................5
DANH MỤC HÌNH VẼ.................................................................................................7
DANH SÁCH BẢNG BIỂU ..........................................................................................8
MỞ ĐẦU .........................................................................................................................9
CHƢƠNG I. MỘT SỐ VẤN ĐỀ VỀ SƠ SỞ DỮ LIỆU ...........................................11
1.1. Những khái niệm cơ bản ..................................................................................11
1.1.1. Khái quát về mô hình dữ liệu ......................................................................11
1.1.2. Các khái niệm cơ bản và hệ tiên đề Armstrong...........................................12
1.1.2.1. Quan hệ .................................................................................................12
1.1.2.2. Phụ thuộc hàm ......................................................................................13
1.1.2.3. Hệ tiên đề Armstrong ...........................................................................13
1.1.2.4. Sơ đồ quan hệ .......................................................................................15
1.2. Những vấn đề liên quan đến khóa...................................................................15
1.2.1. Khóa ............................................................................................................15
1.2.2. Thuật toán liên quan đến khóa ....................................................................16
1.2.2.1. Thuật toán tìm khóa tối tiểu của một sơ đồ quan hệ ............................17
1.2.2.2. Thuật toán tìm một khóa tối tiểu của một quan hệ ...............................17
1.3. Chuẩn hóa .........................................................................................................17
1.3.1. Các khái niệm cơ bản ..................................................................................18

1.3.2. Các thuật toán liên quan đến chuẩn hóa ......................................................19
1.4. Ngôn ngữ xử lý bảng ........................................................................................20
1.4.1. Các phép toán cơ bản...................................................................................20
1.4.1.1. Phép hợp (r  t) ...................................................................................21
1.4.1.2. Phép trừ (r – t) ......................................................................................21
1.4.1.3. Phép giao (r  t) ..................................................................................21
1.4.1.4. Tích Đề các ...........................................................................................22
1.4.1.5. Phép chiếu ............................................................................................23
1.4.1.6. Phép chọn .............................................................................................23
1.4.2. Các phép toán khác ......................................................................................24
1.4.2.1. Phép chia (r  s) ...................................................................................24
1.4.2.2. Phép nối  .............................................................................................24
1.4.2.3. Phép nối ................................................................................................25
CHƢƠNG II. KHO DỮ LIỆU....................................................................................26
2.1. Kiến trúc chung về kho dữ liệu .......................................................................26
2.1.1. Tầng xử lý dữ liệu .......................................................................................26
2.1.2. Tầng kho dữ liệu ..........................................................................................27
2.1.3. Tầng khai thác dữ liệu .................................................................................27
2.2. Một số thành phần cơ bản của kho dữ liệu ....................................................28
2.2.1. Kho dữ liệu trong DBMS ............................................................................28
2.2.2. Nguồn dữ liệu ..............................................................................................29
2.2.3. Siêu dữ liệu meta data .................................................................................29
2.2.4. Công cụ truy cập ..........................................................................................30
2.2.5. Kho dữ liệu chủ đề ......................................................................................31
2.2.6. Quản trị kho dữ liệu .....................................................................................32


4
2.2.7. Hệ thống thông tin .......................................................................................33
2.3. Công cụ kho dữ liệu của Microsoft .................................................................33

2.3.1. Dịch vụ tich hợp dữ liệu ..............................................................................34
2.3.2. Dịch vụ Báo cáo ..........................................................................................38
2.3.3. Dịch vụ phân tích.........................................................................................41
2.3.4. Bộ công cụ phát triển tri tuệ doanh nghiệp .................................................43
2.3.5. Công cụ quản lý SQL Server .......................................................................44
2.3.6. Dịch vụ tác nhân SQL Server ......................................................................45
CHƢƠNG III. THỬ NGHIỆM GIẢI QUYẾT BÀI TOÁN QUẢN LÝ DÂN CƢ 47
3.1. Mô tả bài toán quản lý dân cƣ .........................................................................47
3.2. Các chỉ tiêu của bài toán quản lý dân cƣ........................................................49
3.2.1. Nguyên tắc thiết kế ......................................................................................49
3.2.2. Các yêu cầu thiết kế .....................................................................................49
3.2.3. Nhu cầu xử lý dữ liệu ..................................................................................50
3.2.4. Kho dữ liệu gốc về công dân .......................................................................51
3.3. Hệ thống biểu mẫu............................................................................................52
3.3.1. Biểu mẫu thu thập, cập nhật thông tin dân cư .............................................52
3.3.2. Biểu mẫu thống kê dữ liệu...........................................................................60
3.4. Quy mô bài toán ................................................................................................63
3.4.1. Mục tiêu đầu tư ............................................................................................63
3.4.2. Quy mô đầu tư .............................................................................................64
3.5. Phần mềm thủ nghiệm .....................................................................................64
3.5.1. Mô hình kiến trúc hệ thống tổng thể ...........................................................64
3.5.2. Thiết kế Cơ sở dữ liệu .................................................................................66
3.5.3. Thiết kế phần mềm nội bộ ...........................................................................68
3.5.4. Thiết kế hạ tầng kỹ thuật .............................................................................69
3.5.5. Giải pháp sinh mã số định danh cá nhân .....................................................71
3.5.6. Giải pháp khai thác, chia sẻ dữ liệu .............................................................72
3.5.6.1. Giới thiệu chung về giải pháp ..............................................................72
3.5.6.2. Đối tượng tham gia khai thác, chia sẻ ..................................................73
3.5.6.3. Công cụ khai thác, chia sẻ và cung cấp dịch vụ công ..........................75
3.5.6.4. Nguyên tắc phân quyền khai thác, chia sẻ dữ liệu ...............................78

3.5.7. Giải pháp đồng bộ dữ liệu Trung tâm dữ liệu chính và Trung tâm dữ liệu dự
phòng .....................................................................................................................78
KẾT LUẬN ..................................................................................................................80
TÀI LIỆU THAM KHẢO...........................................................................................81


5

DANH MỤC CÁC KÍ HIỆU, TỪ VIẾT TẮT
STT Từ viết tắt
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

Từ hoặc cụm từ

ActiveX Data Object.NET
ADO.NET
Thư viên phần mềm .NET Framework
Business Intelligent
BI
Kinh doanh thông minh
Business warehouse
BW
Kho dữ liệu
CSDL
Cơ sở dữ liệu
CSDLQG
Cơ sở dữ liệu quốc gia
Database Management System
DBMS
Hệ quản trị cơ sở dữ liệu
Extract – Transform – Load
ETL
Trích xuất – Chuyển đổi – Tải
File Transfer Protocol
FTP
Giao thức truyền tập tin
Hybrid OLAP
HOLAP
OLAP kết hợp
HyperText Transfer Protocol
HTTP
Giao thức truyền tải siêu văn bản
Multidimensional OLAP
MOLAP

OLAP đa chiều
Online Analysis Processing
OLAP
Xử lý phân tích trực tuyến
Object Linking and Embedding, Database
OLE DB
Đối tượng kết nối và nhúng cơ sở dữ liệu
Relational Database Management System
RDBMS
Hệ quản trị cơ sở dữ liệu quan hệ
Relational OLAP
ROLAP
OLAP quan hệ
Server Querry Language
SQL
Ngôn ngữ truy vấn máy chủ
SQL Server Analysis Service
SSAS
Dịch vụ phân tích máy chủ SQL
SQL Server Integration Service
SSIS
Dịch vụ tích hợp dữ liệu máy chủ SQL


6

19

SSMS

20

SSRS

21

T-SQL

22

XML

SQL Server Management Studio
Công cụ quản trị máy chủ SQL
SQL Server Reporting Service
Dịch vụ báo cáo máy chủ SQL
Transact-SQL
Ngôn ngữ SQL mở rộng
eXtensible Markup Language
Ngôn ngữ đánh dấu mở rộng


7

DANH MỤC HÌNH VẼ
Hình 1.1. – Quan hệ r1 và quan hệ r2
Hình 1.2. – Mối quan hệ giữa lớp quan hệ và phụ thuộc hàm
Hình 1.3. – Mối quan hệ giữa lớp các họ phụ thuộc hàm với hàm đóng
Hình 1.4. – Mối quan hệ giữa lớp họ phụ thuộc hàm với lớp các hệ Sperner
Hình 1.5. – Phân lớp các dạng chuẩn của cơ sở dữ liệu

Hình 1.6. – Quan hệ r và quan hệ t
Hình 2.1. – Kiến trúc hệ thống Kho dữ liệu
Hình 2.2. – Kiến trúc dịch vụ tích hợp SSIS
Hình 2.3. – Ví dụ về một luồng dữ liệu
Hình 2.4. – Kiến trúc dịch vụ báo cáo SSRS
Hình 2.5. – Kiến trúc dịch vụ phân tích SSAS
Hình 2.6. – Màn hình khởi tạo mẫu dự án DW/BI trong BIDS
Hình 2.7. – Màn hình quản lý của SQL Server
Hình 2.8. – Màn hình tạo công việc
Hình 3.1. – Biểu mẫu thu thập thông tin dân cư
Hình 3.2. – Biểu mẫu cập nhật, chỉnh sửa thông tin dân cư
Hình 3.3. – Biểu mẫu Tờ khai nhân khẩu
Hình 3.4. – Biểu mẫu phiếu báo thay đổi hộ khẩu, nhân khẩu
Hình 3.5. – Biểu mẫu phiếu khai báo tạm vắng
Hình 3.6. – Biểu mẫu tờ khai căn cước công dân
Hình 3.7. – Biểu mẫu phiếu thu nhận thông tin căn cước công dân
Hình 3.8. – Biểu mẫu tờ khai xin cấp hộ chiếu
Hình 3.9. – Thống kê việc cấp và quản lý căn cước công dân
Hình 3.10. – Thống kê hộ, nhân khẩu
Hình 3.11. – Thống kê đăng ký, quản lý cư trú
Hình 3.12. – Kiến trúc hệ thống Cơ sở dữ liệu quốc gia về dân cư
Hình 3.13. – Mô hình dữ liệu trong hệ thống Cơ sở dữ liệu quốc gia về dân cư
Hình 3.14. – Gói phần mềm ứng dụng trong hệ thống Cơ sở dữ liệu quốc gia về
dân cư
Hình 3.15. – Mô hình thiết kế tổng thể hạ tầng hệ thống Cơ sở dữ liệu quốc gia
về dân cư
Hình 3.16. – Môi trường của hệ thống Cơ sở dữ liệu quốc gia về dân cư


8

DANH SÁCH BẢNG BIỂU
Bảng 1.1. – Quan hệ r
Bảng 1.2. – Phép nối r  t


Bảng 1.3. – Phép

nối r  t


79

- Chỉ đồng bộ dữ liệu thay đổi: Để tiết kiệm băng thông, thời gian đồng
bộ, đồng thời không ảnh hưởng đến hiệu năng của hệ thống, phương pháp đồng
bộ CSDL đảm bảo chỉ đồng bộ những dữ liệu thay đổi.