Nghiên cứu một số giải pháp tích hợp dữ liệu, ứng dụng xây dựng cơ sở dữ liệu nghiệp vụ tập trung trong ngành hải quan

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ

LƢU HÙNG CƢỜNG

NGHIÊN CỨU MỘT SỐ GIẢI PHÁP TÍCH HỢP DỮ LIỆU,
ỨNG DỤNG XÂY DỰNG CƠ SỞ DỮ LIỆU NGHIỆP VỤ
TẬP TRUNG TRONG NGÀNH HẢI QUAN

LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN

Hà Nội - 2015


ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ

LƢU HÙNG CƢỜNG

NGHIÊN CỨU MỘT SỐ GIẢI PHÁP TÍCH HỢP DỮ LIỆU,
ỨNG DỤNG XÂY DỰNG CƠ SỞ DỮ LIỆU NGHIỆP VỤ
TẬP TRUNG TRONG NGÀNH HẢI QUAN
Ngành: Công nghệ Thông tin
Chuyên ngành: Hệ thống thông tin
Mã số: 60.48.01.04

LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN

NGƯỜI HƯỚNG DẪN KHOA HỌC
TS. PHÙNG VĂN ỔN

Hà Nội - 2015


LỜI CAM ĐOAN
Tôi cam đoan đây là công trình nghiên cứu của tôi. Các số liệu, kết quả nêu trong
luận văn là trung thực và chưa từng được công bố trong bất kỳ công trình nào khác.

Hà Nội ngày 12 tháng 09 năm 2015
Học viên

Lưu Hùng Cường

3


LỜI CẢM ƠN
Do vốn kiến thức thực tế còn hạn chế nên nội dung luận văn không thể tránh khỏi
thiếu sót. Do vậy em rất mong nhận được ý kiến đóng góp của các thầy cô giáo và
những ai quan tâm đến vấn đề tích hợp dữ liệu để em có thể hoàn thiện hơn trong
những lần sau ở các cấp học cao hơn.
Em cũng xin được gửi lời cảm ơn chân thành tới các thầy cô của Trường Đại học
Công nghệ, Đại học Quốc gia Hà Nội đã tạo mọi điều kiện cho em khi nghiên cứu đề
tài này. Và đặc biệt em xin được gửi lời cảm ơn sâu sắc nhất tới TS. Phùng Văn Ổn,
thầy đã tận tình chỉ bảo và hướng dẫn em hoàn thành luận văn này.
Trong luận văn có một phần là công sức đóng góp chung của tập thể anh chị em
trong công ty, nơi em công tác với vai trò là Project Manager.
Hà Nội ngày 26 tháng 9 năm 2015
Học viên

Lưu Hùng Cường

4


MỤC LỤC
LỜI CAM ĐOAN ............................................................................................... 3
LỜI CẢM ƠN ..................................................................................................... 4
MỤC LỤC ........................................................................................................... 5
DANH MỤC CÁC CHỮ CÁI VIẾT TẮT ....................................................... 8
DANH MỤC CÁC HÌNH VẼ ............................................................................ 9
LỜI MỞ ĐẦU ................................................................................................... 10
CHƢƠNG I. GIỚI THIỆU CHUNG .................. Error! Bookmark not defined.
1.1 Tích hợp dữ liệu ........................................... Error! Bookmark not defined.
1.1.1 Khái niệm về tích hợp dữ liệu ............ Error! Bookmark not defined.
1.1.2 Các mức độ tích hợp dữ liệu .............. Error! Bookmark not defined.
1.1.3 Vấn đề của tích hợp dữ liệu ................ Error! Bookmark not defined.
1.1.4 Vai trò của tích hợp dữ liệu trong các tổ chức .. Error! Bookmark not
defined.
1.1.5 Các yếu tố quyết định đến việc lựa chọn giải pháp tích hợp dữ liệu
Error! Bookmark not defined.
1.2 Cơ sở dữ liệu trong hệ thống OLTP và OLAP ....... Error! Bookmark not
defined.
1.3 Kho dữ liệu (Datawarehouse) ..................... Error! Bookmark not defined.
1.3.1 Định nghĩa kho dữ liệu ....................... Error! Bookmark not defined.
1.3.2 Các đặc trưng của kho dữ liệu ............ Error! Bookmark not defined.
1.3.3 Kiến trúc của kho dữ liệu ................... Error! Bookmark not defined.
1.3.4 Mô hình dữ liệu sử dụng trong kho dữ liệu ....... Error! Bookmark not
defined.
1.4 Hiện trạng mô hình dữ liệu ngành hải quanError! Bookmark not defined.

5


1.4.1 Các hệ thống đang được sử dụng ....... Error! Bookmark not defined.
1.4.2 Quy trình thực hiện............................. Error! Bookmark not defined.
1.4.3 Những tồn tại và nhu cầu bổ sung ...... Error! Bookmark not defined.
1.5 Hiện trạng ứng dụng CNTT tại cục Hải quan TP HCMError! Bookmark
not defined.
1.5.1 Hệ thống mạng ................................... Error! Bookmark not defined.
1.5.2 Hệ thống thiết bị ................................. Error! Bookmark not defined.
1.5.3 Các ứng dụng đã triển khai................. Error! Bookmark not defined.
CHƢƠNG II: MỘT SỐ KỸ THUẬT, CÔNG NGHỆ TÍCH HỢP DỮ LIỆU
...................................................................................... Error! Bookmark not defined.
2.1 Các kỹ thuật tích hợp dữ liệu ..................... Error! Bookmark not defined.
2.1.1 Kỹ thuật hợp nhất dữ liệu ................... Error! Bookmark not defined.
2.1.2 Kỹ thuật liên hợp dữ liệu .................... Error! Bookmark not defined.
2.1.3 Kỹ thuật lan truyền dữ liệu ................. Error! Bookmark not defined.
2.1.4 Kỹ thuật lai ......................................... Error! Bookmark not defined.
2.2 Các công nghệ tích hợp dữ liệu .................. Error! Bookmark not defined.
2.2.1 Công nghệ ETL .................................. Error! Bookmark not defined.
2.2.2 Công nghệ EII .................................... Error! Bookmark not defined.
2.2.3 Công nghệ EAI ................................... Error! Bookmark not defined.
2.2.4 Công nghệ EDR.................................. Error! Bookmark not defined.
2.2.5 Công nghệ ECM ................................. Error! Bookmark not defined.
2.3 Nhận xét đánh giá ........................................ Error! Bookmark not defined.
2.3.1 Bức tranh tổng thể .............................. Error! Bookmark not defined.
2.3.2 So sánh sự khác biệt ........................... Error! Bookmark not defined.
2.3.3 Kết hợp các công nghệ ....................... Error! Bookmark not defined.

6

CHƢƠNG III: GIẢI PHÁP TÍCH HỢP DỮ LIỆU BẰNG SQL SERVER
REPLICATION .......................................................... Error! Bookmark not defined.
3.1 Tổng quan về SQL Server Replication ...... Error! Bookmark not defined.
3.1.1 Thành phần ......................................... Error! Bookmark not defined.
3.1.2 Các kiểu replication ............................ Error! Bookmark not defined.
3.2 Snapshot replication .................................... Error! Bookmark not defined.
3.3 Transactional replication ............................ Error! Bookmark not defined.
3.4 Merge replication ......................................... Error! Bookmark not defined.
3.5 Các phƣơng pháp triển khai replication ... Error! Bookmark not defined.
3.6 Lựa chọn mô hình và cách tiếp cận ............ Error! Bookmark not defined.
3.7 Nhận xét đánh giá ........................................ Error! Bookmark not defined.
CHƢƠNG IV. ỨNG DỤNG XÂY DỰNG CƠ SỞ DỮ LIỆU TÍCH HỢP
TOÀN NGÀNH HẢI QUAN ..................................... Error! Bookmark not defined.
4.1 Giới thiệu bài toán ....................................... Error! Bookmark not defined.
4.2 Yêu cầu về kỹ thuật ..................................... Error! Bookmark not defined.
4.3 Kiến trúc tổng thể của hệ thống ................. Error! Bookmark not defined.
4.3.1 Mô hình tổng thể ................................ Error! Bookmark not defined.
4.3.2 Mô hình phân lớp của hệ thống .......... Error! Bookmark not defined.
4.3.3 Mô hình kiến trúc ứng dụng và dữ liệuError! Bookmark not defined.
4.3.4 Mô hình trao đổi dữ liệu với hệ thống khác ...... Error! Bookmark not
defined.
4.4 Giải pháp công nghệ sử dụng ..................... Error! Bookmark not defined.
4.4.1 Giải pháp tích hợp dữ liệu .................. Error! Bookmark not defined.
4.4.2 Giải pháp xây dựng ứng dụng tích hợp nghiệp vụ hải quan .......Error!
Bookmark not defined.

7

4.4.3 Giải pháp xây dựng ứng dụng dự phòng, phòng chống thảm họaError!
Bookmark not defined.
4.5 Kết quả thực hiện ......................................... Error! Bookmark not defined.
4.6 Đánh giá kết quả .......................................... Error! Bookmark not defined.
KẾT LUẬN ........................................................... Error! Bookmark not defined.
TÀI LIỆU THAM KHẢO ............................................................................... 11

8


DANH MỤC CÁC CHỮ CÁI VIẾT TẮT
Tên đầy đủ

Tên viết tắt
CDC

Change data capture

CNTT

Công nghệ thông tin

EAI

Enterprise Applicaion Integration

ECM

Enterprise Content Manager

EDR

Enterprise Data Replication

EII

Enterprise Information Integration

ESB

Enterprise Services Bus

ETL

Extract-Transform-Load

MPLS

Multi Protocol Label Switching

OLAP

On-line Analytical Processing

OLTP

On-line Transaction Processing

SXXK

Sản xuất xuất khẩu

UTP

Unshielded Twisted Pair

XML

EXtensible Markup Language

XNK

Xuất nhập khẩu

9


DANH MỤC CÁC HÌNH VẼ
Hình 1.1: Kiến trúc ứng dụng và mức độ tích hợp dữ liệu. Error! Bookmark not defined.
Hình 1.2: Các thành phần của một ứng dụng tích hợp ...... Error! Bookmark not defined.
Hình 1.3: OTLP và OLAP .................................................... Error! Bookmark not defined.
Hình 1.4: Kiến trúc kho dữ liệu. .......................................... Error! Bookmark not defined.
Hình 1.4: Mô hình dữ liệu hình sao và bông tuyết. ............ Error! Bookmark not defined.
Hình 1.5: Mô hình hạ tầng mạng Cục Hải quan TP. Hồ Chí Minh Error! Bookmark not
defined.
Hình 2.1: Kỹ thuật hợp nhất dữ liệu. ................................... Error! Bookmark not defined.
Hình 2.2: Mô hình kết hợp cơ chế pull và push. ................. Error! Bookmark not defined.
Hình 2.3: Kỹ thuật liên hợp dữ liệu. .................................... Error! Bookmark not defined.
Hình 2.4: Kỹ thuật lan truyền dữ liệu. ................................. Error! Bookmark not defined.

Hình 2.5: Tiến trình trong ETL. .......................................... Error! Bookmark not defined.
Hình 2.6: Công nghệ EII...................................................... Error! Bookmark not defined.
Hình 2.7: Công nghệ EAI. ................................................... Error! Bookmark not defined.
Hình 2.8: Công nghệ EAI với ESB. ..................................... Error! Bookmark not defined.
Hình 2.9: Các kỹ thuật và công nghệ tích hợp dữ liệu. ...... Error! Bookmark not defined.
Hình 2.10: Mô hình kết hợp nhiều công nghệ. ................... Error! Bookmark not defined.
Hình 3.1: Kiến trúc công nghệ SQL Server Replication. .... Error! Bookmark not defined.
Hình 3.2: Snapshot Replication. .......................................... Error! Bookmark not defined.
Hình 3.3: Transactional Replication. .................................. Error! Bookmark not defined.
Hình 3.4: Merge Replication. ............................................... Error! Bookmark not defined.
Hình 3.5: Tạo replication trong Management Studtio. ....... Error! Bookmark not defined.
Hình 4.1: Mô hình tập trung dữ liệu giai đoạn 1 ................ Error! Bookmark not defined.
Hình 4.3: Mô hình tổng thể hệ thống tích hợp nghiệp vụ hải quan Error! Bookmark not
defined.
Hình 4.4: Mô hình phân lớp hệ thống tích hợp nghiệp vụ hải quanError! Bookmark not
defined.
Hình 4.5: Mô hình kiến trúc úng dụng và dữ liệu .............. Error! Bookmark not defined.
Hình 4.6: Mô hình trao đổi dữ liệu ...................................... Error! Bookmark not defined.
Hình 4.7: Mô hình tích hợp dữ liệu thử nghiệm ................. Error! Bookmark not defined.
Hình 4.8: Mô hình tích hợp dữ liệu thực tế triển khai ....... Error! Bookmark not defined.
Hình 4.9: Luồng hoạt động của ứng dụng chuyển đổi số liệu ......... Error! Bookmark not
defined.
Hình 4.10: Giao diện chương trình chuyển đổi số liệu ...... Error! Bookmark not defined.
Hình 4.11: Mô hình ứng dụng trên sharepoint ................... Error! Bookmark not defined.
Hình 4.12: Đưa thêm webpart và sharepoint ...................... Error! Bookmark not defined.
Hình 4.13: Cấu hình sử dụng các control ascx ................... Error! Bookmark not defined.
Hình 4.14: Giao diện sau khi cấu hình ............................... Error! Bookmark not defined.
Hình 4.15: Giao diện ứng dụng tích hợp nghiệp vụ ........... Error! Bookmark not defined.

10

Hình 4.16: Mô hình hệ thống dự phòng ứng dụng tích hợp nghiệp vụ . Error! Bookmark
not defined.

LỜI MỞ ĐẦU
Trong quá trình tin học hóa các hoạt động của tổ chức, doanh nghiệp, một loạt
các hệ thống đã được xây dựng để đáp ứng nhu cầu quản lý,vận hành, lưu trữ riêng lẻ
của các các bộ phận trong tổ chức, doanh nghiệp. Các hệ thống này được xây dựng
dựa trên các nền tảng công nghệ khác nhau và gần như không có sự chia sẻ thông tin
giữa các hệ thống vì các hệ thống này được thiết kế để hoạt động độc lập và được thiết
kế để giải quyết các bài toán đơn lẻ cho các bộ phận riêng lẻ của tổ chức, doanh
nghiệp. Điều này dẫn đến tình trạng là các nguồn dữ liệu được lưu trữ không đồng
nhất và phân tán ở nhiều nơi, người sử dụng cần phải sử dụng nhiều chương trình khác
nhau để hoàn thành công việc của mình, hoặc phải khai thác dữ liệu từ các chương
trình khác nhau rồi kết hợp lại để được dữ liệu mong muốn. Khi các hoạt động của tổ
chức được mở rộng (đặc biệt trong hoạt động kinh doanh của doanh nghiệp) nhu cầu
tổng hợp dữ liệu để có được các báo cáo đầy đủ nhằm phục vụ cho việc điều hành tổ
chức, doanh nghiệp trở nên cấp thiết hơn bao giờ hết việc thực hiện tổng hợp dữ liệu
từ các hệ thống riêng lẻ rất tốn thời gian và gần như là không thể thực hiện được nếu
dữ liệu lớn. Ngoài ra, nếu phải thao tác với quá nhiều chương trình cùng một lúc
thường sẽ mất nhiều thời gian hơn so với việc thực hiện trên một hệ thống và có nhiều
khả năng dẫn đến sai sót do phải làm thủ công nhiều bước. Một trong những vấn đề
gặp phải nữa của việc duy trì các hệ thống riêng lẻ đó là chi phí vận hành lớn, các tổ
chức doanh nghiệp sẽ cần phải dùng nhiều nguồn lực dành cho việc duy trì nhiều hệ
thống hoạt động.
Vấn đề tích hợp dữ liệu đã không còn là một xu hướng mà thực sự đã trở thành
nhu cầu của các tổ chức, doanh nghiệp lớn trong những năm gần đây. Một loại những
kỹ thuật, những công nghệ, những sản phẩm phẩn mềm của các hãng công nghệ hàng
đầu thế giới đã được giới thiệu như Oracle Data Integrator, Oracle GoldenGate, IBM

InfoSphere, Microsoft BizTalk, Microsoft Business Intelligent, Microsoft SQL Server
Replication,…
1. Tính cấp thiết của đề tài
Ở Việt Nam, vấn đề tích hợp dữ liệu đang là một trong những quan tâm lớn của
các tổ chức, các doanh nghiệp lớn và đặc biệt là trong các cơ quan nhà nước trong đó
có Tổng cục Hải quan.
11


Việc nghiên cứu, xây dựng các nhóm giải pháp, quy trình phù hợp, các bước thực
hiện trong bài toán tích hợp dữ liệu sẽ giúp cho các tổ chức, các doanh nghiệp Việt
Nam có thể thực hiện việc tích hợp dữ liệu của mình dễ dàng hơn từ đó có thể phát
triển thêm những ứng dụng xử lý tập trung đáp ứng những đòi hỏi ngày càng cao của
mình.

TÀI LIỆU THAM KHẢO
1.

Các trang Web
[1] o/OLTP-vs-OLAP.html
[2] />[3] />2.
Tiếng Việt
[4] Hà Quang Thụy, Bài giảng môn học kho dữ liệu và khai phá dữ liệu, ĐHCN.
3.
Tiếng Anh
[5] Sebastian Meine, Ph.D (2013), Fundamentals of SQL Server 2012 Replication,
[6] Sujoy P. Paul(2009), Pro SQL Server 2008 Replication, Apress
Stairways.
[7] James Fenner, Enterprise Application Integration Techniques.
[8] Petr Kremen and Bogdan Kostov(2014), Data Integration lecture.

[9] Patrick Ziegler and Klaus R. Dittrich(2007), “Data Integration-Problems,
Approaches, and Perspectives”, Database Technology Research Group.
[10] Colin White, BI Research(2005), Data Integration: Using ETL, EAI, and EII
Tools to Create an Integrated Enterprise, TDWI.
[11] William H. Inmon (Third Edition), Building the Data Warehouse, John Wiley
& Sons, Inc.
[12] Tom Wu, EII -ETL -EAI What, Why, and How, IBM Software Group.

12