Thiết kế Data Warehouse và ứng dụng trong hệ thống thông tin ngành điện

Header Page 1 of 237.

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ

Phạm Văn Vinh

THIẾT KẾ DATA WAREHOUSE VÀ ỨNG DỤNG
TRONG HỆ THỐNG THÔNG TIN NGÀNH ĐIỆN

LUẬN VĂN THẠC SĨ

Hà Nội - 2008
Footer Page 1 of 237.


Header Page 2 of 237.

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ

Phạm Văn Vinh

THIẾT KẾ DATA WAREHOUSE VÀ ỨNG DỤNG
TRONG HỆ THỐNG THÔNG TIN NGÀNH ĐIỆN

Ngành: Công Nghệ thông Tin
Mã số: 1.01.10

LUẬN VĂN THẠC SĨ
NGƯỜI HƯỚNG DẪN KHOA HỌC

PGS.TS. HOÀNG XUÂN HUẤN

Hà Nội - 2008

Footer Page 2 of 237.


Header Page 3 of 237.

Lời cam đoan
Với mục đích học tập, nghiên cứu để nâng cao kiến thức và trình độ chuyên môn nên
tôi đã làm luận văn này một cách nghiêm túc và hoàn toàn trung thực.
Trong luận văn, tôi có sử dụng một số tài liệu tham khảo của một số tác giả. Tôi đã
nêu ra trong phần tài liệu tham khảo ở cuối luận văn.
Tôi xin cam đoan và chịu trách nhiệm về nội dung và sự trung thực trong luận văn tốt
nghiệp Thạc sĩ của mình!

Học viên, Phạm Văn Vinh.

Footer Page 3 of 237.


Header Page 4 of 237.

Lời cảm ơn
Trước tiên, em xin bày tỏ lời cảm ơn sâu sắc nhất tới thầy giáo hướng dẫn PGS.TS.
Hoàng Xuân Huấn là người đã tận tình hướng dẫn, chỉ bảo, giúp đỡ em rất nhiều trong
quá trình tìm hiểu nghiên cứu để hoàn thành luận văn tốt nghiệp này.
Em xin chân thành cảm ơn các thầy cô giáo Đại học Công Nghệ - Đại học Quốc Gia
Hà Nội đã dạy bảo, trang bị cho em những kiến thức cơ bản trong suốt thời gian

nghiên cứu và học tập tại trường của em.
Em xin chân thành cảm ơn các cô, các chú, các anh, các chị trong Trung tâm công
nghệ thông tin - Điện lực Việt Nam cùng toàn thể các bạn bè đã tạo mọi điều kiện và
đóng góp những ý kiến bổ ích trong thời gian em làm luận văn tốt nghiệp.

Footer Page 4 of 237.


Header Page 5 of 237.

MỤC LỤC
DANH SÁCH HÌNH VẼ ............................................................................................ 16
DÁNH SÁCH BẢNG BIỂU ....................................................................................... 17
BẢNG TỪ VIẾT TẮT .................................................... Error! Bookmark not defined.
TỪ KHOÁ ....................................................................... Error! Bookmark not defined.
MỞ ĐẦU .......................................................................... Error! Bookmark not defined.
CHƢƠNG 1: GIỚI THIỆU CHUNG VỀ DATA WAREHOUSEError! Bookmark
not defined.
1.1. Giới thiệu ........................................................... Error! Bookmark not defined.
1.2. Khái niệm về data warehouse ............................ Error! Bookmark not defined.
1.3. Lợi ích sử dụng data warehouse ........................ Error! Bookmark not defined.
1.4. Các thành phần trong môi trường data warehouseError!
defined.

Bookmark

not

1.4.1. Khối các nguồn dữ liệu............................... Error! Bookmark not defined.
1.4.2. Khối tạo dựng data warehouse ................... Error! Bookmark not defined.

1.4.3. Thành phần lưu trữ dữ liệu ......................... Error! Bookmark not defined.
1.4.4. Thành phần phân phát thông tin ................. Error! Bookmark not defined.
1.4.5. Thành phần siêu dữ liệu ............................. Error! Bookmark not defined.
1.4.6. Thành phần quản lý và kiểm soát ............... Error! Bookmark not defined.
1.4.7. Thành phần ứng dụng ................................. Error! Bookmark not defined.
1.5. Một số khái niệm liên quan ............................... Error! Bookmark not defined.
1.5.1. Cơ sở dữ liệu đa chiều ................................ Error! Bookmark not defined.
1.5.2. Kho dữ liệu tác nghiệp ............................... Error! Bookmark not defined.
1.5.3. Kho dữ liệu hướng chủ đề .......................... Error! Bookmark not defined.
1.6. Hệ thống xử lý giao dịch trực tuyến và data warehouseError! Bookmark not
defined.
CHƢƠNG 2: KIẾN TRÚC DATA WAREHOUSE .... Error! Bookmark not defined.
2.1. Kiến trúc data warehouse .................................. Error! Bookmark not defined.
2.2. Các mô hình của data warehouse ...................... Error! Bookmark not defined.
2.3. Mô hình dữ liệu đa chiều ................................... Error! Bookmark not defined.
2.3.1. Lược đồ dữ liệu trong data warehouse ....... Error! Bookmark not defined.
2.3.2. Định nghĩa lược đồ ..................................... Error! Bookmark not defined.
Footer Page 5 of 237.


Header Page 6 of 237.

2.3.3. Độ phân cấp ................................................ Error! Bookmark not defined.
CHƢƠNG 3: OLAP VÀ DATA WAREHOUSE ......... Error! Bookmark not defined.
3.1. Giới thiệu về OLAP ........................................... Error! Bookmark not defined.
3.2. Đặc trưng của OLAP ......................................... Error! Bookmark not defined.
3.3. Phân tích đa chiều .............................................. Error! Bookmark not defined.
3.4. Các toán tử trong OLAP .................................... Error! Bookmark not defined.
3.4.1. Toán tử cuốn lên ......................................... Error! Bookmark not defined.
3.4.2. Toán tử khoan sâu ...................................... Error! Bookmark not defined.

3.4.3. Toán tử cắt lát và thu nhỏ ........................... Error! Bookmark not defined.
3.4.4. Toán tử xoay ............................................... Error! Bookmark not defined.
3.4.5. Một số toán tử khác .................................... Error! Bookmark not defined.
3.5. Các mô hình trong OLAP .................................. Error! Bookmark not defined.
3.5.1. Mô hình MOLAP ....................................... Error! Bookmark not defined.
3.5.2. Mô hình ROLAP ........................................ Error! Bookmark not defined.
3.5.3. Lựa chọn mô hình ROLAP hay MOLAP ... Error! Bookmark not defined.
3.5.4. Cách triển khai OLAP ................................ Error! Bookmark not defined.
CHƢƠNG 4: THIẾT KẾ VẬT LÝ DATA WAREHOUSEError!
defined.

Bookmark

not

4.1. Các yếu tố khi thiết kế vật lý ............................. Error! Bookmark not defined.
4.1.1. Các đối tượng thiết kế vật lý ...................... Error! Bookmark not defined.
4.1.2. Từ thiết kế logic tới thiết kế vật lý ............. Error! Bookmark not defined.
4.1.3. Các thành phần của mô hình vật lý ............ Error! Bookmark not defined.
4.1.4. Ý nghĩa các chuẩn ...................................... Error! Bookmark not defined.
4.2. Các bước thiết kế vật lý ..................................... Error! Bookmark not defined.
4.2.1. Xây dựng tiêu chuẩn ................................... Error! Bookmark not defined.
4.2.2. Lập kế hoạch tổng thể ............................... Error! Bookmark not defined.
4.2.3. Xác định lược đồ phân chia dữ liệu ............ Error! Bookmark not defined.
4.2.4. Thiết lập khả năng nhóm dữ liệu ................ Error! Bookmark not defined.
4.2.5. Thiết lập cách đánh chỉ số .......................... Error! Bookmark not defined.
4.2.6. Xác định cấu trúc lưu trữ ............................ Error! Bookmark not defined.
Footer Page 6 of 237.

Header Page 7 of 237.

4.2.7. Hoàn thiện mô hình vật lý .......................... Error! Bookmark not defined.
4.3. Cấu trúc vật lý.................................................... Error! Bookmark not defined.
4.3.1. Cấu trúc dữ liệu lưu trữ .............................. Error! Bookmark not defined.
4.3.2. Tối ưu lữu trữ ............................................. Error! Bookmark not defined.
4.3.3. Sử dụng công nghệ RAID .......................... Error! Bookmark not defined.
4.3.4. Dự đoán kích thước lưu trữ ........................ Error! Bookmark not defined.
4.4. Đánh chỉ mục cho data warehouse .................... Error! Bookmark not defined.
4.4.1. Tổng quan về chỉ mục ................................ Error! Bookmark not defined.
4.4.2. Chỉ mục B-tree ........................................... Error! Bookmark not defined.
4.4.3. Chỉ mục Bitmap .......................................... Error! Bookmark not defined.
4.4.4. Chỉ mục cho bảng sự kiện .......................... Error! Bookmark not defined.
4.4.5. Chỉ mục cho bảng chiều ............................. Error! Bookmark not defined.
4.5. Các kỹ thuật cải tiến hiệu năng.......................... Error! Bookmark not defined.
4.5.1. Phân loại dữ liệu ......................................... Error! Bookmark not defined.
4.5.2. Phân cụm dữ liệu ........................................ Error! Bookmark not defined.
4.5.3. Xử lý song song .......................................... Error! Bookmark not defined.
CHƢƠNG 5: XÂY DỰNG DATA WAREHOUSE CHO EVNError! Bookmark not
defined.
5.1. Tổng quan về hệ thống ...................................... Error! Bookmark not defined.
5.1.1. Giới thiệu về EVN ...................................... Error! Bookmark not defined.
5.1.2. Mô hình tập đoàn ........................................ Error! Bookmark not defined.
5.1.3. Một số thống kê tình hình sản xuất hiện tại Error! Bookmark not defined.
5.1.4. Yêu cầu về hệ thống hỗ trợ ra quyết định .. Error! Bookmark not defined.
5.1.5. Mô tả hệ thống ............................................ Error! Bookmark not defined.
5.2. Minh chứng trên số liệu EVN ........................... Error! Bookmark not defined.
5.2.1. Định hướng ................................................. Error! Bookmark not defined.
5.2.2. Mô tả hệ thống mức khái niệm ................... Error! Bookmark not defined.
5.2.3. Mô tả hệ thống mức chi tiết ........................ Error! Bookmark not defined.

5.2.4. Giới thiệu một số công cụ hỗ trợ ................ Error! Bookmark not defined.
5.2.5 Kết quả thực hiện ......................................... Error! Bookmark not defined.
Footer Page 7 of 237.


Header Page 8 of 237.

CHƢƠNG 6: KẾT QUẢ VÀ BÀN LUẬN.................... Error! Bookmark not defined.
6.1. Các kết quả đạt được ......................................... Error! Bookmark not defined.
6.2. Hướng nghiên cứu tiếp theo .............................. Error! Bookmark not defined.
TÀI LIỆU THAM KHẢO.......................................................................................... 18

Footer Page 8 of 237.


Header Page 9 of 237.

DANH SÁCH HÌNH VẼ
Hình 1: Tính chủ đề trong data warehouse .................... Error! Bookmark not defined.
Hình 2: Tích hợp trong data warehouse ........................ Error! Bookmark not defined.
Hình 3: Dữ liệu không thay đổi ..................................... Error! Bookmark not defined.
Hình 4: Các thành phần trong data warehouse .............. Error! Bookmark not defined.
Hình 5: Các chu kỳ nạp dữ liệu ..................................... Error! Bookmark not defined.
Hình 6: Thành phần phân phát thông tin ....................... Error! Bookmark not defined.
Hình 7: Khối dữ liệu đa chiều ....................................... Error! Bookmark not defined.
Hình 8: Data warehouse và OLTP ................................. Error! Bookmark not defined.
Hình 9: Kiến trúc data warehouse ................................ Error! Bookmark not defined.
Hình 10: Mô hình cơ bản của data warehouse .............. Error! Bookmark not defined.
Hình 11: Mô hình data warehouse và tiến trình thu thập dữ liệuError! Bookmark not
defined.

Hình 12: Mô hình đầy đủ về data warehouse ................ Error! Bookmark not defined.
Hình 13: Hộp lập phương cho lược đồ dữ liệu 3 chiều . Error! Bookmark not defined.
Hình 14: Hộp lập phương cho lược đồ dữ liệu 4 chiều . Error! Bookmark not defined.
Hình 15: Mạng mô tả dữ liệu đa chiều ......................... Error! Bookmark not defined.
Hình 16: Lược đồ hình sao ............................................ Error! Bookmark not defined.
Hình 17: lược đồ bông tuyết .......................................... Error! Bookmark not defined.
Hình 18: lược đồ chòm sao ............................................ Error! Bookmark not defined.
Hình 19: Các mức phân cấp dữ liệu .............................. Error! Bookmark not defined.
Hình 20: Mức phân cấp chiều thời gian ........................ Error! Bookmark not defined.
Hình 21: Mô hình khối dữ liệu ...................................... Error! Bookmark not defined.
Hình 22: Các toán tử trong OLAP ................................. Error! Bookmark not defined.
Hình 23: Mô hình MOLAP ........................................... Error! Bookmark not defined.
Hình 24: Mô hình ROLAP ............................................ Error! Bookmark not defined.

Footer Page 9 of 237.


Header Page 10 of 237.

Hình 25: Sự tương quan giữa MOLAP và ROLAP ...... Error! Bookmark not defined.
Hình 26: Kiến trúc triển khai OLAP ............................. Error! Bookmark not defined.
Hình 28: Quy trình thiết kế ............................................ Error! Bookmark not defined.
Hình 29: Các thành phần của mô hình vật lý ................ Error! Bookmark not defined.
Hình 30: Tương quan giữa mô hình logic và mô hình vật lýError!
defined.

Bookmark

not

Hình 27: Các bước thiết kế vật lý .................................. Error! Bookmark not defined.
Hình 31: Mô hình lưu trữ dữ liệu .................................. Error! Bookmark not defined.
Hình 32: Cấu trúc của chỉ mục B-Tree .......................... Error! Bookmark not defined.
Hình 33: Cấu trúc của chỉ mục Bitmap ......................... Error! Bookmark not defined.
Hình 34: Mô hình tập đoàn EVN .................................. Error! Bookmark not defined.
Hình 35: Sơ đồ tổng quan data warehouse EVN ........... Error! Bookmark not defined.
Hình 36: Lược đồ dữ liệu trong data warehouse EVN .. Error! Bookmark not defined.
Hình 37: chiều dữ liệu trong data warehouse EVN ....... Error! Bookmark not defined.
Hình 38: Ánh xạ thu thập dữ liệu cho chiều thời gian: DTHOIGIANError!
not defined.

Bookmark

Hình 39: Ánh xạ thu thập dữ liệu cho chiều công ty: DCONGTYError! Bookmark not
defined.
Hình 40: Ánh xạ thu thập dữ liệu cho bảng sự kiện: CMIS_CUBEError! Bookmark not
defined.
Hình 41: Báo cáo đa chiều từ data warehouse EVN đã xây dựngError! Bookmark not
defined.
Hình 42: Báo cáo đa chiều với toán tử khoan sâu cho chiều thời gianError!
not defined.

Bookmark

Hình 43: Sơ đồ đa chiều mô tả sản lượng tiêu thụ điện của các điện lựcError! Bookmark
not defined.
Hình 44: Dữ liệu và sơ đồ cho một báo cáo đa chiều .... Error! Bookmark not defined.

Footer Page 10 of 237.

Header Page 11 of 237.

DÁNH SÁCH BẢNG BIỂU
Bảng 1: Data warehouse và kho dữ liệu tác nghiệp ...... Error! Bookmark not defined.
Bảng 2: Data warehouse và kho dữ liệu hướng chủ đề . Error! Bookmark not defined.
Bảng 3: Khung nhìn dữ liệu đa chiều đơn giản ............. Error! Bookmark not defined.
Bảng 4: Khung nhìn dữ liệu đa chiều chi tiết ................ Error! Bookmark not defined.
Bảng 5: Đặc trưng cơ bản của phân tích đa chiều ......... Error! Bookmark not defined.
Bảng 6: Đặc trưng nâng cao của phân tích đa chiều ..... Error! Bookmark not defined.

TÀI LIỆU THAM KHẢO
Tiếng Việt
[1]. PGS.TS. Hoàng Xuân Huấn, Bài giảng môn Hệ hỗ trợ ra quyết định.
[2]. PGS.TS. Hoàng Xuân Huấn (2006), Suy nghĩ về chủ nghĩa xã hội và đổi mới kinh tếxã hội ở nước ta: Báo quản lý kinh tế số 7 - 3+4/2006, Viện nghiên cứu kinh tế quản lý
trung ương, bộ kế hoạch và đầu tư.
[3]. PTS. Đỗ Việt Nga (1999), Thiết kế hệ thống trong xây dựng data warehouse và hệ
thống thông tin lớn.
[4]. Tài liệu mô tả hệ thống thông tin quản lý đầu tư - Tập đoàn Điện lực Việt Nam.
[5]. Tài liệu mô tả hệ thống thông tin quản lý khách hàng - Tập đoàn Điện lực Việt Nam.
[6]. Tài liệu mô tả hệ thống thông tin quản lý nhà máy điện - Tập đoàn Điện lực Việt
Nam.
[7]. Tài liệu mô tả hệ thống thông tin tài chính - Điện lực Tập đoàn Việt Nam.
[8]. Trang web EVN, />Tiếng Anh
[9]. Paulraj Ponniah, Data Warehousing Fundamentals: A Comprehensive Guide for IT
Professionals. John Wiley & Sons, Inc. 2001.
[10]. Yuan Ji, Towards Framework for the Virtual data warehouse Course-based MS
Report April 20, 2001.

Footer Page 11 of 237.

Header Page 12 of 237.

[11]. Oracle software: Oracle® Warehouse Builder 10g Release 1 (10.1), User’s Guide
Part No. B12146-01. 2003.
[12]. Oracle software: Oracle® Business Intelligence 10g Release 2 (10.1.2.1) Concepts
Guide B16378-01. 2003.
[13]. Oracle software: Oracle® Database Data Warehousing Guide 10g Release 1 (10.1).
2003.
[14]. Jiawei Han and Micheline Kamber (2001), Data Mining : Concepts
Techniques, Hacours Science and Technology Company, USA.

and

[15]. Gavin Powell(2006), Beginning Database Design, Wiley Publishing, USA.
[16]. James McGovern, Scott W. Ambler, Michael E. Stevens, James Linn, Vikas Sharan,
Elias K. Jo(2003), Practical Guide to Enterprise Architecture, Prentice Hall, USA.
[17]. Keith Andrews (2006), Human Computer Interaction, Keith Andrews, Austria
[18]. Rebecca M. Riordan(2005), Designing Effective Database Systems, Addison
Wesley Professional, USA.
[19]. Steve McConnell (2003), Professional Software Development: Shorter Schedules,
Higher Quality Products, More Successful Projects, Enhanced, Addison Wesley, USA.
[20]. Wendy Boggs Michael Boggs (2002), Mastering UML with Rational Rose 2002,
SYBEX, USA.
[21]. Freitas and S.H. Lavington (1998), Mining very large Database with Parllel
Processing. Kluwer Academic Publishers.
[22]. William H. Inmon (1992), Building the Data Warehouse. QED Technical
Publishing Group.
[16]. Planet Source Code, .

Footer Page 12 of 237.