Kho dữ liệu và Hệ hỗ trợ quyết định ( Nguyễn Thanh Bình ) - Chương 6 pdf

Chương
Chương
6:
6:
Siêu
Siêu
d
d
ữ
ữ
li
li
ệ
ệ
u
u
Siêu d
Siêu d
ữ
ữ
li
li
ệ
ệ
u l
u l
à
à
g
g
ì

ì
• Dữ liệu về dữ liệu data about other data
• Tập các thuộc tính, hay phần tử cần
thiết cho việc miêu tả nguồn thông tin
• Ví dụ: một tập các bản ghi với các phần
tử mô tả một cuốn sách:
tác giả author
tên sách title
ngày xuất bản date of publication
Miêu tả description
Siêu
Siêu
d
d
ữ
ữ
li
li
ệ
ệ
u
u
–
–
Kh
Kh
á
á
i
i

ni
ni
ệ
ệ
m
m
• Siêu dữ liệu là thành phần cơ bản để xây
dựng và quản lí một kho dữ liệu
• Trước khi một kdl có thể được truy cập một
cách có hiệu quả, thực sự là cần thiết để
hiểu, dữ liệu gì sẵn có trong kdl, và chúng lưu
trữ ở đâu.
• Dữ liệu miêu tả quá trình xây dựng, quản lí
và hoạt động của KDL
• Siêu dữ liệu được lưu trữ trong một kho chứa
và được truy cập bởi tất cả các thành phần
của kdl
Siêu
Siêu
d
d
ữ
ữ
li
li
ệ
ệ
u
u
Kh

Kh
á
á
i ni
i ni
ệ
ệ
m siêu d
m siêu d
ữ
ữ
li
li
ệ
ệ
u
u
• Là một lưu trữ dùng để:
– Miêu tả KDL tổng thể
– Nhận dạng kiểu kho dữ liệu
– Quản lí quá trình tích hợp dữ liệu
– Quản lí quá trình cập nhật KDL
– Quản lí bảo mật
• Hiệp hội chuyên nghiên cứu về siêu dữ liệu
Metadata Coalition đã đưa ra đặc tả của siêu
dữ liệu vào năm 1996 MDIS Metadata
Interchange Specification
S
S
ự

ự
quan tr
quan tr
ọ
ọ
ng c
ng c
ủ
ủ
a siêu d
a siêu d
ữ
ữ
li
li
ệ
ệ
u
u
• Rất quan trọng trong kho dữ liệu
• Không phải là dữ kiện phân tích
• Là chìa khóa quyết định sự thành công của kho dữ
liệu
• Là thành phần luôn được thay đổi, cấp nhật theo sự
phát triển của kho dữ liệu
• Dùng để quản lý, điều khiển kho dữ liệu
Warehouse
Warehouse
Metadata
Metadata

Repository
Repository
External
External
Sources
Sources
Operational
Operational
Data
Data
Sources
Sources
Ch
Ch
ấ
ấ
t lư
t lư
ợ
ợ
ng c
ng c
ủ
ủ
a siêu d
a siêu d
ữ
ữ
li
li

ệ
ệ
u
u
• Quản lý được sự tích hợp
• Thể hiện được tính lịch sử
của dữ liệu
• Quản lý được các thay đổi
S
S
ự
ự
h
h
ì
ì
nh th
nh th
à
à
nh siêu d
nh siêu d
ữ
ữ
li
li
ệ
ệ
u
u

• Trong quá trình xây dựng kdl:
– Sản sinh một cách tự động
– Được tạo ra trong quá trình xây dựng kdl
• ứng dụng:
– Miêu tả Kdl và các thành phần
– Tạo điều kiện cho việc truy cập KDL ở mọi cấp
• Bảo trì:
– Phục vụ cho các mục đích bảo mật
– Lưu trữ thông tin về người dùng
C
C
á
á
c bư
c bư
ớ
ớ
c t
c t
ạ
ạ
o l
o l
ậ
ậ
p siêu d
p siêu d
ữ
ữ
li

li
ệ
ệ
u
u
• Định nghĩa các chức năng chính của
siêu dữ liệu trong hệ thống kho dữ liệu
• Xác định các vấn đề trong tích hợp dữ
liệu.
• Xác định siêu dữ liệu có thể được tạo
như thế nào, ai tạo ra và được lưu trữ ở
đâu
• Miêu tả nội dung của siêu dữ liệu
Chi
Chi
ế
ế
n lư
n lư
ợ
ợ
c cho siêu d
c cho siêu d
ữ
ữ
li
li
ệ
ệ
u

u
• Đưa ra một chiến lược cho việc tiến hành xây dựng
và sử dụng kho dữ liệu
• Phải đảm bảo được siêu dữ liệu có chất lượng cao
• Cung cấp cho người dùng thông tin có chất lượng
cao
• Đảm bảo việc quản lí dữ liệu tích hợp
– Nhằm vào mục đích đến là gì
– Nguồn và thông tin về nguồn
– Bảo trì và quản lí
– Các chuẩn hóa
– Truy cập và các công cụ
– Tích hợp và phát triển
Phân t
Phân t
í
í
ch m
ch m
ụ
ụ
c đ
c đ
í
í
ch
ch
• Các ý định
• Các yêu cầu
• Quản lý sự truy cập, ai sẽ truy cập và

truy cập như thế nào
• Xác định các nguồn
• Các hướng tích hợp
• Quản lí sự thay đổi và tiến triển của
KDL
C
C
á
á
c lo
c lo
ạ
ạ
i ngu
i ngu
ồ
ồ
n c
n c
ủ
ủ
a siêu d
a siêu d
ữ
ữ
li
li
ệ
ệ
u

u
• Xác định ai là người dùng kho dữ liệu ?
• Họ cần cái gì ?
• Siêu dữ liệu chứa cái gì ?
• Sẽ sử dụng công cụ gì để xây dựng kho
dữ liệu ?
C
C
á
á
c k
c k
ỹ
ỹ
thu
thu
ậ
ậ
t
t
• Các công cụ mô hình hóa
• Định nghĩa các lược đồ CSDL
• Các công cụ hỗ trợ cho ETT
• Các công cụ cho người dùng cuối
• Các công cụ để tạo tài liệu kĩ thuật
V
V
ị
ị
tr

tr
í
í
siêu d
siêu d
ữ
ữ
li
li
ệ
ệ
u
u
• Lưu tại máy chủ chứa kho dữ liệu
• Có thể được lưu tại các csdl nguồn
• Tại máy PC có công cụ quản lí siêu dữ
liệu
• Quản lý bởi người quản lí siêu dữ liệu
• Các chuẩn hóa được sinh ra bởi cấu
trúc siêu dữ liệu
C
C
á
á
c công c
c công c
ụ
ụ
v
v

à
à
vi
vi
ệ
ệ
c truy c
c truy c
ậ
ậ
p
p
• Ai truy cập ?
• Khi nào?
• Với mục đích gì ?
• Công cụ cho việc quản lí
• Công cụ quản lí câu hỏi
• Công cụ cho việc xây dựng kho dữ liệu
C
C
á
á
c lo
c lo
ạ
ạ
i siêu d
i siêu d
ữ
ữ

li
li
ệ
ệ
u chi ti
u chi ti
ế
ế
t
t
• Hệ tương tác Operational
– Các tiến trình nạp, quản lý và lập lịch cho việc cập
nhập kdl
• ETT
– Quản lý các cấu trúc, ánh xạ
– Thông tin nguồn và đích
– Quản lý việc chuyển đổi
• Người dùng cuối (End user )
– Hỗ trợ việc sử dụng kho dữ liệu
– Hỗ trợ việc khảo sát kdl
– Hỗ trợ việc cung cấp thông tin cho kdl
Siêu d
Siêu d
ữ
ữ
li
li
ệ
ệ
u h

u h
ệ
ệ
th
th
ố
ố
ng tương t
ng tương t
á
á
c
c
• Siêu dữ liệu cho hệ tương tác miêu tả phạm
vi, giới hạn môi trường của kdl
• Xác định những dữ liệu nào cho phép hay
không cho phép kdl truy cập
• Điều khiển quá trình truyền dữ liệu từ nguồn
vào kdl
• Cung cấp các thông tin cho các nhà phát
triển trong quá trình xây dựng cũng như mở
rộng kdl
• No data nothing
Siêu
Siêu
d
d
ữ
ữ
li

li
ệ
ệ
u
u
cho
cho
ETT
ETT
ánh xạ dữ liệu từ các nguồn vào kdl
Warehouse
Warehouse
Data Warehouse
Data Warehouse
Data Model
Data Model
Metadata
Metadata
Repository
Repository
Internal
Internal
sources
sources
External
External
sources
sources
Operational
Operational

data
data
sources
sources
Browser:
http://
HollywoodHollywood
XX
++
Customers:
a
recorof
as
XX
++
Customers:
Browser:
http://
HollywoodHollywood
Browser:
http://
HollywoodHollywood
XX
++
12345.00
12780.00
2345787.00
87877.98
5678.00
100%

110%
230%
200%
-10%
ABC CO
GMBH LTD
GBUK INC
FFR ASSOC
MCD CO
Siêu d
Siêu d
ữ
ữ
li
li
ệ
ệ
u cho vi
u cho vi
ệ
ệ
c chi
c chi
ế
ế
t (1)
t (1)
• Các luật kinh doanh
• Các khóa, trường và bảng nguồn
• Quản lí việc sở hữu dữ liệu

• Chuyển đổi giữa các trường
• Các bản tra cứu
• Thay đổi tên
• Các thay đổi giá trị khóa
• Các giá trị mặc định
• Quản lý đa nguồn
• Các thuật toán
• Nhãn thời gian
Staging
Staging
File
File
External
External
Sources
Sources
Operational
Operational
Data
Data
Sources
Sources
Extraction
Siêu d
Siêu d
ữ
ữ
li
li
ệ

ệ
u cho vi
u cho vi
ệ
ệ
c chi
c chi
ế
ế
t (2)
t (2)
• Các yêu cầu về lưu trữ
• Thông tin về vị trí các
nguồn
• Sự khác nhau giữa các
nguồn
• Thông tin truy cập
• Bảo mật
• Các liên hệ, liên hệ với ai
để có dữ liệu
• Các tên chương trình
• Các thông tin quản lý tính
chất của dữ liệu
External
External
Sources
Sources
Operational
Operational
Data

Data
Sources
Sources
Extraction
Chuy
Chuy
ể
ể
n đ
n đ
ổ
ổ
i
i
• Phương thức chuyển đổi
• Các chức năng xác định dữ liệu
• Các luật phát triển kdl
• Thông tin liên hệ
External
External
sources
sources
Operational
Operational
data
data
sources
sources
Warehouse
Warehouse

Metadata
Metadata
repository
repository
ETT
Mapping
Stagin
Stagin
g
g
file
file
Transport
T
T
í
í
ch h
ch h
ợ
ợ
p v
p v
à
à
thay đ
thay đ
ổ
ổ
i

i
• Siêu dữ liệu quản lí việc tích hợp dữ
liệu
• Siêu dữ liệu dùng cho việc trao đổi
thông tin
• Quản lý việc chuyển đổi siêu dữ liệu
• Xem xét chu kỳ làm tươi kho dữ liệu
Siêu
Siêu
d
d
ữ
ữ
li
li
ệ
ệ
u
u
ngư
ngư
ờ
ờ
i
i
d
d
ù
ù
ng

ng
cu
cu
ố
ố
i
i
(1)
(1)
Warehouse
Warehouse
Metadata
Metadata
Repository
Repository
End
User
Operational
ETT
Mapping
IT
IT
staff
staff
Users
Users
Siêu d
Siêu d
ữ
ữ

li
li
ệ
ệ
u ngư
u ngư
ờ
ờ
i d
i d
ù
ù
ng cu
ng cu
ố
ố
i (2)
i (2)
• Người dùng với mục đích phân tích đơn giản:
yêu cầu các báo cáo chuẩn từ môi trường kdl
• Người dùng với mục đích thăm dò. Cần thiết
để tham dò dữ liệu ở nhiều cấp độ. Họ sẽ
dùng các toán tử Rolling up và Drilling down
để thăm dò tương tác giữa các chủ thể kinh
doanh giúp cho việc đưa ra quyết định
• Người dùng với mục đích phân tích: Thực
hiện các phân tích thống kê, và đưa ra các
quyết định
Siêu d
Siêu d

ữ
ữ
li
li
ệ
ệ
u ngư
u ngư
ờ
ờ
i d
i d
ù
ù
ng cu
ng cu
ố
ố
i (3)
i (3)
• Ví trí của các chiều và dữ kiện
• Miêu tả nội dung
• Các thuật toán để tạo ra các tổng hợp
• Thông tin về người sử dụng kdl
Warehouse
Warehouse
Metadata
Metadata
repository
repository

End
User