Nghiên cứu phần tử ngoại lai đối với phụ thuộc mạnh trong mô hình dữ liệu quan hệ

i

LỜI CAM ĐOAN
Tôi xin cam đoan luận văn này là công trình nghiên cứu thực sự của cá nhân
mình, thực hiện dưới sự hướng dẫn tận tình của thầy giáo TS. Lê Văn Phùng.
Các số liệu, kết quả do bản thân nghiên cứu và tìm hiểu được trình bày trong
luận văn này trung thực và chưa từng được công bố dưới bất cứ hình thức nào.
Tôi xin chịu hoàn toàn trách nhiệm về nghiên cứu của mình.
Học viên

Lê Long Giang


ii

LỜI CẢM ƠN
Lời đầu tiên, tôi xin được gửi lời cảm ơn sâu sắc nhất tới thầy giáo TS. Lê
Văn Phùng, người thầy đã trực tiếp dành nhiều thời gian tận tình hướng dẫn, cung
cấp những thông tin, tài liệu quý báu giúp đỡ tôi hoàn thành bản luận văn này.
Tôi cũng xin gửi lời cảm ơn đến các giảng viên trường Đại Học Công
nghệ Thông Tin và Truyền Thông - Đại học Thái Nguyên, các thầy Viện Công
nghệ thông tin - Viện Hàn lâm Khoa học Công nghệ Việt Nam đã giảng dạy,
truyền đạt những kiến thức và giúp đỡ tôi trong suốt quá trình học tập của mình.
Tôi cũng xin gửi lời cảm ơn tới Ban Giám đốc - Sở Khoa học và Công
nghệ tỉnh Lào Cai, Phòng Quản lý Công nghệ và Thị trường công nghệ đã tạo
mọi điều kiện thuận lợi cho em tham gia khóa học và trong suốt quá trình hoàn
thành luận văn.
Cuối cùng, tôi xin cảm ơn những người thân, bạn bè và gia đình đã luôn
cổ vũ động viên tôi hoàn thành luận văn tốt nghiệp này.
Mặc dù đã hết sức cố gắng hoàn thành luận văn với tất cả sự nỗ lực của
bản thân, nhưng luận văn không tránh khỏi những thiếu sót.Kính mong nhận

được những ý kiến đóng góp của quý thầy cô và bạn bè, đồng nghiệp.
Tôi xin chân thành cảm ơn!
Thái Nguyên, ngày 20 tháng 04 năm 2016
Học viên

Lê Long Giang


iii

MỤC LỤC
LỜI CAM ĐOAN ................................................................................................ i
LỜI CẢM ƠN .................................................................................................... ii
MỤC LỤC ........................................................................................................ iii
CÁC KÍ HIỆU VIẾT TẮT DÙNG TRONG LUẬN VĂN ................................. vi
MỘT SỐ QUI ƯỚC VỀ KÍ HIỆU THƯỜNG ĐƯỢC ...................................... vii
SỬ DỤNG TRONG LUẬN VĂN: ................................................................... vii
BẢNG CÁC HÌNH VẼ ................................................................................... viii
DANH MỤC CÁC ĐỊNH NGHĨA, ĐỊNH LÝ, BỔ ĐỀ, THUẬT TOÁN ........ viii
MỞ ĐẦU ........................................................................................................... 1
CHƯƠNG 1: PHỤ THUỘC HÀM MẠNH VÀ PHẦN TỬ NGOẠI LAI ........... 3
1.1.Khái niệm về phụ thuộc mạnh ................................................................ 3
1.2.Phương pháp xác định phụ thuộc mạnh trong CSDL .............................. 5
1.3. Phần tử ngoại lai và mối quan hệ giữa chúng với khai phá dữ liệu ....... 13
1.3.1.Khái niệm về phần tử ngoại lai ...................................................... 13
1.3.2. Các phương pháp xác định phần tử ngoại lai ................................ 14
1.3.3. Mối quan hệ giữa phần tử ngoại lai và khai phá dữ liệu ................ 15
1.4. Mô hình phát hiện phần tử ngoại lai trong dữ liệu và trong cơ sở dữ liệu
quan hệ ...................................................................................................... 16
1.4.1. Định nghĩa mô tả .......................................................................... 16

1.4.2. Phân loại các phần tử ngoại lai trong CSDL quan hệ .................... 17
1.4.3. Mô hình phát hiện phần tử ngoại lai dựa theo luật đối với CSDL
quan hệ .................................................................................................. 18
1.5. Ứng dụng của các phần tử ngoại lai ..................................................... 22
KẾT LUẬN CHƯƠNG 1 ................................................................................. 23
CHƯƠNG 2: PHÁT HIỆN PHẦN TỬ NGOẠI LAI ĐỐI VỚI PHỤ THUỘC
HÀM MẠNH TRONG CƠ SỞ DỮ LIỆU QUAN HỆ ...................................... 24
2.1. Phần tử ngoại lai đối với các dạng phụ thuộc hàm đặc biệt .................. 24
2.1.1.Phần tử ngoại lai đối với phụ thuộc hàm dạng bằng nhau .............. 24


iv

2.1.2.Phần tử ngoại lai đối với phụ thuộc hàm dạng tỉ lệ ........................ 26
2.2. Phần tử ngoại lai đối với hệ ràng buộc dạng phụ thuộc hàm ................ 28
2.3. Thuật toán phát hiện các phần tử ngoại lai đối với các dạng chuẩn ...... 32
2.3.1. Thuật toán phát hiện phần tử ngoại lai đối với dạng chuẩn 2NF ... 32
2.3.2. Thuật toán phát hiện phần tử ngoại lai đối với dạng chuẩn 3NF ... 34
2.3.3. Thuật toán phát hiện phần tử ngoại lai đối với dạng chuẩn BCNF 36
2.4. Phần tử ngoại lai đối với phụ thuộc mạnh ............................................ 37
2.4.1. Thuật toán tìm các phụ thuộc hàm mạnh trong quan hệ và SĐQH 37
2.4.2. Xác định phụ thuộc hàm mạnh cực đại đối với một tập thuộc tính 38
2.4.3. Thuật toán tìm phần tử ngoại lai đối với phụ thuộc mạnh trong
CSDL quan hệ ....................................................................................... 41
KẾT LUẬN CHƯƠNG 2 ................................................................................. 43
CHƯƠNG 3: ỨNG DỤNG TÌM PHẦN TỬ NGOẠI LAI ................................ 44
3.1. Lựa chọn bài toán để cài đặt ................................................................ 44
3.2. Cài đặt chương trình ............................................................................ 47
3.2.1. Yêu cầu hệ thống.......................................................................... 47
3.2.2. Cấu trúc của chương trình ............................................................ 47

3.3.Chương trình minh họa: ....................................................................... 47
3.3.1. Demo 01: ..................................................................................... 47
3.3.2. Demo 02: ..................................................................................... 51
3.3.3. Một số đoạn mã lệnh sử dụng trong chương trình ........................ 55
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN......................................................... 64
TÀI LIỆU THAM KHẢO ................................................................................ 65


v

DANH MỤC HÌNH ẢNH

Hình 1.3.1 Phần tử ngoại lai trong tập điểm có tọa độ (x,y) trên mặt phẳng có giá
trị tung độ y nhỏ hơn hẳn các phần tử khác của tập hợp .................................... 13
Hình 1.4.3 Sơ đồ phát hiện phần tử ngoại lai dựa theo luật trong CSDL quan hệ .. 21


vi

CÁC KÍ HIỆU VIẾT TẮT DÙNG TRONG LUẬN VĂN
Kí hiệu

Nghĩa

CNTT

Công nghệ thông tin

CSDL

Cơ sở dữ liệu

PTH

Phụ thuộc hàm

PTM

Phụ thuộc mạnh

SĐQH

Sơ đồ quan hệ

SĐM

Sơ đồ mạnh


vii

MỘT SỐ QUI ƯỚC VỀ KÍ HIỆU THƯỜNG ĐƯỢC
SỬ DỤNG TRONG LUẬN VĂN:
- Các thuộc tính được kí hiệu bằng các chữ Latin hoa đầu bảng chữ A, B, C,...
- Tập thuộc tính được ký hiệu bằng các chữ Latin hoa cuối bảng chữ X, Y, Z,...
- XY hoặc X ∪Y biểu diễn hợp của hai tập X và Y. Phép trừ hai tập X và
Y được ký hiệu là X\Y, hoặc X-Y.
- Một phân hoạch của tập M (thành các tập con rời nhau và có hợp là M),
X1, X2, ..., Xm được ký hiệu là M = X1| X2| ...| Xm
Với ý nghĩa M = X1∪X2∪...∪ Xm và Xi ∩ Xj = , 1≤ i, j≤ m, i≠j.

- Kí hiệu R, U... để chỉ tập toàn bộ các thuộc tính trong một sơ đồ quan hệ
- Các quan hệ (hoặc bảng dữ liệu) được kí hiệu bằng các chữ cái thường:
r, p, q,...
- Các bộ được biểu diễn bằng các chữ Latin thường có thể kèm chỉ số t, u,
v, t1,...
- Với mỗi bộ t trong quan hệ r và mỗi tập con các thuộc tính X ⊆ R ta kí
hiệu t[X] hoặc t.X là hạn chế của bộ (ánh xạ) t trên tập thuộc tính X.
- Kí hiệu | r | là lực lượng (số bộ) của quan hệ r.
- Kí hiệu X

Y để chị phụ thuộc hàm giữa X và Y
s

 Y để chỉ phụ thuộc mạnh giữa X và Y; hoặc có thể sử
- Kí hiệu X 
dụng kí hiệu X
- Kí hiệu X

Y để chỉ phụ thuộc mạnh với lời chú dẫn đi trước.
Y để chỉ phụ thuộc hàm xấp xỉ mức

- Kí hiệu ⇒ để chỉ sự kéo theo trong mệnh đề logic

giữa X và Y


viii

BẢNG CÁC HÌNH VẼ
DANH MỤC CÁC ĐỊNH NGHĨA, ĐỊNH LÝ, BỔ ĐỀ, THUẬT TOÁN

Định nghĩa 1.4.1 Định nghĩa mô tả.................................................................................17
Định nghĩa 2.1.1.1 Phụ thuộc hàm dạng bằng nhau..................................................... 24
Định nghĩa 2.1.1.2 Phần tử ngoại lai đối với phụ thuộc hàm dạng bằng nhau .............. 24
Định nghĩa 2.1.2.1 Phụ thuộc hàm dạng tỉ lệ............................................................... 26
Định nghĩa 2.1.2.2Phần tử ngoại lai đổi với phụ thuộc hàm dạng tỉ lệ ......................... 26
Định nghĩa 2.1.3.1 Phần tử ngoại lai đối với hệ ràng buộc dạng PTH.......................... 29
Định nghĩa 2.2.1 Phần tử ngoại lai đối với dạng chuẩn ............................................... 32
Định nghĩa 2.2.3Phụ thuộc mạnh cực đại .................................................................... 39
Định lý 1.2.1Tính đúng và đầy đủ của hệ T1-T3. .......................................................... 6
Định lý 1.2.2 Sự tồn tại họ phụ thuộc hàm sinh ra họ phụ thuộc mạnh .......................... 8
Định lý 1.2.3 Họ phụ thuộc mạnh. .............................................................................. 12
Bổ đề 1.2.1 Tính bắc cầu hỗn hợp................................................................................. 8
Bổ đề 1.2.2: ................................................................................................................ 11
Bổ đề 2.1.3.1 .............................................................................................................. 29
Mệnh đề 1.2.2 Phụ thuộc mạnh của các tập phụ thuộc hàm tương đương. ................... 10
Mệnh đề 2.2.3 Sự tồn tại của phụ thuộc mạnh............................................................. 38

Thuật toán 2.1.1 (phát hiện phần tử ngoại lai đối với PTH dạng bằng nhau) ....... 25
Thuật toán 2.1.2(phát hiện phần tử ngoại lai đối với phụ thuộc hàm dạng tỉ lệ) ......... 27
Thuật toán 2.1.3(Thuật toán xác định phần tử ngoại lai đối với hệ ràng buộc dạng PTH) .. 30
Thuật toán 2.2.1.1(Thuật toán NL_ 2NF) ..................................................................... 33
Thuật toán 2.2.1.2(Thuật toán NL_ 3NF) ..................................................................... 34
Thuật toán 2.2.1.3(Thuật toán NL_ BCNF) .................................................................. 36
Thuật toán 2.2.2(Tìm các PTM trong SĐQH)............................................................... 37
Thuật toán 2.2.3.1(Tìm phụ thuộc mạnh cực đại) ........................................................ 39
Thuật toán 2.3.1.2(Tìm các phụ thuộc mạnh trong quan hệ r) ..................................... 40


1

MỞ ĐẦU
Thế kỉ XXI được xem là một kỷ nguyên của công nghệ thông tin.Các
công nghệ khám phá trí thức được áp dụng rộng rãi trong nhiều lĩnh vực và đem
lại những thành tựu to lớn.Nhưng các công nghệ khám phá tri thức thường nhằm
mục đích tìm kiếm, khám phá các dạng và mẫu thường gặp. Chủ yếu tập trung
vào các hướng: Tìm kiếm các luật kết hợp, nhận dạng và phân lớp mẫu… Còn
lĩnh vực khám phá phần tử ngoại lai chưa có được sự quan tâm, đầu tư và phát
triển ở trong nước cũng như ở nước ngoài.
Người ta nhận thấy rằng có rất nhiều tri thức còn tiềm ẩn trong dữ liệu, vấn
đề đặt ra là làm thế nào để khai thác được thông tin và khai thác một cách có hiệu
quả.Còn trong lĩnh vực khám phá phần tử ngoại lai mới bước đầu được sự quan
tâm nghiên cứu.Mặc dù nó được ứng dụng trong nhiều lĩnh vực cuộc sống như:
Phát hiện những thẻ bất thường trong hệ thống ngân hàng, những tuyến đường bất
ổn không hợp lý tong giao thông, ứng dụng trong hệ thống an ninh, dự báo thời
tiết, trong thị trường chứng khoán, trong lĩnh vực thể thao,… Tuy nhiên, với số
lượng dữ liệu được tập trung và lưu trữ trong cơ sở dữ liệu ngày càng lớn thì việc
tìm kiếm các ngoại lai hoặc các phần tử ngoại lai trở nên cấp thiết hơn rất nhiều.
Do tính hấp dẫn và tính thời sự của khai phá dữ liệu, đặc biệt là phát hiện
phần tử ngoại lai trong cơ sở dữ liệu quan hệ, tôi chọn đề tài: “Nghiên cứu phần
tử ngoại lai đối với phụ thuộc mạnh trong mô hình dữ liệu quan hệ” là luận văn
cao học của mình.Trong đó nghiên cứu vận dụng kiến thức nghiên cứu này vào
giải quyết bài toán tìm phần tử ngoại lai đối với phụ thuộc mạnh trong mô hình
dữ liệu quan hệ.
Đề tài đi sâu nghiên cứu một mảng kỹ thuật khai thác dữ liệu nhằm hỗ trợ
cho mục đích sử dụng khác nhau.Có mục đích tìm các nhân tố tích cực, có mục
đích tìm các lỗi lưu trữ trong tập dữ liệu, có mục đích tìm kiếm nhận dạng tội
phạm, gian lận tài chính hoặc cũng có thể làm dự báo, phân tích thị trường,…
Trong phạm vi,ứng dụng rộng rãi em đã nêu ở trên, việc nghiên cứu phần
tử ngoại lai đối với phụ thuộc mạnh trong mô hình dữ liệu quan hệ đã mang ý
nghĩa khoa học rất lớn. Luận văn sẽ thực hiện với hi vọng sẽ đóng góp một phần

2

nghiên cứu khoa học nhất định trong việc tổng hợp, đánh giá một nhiệm vụ khai
phá dữ liệu quan trọng nhằm phát hiện những tri thức có ý nghĩa lớn, đảo bảo cơ
sở toán học trong chuyên ngành khoa học máy tính.
Trọng tâm của Luận văn là giải quyết bài toán phát hiện phần tử ngoại lai
đối với phụ thuộc mạnh trong mô hình dữ liệu quan hệ, song bên cạnh đó Luận
văn cũng tiến hành nghiên cứu và đề xuất những vấn đề lý thuyết mới về phụ
thuộc hàm, các dạng chuẩn của quan hệ cũng như một số thuật toán tìm luật kết
hợp, xây dựng cây quyết định dựa trên phụ thuộc hàm.
Một số mục tiêu cụ thể của Luận văn được đặt ra là:
1.Xây dựng mô hình phát hiện phần tử ngoại lai dựa theoluật trong CSDL
quan hệ, bao gồm:
- Xây dựng phương pháp xác định phần tử ngoại lai đối với phụ thuộc
hàm và khóa.
- Xây dựng phương pháp xác định phần tử ngoại lai đối với hệ ràng buộc
dạng phụ thuộc hàm.
- Xây dựng phương pháp xác định phần tử ngoại lai đối với các dạng chuẩn.
2.Xây dựng phương pháp xác định phụ thuộc mạnh trong cơ sở dữ liệu quan
hệ và xác định phương pháp xác định phần tử ngoại lai đối với phụ thuộc mạnh.
3.Ứng dụng kết quả nghiên cứu vào giải quyết bài toán.
Với việc hoàn thành các mục tiêu đã đặt ra, luận văn đã đạt được mộ số
kết quả đóng góp một phần trong việc phát triển lý thuyết về phát hiện phần tử
ngoại lai đối với phụ thuộc mạnh trong mô hình dữ liệu quan hệ.
Luận văn được bố cục như sau
Ngoài phần mở đầu và kết luận luận văn được chia làm 3 chương:
+ Chương 1: Phụ thuộc mạnh và phần tử ngoại lai.
+ Chương 2:Phát hiện phần tử ngoại lai đối với phụ thuộc hàm mạnh

trong cơ sở dữ liệu quan hệ.
+ Chương 3: Ứng dụng tìm phần tử ngoại lai đối với phụ thuộc mạnh
trong mô hình dữ liệu quan hệ.


3

CHƯƠNG 1
PHỤ THUỘC HÀM MẠNH VÀ PHẦN TỬ NGOẠI LAI
Trong nội dung của chương nay trình bày một số lý thuyết và công trình
nghiên cứu của các tác giả đi trước làm cơ sở cho nghiên cứu bao gồm:Khái niệm
phụ thuộc mạnh, hệ tính chất xác định phụ thuộc mạnh, phương pháp xác định phụ
thuộc mạnh trong Cơ sở dữ liệu, phần tử ngoại lai và mối quan hệ giữa chúng với
khai phá dữ liệu.Đồng thời trình bày mô hình phát hiện phần tử ngoại lai trong dữ
liệu,trong cơ sở dữ liệu quan hệ và ứng dụng của các phần tử ngoại lai.
1.1.Khái niệm về phụ thuộc mạnh
Phụ thuộc mạnh (StrongDependencies) là khái niệm mới được một số tác
giả đề xuất và nghiên cứu [2], [11], [17], nó có nhiều ứng dụng quan trọng trong
thực tiễn, đặc biệt khi chúng ta cần phân tích mối quan hệ giữa những yếu tố có
ảnh hưởng mạnh mang tính quyết định đến nhau.Phụ thuộc mạnh (PTM) liên
quan nhiều đến phụ thuộc hàm (PTH) thông thường, và các PTM trên R cũng là
các phụ thuộc hàm theo nghĩa thông thường trên R.Tuy nhiên các kết quả về
PTM của các tác giả đi trước mới chỉ được đề xuất trong phạm vi họ các PTM
trên một tập thuộc tính R.Nội dung dưới đây em trình bày một số kết quả nghiên
cứu về mối quan hệ giữa họ S+các PTM và họ F+ các PTH trên R; phương pháp
để xác định các họ phụ thuộc mạnh S+ trên một sơ đồ quan hệ cũng như phương
pháp xác định các PTM trên một quan hệ, đồng thời em cũng trình bày phương
pháp xác định phần tử ngoại lai đối với các phụ thuộc mạnh.
Các khái niệm về phụ thuộc mạnh và các kết quả sau có thể tìm thấy trong
[2], [11], [17]:

Cho R là một tập hữu hạn không rỗng các thuộc tính, r = (t1, t2,...,tm) là
một quan hệ trên R và A, B ⊆ R. Ta nói rằng B phụ thuộc mạnh vào A trên r, kí
s

 B nếu:
hiệu là A 
r

 t1, t2∈r : nếu với mỗi a∈A mà t1(a) = t2(a) thì với mọi b∈B:t1(b) = t2(b).
s

 B}.Sr được gọi là một họ đầy đủ các phụ thuộc
Đặt Sr= {(A,B): A 
r


4

s

 B, với
mạnh của r.Một phụ thuộc mạnh trên R là một mệnh đề dạng A 
r

A,B⊆ R.
s

s

 B đúng trên một quan hệ r nếu A 


Một phụ thuộc mạnh A 
s

 B.Cho R là một tập
B.Chúng ta cũng nói rằng r thoả phụ thuộc mạnh A 
không rỗng hữu hạn các thuộc tính và P(R) là các tập con của R.Cho Y⊆P(R) x
P(R).Chúng ta nói rằng Y là một họ s trên R nếu và chỉ nếu với mọi
A,B,C,D⊆R v à a ∈R, ta có:
(S1) ({a},{a})∈Y,
(S2) (A,B)∈Y, (B,C)∈Y ; B ≠  ⇒(A,C)∈Y,
(S3) (A,B)∈Y, C⊆A , D⊆B ⇒(C, D)∈Y,
(S4) (A,B)∈Y, (C,D)∈ Y ⇒(A∪C, B∩D)∈Y,
(S5) (A,B)∈Y, (C,D)∈Y ⇒(A∩C, B∪D)∈Y.
Dễ thấy rằng Sr là một họ s trên R.
Nếu Y là một họ s trên R thì sẽ có một quan hệ r để sao cho Y = Sr.
Đặt S+ là họ tất cả các PTM mà có thể suy dẫnlogic từ s theo các qui tắc
( S 1 ) - (S5).Gọi S+ là bao đóng của S.
Gọi cặp (R, S) với R là tập không rỗng các thuộc tính và S là tập các PTM
trên R là một sơ đồ mạnh (SĐM) (StrongScheme).
Giả sử: G = (R,S) là một SĐM trên R và X ⊆R khi đó đặt:
s

 a∈S+}
Xs+ ={a∈R | X 
Gọi Xs+ là bao đóng của X trên G.
s

 B∈S+ khi và chỉ khi Y ⊆Xs+
Với X,Y ⊆R rõ ràng A 

Để thuận tiện ta sẽ kí hiệu X
s

Y để chỉ phụ thuộc hàm thông thường và

 Y là phụ thuộc mạnh (hoặc có thể viết X
ký hiệu: X 

Y∈S+).

Trong [2], [11], [17], các tác giả mới chỉ nghiên cứu các tính chất của các
PTM trên một sơ đồ mạnh (SĐM) g = (R, S) mà chưa đề cập đến mối quan hệ
giữa một tập các phụ thuộc mạnh trên R với tập các phụ thuộc hàm F trên


5

R.Trong nội dung dưới đây, tôi trình bày một số kết quả nghiên cứu về mối quan
hệ giữa tập PTM và tập các PTH thông thường trên một tập thuộc tính R.Đồng
thời cũng trình bày phương pháp xác định các PTM trên một sơ đồ quan hệ cũng
như trên một quan hệ cho trước.
1.2. Phương pháp xác định phụ thuộc mạnh trong CSDL
Vì rằng các PTM được sinh ra từ họ các phụ thuộc hàm nào đó trên tập
thuộc tính R.Vì vậy trong kết quả nghiên cứu của tôi dưới đây, tôi xét mối quan
hệ giữa họ các PTM và họ các PTH thông thường trên một SĐQH.
s

 Y∈S+hoặc kí
Ta kí hiệu một phụ thuộc mạnh giữa X, Y ⊆R là X 
hiệu: X

Y ∈S+(với S+là một tập các phụ thuộc mạnh) là tương đương [1], [2].

* Hệ tính chất xác định phụ thuộc mạnh
Giả sử cho (R,F) là một sơ đồ quan hệ. Ta kí hiệu F+ là bao đóng của F,
S+là tập các phụ thuộc mạnh được sinh ra từ F+ theo hệ tính chất sau:
Y∈F+ khi và chỉ khi {a}

T1. Với a∈R,Y⊆R nếu {a}

Y∈S+;

s

s

 C∈S+ khi và chi khi A 
 C vàB
T2.  A,B,C⊆R ta có AB 
s


C∈S+;
s

s

 C D ∈S+ khi và chỉ khi A 
 C∈S+và A
T3.  A,C,D⊆R ta có A 


s  D∈S+;
Tính đúng đắn và đầy đủ của hệ tính chất trên sẽ được chứng minh ở Định
lý 1.2.1dưới đây.
Từ hệ các tính chất trên ta cũng sẽ dễ chứng minh các hệ quả sau của họ
các phụ thuộc mạnh S+được sinh ra từ F+.
s

 Y∈S+ khi và chỉ khi  a ∈Xta có {a}
H1.  X, Y⊆Rkhi đóX 

Y∈F

H2.S+∈F.
Ta chứng minh H1 :
Nếu  X, Y ⊆ R, giả sử X= x1x2...xk mà ta có {xi}
theo T1 ta có:{xi}
{xi}

Y∈F+ với i =1...k thì

Y∈S+.Áp dụng k lần T2 đối với các PTM:

Y∈S+,xi∈X,ta có: X

Y∈S+.


6

Ngược lại:  X, Y ⊆R ta có X

Y∈S+giả sử với bất kỳ a∈X ta có:

X = {a}∪X-{a} như vậy {a}∪(X - {a})

Y∈S+.

Y∈S+. Theo T1 thì ta có {a}

Theo T2 ta có: {a}

Y ∈F+. Điều phải

chứng minh.
Chứng minh H2:
Giả sử X

Y∈S+. Ta sẽ chứng minh X

Y∈F+. Thật vậy theo Hệ quả

H1 đã được chứng minh ở trên thì  a ∈X ta có {a}

Y∈F+. Do F+ là một họ f

trên R do vậy áp dụng nhiều lần tính cộng tínhcủa họ f ta có X

Y∈F+. Suy ra

S+⊂F+[1], [2].Điều phải chứng minh.
Định lý 1.2.1(Tính đúng và đầy đủ của hệ T1-T3).
Cho (R,F) là một SĐQH, F+là bao đóng của F. Tập các phụ thuộc mạnh
S+được sinh ra từ tậpF+theo các tính chất T1-T3 là đúng và đầy đủ.
Chứng minh
+Ta sẽ chứng minh tính đúng đắn của hệ tính chất T1-T3
Có nghĩa là S+được sinh ra theo T1 - T3 là một họ s trên R. Tức là nó sẽ
thoả mãn các tính chất (S1) - (S5) của một họ s trên R[2].
- Tính chất (S1):
s

 {a}∈S+.Điều phải
{a}∈F+.Do vậy{a} 

Với mọi a ∈R ta có {a}
chứng minh.
- Tính chất (S2):
s

s

 B∈S+, B 
 C∈S+;B# ta sẽ chứng minh
Giả sử: A 

A


s  C∈S+.
s

 B∈S+suy ra  a∈A ta có {a}
A

Thật vậy: từ
s

 C∈S+suy ra  b∈B ta có{b}
H1).Cũng vậy từB 

B∈F+(Theo

C∈F+.

Theo tính chất của họ các phụ thuộc hàm thì ta có:
{a}

{b}∈F+,  a∈A và  b∈B

{b}

{b}∈F+,  b∈B và  c∈C

Suy ra {a}

{c}∈F+suy ra {a}

C∈F+  a∈A và  c∈C.Theo tính chất

7

s

s

 C∈S+.Áp dụng tính chất T2 nhiều lần ta sẽ thu được A 

T1 ta có {a} 
C∈S+.Điều phải chứng minh.
- Tính chất (S3):
s

s

 B∈S+và C ⊆ A, D ⊆ B, ta sẽ chứng minh C 
 D∈S+
Giả sử từ A 
s

 B∈S+, theo tính
Thật vậy, ta có A = C∪(A-C); B = D∪(B-D); A 
s

s

 B∈S+. Theo tính chất T3 ta cóA 
 B∈S+.
chất T2 ta có: C 
Điều phải chứng minh.

- Tính chất (S4):
s

s

s

 B∈S+, C 
 D∈S+ta sẽ chứng minh: AC 
 B∩D∈S+
Giả sử A 
s

 B∈S+suy ra
Thật vậy: đặt E = B∩D do B = (B-E)∪E. Từ A 
s

 E∈S+ (theo T3).
A
s

s

 D∈S+suy ra C 
 E∈S+(theo
Tương tự do D = (D-E)∪E. Từ C 
s

s

 E∈S+hay là:AC 
 B∩D∈S+.Điều phải
T3). Theo tính chất T2 ta có:C 
chứng minh.
- Tính chất (S5):
s

s

s

 B∈S+,C 
 D∈S+ ta chứng minh:A∩C 
 BD∈S+.
Giả sử A 
s

 B∈S+ và theo tính chất
Thật vậy, đặt Q = A∩C. Ta có: A= Q∪(A - Q) từ A 
s

s

 B∈S+.Tương tự vì C= Q∪(C-Q) và C 
 D∈S+ ta có: Q
T2 suy ra Q 


s  D∈S+. Theo tính chất T3 ta có: Q 
s  BD∈S+ hay là: A∩C 

s 
BD∈S+.
Như vậy tập S+thoả mãn các tính chất (S1) - (S5). Do vậy nó là một họ s
trên R.
+ Ta chứng minh tính đầy đủ của S+, có nghĩa là với một phụ thuộc mạnh
s

s

 Y∈F+ta sẽ chứng minh X 
 Y∈S+.
bất kỳ X 
s

 Y∈F+ là phụ thuộc mạnh nên dễ dàng suy
Giả sử X = x1x2...xk. Vì X 
ra các phụ thuộc hàm {Xi}

Y∈S+ với i = l…k.


8

s

 Y∈F+ với i = l…k.Vì các phụ thuộc mạnh này
Theo T1 ta có (xi} 
s

 Y∈S+.Điều

thuộc S+nên ta có thể áp dụng k lần tính chất T2 và suy raX 
phải chứng minh.
Định lý dưới đây sẽ chỉ ra rằng với một họ các phụ thuộc mạnh cho trước
có thể xác định một họ các phụ thuộc hàm sinh ra nó.
Trước hết ta xét một bổ đề sau:
Bổ đề 1.2.1(Tính bắc cầu hỗn hợp):
Giả sử (R, F) là một SĐQH.F+là bao đóng của F (theo hệ tiên đề
Amstrong).S+là họ các phụ thuộc mạnh sinh ra từ F+ theo hệ tính chất T1 - T3.
s

s

s

 Y∈S+và Y 
 Z∈F+thì ta cóX 
 Z∈S+.
Khi đó nếu X 
Chứng minh
Trước hết với một quan hệ r bất kỳ trên (R,F). Chúng ta chứng minh
s

s

 Zlà một phụ thuộc mạnh đúng trên r. Thật vậy, do X 
 Y là phụ
X
thuộc mạnh nên ta có:
 t1 t2∈r: nếu với mỗi a∈X mà t1(a) = t2(a) thì  b∈Y: t1(b) = t2(b).

Do Y

Z là một phụ thuộc hàm nên ta có:

 t1 t2∈r: nếu  b∈Y: t1(b) = t2(b) thì suy ra  z∈Z: t1(z) = t2(z).

Từ đây ta suy ra:
 t1 t2∈r: nếu với mỗi a∈X mà t1(a) = t2(a) thì  z∈Z: t1(z) = t2(z).
s

Z là một phụ thuộc mạnh
Theo định nghĩa phụ thuộc mạnh ta có X 
đúng trên r.
s

s

s

Y∈F+,Y 
Z∈F+.Theo tính chất bắc cầu suy ra: X 

VìX 
Z∈F+.
s

 Z là một phụ thuộc mạnh thuộc F+ nên theo Định lý 1.2.1 suy
Do X 
s

 Z∈S+.Bổ đề được chứng minh.
ra:X 
Định lý 1.2.2(Sự tồn tại họ phụ thuộc hàm sinh ra họ phụ thuộc mạnh)
Cho R là một tập các thuộc tính, S+là một họ s các phụ thuộc mạnh trên R.


9

Có thể tìm được một họ F+ các phụ thuộc hàm trên R mà S+ sẽ được sinh ra từ
F+ theo các tính chất T1-T3.
Chứng minh
Ta xây dựng một họ các phụ thuộc hàm F+từ họ S+theo các qui tắc như sau:
Quy tắc 1:  X⊆R, A⊆X thì X

A∈F+;

Quy tắc 2:  ∈R, Y⊆R, nếu {a}

Y∈S+thì {a}

Y∈F+,  Z⊆R thì XZ

Quy tắc 3:  X

Quy tắc 4:  X,Y,Z⊆R mà có X

Y∈F+.

YZ∈F+;

Y∈F+, và Y

Z∈F+ thì X

Z∈F+.

Họ S+sẽ đóng vai trò như tập phụ thuộc hàm F ban đầu để xây dựng F+.
Trước hết ta chứng minh rằng họ F+ được sinh ra từ họ phụ thuộc mạnh
S+theo các qui tắc 1, quy tắc 4 như trên là một họ f trên R.
(Khái niệm về họ f trên R được trình bày trong [1], [2], [5], [6]).
Thật vậy:
Với mọi A, B, C,D ⊆R ta có:
- Do A ⊆A nên A

A∈F+ theo Qui tắc 1

- Giả sử có A

B∈F+, và C

- Giả sử có A

B∈F+, A ⊆C, D ⊆ B ta có do A ⊆C nên C

tắc 1). Theo Qui tắc 4 (bắc cầu) thì C
Do D ⊆Bnên B
G

D∈F+ thì A

C∈F+ theo Qui tắc 4
A∈F+ (Qui

B∈F+.

D∈F+. (Qui tắc 1), kếthợpvới C

B∈F+ ta có

D∈F+. (Qui tắc 4).
- Giả sử A

AC
ra AC

BC∈F+; với C

B∈F+, C

D∈F+. Áp dụng Qui tắc 3 với A

D∈F+ ta có BC

C∈F+ ta có

BD∈F+. Theo Qui tắc 4 (bắc cầu), suy

BD∈F+.
Như vậy F+ là một họ f trên R(Theo [2], [5]).
Bây giờ chúng ta sẽ chứng minh rằng S+cũng thoả các tính chất T1 - T3

với F+ được xây dựng như trên.
- Tính chất T1 :
Giả sử với a∈R, Y⊆R à {a}
F+.

Y∈S+khi đó theo qui tắc 2 thì {a}

Y∈


10

Y∈F+ (giả sử Y≠{a} vì nếu Y={a)

Ngược lại, giả sử a∈R, Y⊆Rnếu{a}

Y∈S+theo tính chất của họ s). Ta sẽ chứng minh rằng

thì hiển nhiên (a)
(a)

Y∈S+.Thật vậy, F+ là một họ f trên R nên suy ra  y∈Y ta có {a}

{y}

∈F+. Do mọi phụ thuộc hàm thuộc F+ được suy dẫn theo các qui tắc 1, 2, 3, 4
theo cách xây dựng trên {a}

{y} ∈F+ chỉ có thể được suy dẫn từ qui tắc 2 hoặc

qui tắc 4.
+ Nếu nó được suy dẫn từ Qui tắc 2 thì hiển nhiên {a}

{y}∈S+.

+ Nếu nó được suy dẫn từ Qui tắc 4, thì sẽ phải có một phụ thuộc mạnh
dạng{a}
F+ để {a}
{a}

{z}∈S+(cũng đồng thời thuộc F+) và một phụ thuộc hàm {z}

{y}∈

{y}∈F+ với z là một thuộc tính nào đó thuộc R. Theo Bổ đề 2.1 thì

{y}∈S+.Từ đó  y∈Y ta có{a}

{y}∈S+. Theo tính chất (S5) của họ s, ta

Y∈S+.Điều phải chứng minh.

dễ dàng suy ra {a}

- Tính chất T2:
Giả sử có A,B, C⊆R mà AB
PTM ta có: A

C∈S+.Tương tự ta có B

Ngược lại, nếu có A
PTM ta có AB

C∈S+.do A⊆AB, theo tính chất S3 của họ
C∈S+.

C∈S+và B

C∈S+thì theo tính chất S4 của họ

C∈S+.Điều phải chứng minh.

- Tính chất T3:
Giả sử với A, C, D ⊆R mà A
họ PTM ta có A

C∈S+.Tương tự A

Ngược lại nếu A
có A

C∈S+và A

CD∈S+.Do C⊆CD,theo tính chất S3 của
D∈S+.
D∈S+thì theo tính chất S5 của họ PTM ta

CD∈S+.
Ta được điều phải chứng minh.

Mệnh đề 1.2.2 (Phụ thuộc mạnh của các tập phụ thuộc hàm tương

đương).
Giả sử G và F là hai tập phụ thuộc hàm tương đương (F+= G+). Khi đó
các họ phụ thuộc mạnh sinh ra từ F+và G+(theo T I - T 3 ) là như nhau.
Chứng minh
Giả sử S1+, S2+ là các họ phụ thuộc mạnh sinh ra từ F+ và G+. Ta có:


11

S1+⊂F+ suy ra S1+⊂G+. Do S2+là họ các phụ thuộc mạnh sinh ra từ G+ nên
S1+⊆S2+(tính đầy đủ của họ PTM, xem Định lý 2.3).
Tương tự ta cũng có S2+⊆S1+ vậy S1+=S2+. Điều phải chứng minh.
Bây giờ ta xét tập các phụ thuộc mạnh SF sinh ra từ tập F các phụ thuộc
hàm theo các qui tắc sau:
T0’: {a}

{a}∈ SF.

T1’: Với a∈R, Y⊆Rthì {a}

Y∈F khi và chi khi {a}

Y∈SF.

s

s

 C∈C khi và chỉ khi A 
 C∈SFvà B
T2’:  A,B,C ⊆R ta c ó A B 

s  C∈SF
s

s

 CD∈SFkhi và chỉ khi A 
 C∈SF vàA
T3’:  A,C,D ⊆R ta có A 

s  D∈SF
s

s

s

 B∈SF và B 
 C∈SF thì A 
 C∈SF
T4’:  A,B,C⊆R nếu A 
Bổ đề 1.2.2:
Họ các phụ thuộc mạnh SF được sinh ra theo T0' - T4' là một họ s trên R.
Chứng minh
Ta sẽ chứng minh SF thoả các tính chất s 1 - S5 của họ s trên R.
- Sl:
Theo T0' ta có {a}

{a}∈SF.

- S2:
s

s

s

 B∈SFvàB 
 C∈SFthìtheo T4' ta có A 
 C∈SF
Nếu A 
- S3:
s

 B∈SF và C ⊆A, D ⊆B ta cóA = C∪(A-C).Theo T2' ta có:
Giả sử A 
s

s

 B∈SF.Cũng do B=D∪(B-D) nên theo T3' ta có: C 
 D∈SF
C
- S4:
s

s

 B∈SF và C 
 D∈SF.Đặt E = B∩D ta có:E⊆B v à
Giả sử A 
s

 E∈SF và C
E ⊆D . Do B = E∪(B-E) và D = D∪(D-E).Áp dụng T2' ta có:A 


12


s  E∈SF.Áp dụng T3' ta được: AC 
s  E∈SF, hay viết lại:A∪C 
s 
D∪SF.Điều phải chứng minh.
-S5:
s

s

s

 B∈SFvà C 
 D ∪ SF.Ta sẽ chứng minh:A∪C 

Giả sử A 
D∪SF
Đặt Q = A∪C. Ta có A = Q∪(A-Q) và C = Q∪(C–Q). Theo T2' ta có:

s

s

s

 B∈SF và Q 
 B∈SF. Theo T3' thì ta có: Q 
 BD∈SF hay
Q
s

 B∪D∈SF. Điều phải chứng minh.
viết lại là A∩C 
Như vậy tập SFlà một họ s trên R.
Định lý 1.2.3.
Họ phụ thuộc mạnh sinh ra từ tập phụ thuộc hàm tối tiêu F.
Họ phụ thuộc mạnh SF sinh ra từ tập phụ thuộc hàm tối tiêu F và họ phụ
thuộc mạnh sinh ra từ F+(F+là bao đóng của F theo Hệ tiên đề Amstrong) là như
nhau,có nghĩa là: SF= S+.
Chứng minh
Do F là một phụ thuộc hàm tối tiểu nên vế phải của các phụ thuộc hàm
của F chỉ có một thuộc tính.
Kí hiệu SFlà tập các PTM sinh ra từ F theo các qui tắc T0' - T4'.S+ là các
PTM sinh ra từ F+ theo T1-T3. Khi đó SF = S+. Thật vậy:
Giả sử có một phụ thuộc mạnh X
- Nếu X

Y ∈S+, ta chứng minh nó cũng thuộc SF.

Y ∈S+ có dạng x1, x2,…, xh

y1, y2,…,yh(với X= x1, x2…xh và

Y= y1,y2..., yk) được suy dẫn theo T1- T3. Dễ thấy rằng {xi}
T1 thì {xi}

{yi} ∈F+ và dễ dàng chứng minh rằng {xi}

{yi} ∈S+ và theo

{yi} ∈SF.

Áp dụng k lần tính chất T2' và h lần tính chất T3' cho các phụ thuộc hàm
{xi}

{yi} ∈SF ta sẽ nhận được X

Y ∈SF. Có nghĩa là S+⊆SF.

Ngược lại, vì tập SF cũng là tập các phụ thuộc mạnh trong F+. Theo Định
lý 1.2.1về tính đầy đủ của họ các phụ thuộc mạnh S+trong F+ nên ta có SF ⊆S+.Từ
đây ta suy ra: SF= S+. Điều phải chứng minh.


13

Từ Định lý 1.2.1, Mệnh đề 1.2, và Định lý 1.2.3 ta thấy rằng để tìm tập
tất cả các phụ thuộc mạnh trên SĐQH (R, F) thì ta có thể thực hiện các bước:
- Xây dựng tập phụ thuộc hàm tối tiểu G tương đương với F.

- Từ tập phụ thuộc hàm tối tiểu này xây dựng tập các phụ thuộc mạnh
theo các qui tắc T0' - T4'.
1.3.Phần tử ngoại lai và mối quan hệ giữa chúng với khai phá dữ liệu
1.3.1. Khái niệm về phần tử ngoại lai
Một cách hình thức người ta có thể định nghĩa phần tử ngoại lai
(Outliers) của một tập dữ liệu là các phần tử mà theo một cách nhìn nào đó có
các đặc tính không giống với tập hợp đa số còn lại của tập dữ liệu. Chẳng hạn
trong hình 1.3.1 cho thấy một phần tử ngoại lai theo vị trí hình học.

Hình 1.3.1 – Phần tử ngoại lai trong tập điểm có tọa độ (x,y) trên mặt phẳng có
giá trị tung độ y nhỏ hơn hẳn các phần tử khác của tập hợp
Các khái niệm về ngoại lai đầu tiên có nguồn gốc từ lĩnh vực thống kê.
Barnett và Lewis định nghĩa: Một phần tử ngoại lai là một quan trắc hoặc một tập
con các quan trắc mà sự xuất hiện của chúng trái ngược với những quan trắc còn
lại, (xem [10]). Phần tử ngoại lai cũng có thể được hiểu như một quan trắc mà giá
trị của nó khác biệt quá nhiều so với những quan trắc khác gây cho người ta nghi
ngờ rằng nó được thực hiện bằng một kỹ thuật khác.
Có nhiều phương pháp định nghĩa và hiểu khác nhau về phần tử ngoại lai.
Tuy nhiên chúng có chung là: phần tử ngoại lai của một file dữ liệu là những
phần tử của file dữ liệu có sự khác biệt đáng kể đối với những phần tử còn lại. Và
khi tiến hành xác định phần tử ngoại lai, trước hết người ta đưa ra định nghĩa, sau


14

đó xây dựng phương pháp để xác định.
1.3.2. Các phương pháp xác định phần tử ngoại lai
Có nhiều công trình nghiên cứu về phát hiện phần tử ngoại lai. Các
phương pháp chính để xác định phần tử ngoại lai bao gồm:
1.3.2.1. Xác định phần tử ngoại lai theo khoảng cách (Distance-Based):

Theo hướng tiếp cận này phải xác định một hàm đo khoảng cách (metric)
giữa các phần tử trong tập dữ liêu. Các phần tử ngoại lai là những phần tử nằm
khá xa với tập các phần tử còn lại.Điển hình cho hướng tiếp cận này là Knorr.
(xem [18], [19]).
Một trong những định nghĩa của Knorr đưa ra như sau:
Cho một tập hợp dữ liệu (dataset) T; O là một phần tử thuộc T. Xác định
một hàm khoảng cách trong T (khoảng cách giữa 2 điểm trong T). Gọi D – lân
cận của O là một tập hợp các điểm Q∈ T sao cho khoảng cách tới O nhỏ hơn D.
Một phần tử O trong tập dữ liệu T là một (M,D)-outlier nếu số phần tử của
T nằm trong D-lân cận của O không vượt quá M.
Ví dụ: O là (3,5)-outlier trong T, nếu trong lân cận khoảng cách 5 của O
không có quá 3 phần tử của T.
(Lân cận khoảng cách của O là các điểm cách O không quá 5 đơn vị đo
khoảng cách).
1.3.2.2. Xác định theo thống kê (Sttistical-Based):
Hướng nghiên cứu này dựa trên việc xác định các mô hình phân phối
thống kê mà các phần tử phải tuân theo (phân phối chuẩn, phân phối X2...). Phần
tử ngoại lai là những phần tử không tuân theo các luật này. Điển hình cho hướng
tiếp cận này là các tác giả Barnett and Lewis (xem [10]).
Ví dụ về một định nghĩa phần tử ngoại lai theo thống kê: Cho một tập dữ
liệu T sau khi xác định các phần tử tuân theo luật chuẩn N(µ,
và phương sai

) với kỳ vọng µ

, các phần tử t ∈ T được gọi là phần tử ngoại lai nếu:
|(t-µ)/ |>=3

Các phần tử ngoại lai được xác định là các phần tử có giá trị lệch với giá trị trung

15

bình µ vượt quá 3 (quy tắc 3 ).
1.3.2.3. Xác định theo độ khác biệt (Deviation-Based):
Hướng nghiên cứu này dựa trên việc xác định những đặc trưng cơ bản của
các phần tử trong một tập các phần tử.Các phần tử có những đặc trưng khác biệt
quá lớn so với các phần tử còn lại thì là các phần tử ngoại lai. Điển hình cho
hướng tiếp cận này là các tác giả Arning, Agrawal, Raghavan (xem[8]).
Đồng thời với các hướng nghiên cứu này, các tác giả cũng đưa ra các
phương pháp và thuật toán xác định phần tử ngoại lai: phương pháp dựa theo đồ
thị (Graphical methods), phương pháp dựa theo phân phối (Distribution-based
methods), phương pháp dựa theo độ sau (Depth-Based methods), thuật toán phân
cụm (Clustering Algorithm) và đặc biệt phương pháp dựa theo khoảng cách
(Distance-Based methods) được Knorr phát triển trong các công trình của mình.
Các phương pháp nói trên mới nghiên cứu phát hiện phần tử ngoại lai trên
tập các phần tử dữ liệu nói chung, chưa đi sâu vào các loại dữ liệu cụ thể. Mặt
khác vai trò của các ràng buộc, luật biết trước chưa được đặt ra. Các tác giả
nghiên cứu thường giải quyết vấn đề phát hiện phần tử ngoại lai đồng thời với
việc phát hiện những luật mà các phần tử của tập dữ liệu phải tuân theo. Điều này
làm hạn chế đến hiệu quả khi áp dụng vào những trường hợp CSDL cụ thể hoặc
khi chúng ta quan tâm nhiều đến sự vi phạm của các phần tử dữ liệu đối với một
tập hợp các luật được cho trước.
1.3.3. Mối quan hệ giữa phần tử ngoại lai và khai phá dữ liệu
Trước khi các kỹ thuật khai thác dữ liệu ra đời, thông tin hữu ích chỉ được
khai thác hiệu quả trên các tập dữ liệu với cỡ và số chiều dữ liệu là nhỏ. Do đó,
để có thể khai thác dữ liệu một cách hiệu quả với khối lượng thông tin lớn thì cần
thiết phải có các công cụ khai thác dữ liệu tốt, các thuật toán khai thác dữ liệu tự
động, thời gian thực hiện nhanh. Trong thực tế các chương trình ứng dụng khai
thác dữ liệu thường phải khai thác dữ liệu trên các tập dữ liệu rất lớn không phù

hợp với bộ nhớ chính [4].
Dữ liệu đó được gọi là dữ liệu nằm trong bộ nhớ ngoài (Disk –


16

residentData).
Một vấn đề được quan tâm trong luận văn này là tìm hiểu các thuật toán
khai thác, tìm kiếm các phần tử ngoại lai trong các tập dữ liệu lớn, nhiều chiều.
Hiện nay, một số các kỹ thuật phát hiện phần tử ngoại lai nhằm các mục đích sau:
a) Cung cấp một số giải thích hoặc mô tả về không gian dữ liệu mà trong
đó xuất hiện phần tử ngoại lai.
b) Cung cấp một số thông tin về mối quan hệ giữa các phần tử ngoại lai
(ví dụ đối với cường độ của hai phần tử ngoại lai).
Một số vấn đề khác cần quan tâm liên quan tới “ ý nghĩa “ của các phần tử
ngoại lai. Cho đến nay, chưa có một đĩnh nghĩa nào định nghĩa một cách đầy đủ
và chính xác về phần tử ngoại lai. Việc xác định các phần tử ngoại lai trong mỗi
lĩnh vực là khác nhau. Bời vì “ ý nghĩa “ ngoại lai của các phần tử ngoại lai mang
tính chất và đặc trưng của từng lĩnh vực áp dụng,nên rất khó để đưa ra được một
định nghĩa hoàn chỉnh về phần tử ngoại lai.
1.4.Mô hình phát hiện phần tử ngoại lai trong dữ liệu và trong cơ sở dữ liệu
quan hệ
Như tôi đã tình bày ở trên, các hướng nghiên cứu phát hiện phần tử ngoại
lai của các tác giả đi trước mới dừng lại nghiên cứu phát hiện phần tử ngoại lai
trên tập các phần tử dữ liệu nói chung, chưa đi sâu vào các loại dữ liệu có cấu
trúc cụ thể. Mặt khác vai trò của các ràng buộc, luật biết trước chưa được đặt ra.
Điều này làm hạn chế đến hiệu quả khi áp dụng vào những trường hợp loại
CSDL cụ thể hoặc khi chúng ta quan tâm nhiều đến sự vi phạm của các phần tử
dữ liệu đối với một tập họp các luật được cho trước[1], [2]. Nội dung dưới đây
tôi trình bày hướng nghiên cứu mới về phát hiện các phần tử ngoại lai đối với

CSDL quan hệ dựa theo các luật (Rule-Base). Hướng tiếp cận này mang lại hiệu
quả hơn đối với nhiều trường hợp thực tế.
1.4.1.Định nghĩa mô tả
Cho một sơ đồ quan hệ (R,F), với tập thuộc tính R={A1,A2,..,An} và tập
các phụ thuộc hàm F đúng trên R. Gọi F+ là bao đóng của F (theo Hệ tiên đề


17

Amstrong). Giả sử rlà một bảng dữ liệu có các trường (thuộc tính) và miền giá trị
trùng với quan hệ trên sơ đồ quan hệ (R,F). Ta gọi rlà bảng dữ liệu trên R. Bảng
dữ liệu này có thể chứa những bộ trùng nhau. Kí hiệu T là tập các ràng buộc và
qui tắc mà các phần tử của R phải thoả mãn.
Định nghĩa 1.4.1:
Cho một bảng dữ liệu r trên một tập thuộc tính R. Kí hiệu T là tập các qui
tắc, ràng buộc (gọi là các luật) mà các phần tử của r phải tuân theo. Phần tử
ngoại lai của r là những phần tử của bảng dữ liệu này không tuân theo một trong
các qui tắc, ràng buộc đó.
Một phần tử của bảng dữ liệu được hiểu là một bộ các giá trị của các i
thuộc tính.
Các qui tắc, ràng buộc được đề cập bao gồm những ràng buộc về cấu trúc
của CSDL (khoá, phụ thuộc hàm, các dạng chuẩn phải tuân theo đối với một
quan hệ và các ràng buộc theo ngữ nghĩa phụ thuộc vào yêu cầu, ý nghĩa của ứng
dụng mà trong đó CSDL được sử dụng.
Ví dụ: Cho bảng dữ liệu r trên sơ đồ quan hệ (R,F)được giả thiết là một
quan hệ có dạng chuẩn 3NF.Khi đó các phần tử của r (các bộ của r) cần phải thoả
mãn điều kiện: không có các bộ trùng nhau (điều kiện của một quan hệ), và điều
kiện r ởdạng chuẩn 3NF, tức là không tồn tại một phụ thuộc hàm dạng X

a

+

đúng trên r với a là một thuộc tính thứ cấp và x = R.Tuy nhiên trong quá trình
cập nhật dữ liệu, có sự sai sót dẫn đến r không là một quan hệ hoặc thoả mãn một
phụ thuộc hàm mà vi phạm đến điều kiện của 3NF do có những bộ bị cập nhật
sai (ràng buộc ởđây là điều kiện về điều kiện khoá của quan hệ, và dạng chuẩn
3NF của r). Khi đó những bộ của r có giá trị trùng nhau hoặc vi phạm vào điều
kiện của dạng chuẩn 3NF sẽ được gọi là các phân tử ngoại lai [1],[2].
1.4.2.Phân loại các phần tử ngoại lai trong CSDL quan hệ
Tuỳ theo các loại ràng buộc đối với các phần tử trong một quan hệ của
CSDL quan hệ ta cũng có những loại phần tử ngoại lai đối với từng trường hợp
đó (phần tử vi phạm các ràng buộc tương ứng). Tuỳ theo ngữ cảnh và yêu cầu