Nghiên cứu cải tiến một số phương pháp tra cứu ảnh sử dụng đặc trưng ảnh

L I CAM

OAN

Tôi xin cam oan ây là công trình nghiên c u c
vi t chung v i các tác gi
khác u ư c s
ng ý c

a riêng tôi. Các k t qu ư c
a ng tác gi trư c khi ư a

vào lu n án. Các k t qu

c và chưa t ng ư c ai công

nêu trong lu n án là trung th

b trong các công trình nào khác.

Tác gi

Nguy n H u Qu nh

1


L i c m ơn

Th c hi n lu n án ti n s là m t vi c khó, nhưng là m t nhi m v
áng làm.

Tôi r t h nh phúc khi th c hi n xong lu n án ti n s , và quan tr ng hơn là nh
ng gì
tôi ã h c ư c trong su t ba n m qua. Bên c nh ki n th

c tôi thu ư

ư c phương pháp nghiên c

thành công này không ơ n

thu n b i s

h tr và giúp

c a th y giáo

ng nghi p khác. Nhân cơ h i này, tôi mu n bày t

l i c m ơn

nh.
u tiên, tôi mu n c m ơn

Qu c T o và PGS TS

ơn r t nhi u t
hi u các v n

ư c nghiên c u dư i s

ào t o Sau

TS Nguy n Thanh Th

n PGS TS V

y vì s giúp

ihc

ihc

Tôi mu n c m ơn

c Thi, PGS TS Lương Chi Mai, PGS

cah
s c m ơn

i n l c, ngư i

tài chính cho tôi trong vi c công b

ihc

thông tin,

i cho tôi trong su t quá trình th c hi n lu n án.

nghiên c u c a tôi. Tôi c ng bày t

trư ng trư ng

t ra các câu h i nghiên c u,

môn Khoa h c máy tính, Khoa Công ngh

ã t o i u ki n thu n l

cho các
n PGS TS

ã ng viên và t o

xu t và các trao

i trong

àm Xuân Hi p – Hi u
i u ki n v th i gian và

các bài báo trên các h i ngh và t p chí qu

n các cán b , gi ng viên trong khoa Công ngh

inlc

ó

a hai th y. C m

i h c - Nghiên c u Khoa h c, Ban giám hi u trư ng

Tôi bày t s c m ơn

– Trư ng

hư ng d n c

i hai th y vì s hư ng d n tôi cách
, và vi t các bài báo khoa h c.

Tôi trân tr ng c m ơn B

Công ngh

n hai th y giáo hư ng d n c a tôi, PGS TS Ngô

inh M nh Tư ng, vì s hư ng d n t n tình và khoa h c.

i l n cho tôi

là m t cơ h

Phòng

c l p. S

n l c c a cá nhân tôi, mà còn có s

hư ng d n và nhi u

c a tôi

u m t cách

c, tôi ã h c

ãc v

ct.

thông tin

ng viên và sát cánh bên tôi trong quá trình

nghiên c u.

2


Tôi mu n c m ơn nh ng thành viên c a

tài nghiên c u cơ b n

NCCB200706 v s tài tr tài chính và các góp ý r t h u ích v các bài báo ư c công b trên
các h i ngh và t p chí qu c t .
Tôi c m ơn t t c nh ng ngư i b n c a tôi. Nh ng ngư i luôn chia s và c v tôi trong
nh ng lúc khó kh n và tôi luôn ghi nh i u ó.
Cu i cùng, tôi xin bày t lòng bi t ơn vô h n i v i cha m và gia ình ã luôn ng h ,
giúp tôi.

3


M CL

PH N M

C

U....................................................................................................................... 14

1. Tính c p thi t c a lu n án.................................................................................................... 14
2. M c tiêu c a lu n án............................................................................................................ 16
3. Các óng góp c a lu n án.................................................................................................. 16
4. B c c c a lu n án................................................................................................................ 17
Chương 1. T NG QUAN V TRÍCH RÚT
D A VÀO
1.1 Các

C TR NG VÀ TRA C U

NH

C TR NG..................................................................................................... 18
c trưng................................................................................................................... 18

1.1.1 Các

c trưng toàn c c và c c b............................................................................ 18

1.1.2 Các

c trưng th giác trong tra c u

1.2 Ki n trúc c a m t h
1.3 Trích rút
1.3.1

th ng tra c u

nh............................................................ 19

nh d a vào

c trưng th giác................... 19

c trưng.......................................................................................................... 21

c trưng màu.......................................................................................................... 21

1.3.2 Lư ng hóa màu.......................................................................................................... 23
1.3.3 Bi u di n màu............................................................................................................. 23
1.3.3.1 Lư c

màu..................................................................................................... 23

1.3.3.2 Lư c

màu toàn c c GCH........................................................................... 24

1.3.3.3 Lư c

màu c c b

LCH............................................................................. 26

1.3.3.4 Véc tơ g n k t màu........................................................................................... 28
1.3.3.5 Tương quan màu............................................................................................. 28
1.3.3.6 Các màu tr i....................................................................................................... 29
1.3.3.7 Mô men màu..................................................................................................... 29
1.3.4 Thông tin không gian.............................................................................................. 30

4


1.3.5
1.4 Các
1.5

Phân vùng..............................................................................................

o tương t

31
32

.......................................................................................

ánh giá hi u n ng tra c u...........................................................................

1.6 Các h

th ng VFBIR....................................................................................

1.7 K t lu n và

38
u..............................................................

nh hư ng nghiên c

Chương 2. PHƠ NG PHÁP TRA C
2.1 Lư c

37

UD

màu kh i ........................................................................................

MÀU KH I.... 42
42

2.2 Phương pháp tra c u d a vào lư c
2.2.1 Gi

AVÀOL C

40

màu kh i........................................... 44

i thi u ..............................................................................................

44
xu t HG ...........................................................

47

th hai phía............................................................

47

2.2.2 Phương pháp tra c u
2.2.2.1 Khái ni m v

2.2.2.2. Phương pháp HG............................................................................

48

2.3 Phương pháp c i ti n IHG............................................................................

53

2.3.1 Khái ni m v
2.3.2 Lý do
2.3.3

s tương t

lý tư ng gi a hai d i ..................................... 53

xu t phương pháp IHG............................................................

Phương pháp IHG..................................................................................

2.4 Các th

54
54

c nghi m ..........................................................................................

60

2.4.1 Môi trư ng th

c nghi m ........................................................................

60

2.4.2 Các k t qu

c nghi m........................................................................

61

2.5

th

2.4.2.1 K t qu

th c nghi m v i phương pháp HG ..................................... 61

2.4.2.2 K t qu

th c nghi m v i phương pháp IHG .................................... 65

K t lu n .......................................................................................................

69

Chương 3. PHƠ NG PHÁP TRA C
3.1 Bi u di n nh s

A VÀO VÙNG

NH .................... 71

d ng phương pháp cây t phân ......................................... 71

3.2 Phương pháp tra c u nh s
3.2.1 Gi

UD

d ng

c trưng c a vùng nh ........................... 73

i thi u ..............................................................................................

73

5


3.2.2 Trích rút c trưng.................................................................................
3.2.2.1 Trích rút màu và thông tin không gian.............................................

74
74

3.2.2.2 Trích rút các c m màu thu n nh t. ..................................................

82

3.2.3

tương t gi a hai nh .......................................................................

87

3.2.4 Các th c nghi m....................................................................................

88

3.2.4.1 Môi trư ng th c nghi m .................................................................

88

3.2.4.2 K t qu th

88

3.3

c nghi m .......................................................................

K t lu n .......................................................................................................

Chương 4. XÂY D NG

96
NGD NGTRAC U NHD AVÀON I DUNG98

4.1 Thi t k h th ng t ng quát LVFIR..............................................................

98

4.2Module tra c u group1...............................................................................

100

4.3Module tra c u group2...............................................................................

105

4.4M t s k t qu

...........................................................................................

110

4.4.1 So sánh k thu t LCH, CCH v i HG và IHG.......................................

110

4.4.2 So sánh k thu t QT, CBC và CCV v i CSI và CCS ...........................

112

4.5

K t lu n. ....................................................................................................

116

K T LU N........................................................................................................
DANH M C CÁC CÔNG TRÌNH CÔNG B ..................................................

117
119

TÀI LI U THAM KH O ..................................................................................

120

6

DANHM

CCÁCCH

Ký hi u

VI TT

T

Di n gi i

Black

Màu en

CSDL

Cơ s d

CBC

Color Based Cluster

CCH

Color/Cell Histogram (Lư c

CCS

Cluster of Colors and Space (C m màu và không gian)

CCV

Color Coherence Vectors (Véc tơ g n k t màu)

CSI

Color and Spatial Information (Màu và thông tin không gian)

li u
màu kh i)

DistancebyColor Kho ng cách theo màu
DRC

Distance by Region Comparing

EdgeDistance

Kho ng cách theo c nh

EMD

Earth Mover Distance (Kho ng cách Earth Mover)

GCH

Global Color Histogram (Lư c

Gray

Màu xám

HG

Histogram Graph ( th lư c

Hue

S c màu

IHG

Improving Histogram Graph method (Phương pháp c i ti n
th lư c
)

KLT

Karhunen–Loeve transform (Bi n i Karhunen–Loeve)

LCH

Local Color Histogram (Lư c

LVFIR

Local Visual Feature-based Image Retrieval (Tra c u nh d a
vào c trưng th giác c c b
)

MCM

Minimum Cost Matching (Giá tr

MTM

Mathematical Transform to Munsell (Bi n
h th ng màu Munsell)

7

màu toàn c c)

)

màu c c b )

i sánh c c ti u)
i toán h c sang


Precision

Chính xác

Quantization

Lư ng hóa

QT

Quad Tree (Cây t phân)

Recall

H i tư ng

RGB

Red ( ), Green (Xanh l c), Blue (xanh lơ)

SR

Spatial Relationship (Quan h không gian)

Union

Hp

VFBIR

Visual Feature Based Image Retrieval (Tra c u nh d a vào
c trưng th giác)

White

Màu tr ng

8


DANH M C CÁC HÌNH

Hình 1.1. Ki n trúc h

th ng tra c u

nh d a vào

c trưng th giác.......................... 20

Hình 1.2. Hai nh khác nhau nhưng có cùng lư c

màu............................................ 22

Hình 1.3. T trái sang: nh g c s

d ng 256 màu, ư

c lư ng hoá trong 8 d i, và

ư c lư ng hoá trong 64 d i s d ng không gian màu RGB............................................... 23
Hình 1.4. Ba nh I1, I2 và I3 và các lư c

màu tương ng c a chúng....................... 25

Hình 1.5. Tính kho ng cách gi a nh I1 và I2 s

d ng LCH, d LCH ( I1 ,I 2 ) = 1.319,

dGCH ( I1 ,I 2 ) = 0.088 .......................................................................................................... 26

Hình 1.6. Tính kho ng cách gi a các nh I1 và I3 s

d ng LCH,

d LCH ( I1 ,I3 ) = 0.707, dGCH ( I1 ,I3 ) = 0.088................................................................ 27

Hình 1.7. Tính kho ng cách gi a các nh I2 và I3 s

d ng LCH

d LCH ( I 2 ,I3 ) = 0.707 ,
dGCH ( I 2 ,I3 ) = 0 ....................................................................... 27

Hình 1.8. Recall và Precision cho các k t qu
Hình 2.1. M t nh ư c chia thành 9 kh i
Hình 2.2.

truy v n................................................... 38
nh và ba lư c

màu kh i c a nó.......43

nh I và nh I’......................................................................................................... 45

Hình 2.3. Lư c

màu kh i theo màu black và white bi u di n

nh I......................45

Hình 2.4. Lư c

màu kh i theo màu black và white bi u di n

nh I’..................... 45

Hình 2.5. Tính kho ng cách c a nh I và I’ theo màu black............................................... 46
Hình 2.6. Tính kho ng cách c a nh I và I’ theo màu white............................................... 46
Hình 2.7. Các kh i nh c a m i

nh ư c ánh s t trong ra và ngư c chi u kim

ng h ......................................................................................................................................... 56
Hình 2.8. Lư c
Hình 2.9.

màu kh i theo màu black c a hai nh I1 và I2.................................... 56

th hai phía bi u th m i quan h

c a các d i c a lư c

màu kh i c a

nh I1 và I2 theo màu black..................................................................................................... 57

9


Hình 2.10. Các nh m u c a các truy v n t

1

n 6....................................................... 61

Hình 2.11. So sánh LCH, CCH v i HG theo các truy v n 1, 2, 3 và 4 dư i d ng
Recall - Precision...................................................................................................................... 63
Hình 2.12. So sánh LCH, CCH v i HG theo các truy v n 5 và 6 dư i d ng Recall Precision...................................................................................................................................... 64
Hình 2.13. Các nh m u c a các truy v n t

1

n 6....................................................... 65

Hình 2.14. So sánh HG v i IHG theo các truy v n 1 và 2 dư i d ng Recall –
Precision...................................................................................................................................... 67
Hình 2.15. So sánh HG v i IHG và SR theo các truy v n 3, 4, 5 và 6 dư i d ng
Recall-Precision......................................................................................................................... 68
Hình 2.16. Bi u
Hình 3.1

so sánh t c

c a phương pháp HG và IHG................................ 69

nh g c....................................................................................................................... 71

Hình 3.2. Cây t phân bi u di n
Hình 3.3 Cây bi u di n

nh cho trong Hình 3.1................................................ 72

nh cho trong Hình 3.1................................................................ 73

Hình 3.4.

nh I c

Hình 3.5.

nh I sau khi ư

10×10 i m nh.................................................................................. 77
c tách ra thành hai vùng BR1 và BR2............................. 78

Hình 3.6. Vùng BR2 sau khi ư c tách ra thành hai vùng BR2,1 và BR2,2...............80
Hình 3.7.

nh g m 6×10

i m nh...................................................................................... 85

Hình 3.8. Các nh m u c a các truy v n t

1

n 6......................................................... 89

Hình 3.9. So sánh CSI v i QT và CBC theo các truy v n 1 và 2 dư i d ng RecallPrecision...................................................................................................................................... 90
Hình 3.10. So sánh CSI v i QT, CBC và SR theo các truy v n 3, 4, 5 và 6 dư i
d ng Recall – Precision............................................................................................................ 92
Hình 3.11. Các nh m u c a các truy v n t

1

n 6....................................................... 93

Hình 3.12. So sánh Recall – Precision theo các truy v n 1,2 và 3 c a CCS v i CCV
và CSI........................................................................................................................................... 94

10


Hình 3.13. So sánh Recall-Precision theo các truy v n 4, 5 và 6 c a CCS v i CCV,
CSI và SR.................................................................................................................................... 96
Hình 4.1. Ki n trúc c a h

th ng LVFIR............................................................................. 99

Hình 4.2. Ki n trúc c a Module tra c u group1................................................................. 100
Hinh 4.3. Màn hình chính c a module tra c u group1..................................................... 102
Hình 4.4. Giao di n tra c u khi l a ch n

c i m màu s

d ng LCH..................... 102

Hình 4.5. Giao di n tra c u khi l a ch n

c i m màu s

d ng CCH.................... 103

Hình 4.6. Giao di n tra c u khi l a ch n

c i m màu s

d ng HG.......................103

Hình 4.7. Giao di n tra c u khi l a ch n

c i m màu s

d ng IHG......................104

Hình 4.8. Ki n trúc c a Module tra c u group2................................................................. 105
Hinh 4.9. Giao di n s

d ng k

thu t QT, CBC và CCV c a module tra c u

group2........................................................................................................................................ 106
Hinh 4.10. Giao di n s

d ng k

thu t CSI và CCS c a module tra c u group2.107

Hình 4.11. Giao di n tra c u khi s

d ng phương pháp QT v i nh truy v n............107

Hình 4.12. Giao di n tra c u khi s

d ng phương pháp CBC v i

nh truy v n. ..108

Hình 4.13. Giao di n tra c u khi s

d ng phương pháp CCV v i

nh truy v n....108

Hình 4.14. Giao di n tra c u khi s

d ng phương pháp CSI v i

nh truy v n.......109

Hình 4.15. Giao di n tra c u khi s

d ng phương pháp CCS v i

nh truy v n.....109

Hình 4.16. K t qu

th c hi n truy v n 1.............................................................................. 110

Hình 4.17. K t qu

th c hi n truy v n 2.............................................................................. 111

Hình 4.18. K t qu

th c hi n truy v n 3.............................................................................. 112

Hình 4.19. K t qu

th c hi n truy v n 1.............................................................................. 113

Hình 4.20. K t qu

th c hi n truy v n 2.............................................................................. 114

Hình 4.21. K t qu

th c hi n truy v n 3.............................................................................. 115

11

DANH M C CÁC B NG

B ng 2.1. Các lo i c a

nh truy v n và các nh liên quan................................................ 61

B ng 2.8. Các lo i c a nh truy v n và các

nh liên quan............................................ 65

B ng 3.1. Tính

l ch DXselectedrow cho phân ho ch theo dòng c a nh I................... 78

B ng 3.2. Tính

l ch DXselectedcol cho phân ho ch theo c t c a

B ng 3.3. Tính

l ch DXselectedrow cho phân ho ch theo dòng c a vùng BR2.........80

B ng 3.4. Tính

l ch DXselectedcol cho phân ho ch theo c t c a vùng BR2...............81

nh I.......................79

B ng 3.5. Tính toán giá tr c a vi.............................................................................................. 85
B ng 3.6. Tính toán giá tr c a hj.............................................................................................. 86

B ng 3.7. Các lo i c a

nh truy v n và các nh liên quan................................................ 89

B ng 3.14. Các lo i c a nh truy v n và t p

nh liên quan............................................ 92

B ng 3.17. Các k t qu

c a truy v n 3................................................................................... 94

B ng 3.20. Các k t qu

c a truy v n 3................................................................................... 95

12


13


PH NM

U

1. Tính c p thi t c a lu n án
Nh ng n m g n
ây, chúng ta
tphp

nh s

ngày, vi c s

cùng v i s

ã ch ng ki n s

phát tri n bùng n

d ng các thi t b

thu nh n

t ng nhanh kích c c a các

c a các

nh sinh ra nhi u giga-bytes d

M t lư ng l n thông tin nh, kho ng hàng tr m tri u
này, n u chúng không ư

d

li u

nh. Qu n tr

c t ch

cơ s d li u (CSDL) và th

li u

khác nhau, d a vào v n b n mô t

c

d ng thông tin trong các t p

c

tra c

u hi u qu

giác máy là hai c

trên toàn b
ng

óng góp chính cho l nh v c tra c u nh. Hai c ng ng này ti p c n tra c
hai góc

nh.

ãư

nh [12, 59, 70, 79],

ư a lên Internet. Tuy nhiên, không th truy c p ho c s
nh kh ng l

ng d ng Internet. Hàng

nh và d a vào

ng có
u nh t

c trưng th giác c a

b n thân nh.
S d ng các k
qu n lý CSDL

thu t d a vào v n b n mô t nh ho c t

nh là cách ơ n gi n thư ng ư

c s d ng. Các t

cung c p thông tin n i dung mô t

nh trong m t CSDL nh

các nh

khoá r t l

chi ti t, c n m

ttpt

cư

cách ti p c n này là c n nhân l
i v i m i nh và ch n các t
vi c mô t

n i dung

vào c m nh n ch

khoá mô t

c t p. M t h n ch

khoá

thu t theo ngh a cùng m

thu c

t n i dung

nh khác nhau. C m nh n

i dung nh không chính xác là nguyên nhân làm cho so sánh

sai trong lúc tra c u. Hơn n a, h th ng d
ó, c n có cách ti p c n m

n ac a

nh hi u qu . Công

nh th công này t n nhi u th i gian, chi phí cao và ph

n

nh

mô t

xây d ng các t

lư ng

ư a ra c m nh n v

nh

ã cho, nhưng

khoá phù h p cho tra c u các

nh, nh ng ngư i khác nhau có th

i

kh c ph c các khó kh n
nh ã ư c

n và ph

c ào t o k

quan c a chuyên viên k

ch quan và mô t

khoá mô t

a vào t khoá r t khó thay

i v sau. Do

kh c ph c các h n ch này.
trên, tra c u

nh d a vào

xu t. Ý tư ng cơ b n c a cách ti p c n này là s

14

c trưng th giác c a

d ng k thu t trích


rút c trưng th giác m t cách t
tr c ti p t chính b n thân nh.
H th ng tra c u
CSDL

nh có

ư

cho ra các mô t

nh d a vào

n

c trưng th giác s

c trưng th giác tương t

các nh trong CSDL ư
và trích ch n

ng

c x lý, ư

i dung nh m t cách

xác nh các nh trong

v i nh truy v n theo hai pha: Pha 1, t t c
c trích ch n c trưng th giác. Quá trình x lý

c trưng th giác ư c th

c hi n m t cách t

ng ngay khi các nh

c nh p vào CSDL. Quá trình này gán cho m i nh m t t p các ký hi u mô t ,

các ký hi u mô t
nh này s ư c lưu tr trong CSDL và ư c s
d ng trong pha
ti p theo. Pha 2, trích rút các
c
c trưng th giác c a nh truy v n và so sánh các
trưng này v i các
nào ó. Các

c trưng th

nh trong CSDL ư

giác c a

nh trong CSDL theo m t

c phân h ng theo m c

tương t c a nó v i nh

truy v n. nh có h ng cao nh t ư c truy xu t. Trích rút n

i dung th giác c a các

nh hi u qu và o
tương t gi a các nh d a trên c trưng th
quan tr ng trong tra c u nh d a vào c trưng th giác.
Các nghiên c u g n

o tương t

giác là hai ph n

ây trong tra c u nh t p trung vào trích ch n

th giác g m màu, k t c u, hình d ng và thông tin không gian. Màu là
ư cs d
v
ư c

c trưng

ng r ng rãi nh t cho tra c u nh do tính toán nhanh, tương

i các bi n d ng nh , thay

iv

kích thư c và hư ng. M t s

xu t như: Phương pháp lư c

màu toàn c c và lư c

c trưng

i n

nh

phương pháp ã
màu c c b [51],

phương pháp véc tơ g n k t màu [16], phương pháp tương quan màu [30], phương
pháp lư c
ph i v n

màu kh i [54],… Tuy nhiên, h u h t các phương pháp này
s d ng nhi u không gian
màu bi u di n
lưu tr các lư c

chính xác tra c u không cao,

ugp
nh,

ph c t p tính toán l n, nh y c m v i quay và d ch

chuy n, không cho phép nh n bi t các

i tư ng tương t có màu khác nhau [7, 40,

52, 69].
Do ó, vi c
kh c ph c ư

xu t các gi i pháp tra c u

c các h n ch

trên là m

nh d a vào

c trưng th

giác

t nhu c u c p thi t. ó c ng là lý do mà

15


lu n án ch n
tài “Nghiên c u c i ti n m t s

d ng c trưng nh”.

phương pháp tra c u

nh s

xu t m t s phương pháp tra c u

nh s

2. M c tiêu c a lu n án
M c tiêu c a lu n án là nghiên c u
d ng

c trưng màu và thông tin không gian. Các phương pháp này s

gi i quy t các v n

v gi m không gian lưu tr

nh y c m v i quay và d ch chuy n, gi m

hư ng t i

các lư c màu bi u di n

nh, ít

ph c t p tính toán và t ng

chính xác

xu t các k thu t tra c u

nh d a vào

tra c u.
3. Các óng góp c a lu n án
Trong lu n án này, tác gi nghiên c u

c trưng c a vùng nh g m: phương pháp HG (Histogram Graph) [42], phương pháp
IHG (Improving Histogram Graph) [43], phương pháp CSI (Color and Spatial
Information) [45] và phương pháp CCS (Cluster of Colors and Space) [46]:
- Phương pháp tra c u
nh d a vào
c trưng màu, có tên là HG [42].
c
i m c a phương pháp này là s d ng ít không gian lưu tr các lư c
màu bi u
di n nh và ít nh y c m v i quay và d ch chuy n.
-

t ng cư ng phương pháp HG, chúng tôi

[43], nh m gi m th i gian và t ng
vns

d ng ít không gian lưu tr

ã

xu t phương pháp IHG

chính xác tra c u c a phương pháp HG nhưng
các lư c

màu bi u di n nh và ít nh y c m v

i

quay và d ch chuy n.
- Phương pháp CSI [45] trích rút c trưng màu và thông tin không gian c

a

các vùng nh và s d ng trong quá trình tra c u nâng cao hi u n ng tra c u.
- Phương pháp CCS [46] phân ho ch
c m màu này có th
c a m i vùng ph c v

có kích c

nh thành các c m màu thu n nh t (các

khác nhau) và trích rút thông tin màu và không gian

quá trình tra c u.

16

- Xây d ng h

th ng tra c u

nh d a vào

c trưng th giác có tên là LVFIR

(Local Visual Feature-based Image Retrieval) trên cơ s

các k

tác gi . H th ng này g m hai module chính là module ti n x

thu t

xu t c a

lý và module tra c u.

4. B c c c a lu n án
Lu n án này ư

c b c c thành b n chương, g m 125 trang.

Chương 1 gi i thi u t ng quan v trích rút c trưng và tra c u nh d a vào c trưng th
giác và ư a ra m t s k t lu n và nh hư ng cho nghiên c u.
Chương 2 trình bày k thu t tra c u nh d a vào lư c màu kh i, có tên là HG [42]
và c i ti n c a nó, có tên là IHG [43].

Chương 3 trình bày k thu t trích rút c trưng c a vùng nh s d ng trong quá trình
tra c u nh, có tên là CSI [45] và CCS [46].
Chương 4 trình bày thi t k và th c hi n h d a
vào c trưng th giác (s d ng các k thu t ư Chương 3)

th ng th c nghi m tra c u nh c
xu t trong Chương 2 và

LVFIR, cùng v i m t s k t qu .
Cu i cùng, chúng tôi ư a ra m t s k t lu n và xu t các nghiên c u trong tương lai.

17


Chương 1. T NG QUAN V TRÍCH RÚT C TRƯNG VÀ TRA
C U NH D A VÀO C TRƯNG

Trong chương này, chúng tôi s gi i thi u m t s
v trích rút

c trưng và tra c u

ki n trúc c a h

nh d a vào

th ng tra c u

nh d a vào

khái ni m và k

thu t cơ b n

c trưng th giác g m: các

c trưng,

c trưng th giác, trích rút

c trưng,

các
o tương t , ánh giá hi u n ng tra c
u và gi i thi u m t s h th ng tra c u
nh d a vào
c bi t chúng tôi nh n m nh vào c trưng màu.
c trưng th giác.
Cu i cùng chúng tôi s
1.1 Các

ư a ra m t s

k t lu n và

nh hư ng cho nghiên c u.

c trưng
nh thô không ư

D li u

giác máy vì hai lý do: Th

c s d ng tr c ti p trong h u h t các h

nh t, t n nhi u không gian

th ng th

nh và

lưu tr

ph c t p

tính toán l n. Th hai, nhi u thông tin c a

nh là dư th a và/ ho c không h

Thay vì s

cns

d ng toàn b

nh, chúng ta ch

d ng m

t bi u di n quan tr ng

nh t. Bư c tìm bi u di n ư

c g i là trích rút

véc tơ c trưng. Trích rút

c trưng có th xem như vi c ánh x

nh sang không gian
Liên quan
trưng th giác và
thành

n n i dung nh, các
c trưng ng ngh a.

c trưng nh có th
c trưng th giác có th

c trưng theo l nh v

giác chung g m màu, k t c u, hình d ng và quan h
m tri th c v l nh v

ngh a không d dàng ư

c a bi u di n là
nh t không gian

c trích rút và thư ng ư

d ng v n b n mô t

1.1.1 Các

c trưng toàn c c và c c b

Các c trưng nh có th n i

ư

c phân thành
ư c phân lo

c [12, 70, 79]. Các

c

i ti p

c trưng th

không gian. Các c trưng theo

c như m t ngư i, vân tay,...

th p ho c s

dung th giác c a toàn b

c tr ng và k t qu

c trưng.

c trưng chung và

l nh v c bao g

u ích.

c suy di n t

c trưng ng

các c trưng m c

nh.

là toàn c c ho c c c b . N u các
nh, các

c trưng bi u di n

c trưng này ư c g i là các
18

c trưng toàn

c c. Ngư c l i, các c trưng bi u di n n i dung th giác c a m t ph n nh thì ư c g i là c
trưng c c b .
1.1.2 Các c trưng th giác trong tra c u nh
c trưng màu: Màu có vai trò quan tr ng trong tra c u nh d a vào c trưng th
giác. Các màu có th ư c bi u di n trong các không gian màu khác nhau như RGB,
HSV,...
c trưng k t c u: K t c u là t p các i m trong m t vùng th a mãn ràng ó. c
bu c hay qui lu t nào

trưng này khá quan tr ng cho tra c u nh.

V
cơ b n, các phương pháp bi u di n k t c u có th ư c chia thành hai lo i:
các phương pháp c u trúc và các phương pháp th ng kê. Các toán t
ư c dùng
phát hi n c u trúc bao g
c u cơ s
pháp ph

m các toán t hình thái và

và lu t phân b

nh các k t

c a chúng. Các phương pháp th ng kê bao g m: Phương

n ng lư ng Fourier, Tamura, trư ng ng u nhiên Markov, mô hình fractal,

các b l c a phân gi i như bi n
b ng s

th li n k xác

phân b th ng kê c a

i Gabor và bi n
sáng c a các i m

i d ng sóng... th

hi n k t c u

nh.

c trưng hình d ng: Các c trưng hình d ng có quan h

ch t ch v i mô t c

vùng ho c các i tư ng ư c phân o n. c trưng hình d ng ư ư ng bao i

trích rút t các

tư ng ho c vùng ch a i tư ng.
1.2 Ki n trúc c a m t h th ng tra c u nh d a vào c trưng th giác
Quá trình th c hi n c a h

th ng tra c u

nh d a vào

c trưng th giác ư

c

chia thành hai giai o n:
Giai o n 1: T o l p CSDL

nh cùng v i thông tin

c trưng (ngo i tuy n)

Trích rút c trưng c a nh trong CSDL nh. Quá trình x lý g m l c, chu n hóa,
phân o n và nh n d ng i tư ng. u ra c a bư c này là m t t p các mô t n i dung
các nh trong CSDL.
Giai o n 2: Tra c u

nh (tr c tuy n)

19


1. T o l p truy v n: trích rút
c trưng th giác c a nh truy v n.
2. So sánh: các
c so sánh v i các c
c trưng th giác c a nh truy v n ư
trưng th giác c a các nh trong CSDL nh. Các k
ư cs

d ng nh m t ng t

Dư i ây là ki n trúc h

Cơ s

d

li u

nh

thu t ánh ch s có th

c quá trình tra c u.

th ng tra c u nh d a vào c trưng th giác.

nh truy

vn

Trích rút

Cơ s d

c trưng

Véc tơ c

trưng

Xác nh

li u c
trưng

tương t
c trưng

Các nh ư c tra c u
Hình 1.1. Ki n trúc h th ng tra c u

Hình 1.1 ch ra ki n trúc h
c trưng th giác c a
các véc tơ

nh ư

nh trong CSDL

nh

c trưng c a các nh trong CSDL

c trưng c a các

c trưng c a

c trưng. Trên cơ s

20

c trưng th giác. Các

c trích rút và ư

ó h th ng trích rút các véc tơ

tương t gi a các véc tơ

c trưng th giác.

nh d a vào

c trưng. Khi th c hi n tra c u, ngư i s

th ng nh truy v n, sau
này. Xác

th ng tra c u

c trưng nhi u chi u. Các véc tơ

t o thành CSDL

nh d a vào

c bi u di n b ng
nh trong CSDL nh

d ng cung c p cho h
c trưng c a nh truy v n
nh truy v n và các véc tơ
tương t xác

nh ư c,


h th ng cho ra k t qu tra c u g m m t danh sách các nh có tương t v i nh truy v n nh t.

1.3 Trích rút

c trưng

c trưng th giác quan tr ng và ư

c trưng màu là m t trong nh ng
d ng r ng rãi nh t trong tra c u

nh. Do ó trong ph n này, chúng tôi s

cs
cp

n

c trưng màu.
Trư c khi
lư c

cp

màu và kh i

n

c trưng màu, chúng tôi gi i thi u khái ni m v

dica

nh.

nh ngh a 1.1 [D i c a lư c

màu]:

M t d i c a lư c màu là s i m nh trong m t di n tích nh ư c ch ra mà có chung
màu.
nh ngh a 1.2 [Kh i nh]:
M t kh i
1.3.1

nh là m t vùng nh hình ch

c trưng màu
c trưng màu ư

cs

d ng r t hi u qu

CSDL nh [66, 69, 80]. Các mô t màu ư
và do ó nó thích h p cho tra c
nh ư

nh t trong nh.

cho tra c u các

nh màu trong

c trích rút và so sánh tương

i thu n l i

u d a vào c trưng th giác.

c thu th p t camera s , ho c ư c t i xu

ng t

kênh màu (các nh a c p xám ch có m t kênh, các nh

Internet thư ng có ba

a ph có th có nhi u hơn

ba kênh).
Các tín hi u màu m

nh d a vào

t ho c hai chi u c ng ư

c trưng th giác (VFBIR)

thu nh n nh tương ph n là quan tr
bi n dư i ánh sáng, bóng và s

cs

d ng r ng rãi trong tra c u

c bi t trong các

ng d ng v i

ng. Trong [19, 20] ã ch
thay

i hình h

chi u sáng.

21

i u ki n

ra r ng màu là b t

c c a ngư i quan sát và các góc


Lư c
màu ư c dùng
xu t hi n c a m i màu trong m

miêu t
c trưng màu c a m t nh,
ms ln
t nh [37]. T lư c
màu ta suy ra phân b xác

su t c

a màu trong nh. Phân b này b t bi n v

lư c

màu r t thích h p cho tra c u nh d a vào

h n ch

chính c a lư c

i quay, d ch chuy n và t

i u này có th

c u nh s

d ng m t lư c

dn

n các sai s
màu là không th

ó,

c trưng th giác. Tuy nhiên,

màu là chưa t n d ng ư

vùng nh.

l ; do

c thông tin không gian c a các

không mong mu n; thí d

, trong tra

phân bi t gi a m t qu

bóng màu

xanh và m t b i c màu xanh. Ch ng h n, Hình 1.2 ch ra như c i m này.

Hình 1.2. Hai nh khác nhau nhưng có cùng lư c màu.
xu t, bao g m: mô men màu [32, 34],
Nhi u phương pháp khác ã ư c

các d u hi u màu [31], các lư c
tra c u các nh d

màu c i ti n [51], các véc tơ g n k t màu [16],

a vào phân c m [80], các tương quan màu [30], các vùng màu c c

b [2, 31], phương pháp Harbin [63] và các
cp

n các k thu t tra c u theo màu

xu t phát
hư ng c

ims

m c không gian. Các k thu t này

d ng m t trong hai cách ti p c n, cách ti p c n th

g ng liên k t thông tin không gian vào lư c

c n th hai c

là r t khó thu nh n ư

các vùng (

i tư ng) trong nh, do b n ch t c

b xác su t c

a toàn b nh. Tuy nhóm th

không gian t t hơn nhóm th
chúng ta mu n thu ư

hai có th

nh thành các kh i

màu toàn c c bi u th
thu nh n ư

nh t nhưng v n có các h n ch : H n ch
i, k t qu

c, cách ti p

c thông tin không gian c

c nhi u thông tin không gian c a vùng (

nh c n chia thành nhi u kh
màu bi u di n

a lư c

u có
nh t theo

màu toàn c

g ng t ng thông tin không gian thông qua chia

u. Nhóm th nh t có h n ch

lư c

m màu [64]. Các phương pháp này

phân

c thông tin
th

nh t,

i tư ng) trong nh,

c a vi c chia này là không gian lưu tr

nh t ng cao và

ph

22

a

c t p tính toán ln. Hơn n a, các

các
i


tư ng c a nh trong th c t khó có th ép vào các kh i u. Vì v y, các k thu t c p trên
không cho các k t qu t t [7, 40, 69].
1.3.2 Lư ng hóa màu
màu, lư ng hoá màu ph i ư

sinh ra các lư c

các màu ư

màu là quá trình gi m s
lư ng hoá ư

c xác

c s d ng

c áp d ng. Lư ng hoá

bi u di n m t

nh b i không gian màu và phân

nh. M t lư c

o n c a không gian màu

ư c s d ng. M t không gian màu là bi u di n c a màu trong không gian ba chi u.
Áp d ng m t lư c ư
c chia ra thành m t s
s các màu ư

lư ng hoá chu n trên m t không gian màu, m i tr c ph n.
Khi các tr c ư c chia ra thành k, l, và m ph n,

c s d ng

gian màu thành n màu thư ng ư
1.3 minh ho s

nh s là n = k.l.m . Lư ng hoá không

bi u di n m t

lư ng hoá n d i. Hình

c xem như m t lư c

nh hư ng c a lư ng hoá các nh màu.

Hình 1.3. T trái sang: nh g c s d ng 256 màu, ư c lư ng hoá trong 8 d i,
và ư c lư ng hoá trong 64 d i s d ng không gian màu RGB.

1.3.3 Bi u di n màu
1.3.3.1 Lư c
Lư c
hóa. Lư c

màu

màu bi u th phân b
màu ư

toàn c c và c c b

c tính toán d

cas

các i m

dàng và hi u qu

trong nh. Hơn n a, lư c

d ch chuy n v tr c quan sát và thay

nh cho m i d i ư

không gian màu nào ó (thí d , các thành ph n

23

phân b

màu

màu không nh y c m v i quay và

i ch m v i t

Do m i i m nh trong nh có th ư c mô t m t

trong mô t

c lư ng

l và v trí quan sát.
b i ba thành ph n màu trong
,

xanh lam và xanh lơ trong


không gian RGB, ho c s c màu,
có th ư c

nét và giá tr trong không gian HSV), m t lư c

nh ngh a cho m i thành ph n. M t lư c

hơn s có kh n ng phân bi t các

màu ch a nhi u d i

nh t t hơn. Tuy nhiên,

t p tính toán và khó kh n cho cơ ch

ánh ch s

i u này s

t ng

ph c

CSDL nh.

Hơn n a, s lư ng d i nhi u không c i ti n hi u n ng tra c u trong nhi u ng d ng. M t
trong các cách

xác nh s lư ng các d i là s d ng các phương pháp phân c m xác

nh K màu t t nh t trong m t không gian ã cho v i m t t p các nh ã cho và m i màu t t
nh t này s ư c coi là m t d i c a lư c . Do quá
trình phân c m này l y phân b
màu c a các
không có ho c có r t ít
n ng các d i lư c

khác là s d ng các d i có s

im

nh trên toàn b CSDL
nh nên kh
i m nh là c c ti u. M t l a ch n

nh l n nh t. Có l a ch

n này là do ph n l n các

i m nh c a m t nh thu c v m t s ít các d i c a lư c
c a lư c

a lư c

Khi m t CSDL nh ch a m t s lư ng l n các
cho ra nhi u k t qu

sai. Ngoài ra, lư c

màu không quan tâm

các

màu tương t . V n

c bi t quan tr ng v

này tr

nên

gi m các k t qu

sai, m t s c i ti n

gian vào lư c

như k thu t lư c

ãư

hơn là phân

S

n thông tin

xu t

nh l n.

liên k t thông tin không
cách ti p c n khác chia

cho m i vùng con. Cách chia ơ n gi n

nh t [51], phân ho ch hình qu t [48]. Cách chia ph c t p

các vùng con s

1.3.3.2 Lư c

c

i các CSDL

o n vùng [45, 46] ho c th m chí phân ho ch

lưu tr các lư c

s

nh r t khác nhau có th có các phân b

liên k t [17]. M t s

nh thành các vùng con và tính lư c

là phân ho ch hình ch

,

coi như là nhi u.

nh, so sánh theo lư c

không gian c a các i m nh, vì th

T ng s

các d i

theo cách này s không làm gi m hi u n ng c a so sánh theo lư c

mà còn có th t ng cư ng hi u n ng, do các d i nh c

mt

[78]. Gi m s

i tư ng [8, 25, 29].

t ng thông tin không gian, nhưng c ng t ng không gian

màu bi u di n

nh và th i gian tính toán.

màu toàn c c GCH

d ng lư c

màu toàn c c (GCH), m t nh s ư

màu c a nó và kho ng cách gi

a hai nh s

24

ư c xác

nh b

c mã hoá v i lư c
i kho ng cách gi a các


lư c

màu này. V i GCH, chúng ta có th

s d ng các

o khác nhau, s

ư c

trình bày trong m c 1.4, tính toán kho ng cách gi a các lư c màu. Ví d dư i (Hình
1.4) ch ra cách tính kho ng cách gi a hai nh s d ng GCH.

a/ nh I1

b/ nh I2

c/ nh I3

Hình 1.4. Ba nh I1, I2 và I3 và các lư c
màu tương ng c a chúng.
Trong các lư c
màu này có ba d i:
en, xám, và tr ng. Lư c
màu c a

nh I1: {25%, 37.5%, 37.5%}; lư c

màu c a nh I2: {18.75%, 37.5%, 43.75%};

màu gi ng như
và nh I3 có lư c
Euclid
tính toán kho ng cách lư c

nh I2. N u chúng ta s
, kho ng cách gi a các

d ng kho ng cách
nh I1 và I2 theo

GCH là:
2

2

2

dGCH ( I 1, I 2 ) = ( 0.25 − 0.1875 ) + ( 0.375 − 0.375 ) + ( 0.375 − 0.4375 ) = 0.088

Kho ng cách gi a các nh I1 và I3 b ng kho ng cách gi
a các nh I1 và I2 và

kho ng cách gi a các

nh I2 và I3 là 0.

GCH là phương pháp tra c u

nh truy n th ng d a vào màu. Tuy nhiên, GCH

không g m thông tin liên quan
n phân b màu c a các vùng, vì th kho ng cách
gi a các nh có th không ch ra s khác nhau th t gi a các
nh. Ch ng h n, kho ng
cách gi a hai nh I1 và I3 ph i nh
d ng GCH chúng ta thu ư

hơn kho ng cách gi a hai nh I1 và I2, nhưng s

c kho ng cách gi ng nhau.

c a GCH.

25

ây là như c i m chính