Nghiên cứu một số kỹ thuật phân hạng trong tra cứu ảnh dựa vào nội dung

BỘ GIÁO DỤC VÀ ĐÀO TẠO

VIỆN HÀN LÂM KHOA HỌC
VÀ CÔNG NGHỆ VIỆT NAM

HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ
-----------------------------

VŨ VĂN HIỆU

NGHIÊN CỨU MỘT SỐ KỸ THUẬT PHÂN HẠNG TRONG
TRA CỨU ẢNH DỰA VÀO NỘI DUNG

LUẬN ÁN TIẾN SỸ TOÁN HỌC

HÀ NỘI – 2017


BỘ GIÁO DỤC VÀ ĐÀO TẠO

VIỆN HÀN LÂM KHOA HỌC
VÀ CÔNG NGHỆ VIỆT NAM

HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ
-----------------------------

VŨ VĂN HIỆU

NGHIÊN CỨU MỘT SỐ KỸ THUẬT PHÂN HẠNG
TRONG TRA CỨU ẢNH DỰA VÀO NỘI DUNG

LUẬN ÁN TIẾN SỸ TOÁN HỌC
Chuyên ngành: Cơ sở Toán học cho Tin học
Mã số: 62 46 01 10

Người hướng dẫn khoa học:
1. PGS. TS. Ngô Quốc Tạo
2. PGS.TS. Nguyễn Hữu Quỳnh

Hà Nội – 2017


LÌi cam oan
Tôi xin cam oan lu™n án “Nghiên c˘u mÎt sË kˇ thu™t phân h§ng trong
tra c˘u £nh d¸a vào nÎi dung” là công trình nghiên c˘u cıa riêng tôi. Các sË
liªu, k∏t qu£ ˜Òc trình bày trong lu™n án là hoàn toàn trung th¸c và ch˜a t¯ng
˜Òc công bË trong bßt k˝ mÎt công trình nào khác.
⌅

Tôi ã trích d®n ¶y ı các tài liªu tham kh£o, công trình nghiên c˘u liên
quan  trong n˜Óc và quËc t∏. Ngo§i tr¯ các tài liªu tham kh£o này, lu™n
án hoàn toàn là công viªc cıa riêng tôi.

⌅

Trong các công trình khoa hÂc ˜Òc công bË trong lu™n án, tôi ã th∫ hiªn
rõ ràng và chính xác óng góp cıa các Áng tác gi£ và nh˙ng gì do tôi ã
óng góp.

⌅

Lu™n án ˜Òc hoàn thành trong thÌi gian tôi làm Nghiên c˘u sinh t§i Phòng
Nh™n d§ng và Công nghª tri th˘c, Viªn Công nghª thông tin, Viªn Hàn
lâm Khoa hÂc và Công nghª Viªt Nam.

Tác gi£ :

Hà NÎi :

i


Lèi cÊm ẽn
Lun ỏn ềc thác hiên dểi sá hểng dđn khoa hc ca PGS.TS Ngụ Quậc TĐo
v PGS.TS Nguyn Hu Qunh. Nghiờn cu sinh xin by t lũng bit ẽn sõu sc
n hai Thảy v nh hểng khoa hc, nhng bi hc, nhng gúp qu bỏu trong
nghiờn cu. Cỏc Thảy ó tĐo iu kiên vụ cựng thun lềi trong suật quỏ trỡnh
nghiờn cu ca Nghiờn cu sinh.
Tụi xin ềc cÊm ẽn cỏc nh khoa hc, tỏc giÊ ca cỏc cụng trỡnh cụng bậ ó ềc
trớch dđn trong lun ỏn, õy l nhng t liêu qu, kin thc liờn quan quan trng
giỳp Nghiờn cu sinh hon thnh lun ỏn. Xin cÊm ẽn n cỏc nh khoa hc ó
phÊn biên cỏc cụng trỡnh nghiờn cu ca Nghiờn cu sinh.
Tụi trõn trng cÊm ẽn Phũng Nhn dĐng v Cụng nghê tri thc, Phũng quÊn l
o tĐo, Viên Cụng nghê thụng tin, Hc viên Khoa hc v Cụng nghê, Viên Hn
lõm Khoa hc v Cụng nghê Viêt Nam ó tĐo iu kiên thun lềi cho tụi trong
suật quỏ trỡnh nghiờn cu thác hiên lun ỏn. Tụi cng xin cÊm ẽn sõu sc n Hẻi
ng Khoa hc Viên Cụng nghê thụng tin, cỏc Thảy trong Hẻi ng bÊo vê còp
cẽ s ó gúp giỳp Nghiờn cu sinh hon thiên cụng trỡnh lun ỏn ny.
Tụi cng by t sá cÊm ẽn sõu sc n Khoa Cụng nghê thụng tin, Trèng
hc

Đi

iên Lác, H Nẻi ó tĐo iu kiên cho tụi ềc hc tp, trao i v nghiờn

cu. Tụi xin cÊm ẽn Trèng

Đi hc HÊi Phũng ó tĐo iu kiên v thèi gian v

ti chớnh cho tụi thác hiên lun ỏn ny.
Mẻt phản ca nghiờn cu ny ềc thác hiên trong khuụn kh ti nghiờn cu
mó sậ CS15.03 ca Viên Cụng nghê Thụng tin, Viên Hn lõm Khoa hc v Cụng
nghê Viêt Nam v ti nghiờn mó sậ VAST01.07/15-16 ca Viên Hn lõm Khoa
hc v Cụng nghê Viêt Nam. Xin cÊm ẽn cỏc trao i v trề giỳp ca cỏc thnh
viờn ti.
Cuậi cựng, tụi xin by t lũng bit ẽn vụ hĐn ậi vểi cha mà, về con v ton th
anh em trong gia ỡnh ó luụn ng hẻ, giỳp ễ tụi.

ii


Mc lc
Lèi cam oan

i

Lèi cÊm ẽn

ii

T vit tt

v

K hiêu toỏn hc

vi

Danh mc cỏc hỡnh v

vii

Danh mc cỏc bÊng biu

M

xi

ảu

1

1 Tng quan v Tra cu Ênh dáa vo nẻi dung
1.1 Mẻt sậ c trng Ênh thèng s dng trong tra cu Ênh dáa vo
nẻi dung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.1.1 Miờu tÊ ton cc . . . . . . . . . . . . . . . . . . . . . . .
1.1.2 Miờu tÊ cc bẻ . . . . . . . . . . . . . . . . . . . . . . . .
1.2 T hềp c trng trong tra cu Ênh dáa vo nẻi dung . . . . . . .
1.3 Chuân hoỏ trong CBIR . . . . . . . . . . . . . . . . . . . . . . . .
1.3.1 Mc ớch ca chuân hoỏ . . . . . . . . . . . . . . . . . . .
1.3.2 Chuân húa min-max . . . . . . . . . . . . . . . . . . . . .

1.3.3 Chuân húa Gauss . . . . . . . . . . . . . . . . . . . . . . .
1.4 KhoÊng trậng ng nghổa . . . . . . . . . . . . . . . . . . . . . . .
1.5 PhÊn hi liờn quan trong CBIR . . . . . . . . . . . . . . . . . . .
1.6 Hiêu chứnh trng sậ v dch chuyn truy vòn trong CBIR s dng
phÊn hi liờn quan . . . . . . . . . . . . . . . . . . . . . . . . . .
1.7 Tra cu Ênh dáa vo nẻi dung s dng k thut mỏy hc . . . . .
1.7.1 Huòn luyên v kim tra . . . . . . . . . . . . . . . . . . .
1.7.2 Nhón d liêu . . . . . . . . . . . . . . . . . . . . . . . . .
1.7.3 Xõy dáng mụ hỡnh hc . . . . . . . . . . . . . . . . . . . .
1.8 Mẻt sậ tip cn dáa theo phẽng phỏp tậi u Pareto . . . . . . .
iii

8
.
.
.
.
.
.
.
.
.
.

9
9
12
13
14
14

16
16
19
21

.
.
.
.
.
.

23
27
27
28
29
33


1.9
2

3

Phẽng phỏp ỏnh giỏ hiêu nng trong CBIR . . . . . . . . . . . . 34

xuòt chuân hoỏ c trng v hiêu chứnh trng sậ
c trng
2.1 Chuân hoỏ c trng dáa vo phõn cm mè FCM . .

2.2 Chuân hoỏ khoÊng cỏch dáa vo phõn cm FCM . .
2.3 Hiêu chứnh trng sậ, dch chuyn truy vòn . . . . . .
2.3.1 Hiêu chứnh trng sậ . . . . . . . . . . . . . . .
2.3.2 Dch chuyn truy vòn . . . . . . . . . . . . . .
2.4 Th nghiêm v ỏnh giỏ cỏc kt quÊ . . . . . . . . .
2.4.1 Cẽ s d liêu Ênh . . . . . . . . . . . . . . . .
2.4.2 Trớch rỳt bẻ c trng kt hềp . . . . . . . .
2.4.3 Cỏc kt quÊ thác nghiêm v lun giÊi . . . . .
2.5 Kt lun Chẽng 2 . . . . . . . . . . . . . . . . . . .

trong t hềp
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

37
39

45
46
51
52
54
54
55
55
68

.
.
.
.
.
.
.
.
.
.

xuòt k thut Pareto front a mc sõu nõng cao hiêu quÊ
phõn lểp Ênh
3.1 Mẻt sậ tớnh chòt hỡnh thc dáa trờn k thut Pareto front a mc
sõu trong khụng gian t hềp c trng . . . . . . . . . . . . . . . .
3.2 Nõng cao hiêu quÊ phõn lểp Ênh . . . . . . . . . . . . . . . . . . . .
3.3 Th nghiêm v ỏnh giỏ cỏc kt quÊ . . . . . . . . . . . . . . . . .
3.3.1 Cẽ s d liêu Ênh . . . . . . . . . . . . . . . . . . . . . . . .
3.3.2 Cỏc phẽng phỏp cẽ s . . . . . . . . . . . . . . . . . . . . .
3.3.3 Phẽng phỏp ỏnh giỏ . . . . . . . . . . . . . . . . . . . . .

3.3.4 Cỏc kt quÊ thác nghiêm . . . . . . . . . . . . . . . . . . . .
3.4 Kt lun Chẽng 3 . . . . . . . . . . . . . . . . . . . . . . . . . . .

69
73
81
86
86
88
88
89
96

Kt lun v hểng phỏt trin

97

Danh mc cụng trỡnh

99

A Mẻt sậ cẽ s d liêu
A.1 Corel . . . . . . .
A.2 Wang . . . . . . .
A.3 Caltech 101 . . .
A.4 Oxford Building .

ó cụng bậ

Ênh

. . .
. . .
. . .
. . .

s dng
. . . . . .
. . . . . .
. . . . . .
. . . . . .

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

B Phản mm tra cu theo cỏc xuòt ca lun ỏn

iv

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

111
. 111
. 112
. 113
. 114
120


T¯ vi∏t t≠t
D§ng vi∏t t≠t D§ng ¶y
CBIR

ı

Diπn gi£i

Content based image retrie-

Tra c˘u £nh d¸a vào nÎi dung

val
FCM

Fuzzy c-means

Phân cˆm mÌ c-means

HI

Histogram Interrsection

L˜Òc Á giao

HSV

hue, saturation, value

màu s≠c, Î bão hoà màu, Î sáng

L2R

Learning to Rank

HÂc x∏p h§ng

MARS

Multimedia Analysis and Các hª thËng phân tích
Retrieval Systems

ph˜Ïng tiªn và tra c˘u

Pr

Precision

Î chính xác

Re

Recall

Î hÁi t˜ng

RF

Relevance feedback

RGB

red, green, blue

SIFT

Scale-Invariant

Ph£n hÁi liên quan
‰, xanh lá, xanh d˜Ïng
Feature

Transform
SVM

Support vector machine

v

Máy vector hÈ trÒ

a


K hiêu toỏn hc

M

ẻ di ca mẻt vector c trng

N Kớch thểc ca cẽ s d liêu Ênh
T Sậ bẻ c trng
t Chứ sậ bẻ c trng
Q, Ii ẫnh truy vòn v Ênh th i trong cẽ s d liêu
Ii Vector c trng chuân hoỏ ca Ênh th i
Iit Vector c trng chuân hoỏ bẻ t ca Ênh th i
Qt, I t

Qit

c trng bẻ t tẽng ng ca Ênh truy vòn Q v Ênh I bòt k
c trng chuân hoỏ bẻ t ca Ênh truy vòn

DQt (Ii ), D t (Q, Ii ) KhoÊng cỏch theo bẻ c trng t ca Ênh Ii so vểi Ênh truy
vòn Q
DQ (Ii ), D(Q, Ii ) KhoÊng cỏch Ênh Ii so vểi Ênh truy vòn Q trờn bẻ c trng
kt hềp
top

k Tp gm k Ênh cú th hĐng tẽng tá cao nhòt ậi vểi Ênh truy vòn

NB Tp Ênh cú ẻ tẽng tá cao nhòt theo c trng ton cc trong mẻt tra
cu
NB

Tp Ênh ềc xỏc nhn khụng liờn quan phÊn hi ca ngèi dựng

NB + Tp Ênh ềc xỏc nhn liờn quan phÊn hi ca ngèi dựng
NBt Tp Ênh cú ẻ tẽng tá cao nhòt theo c trng bẻ t trong mẻt tra cu
NB Tp Ênh cú th hĐng ẻ tẽng tá cao v thuẻc tp NB
cu
vi

trong mẻt tra


NB ⇤ T™p £nh ch˜a ˜Òc tra c˘u
(D)

Vt,c

Tâm cˆm c t™p giá tr‡ kho£ng cách bÎ ∞c tr˜ng t theo FCM

Vt (D) T™p tâm cˆm theo bÎ ∞c tr˜ng t
Vt,c,j Tâm cˆm c cıa thành ph¶n ∞c tr˜ng j  bÎ ∞c tr˜ng t theo phân cˆm
mÌ FCM
wt TrÂng sË kho£ng cách cıa bÎ ∞c tr˜ng t
p
⌘t,c,i
Giá tr‡ Î thuÎc cıa ph¶n t˚ th˘ i  bÎ ∞c tr˜ng t so vÓi cˆm c, p là

hª sË FCM
(l),NB +
t,kIt k

Î lªch chu©n theo Î dài ∞c tr˜ng bÎ ∞c tr˜ng t trong l¶n l∞p th˘

(l),NB +
t (I )
t,DQ
i

Î lªch chu©n kho£ng cách bÎ ∞c tr˜ng t trong l¶n l∞p th˘ l Ëi vÓi

l Ëi vÓi các £nh trong t™p NB +

các £nh trong t™p NB +
t,c,i

Î lªch chu©n thành ph¶n j cıa bÎ ∞c tr˜ng t theo cˆm c

(D)
t,c

Î lªch chu©n kho£ng cách bÎ ∞c tr˜ng t theo cˆm c

vii


Danh sỏch hỡnh v
0.1
0.2

Hê thậng tra cu Ênh dáa vo nẻi dung. . . . . . . . . . . . . . . .
Hê thậng xuòt . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.1
1.2
1.3

Thnh phản th nhòt ca c trng mụ men mu. . . . . . . . . . 15
Phõn bậ d liêu thnh phản 1 ca c trng mụ men mu (gậc) . . 18
(a) Phõn bậ d liêu thnh phản 5 lềc c trng lềc HSV
(gậc). (b) Lềc c trng lềc HSV chuân hoỏ theo lut 3
thnh phản th 5, 97.4555% d liêu rẽi vo [-1,1] . . . . . . . . . 18

1.4
1.5

1.6

ẫnh truy vòn mandolin image 0001.jpg. . . . . . . . . . . . . .
Hê thậng tra cu vểi Ênh truy vòn mandolin image 0001.jpg. . .
Kt quÊ top 20 cỏc Ênh tẽng tá nhòt vểi Ênh truy vòn lản tra
cu khi tĐo. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Hai Ênh cú ng nghổa tẽng ng . . . . . . . . . . . . . . . . . .
Lềc mu ca Ênh truy vòn v hai Ênh trong kt quÊ top 20.
Minh hoĐ siờu phỉng . . . . . . . . . . . . . . . . . . . . . . . . .

1.7
1.8
1.9
2.1
2.2
2.3
2.4

2.5

2.6

2.7

Mụ hỡnh hê thậng xuòt . . . . . . . . . . . . . . . . . . . . . .
Minh hoĐ chuân húa 3
FCM . . . . . . . . . . . . . . . . . . .
Minh hoĐ tớnh chòt bÊo ton th tá ca chuân hoỏ 3
FCM . .
Phõn bậ d liêu gậc thnh phản th nm ca cỏc c trng (a)

Lềc mu HSV, (b) lềc tá tẽng quan mu, (c) mụ men
mu, (d) kt còu Gabor, (e) mụ men Wavelet, (f) GIST . . . . . .
(a) Phõn bậ d liêu c trng lềc HSV (chuân hoỏ 3 ) thnh
phản 5 gm 97.45% thuẻc [-1,1]. (b) Phõn bậ d liêu c trng lềc
HSV (chuân hoỏ 3
FCM ) thnh phản 5 gm 99.81% thuẻc
[-1,1] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
(a) Phõn bậ d liêu c trng autoCorrelogram (chuân hoỏ 3 )
thnh phản 5 gm 98.02% thuẻc [-1,1]. (b) Phõn bậ d liêu c
trng autoCorrelogram (chuân hoỏ 3
FCM ) thnh phản 5 gm
99.9955% thuẻc [-1,1] . . . . . . . . . . . . . . . . . . . . . . . . .
(a) Phõn bậ d liêu c trng mụ men mu (chuân hoỏ 3 ) thnh
phản 5 gm 99.68% thuẻc [-1,1]. (b) Phõn bậ d liêu c trng mụ
men mu (chuân hoỏ 3
FCM ) thnh phản 5 gm 100% thuẻc
[-1,1] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

viii

3
6

. 19
. 19
.
.
.
.

20
20
21
32

. 38
. 42
. 43

. 56

. 57

. 57

. 58


2.8

2.9

2.10

2.11
2.12
2.13
2.14
2.15

(a) Phân bË d˙ liªu ∞c tr˜ng k∏t cßu Gabor(chu©n hoá 3 ) thành
ph¶n 5 gÁm 98.1% thuÎc [-1,1]. (b) Phân bË d˙ liªu ∞c tr˜ng k∏t
cßu Gabor (chu©n hoá 3
FCM ) thành ph¶n 5 gÁm 99.95% thuÎc
[-1,1] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
(a) Phân bË d˙ liªu ∞c tr˜ng bßt bi∏n Wavelet(chu©n hoá 3 )
thành ph¶n 5 gÁm 99.5% thuÎc [-1,1]. (b) Phân bË d˙ liªu ∞c
tr˜ng bßt bi∏n Wavelet (chu©n hoá 3
FCM ) thành ph¶n 5 gÁm
100% thuÎc [-1,1] . . . . . . . . . . . . . . . . . . . . . . . . . . .
(a) Phân bË d˙ liªu ∞c tr˜ng hình d§ng GIST (chu©n hoá 3 )
thành ph¶n 5 gÁm 98.8% thuÎc [-1,1]. (b) Phân bË d˙ liªu ∞c
tr˜ng hình d§ng GIST (chu©n hoá 3
FCM ) thành ph¶n 5 gÁm
99.9985% thuÎc [-1,1] . . . . . . . . . . . . . . . . . . . . . . . . .
So sánh chßt l˜Òng truy vßn. (a) Hiªu n´ng Precision/Recall. (b)
Hiªu n´ng Î chính xác. . . . . . . . . . . . . . . . . . . . . . . .
Trung bình Î chính xác cıa kˇ thu™t ∑ xußt trên top k k∏t qu£
theo n´m vòng cıa ph£n hÁi liên quan . . . . . . . . . . . . . . .
So sánh trung bình Î chính xác cıa kˇ thu™t ∑ xußt và PowerTool
trên các top k k∏t qu£. . . . . . . . . . . . . . . . . . . . . . . .
So sánh trung bình Î chính xác cıa kˇ thu™t ∑ xußt và PowerTool
trên top 20 k∏t qu£ theo m˜Ìi vòng cıa ph£n hÁi liên quan . . .
Bi∫u Á Precision và Recall cıa kˇ thu™t ∑ xußt và PowerTool .

3.1
3.2
3.3
3.4
3.5

Hª thËng ∑ xußt . . . . . . . . . . . . . . . . . . . . . . . . . . .
Minh ho§ không gian tìm ki∏m EQ . . . . . . . . . . . . . . . . .
MÎt miêu t£ Pareto front . . . . . . . . . . . . . . . . . . . . . . .
Minh ho§ hai m˘c Î sâu là PF 1 và PF 2 cıa không gian EQ . . .
Trung bình Î chính xác (Precision) trên k∏t qu£ top k cıa ∑
xußt Pareto-AdaBoost trên ba t™p d˙ liªu theo n´m vòng ph£n hÁi
liên quan. (a) Db1. (b) Db2. (c) Db3. . . . . . . . . . . . . . . . .
3.6 Trung bình Î chính xác (Precision) trên k∏t qu£ top k cıa ∑
xußt Pareto-SVM trên ba t™p d˙ liªu theo n´m vòng ph£n hÁi liên
quan. (a) Db1. (b) Db2. (c) Db3. . . . . . . . . . . . . . . . . . .
3.7 So sánh Î chính xác trên các k∏t qu£ top k cıa kˇ thu™t ∑ xußt
Pareto-AdaBoost vÓi các kˇ thu™t cÏ s trên ba t™p d˙ liªu. (a) T™p
d˙ liªu Db1. (b) T™p d˙ liªu Db2. (c) T™p d˙ liªu Db3. . . . . . .
3.8 So sánh Î chính xác trên các k∏t qu£ top k cıa kˇ thu™t ∑ xußt
Pareto-SVM vÓi các kˇ thu™t cÏ s trên ba t™p d˙ liªu. (a) T™p d˙
liªu Db1. (b) T™p d˙ liªu Db2. (c) T™p d˙ liªu Db3. . . . . . . . .
3.9
Á th‡ Î chính xác (Precision) và hÁi t˜ng (Recall) cıa các ph˜Ïng
pháp Pareto-AdaBoost, SVM, AdaBoost và MARS trên t™p d˙ liªu.
(a) T™p d˙ liªu Db1. (b) T™p d˙ liªu Db2. (c) T™p d˙ liªu Db3. .
3.10 Á th‡ Î chính xác (Precision) và hÁi t˜ng (Recall) cıa các ph˜Ïng
pháp Pareto-SVM, SVM, AdaBoost và MARS trên t™p d˙ liªu Db1,
Db2 và Db3. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. 58

. 59

. 59

. 60
. 63
. 64
. 66
. 67
.
.
.
.

72
74
76
78

. 91

. 92

. 94

. 94

. 95

. 95

A.1 Các £nh ví dˆ t¯ cÏ s d˙ liªu Corel . . . . . . . . . . . . . . . . . 112
ix

A.2 MÎt £nh m®u t¯ mÈi lÓp cıa 10 lÓp cıa cÏ s d˙ liªu Wang . . .
A.3 MÈi m®u cho mÎt chı ∑ trong sË 101 chı ∑ trong cÏ s d˙ liªu
£nh Caltech 101 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
A.4 Các m®u cıa cÏ s d˙ liªu Wang, các chı ∑ ng˙ nghæa : bi∫n, Châu
Phi, hoa hÁng, khıng long, ng¸a, núi, th˘c ´n, di tích, voi, xe bu˛t.
MÈi dòng mÎt chı ∑, ví dˆ mÈi chı ∑ 5 £nh t˜Ïng ˘ng t¯ trên
xuËng d˜Ói. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
A.5 Toàn bÎ 55 £nh truy vßn ˜Òc s˚ dˆng trong ánh giá ground truth.
MÈi dòng cho bi∏t các truy vßn khác nhau cho cùng c£nh ‡a danh.
L˜u ˛ s¸ thay Íi lÓn v∑ ph§m vi cıa các vùng truy vßn và thay
Íi v‡ trí, ánh sáng, v.v cıa chính các £nh. . . . . . . . . . . . . .
B.1
B.2
B.3
B.4
B.5
B.6
B.7
B.8
B.9
B.10
B.11

˜a mÎt £nh vào hª thËng tra c˘u ∑ xußt. . . .
K∏t qu£ tra c˘u khi t§o cıa top 20 . . . . . .
K∏t qu£ tra c˘u top 20 vòng ph£n hÁi th˘ nhßt
K∏t qu£ tra c˘u top 20 vòng ph£n hÁi th˘ hai .
K∏t qu£ tra c˘u top 20 vòng ph£n hÁi th˘ ba .
˜a vào hª thËng mÎt truy vßn . . . . . . . . . .

K∏t qu£ tra c˘u khi t§o top 20. . . . . . . . .
K∏t qu£ tra c˘u top 20 vòng ph£n hÁi th˘ nhßt
K∏t qu£ tra c˘u top 20 vòng ph£n hÁi th˘ hai .
K∏t qu£ tra c˘u top 20 vòng ph£n hÁi th˘ ba .
K∏t qu£ tra c˘u top 20 vòng ph£n hÁi th˘ t˜ .

x

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

. 113
. 117

. 118

. 119
.
.
.
.
.
.
.
.
.
.
.

120
121
121
122
122
123
123
124
124
124
125


Danh sỏch bÊng
2.1

2.2

2.3
2.4
2.5
2.6
2.7
2.8
2.9
2.10
2.11
3.1
3.2
3.3
3.4
3.5
3.6
3.7

BÊng mẻt sậ Ênh theo nhn nh ch quan ca ngèi dựng so sỏnh
v tẽng tá ng nghổa vểi truy vòn Q = 710.jpg. Cỏc Ênh năm trong
tp Wang . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
ẻ o khoÊng cỏch ca Ênh truy vòn 710.jpg ậi vểi cỏc Ênh tp
NB + , NB v NB . K hiêu cỏc cẻt (d1), (d2), (d3), (d4), (d5),
(d6) l khoÊng cỏch tẽng ng ca cỏc bẻ c trng lềc mu
HSV, tá tẽng quan mu, mụ men mu, kt còu Gabor, mụ men
Wavelet v GIST theo cỏc hm khoÊng cỏch ; D l khoÊng cỏch
ton bẻ. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
ẻ o khoÊng cỏch L2 ca Ênh truy vòn 710.jpg ậi vểi cỏc Ênh
trong tp NB + , NB v NB . . . . . . . . . . . . . . . . . . . . .

Cỏc miờu tÊ Ênh v hm khoÊng cỏch s dng trong thác nghiêm. .
Tham sậ phõn cm FCM . . . . . . . . . . . . . . . . . . . . . . . .
Cỏc ậi tềng ca tp AGRt trờn sỏu lản lp phÊn hi ậi vểi Ênh
truy vòn Q = 710.jpg . . . . . . . . . . . . . . . . . . . . . . . . . .
Thậng kờ trng sậ khoÊng cỏch tng bẻ c trng wt theo mẩi lản
lp ậi vểi mẻt sậ Ênh truy vòn . . . . . . . . . . . . . . . . . . . .
Trung bỡnh ẻ chớnh xỏc (Precision) top k kt quÊ trờn 10 vũng
phÊn hi liờn quan ậi vểi tp d liêu Wang ca k thut xuòt .
Trung bỡnh ẻ hi tng (Recall) top k kt quÊ trờn 10 vũng phÊn
hi liờn quan ậi vểi tp d liêu Wang ca k thut xuòt . . . .
Trung bỡnh ẻ chớnh xỏc (Precision) top k kt quÊ trờn 10 vũng
phÊn hi liờn quan ậi vểi tp d liêu Wang ca PowerTool (MARS)
Trung bỡnh ẻ hi tng (Recall) top k kt quÊ trờn 10 vũng phÊn
hi liờn quan ậi vểi tp d liêu Wang ca PowerTool (MARS) . .
KhoÊng cỏch gia Q v o1 , o2 , o3 trong cỏc c trng mu sc v
kt còu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Cỏc miờu tÊ Ênh v hm khoÊng cỏch s dng trong thác nghiêm.
Cỏc tham sậ s dng trong thác nghiêm. . . . . . . . . . . . . . .
Sậ ng viờn Pareto theo top k ậi vểi Db1 . . . . . . . . . . . .
Sậ ng viờn Pareto theo top k ậi vểi Db2 . . . . . . . . . . . .
Sậ ng viờn Pareto theo top k ậi vểi Db3 . . . . . . . . . . . .
Trung bỡnh ẻ chớnh xỏc top
k kt quÊ ca xuòt ParetoAdaBoost trờn nm vũng phÊn hi liờn quan ậi vểi tp d liêu
Db1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
xi

.
.
.
.

.
.

48

49
50
50
55
60
61
63
64
65
65
70
87
89
90
90
91

. 91


3.8

Trung bình Î chính xác top
k k∏t qu£ cıa ∑ xußt ParetoAdaBoost trên n´m vòng ph£n hÁi liên quan Ëi vÓi t™p d˙ liªu
Db2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.9 Trung bình Î chính xác top
k k∏t qu£ cıa ∑ xußt ParetoAdaBoost trên n´m vòng ph£n hÁi liên quan Ëi vÓi t™p d˙ liªu
Db3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.10 Trung bình Î chính xác top k k∏t qu£ cıa ∑ xußt Pareto-SVM
trên n´m vòng ph£n hÁi liên quan Ëi vÓi t™p d˙ liªu Db1 . . . .
3.11 Trung bình Î chính xác top k k∏t qu£ cıa ∑ xußt Pareto-SVM
trên n´m vòng ph£n hÁi liên quan Ëi vÓi t™p d˙ liªu Db2 . . . .
3.12 Trung bình Î chính xác top k k∏t qu£ cıa ∑ xußt Pareto-SVM
trên n´m vòng ph£n hÁi liên quan Ëi vÓi t™p d˙ liªu Db3 . . . .

. 92

. 92
. 93
. 93
. 93

A.1 Danh sách 10 chı ∑ cıa cÏ s d˙ liªu Wang . . . . . . . . . . . . . 114
A.2 Danh sách 101 chı ∑ cıa cÏ s d˙ liªu Caltech 101 . . . . . . . . . 115
A.3 Danh sách 17 chı ∑ cıa cÏ s d˙ liªu Oxford Buildings . . . . . . . 116

xii


M

ảu

Tớnh còp thit ca

ti

Sá phỏt trin mĐnh m ca Internet cho phộp d dng xõy dáng, lu tr cỏc
cẽ s d liêu lển. Mẻt trong sậ ú l Flickr 1 , YouTube 2 , Facebook 3 , Twitter 4 v
ton bẻ mĐng Internet. Yờu cảu khai thỏc mẻt cỏch hiêu quÊ d liêu a phẽng
tiên trờn thỳc ây sá quan tõm ca cẻng ng nghiờn cu [21]. Nhiu hê thậng
tỡm kim thụng tin vn bÊn v Ênh nh Google 5 , Bing 6 , Yahoo 7 ó ềc phỏt
trin mĐnh m trong nhng nm gản õy nhng vđn cha ỏp ng ềc nhu cảu
ngèi dựng. Sá phỏt trin mĐnh m ca d liêu a phẽng tiên ngy cng tr
thnh mẻt thỏch thc lển. Khi kớch thểc ca kho Ênh ròt lển cỏch tip cn tra
cu băng t khúa tr nờn khụng khÊ thi dđn tểi cỏc nghiờn cu khai thỏc tra cu
dáa trờn nẻi dung d liêu Ênh.
Tra cu Ênh dáa vo nẻi dung (Content-based image retrieval) hay gi tt l
CBIR ềc giểi thiêu bi cỏc nghiờn cu t nhng nm 1980. CBIR ó ềc ó
ềc nghiờn cu rẻng rói, nhiu phẽng phỏp v hê thậng ó ềc phỏt trin
trớch rỳt nẻi dung ca Ênh băng cỏch s dng cỏc c trng mc thòp . D liêu
trong CBIR ềc lòy trờn cẽ s cỏc nẻi dung m nú trớch rỳt băng cỏch s dng
1.
2.
3.
4.
5.
6.
7.

/>
/> />
/> />
1

2
cỏc k thut trớch rỳt c trng mc thòp bờn trong ca mẩi Ênh (mu sc, hỡnh
dĐng, kt còu, vv).
Tuy CBIR cú nhiu tin bẻ song ngèi dựng vđn gp khú khn trong viêc
tỡm kim thụng tin liờn quan t tp d liêu Ênh lển khụng ng nhòt v mt nẻi
dung v ng nghổa.

iu ny dđn n kt quÊ tỡm kim cha Đt ềc nh mong

muận. Thụng tin m mỏy tớnh hiu nẻi dung Ênh thèng l cỏc giỏ tr im Ênh,
vector c trng ềc trớch rỳt theo cỏc th tc,... cũn con ngèi hiu v nẻi dung
ca Ênh thèng l cỏc khỏi niêm ng nghổa. Do khụng cú sá tẽng quan mẻt cỏch
chớnh xỏc gia nẻi dung m mỏy tớnh cú ềc thụng qua c trng trác quan mc
thòp vểi nẻi dung m con ngèi hiu thụng qua cỏc khỏi niêm ng nghổa mc
cao dđn n khoÊng trậng ng nghổa. KhoÊng trậng ng nghổa nh nghổa theo
Smeulders v cẻng sá [94] nh sau :
KhoÊng trậng ng nghổa l sá khụng tẽng ng gia thụng tin Ênh, ềc
trớch rỳt t d liêu trác quan so vểi din giÊi v d liêu Ênh ú bi ngèi dựng
trong tỡnh huậng c th .
KhoÊng trậng ng nghổa năm gia cỏc c trng trác quan mc thòp ca cỏc
Ênh v cỏc ng nghổa mc cao mong muận dá nh suy ra t cỏc c trng trác
quan mc thòp. Nhiu nghiờn cu trong lổnh vác CBIR n nay vđn ang cậ gng
thu hàp khoÊng trậng ng nghổa ny. C th, hẽn ba thp kứ qua nhiu hê thậng
CBIR ó ềc phỏt trin, bao gm QBIC [28], Photobook [80], MARS [79], [83],
[90], PicHunter [17], VisualSEEK [96], Blobworld [11], MindReader [46], SIMPLIcity [110], FIRE [23], v cỏc nghiờn cu khỏc [12], [41], [60], [115], [124].

Mc tiờu, phĐm vi nghiờn cu ca lun ỏn
Thụng thèng mẻt hê thậng tra cu Ênh dáa vo nẻi dung ềc miờu tÊ nh
Hỡnh 0.1 [62]. Cỏc nẻi dung trác quan ca cỏc Ênh trong cẽ s d liêu ềc trớch

rỳt v miờu tÊ bi cỏc vector c trng nhiu chiu. Cỏc vector c trng ca cỏc


3
Ênh trong cẽ s d liêu tĐo nờn mẻt cẽ s d liêu c trng.

tra cu cỏc Ênh,

thụng tin truy vòn ca ngèi dựng a vo hê thậng tra cu cú th l cỏc Ênh
mđu hoc v phỏc thÊo. Hê thậng sau ú s bin i nhng mđu ny tẽng ng
vểi biu din ca cỏc vector c trng. Cỏc ẻ tẽng tá hoc cỏc khoÊng cỏch gia
cỏc vector c trng ca Ênh truy vòn vểi cỏc Ênh trong cẽ s d liêu ềc tớnh
v tra cu ềc thác hiên dáa trờn mẻt lềc chứ sậ. Lềc chứ sậ a ra mẻt
cỏch hiêu quÊ tỡm kim cỏc Ênh trong cẽ s d liêu. Qua khÊo sỏt nhiu nhiờn

Hỡnh 0.1. Hê thậng tra cu Ênh dáa vo nẻi dung.

cu CBIR, sá kt hềp a c trng cha ềc xem xột mẻt cỏch ảy dđn n
viêc so sỏnh ẻ tẽng tá Đt hiêu quÊ cha cao. Trong hê thậng ny ỏnh chứ sậ
v tra cu s dng kt hềp a c trng cng cản ềc nghiờn cu nõng cao
hiêu quÊ tra cu.

nõng cao kt quÊ tra cu chớnh xỏc ảu ra, lun ỏn a ra

cỏc mc tiờu v giểi hĐn phĐm vi nghiờn cu nh sau.

Mc tiờu ca lun ỏn
So sỏnh ẻ tẽng tá : Nghiờn cu v xuòt chuân hoỏ c trng, chuân hoỏ
khoÊng cỏch nõng cao hiêu quÊ so sỏnh ẻ tẽng tá.
PhÊn hi liờn quan : Nghiờn cu v xuòt k thut hiêu chứnh trng sậ v

dch chuyn truy vòn.


4
ỏnh chứ sậ v tra cu : Tòt cÊ cỏc Ênh trong cẽ s d liêu vector c trng
ềc tớnh toỏn trểc v lu tr trong hê quÊn tr cẽ s d liêu. Rỳt gn khụng
gian tỡm kim s dng tip cn tậi u Pareto láa chn tp ng viờn tật nhòt
t cẽ s d liêu. Tra cu a ra top kt quÊ cỏc Ênh cú khoÊng cỏch ca vector
c trng nh nhòt hoc ềc dá bỏo xp hĐng cao nhòt vểi Ênh truy vòn.

PhĐm vi nghiờn cu ca lun ỏn
S dng mẻt sậ tp Ênh chuân ềc s dng nhiu trong cỏc nghiờn cu v
CBIR. Xõy dáng cẽ s d liêu c trng dáa trờn mẻt sậ phẽng phỏp trớch rỳt
c trng tật ó cú. Ci t thác nghiêm cho cỏc xuòt. So sỏnh v ỏnh giỏ
hiêu nng v mt ẻ chớnh xỏc thụng qua tp kt quÊ tra cu.

Phẽng phỏp v nẻi dung nghiờn cu
Phẽng phỏp nghiờn cu l kt hềp gia nghiờn cu l thuyt v thác nghiêm.
Cẽ s d liêu v thụng tin khoa hc ềc thu thp, tng hềp t cỏc tĐp chớ khoa
hc chuyờn ngnh trong v ngoi nểc, qua Xờmina hoc tham gia bỏo cỏo tĐi cỏc
hẻi thÊo khoa hc, qua trao i vểi thảy hểng dđn v cỏc ng nghiêp cựng lổnh
vác nghiờn cu,...
Lun ỏn tng hềp cỏc thụng tin liờn quan trong lổnh vác CBIR, láa chn cỏc
cỏch tip cn ó ềc ỏp dng thnh cụng, tin hnh th nghiêm vểi cỏc tp d
liêu Ênh chuân trong cỏc bi bỏo khoa hc v ỏnh giỏ kt quÊ.
Nẻi dung nghiờn cu trong lun ỏn gm :
(1) Nghiờn cu tng quan v tra cu Ênh dáa vo nẻi dung.
(2) Nghiờn cu cỏch kt hềp nhiu c trng trong hê thậng CBIR t ú phỏt
hiên cỏc quy lut, rng buẻc cẽ bÊn ca kt hềp nhiu c trng.

5
(3) Nghiờn cu mẻt sậ k thut giÊm khoÊng trậng ng nghổa trong CBIR.

Kt quÊ Đt ềc ca lun ỏn
Lun ỏn ó cú nhng úng gúp chớnh nh sau :
xuòt chuân hoỏ cÊi tin phự hềp vểi d liêu thác t trong tra cu Ênh dáa
vo nẻi dung, cho phộp nõng cao hiêu quÊ ậi sỏnh ẻ tẽng tá dáa vo c trng
mc thòp ca cỏc Ênh trong hê thậng tra cu trong cụng trỡnh [CT6].
xuòt k thut hiêu chứnh trng sậ ẻ tẽng tá v dch chuyn truy vòn
dáa vo thụng tin phÊn hi ca ngèi dựng trong cụng trỡnh [CT6].
xuòt s dng tậi u Pareto xõy dáng tp ng viờn nõng cao ẻ chớnh
xỏc ca hê thậng CBIR trờn khụng gian kt hềp a c trng trong cụng trỡnh
[CT7].
Mụ hỡnh tng quỏt cho cỏc xuòt ca lun ỏn trong Hỡnh 0.2 ềc mụ tÊ
nh sau :
(1)

c trng Ênh ca truy vòn v cỏc c trng Ênh ca cỏc Ênh cẽ s d

liêu ềc chuân hoỏ theo xuòt chuân hoỏ c trng.
(2)

ẻ tẽng tá ca cỏc Ênh trong cẽ s d liêu vểi Ênh truy vòn ềc tớnh

toỏn dáa vo cỏc vector c trng ó ềc chuân hoỏ. Cỏc Ênh ềc xp hĐng
theo ẻ tẽng tá giÊm dản. Tp Ênh kt quÊ hin th top

k (tp gm k Ênh cú

th hĐng tẽng tá cao nhòt ậi vểi Ênh truy vòn). Trờn kt quÊ top
dựng ỏnh giỏ mc ẻ liờn quan theo nhn thc.

k ngèi

õy l ảu vo ca xuòt hiêu

chứnh trng sậ v dch chuyn truy vòn, kt quÊ ảu ra l tp cỏc trng sậ cho
mẩi bẻ c trng.
(3)

ẻ tẽng tá cỏc Ênh trong cẽ s d liêu so vểi Ênh truy vòn ềc tớnh lĐi

dáa vo hm khoÊng cỏch kt hềp bẻ trng sậ va thu ềc.


6

Hình 0.2. Hª thËng ∑ xußt

(4) Xây d¸ng t™p ˘ng viên Pareto ∫ gi£m không gian tìm ki∏m.
(5) T™p hußn luyªn là các £nh ˜Òc ánh giá trong t™p k∏t qu£ top

k . T™p

ki∫m tra là t™p ˘ng viên Pareto.
(6) Tìm hàm phân lÓp d¸a vào thông tin ¶u vào là t™p hußn luyªn và t™p
ki∫m tra b¨ng mÎt máy phân lÓp.
(7) S≠p x∏p các £nh trong t™p ki∫m tra theo giá tr‡ d¸ báo phân lÓp. T™p k∏t
qu£ hi∫n th‡ gÁm top

k £nh có th˘ h§ng giá tr‡ d¸ báo phân lÓp cao nhßt.

(8) Ph£n hÁi liên quan : S˚ dˆng thông tin ánh giá cıa ng˜Ìi dùng liên quan
ho∞c không liên quan trên t™p k∏t qu£ top

k . D¸a trên các £nh ˜Òc ánh giá,


7
hê thậng hiêu chứnh trng sậ, dch chuyn truy vòn v ẻ tẽng tá s ềc cp
nht lĐi. Quỏ trỡnh ềc lp lĐi t bểc tỡm tp ng viờn Pareto.
Cỏc nghiờn cu ca lun ỏn ó ềc cụng bậ trong cỏc cụng trỡnh a ra
cuậi ca lun ỏn, úng gúp cho cỏc ti còp cẽ s Viên CNTT, mó sậ CS16.03,
CS14.03 v ti còp Viên Hn lõm Khoa hc v Cụng nghê Viêt Nam, mó sậ
VAST01.07/15-16.

Còu trỳc ca lun ỏn
Chẽng 1 giểi thiêu kin thc tng quan bao gm : Giểi thiêu mẻt sậ c
trng v sá kt hềp a c trng thèng ềc s dng trong mẻt sậ nghiờn cu
tiờu biu v CBIR. Giểi thiêu v phõn tớch mẻt sậ k thut chuân hoỏ c trng,
chuân hoỏ khoÊng cỏch. Giểi thiêu v phõn tớch mẻt sậ k thut giÊi quyt bi
toỏn khoÊng trậng ng nghổa nh k thut hiêu chứnh trng sậ, dch chuyn truy
vòn s dng thụng tin phÊn hi liờn quan, mẻt sậ k thut mỏy hc.
Chẽng 2 xuòt chuân hoỏ c trng cÊi tin dáa theo chuân hoỏ Gauss.
xuòt k thut hiêu chứnh trng sậ v dch chuyn truy vòn dáa vo thụng tin
phÊn hi ca ngèi dựng.
Chẽng 3 xuòt rỳt gn tp ng viờn nhăm giÊm khụng gian tỡm kim dáa
vo tip cn tậi u Pareto vểi cỏc tiờu chớ láa chn l khụng gian a c trng.
Tp cỏc Ênh liờn quan theo phÊn hi ca ngèi dựng ềc s dng hiêu chứnh

lĐi tp Pareto phự hềp vểi nhu cảu tỡm kim ca chớnh ngèi dựng, cho phộp
nõng cao ẻ chớnh xỏc phõn lểp trong CBIR.
Cuậi cựng l phản Kt lun v hểng phỏt trin, tng hềp cỏc kt quÊ chớnh
ca lun ỏn v mẻt sậ khuyn ngh nghiờn cu tẽng lai.


Ch˜Ïng 1
TÍng quan v∑ Tra c˘u £nh d¸a
vào nÎi dung
VÓi s¸ gia t´ng nhanh chóng sË l˜Òng d˙ liªu £nh sË, CBIR tr thành lænh v¸c
nghiên c˘u dành ˜Òc nhi∑u s¸ quan tâm trong nhi∑u n´m qua, gÁm rßt nhi∑u các
nghiên c˘u nh˜ [12], [46], [64], [80], [88], [90], [91], [115], [124]. Các hª thËng này
th˜Ìng trích rút các bi∫u diπn tr¸c quan cıa £nh và ‡nh nghæa các hàm tìm ki∏m,
Ëi sánh mËi liên quan khi tra c˘u áp ˘ng yêu c¶u ng˜Ìi dùng.

∫ c£i thiªn hiªu

n´ng tra c˘u, các kˇ thu™t hÂc máy hiªu qu£ ã ˜Òc s˚ dˆng trong phân lÓp
theo truy vßn [18], [22], [54], [112]. MÎt hª thËng CBIR gÁm các thành ph¶n cÏ
b£n mô t£ trong sÏ Á Hình 0.1. NÎi dung cıa ch˜Ïng s≥ nghiên c˘u mÎt sË thành
ph¶n cÏ b£n nh˜ trích rút ∞c tr˜ng, chu©n hoá, ph£n hÁi liên quan. Bên c§nh ó
ch˜Ïng s≥ phân tích mÎt sË nghiên c˘u liên quan, nh˙ng y∏u tË £nh h˜ng ∏n
hiªu qu£ hª thËng CBIR.
Mˆc 1.1 giÓi thiªu mÎt sË ∞c tr˜ng £nh s˚ dˆng trong hª thËng CBIR.

∫

s˚ dˆng hiªu qu£ các ∞c tr˜ng, trong Mˆc 1.2 giÓi thiªu mÎt sË hª thËng CBIR
s˚ dˆng k∏t hÒp a ∞c tr˜ng. Mˆc 1.3 giÓi thiªu và phân tích mÎt sË ph˜Ïng
pháp chu©n hoá th˜Ìng ˜Òc s˚ dˆng trong CBIR cho ∞c tr˜ng và giá tr‡ kho£ng

cách. Kho£ng trËng ng˙ nghæa ˜Òc trình bày trong Mˆc 1.4. MÎt sË kˇ thu™t
8


9
giÊm khoÊng trậng ng nghổa ềc trỡnh by trong cỏc Mc 1.5, 1.6, 1.7 v 1.8.
Mc 1.9 trỡnh by phẽng phỏp ỏnh giỏ hiêu nng ca hê thậng CBIR s dng
trong cỏc xuòt Chẽng 2 v Chẽng 3.

1.1

Mẻt sậ c trng Ênh thèng s dng trong
tra cu Ênh dáa vo nẻi dung

Trong CBIR, trớch rỳt c trng nhăm chuyn i mẩi Ênh ảu vo thnh
mẻt tp cỏc c trng (thụng thèng dểi hỡnh thc vector c trng). Cỏc c
trng mc thòp ềc trớch rỳt mẻt cỏch tá ẻng dáa trờn cỏc thuẻc tớnh khỏc
nhau (mu sc, kt còu, hỡnh dĐng, v.v.) ca chớnh Ênh ú. Trểc khi trớch rỳt
c trng, cỏc Ênh ềc tin x l (chuyn i khụng gian mu, giÊm nhiu, lềng
t hoỏ, v.v.). Cỏc c trng s mang ảy thụng tin v Ênh, viêc tỡm cỏc c
trng liờn quan biu din nẻi dung trác quan ca cỏc Ênh trong mẻt cẽ s d liêu
lển vđn ang l mẻt nhiêm v thỏch thc. Láa chn c trng tu thuẻc vo cẽ
s d liêu Ênh, tu thuẻc ng dng v cng nh tu thuẻc vo mong muận ca
ngèi dựng. Cỏc c trng cú th biu din ton cc (cho ton bẻ Ênh), cc bẻ
(cho mẻt vựng c biêt ca Ênh) hoc cỏc tip cn khụng gian.

1.1.1

Miờu tÊ ton cc

Lềc mu
c trng ny ềc s dng trong nhiu hê thậng CBIR nh QBIC [72],
MARS [79], [83], [90], PicHunter [17], VisualSEEK [96], v.v. Lềc mu thèng
ềc bit dểi dĐng mẻt vector n chiu [h1 , ..., hn ], trong ú hj l sậ im Ênh cú
mu j trong Ênh v n l sậ cỏc giỏ tr mu. Nh vy, lềc mu biu din phõn
bậ ca cỏc mu trong Ênh.


10
Cỏc mụ men mu
GiÊ nh mu trong mẻt Ênh cú th theo mẻt phõn phậi xỏc suòt nhòt nh.
Khi ú, cỏc mụ men phõn phậi mu s ềc s dng nh cỏc c trng mu ca
Ênh. Stricker v Orengo [97] nh nghổa cỏc mụ men mu khỏc nhau cho mẩi kờnh
mu trong Ênh.

Tẽng quan mu
Tẽng quan mu núi n tẽng quan khụng gian ca cỏc cp mu trong Ênh
[45]. Trong [74], [84] ó s dng trớch rỳt c trng Ênh s dng cho CBIR.
Tẽng tá lềc mu v cỏc mụ men mu, tẽng quan mu cú th s dng cho
cỏc loĐi khụng gian mu khỏc nhau.

c trng kt còu
c trng kt còu ềc s dng rẻng rói trong CBIR, phÊn ỏnh còu trỳc
khụng gian, b mt,... Cú th nh nghổa mẻt vựng kt còu nh mẻt vựng cú
cèng ẻ khụng ng nhòt. Cỏc c trng kt còu cng l cỏc c trng trác quan
quan trng ca Ênh. Chỉng hĐn, con h v con bỏo khụng th phõn biêt nu chứ
s dng mu sc v hỡnh dĐng. Cỏc c trng kt còu l cản thit trong trèng
hềp ny.
Cú th chia biu din kt còu thnh phẽng phỏp còu trỳc v phẽng phỏp
thậng kờ. Cỏc phẽng phỏp còu trỳc miờu tÊ kt còu băng cỏch xỏc nh tớnh bÊn

chòt hoc cỏc mđu cẽ bÊn (nh l cỏc èng trũn, hỡnh lc giỏc, hỡnh ch nht,...)
v quy tc tĐo nờn kt còu. Cỏc phẽng phỏp ny cú hiêu quÊ khi miờu tÊ cỏc
kt còu cú còu trỳc, qua cp trong bi bỏo [38], [66], [105], [109]. Phẽng phỏp
thậng kờ miờu tÊ kt còu thụng qua tp thậng kờ cỏc vector c trng, dáa trờn
cỏc tớnh chòt nh ẻ tẽng phÊn, entropy,... a ra trong [38], [39].


11
Trong [34], [56] dáa vo nguyờn l kt còu l sá lp i lp lĐi ca cỏc chòt
liêu vểi mẻt tản suòt nhòt nh, tng ca phẽng phỏp ny l s dng mẻt tp
cỏc bẻ lc Gabor phõn tớch còu trỳc ca kt còu a tứ lê (tản sậ) v a hểng.
Zhang v cẻng sá [121] s dng bin i Gabor wavelet s dng cho CBIR.

c trng hỡnh dĐng
Cỏc c trng hỡnh dĐng ềc s dng rẻng rói trong cỏc hê thậng CBIR
[107].

õy l kiu c trng miờu tÊ ậi tềng v vựng. Cỏc miờu tÊ hỡnh dĐng

ềc trớch rỳt, sau khi phõn oĐn Ênh theo cỏc ậi tềng v cỏc vựng. Cỏc c
trng hỡnh dĐng khụng phong phỳ băng cỏc c trng mu v kt còu.

c trng

hỡnh dĐng ềc giểi thiêu trong bi bỏo [117]. Cú th chia chỳng vo hai nhúm :
(i) Cỏc miờu tÊ èng ng mc ; (ii) Cỏc miờu tÊ vựng. Cỏc miờu tÊ èng ng
mc a ra trong mẻt sậ bi bỏo [29], [119], [122]. Cỏc miờu tÊ vựng, cú th biu
din cỏc thuẻc tớnh ca ton bẻ vựng, ềc a ra trong cỏc bi bỏo v cỏc mụ
men Hu [44], cỏc bòt bin Zernike [51].

c trng GIST
Oliva v Torralba [75] mụ hỡnh hoỏ viêc nhn dĐng cÊnh th giểi thác b qua
phõn oĐn, quỏ trỡnh x l cỏc vựng v cỏc ậi tềng c th băng xuòt tp
chiu trác quan (tớnh tá nhiờn, tớnh rừ rng, tớnh nhỏm, gión n, g gh) biu din
còu trỳc khụng gian ca mẻt cÊnh. Mụ hỡnh ny tĐo ra mẻt khụng gian a chiu,
trong ú cỏc cÊnh liờn quan tểi cỏc ch ng nghổa (vớ d nh èng phậ, cao
tậc, bè bin) ềc xem nh gản nhau. Tớnh hiêu quÊ ca c trng GIST ó ềc
chng minh trong nhn dĐng ậi tềng [76], [103].