Luận án tiến sĩ nghiên cứu một số kỹ thuật phân hạng trong tra cứu ảnh dựa vào nội dung

BỘ GIÁO DỤC VÀ ĐÀO TẠO

VIỆN HÀN LÂM KHOA HỌC
VÀ CÔNG NGHỆ VIỆT NAM

HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ
-----------------------------

VŨ VĂN HIỆU

NGHIÊN CỨU MỘT SỐ KỸ THUẬT PHÂN HẠNG TRONG
TRA CỨU ẢNH DỰA VÀO NỘI DUNG

LUẬN ÁN TIẾN SỸ TOÁN HỌC

HÀ NỘI – 2017


BỘ GIÁO DỤC VÀ ĐÀO TẠO

VIỆN HÀN LÂM KHOA HỌC
VÀ CÔNG NGHỆ VIỆT NAM

HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ
-----------------------------

VŨ VĂN HIỆU

NGHIÊN CỨU MỘT SỐ KỸ THUẬT PHÂN HẠNG
TRONG TRA CỨU ẢNH DỰA VÀO NỘI DUNG

LUẬN ÁN TIẾN SỸ TOÁN HỌC
Chuyên ngành: Cơ sở Toán học cho Tin học
Mã số: 62 46 01 10

Người hướng dẫn khoa học:
1. PGS. TS. Ngô Quốc Tạo
2. PGS.TS. Nguyễn Hữu Quỳnh

Hà Nội – 2017


LÌi cam oan
Tơi xin cam oan lu™n án “Nghiên c˘u mẻt sậ k thut phõn hĐng trong
tra cu Ênh dáa vào nỴi dung” là cơng trình nghiên c˘u cıa riêng tơi. Các sË
liªu, k∏t qu£ ˜Ịc trình bày trong lu™n án là hồn tồn trung th¸c và ch˜a t¯ng
˜Ịc cơng bậ trong bòt k mẻt cụng trỡnh no khỏc.


Tụi ó trớch dđn ảy cỏc ti liêu tham khÊo, cụng trình nghiên c˘u liên
quan  trong n˜Ĩc và qc t∏. NgoĐi tr cỏc ti liêu tham khÊo ny, lun
ỏn hon tồn là cơng viªc cıa riêng tơi.

⌅

Trong các cơng trình khoa hÂc ˜Ịc cơng bË trong lu™n án, tơi ã th∫ hiªn
rõ ràng và chính xác óng góp cıa các Áng tác gi£ và nh˙ng gì do tơi ã
óng góp.

⌅

Lu™n án ˜Ịc hồn thành trong thÌi gian tơi làm Nghiên cu sinh tĐi Phũng
Nhn dĐng v Cụng nghê tri thc, Viªn Cơng nghª thơng tin, Viªn Hàn
lâm Khoa hÂc và Cụng nghê Viêt Nam.

Tỏc giÊ :

H Nẻi :

i


Lèi cÊm ẽn
Lun ỏn ềc thác hiên dểi sá hểng dđn khoa hc ca PGS.TS Ngụ Quậc TĐo
v PGS.TS Nguyn H˙u Qu˝nh. Nghiên c˘u sinh xin bày t‰ lòng bi∏t Ïn sâu s≠c
∏n hai Th¶y v∑ ‡nh h˜Ĩng khoa hÂc, nh˙ng bài hÂc, nh˙ng góp ˛ qu˛ báu trong
nghiên c˘u. Cỏc Thảy ó tĐo iu kiên vụ cựng thun lềi trong st q trình
nghiên c˘u cıa Nghiên c˘u sinh.
Tơi xin ˜Òc c£m Ïn các nhà khoa hÂc, tác gi£ cıa các cơng trình cơng bË ã ˜Ịc
trích d®n trong lu™n án, ây là nh˙ng t˜ liªu qu˛, ki∏n th˘c liên quan quan trÂng
giúp Nghiên c˘u sinh hoàn thành lu™n án. Xin c£m Ïn ∏n các nhà khoa hÂc ã
ph£n biªn các cơng trình nghiên c˘u cıa Nghiên c˘u sinh.
Tơi trân trng cÊm ẽn Phũng Nhn dĐng v Cụng nghê tri thc, Phũng quÊn l
o tĐo, Viên Cụng nghê thụng tin, HÂc viªn Khoa hÂc và Cơng nghª, Viªn Hàn
lâm Khoa hc v Cụng nghê Viêt Nam ó tĐo iu kiên thu™n lỊi cho tơi trong
st q trình nghiên c˘u th¸c hiªn lu™n án. Tơi cÙng xin c£m Ïn sâu s≠c n Hẻi
ng Khoa hc Viên Cụng nghê thụng tin, cỏc Thảy trong Hẻi ng bÊo vê còp
cẽ s ó gúp ˛ giúp Nghiên c˘u sinh hồn thiªn cơng trình lu™n án này.
Tơi cÙng bày t‰ s¸ c£m Ïn sâu s≠c n Khoa Cụng nghê thụng tin, Trèng
hc

Đi

iên Lác, H Nẻi ó tĐo iu kiên cho tụi ềc hc tp, trao Íi và nghiên

c˘u. Tơi xin c£m Ïn Tr˜Ìng

§i hÂc H£i Phũng ó tĐo iu kiên v thèi gian v

ti chớnh cho tụi thác hiên lun ỏn ny.
Mẻt phản ca nghiờn cu ny ềc thác hiên trong khuụn kh ti nghiên c˘u
mã sË CS’15.03 cıa Viªn Cơng nghª Thơng tin, Viªn Hàn lâm Khoa hÂc và Cơng
nghª Viªt Nam và ∑ tài nghiên mã sË VAST01.07/15-16 cıa Viªn Hàn lâm Khoa
hÂc và Cơng nghª Viªt Nam. Xin c£m Ïn các trao Íi và trỊ giúp cıa các thành
viên ∑ tài.
Ci cùng, tơi xin bày t‰ lịng bi∏t Ïn vơ h§n Ëi vĨi cha mµ, vỊ con và tồn th∫
anh em trong gia ình ã ln ıng hỴ, giúp Ơ tơi.

ii


Mˆc lˆc
LÌi cam oan

i

LÌi c£m Ïn

ii

T¯ vi∏t t≠t

v

K˛ hiªu tốn hÂc

vi

Danh mˆc các hình v≥

vii

Danh mˆc các b£ng bi∫u

M

xi

¶u

1

1 TÍng quan v Tra cu Ênh dáa vo nẻi dung
1.1 Mẻt sË ∞c tr˜ng £nh th˜Ìng s˚ dˆng trong tra c˘u Ênh dáa vo
nẻi dung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.1.1 Miêu t£ toàn cˆc . . . . . . . . . . . . . . . . . . . . . . .
1.1.2 Miêu t£ cˆc bỴ . . . . . . . . . . . . . . . . . . . . . . . .
1.2 TÍ hỊp ∞c tr˜ng trong tra c˘u £nh d¸a vào nỴi dung . . . . . . .
1.3 Chu©n hố trong CBIR . . . . . . . . . . . . . . . . . . . . . . . .
1.3.1 Mˆc ích cıa chu©n hố . . . . . . . . . . . . . . . . . . .
1.3.2 Chu©n hóa min-max . . . . . . . . . . . . . . . . . . . . .

1.3.3 Chu©n hóa Gauss . . . . . . . . . . . . . . . . . . . . . . .
1.4 Kho£ng trËng ng˙ nghæa . . . . . . . . . . . . . . . . . . . . . . .
1.5 Ph£n hÁi liên quan trong CBIR . . . . . . . . . . . . . . . . . . .
1.6 Hiªu chønh trÂng sË và d‡ch chuy∫n truy vßn trong CBIR s˚ dˆng
ph£n hÁi liên quan . . . . . . . . . . . . . . . . . . . . . . . . . .
1.7 Tra c˘u £nh d¸a vào nỴi dung s˚ dˆng kˇ thu™t máy hÂc . . . . .
1.7.1 Huòn luyên v kim tra . . . . . . . . . . . . . . . . . . .
1.7.2 Nhãn d˙ liªu . . . . . . . . . . . . . . . . . . . . . . . . .
1.7.3 Xây d¸ng mơ hình hÂc . . . . . . . . . . . . . . . . . . . .
1.8 Mẻt sậ tip cn dáa theo phẽng phỏp tậi ˜u Pareto . . . . . . .
iii

8
.
.
.
.
.
.
.
.
.
.

9
9
12
13
14
14

16
16
19
21

.
.
.
.
.
.

23
27
27
28
29
33


1.9
2

3

Ph˜Ïng pháp ánh giá hiªu n´ng trong CBIR . . . . . . . . . . . . 34

xuòt chuân hoỏ c trng v hiêu chứnh trng sậ
c trng
2.1 Chuân hoỏ c trng dáa vo phõn cm mè FCM . .

2.2 Chuân hoỏ khoÊng cỏch dáa vo phân cˆm FCM . .
2.3 Hiªu chønh trÂng sË, d‡ch chuyn truy vòn . . . . . .
2.3.1 Hiêu chønh trÂng sË . . . . . . . . . . . . . . .
2.3.2 D‡ch chuy∫n truy vßn . . . . . . . . . . . . . .
2.4 Th˚ nghiªm và ánh giá các k∏t qu£ . . . . . . . . .
2.4.1 CÏ s d˙ liªu £nh . . . . . . . . . . . . . . . .
2.4.2 Trích rút bỴ ∞c tr˜ng k∏t hÒp . . . . . . . .
2.4.3 Các kt quÊ thác nghiêm v lun giÊi . . . . .
2.5 K∏t lu™n Ch˜Ïng 2 . . . . . . . . . . . . . . . . . . .

trong tÍ hỊp
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

37
39

45
46
51
52
54
54
55
55
68

.
.
.
.
.
.
.
.
.
.

∑ xt kˇ thu™t Pareto front a m˘c sâu nâng cao hiªu qu£
phân lĨp Ênh
3.1 Mẻt sậ tớnh chòt hỡnh thc dáa trờn k thu™t Pareto front a m˘c
sâu trong khơng gian tÍ hỊp ∞c tr˜ng . . . . . . . . . . . . . . . .
3.2 Nâng cao hiªu qu£ phân lĨp £nh . . . . . . . . . . . . . . . . . . . .
3.3 Th˚ nghiªm và ánh giá các k∏t qu£ . . . . . . . . . . . . . . . . .
3.3.1 CÏ s d˙ liªu £nh . . . . . . . . . . . . . . . . . . . . . . . .
3.3.2 Các ph˜Ïng pháp cÏ s . . . . . . . . . . . . . . . . . . . . .
3.3.3 Ph˜Ïng pháp ánh giá . . . . . . . . . . . . . . . . . . . . .

3.3.4 Cỏc kt quÊ thác nghiêm . . . . . . . . . . . . . . . . . . . .
3.4 K∏t lu™n Ch˜Ïng 3 . . . . . . . . . . . . . . . . . . . . . . . . . . .

69
73
81
86
86
88
88
89
96

K∏t lu™n và h˜Óng phát trin

97

Danh mc cụng trỡnh

99

A Mẻt sậ cẽ s d liêu
A.1 Corel . . . . . . .
A.2 Wang . . . . . . .
A.3 Caltech 101 . . .
A.4 Oxford Building .

ã công bË

£nh

. . .
. . .
. . .
. . .

s˚ dˆng
. . . . . .
. . . . . .
. . . . . .
. . . . . .

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

B Ph¶n m∑m tra c˘u theo các ∑ xußt cıa lu™n án

iv

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

111
. 111
. 112
. 113
. 114
120


T vit tt
DĐng vit tt DĐng ảy
CBIR



Din giÊi

Content based image retrie-

Tra cu Ênh dáa vo nẻi dung

val
FCM

Fuzzy c-means

Phõn cm mè c-means

HI

Histogram Interrsection

L˜Ịc Á giao

HSV

hue, saturation, value

màu s≠c, Ỵ bão hồ mu, ẻ sỏng

L2R

Learning to Rank

Hc xp hĐng

MARS

Multimedia Analysis and Cỏc hê thậng phõn tớch
Retrieval Systems

phẽng tiên v tra cu

Pr

Precision

ẻ chớnh xác

Re

Recall

Ỵ hÁi t˜ng

RF

Relevance feedback

RGB

red, green, blue

SIFT

Scale-Invariant

Ph£n hÁi liên quan
‰, xanh lá, xanh d˜Ïng
Feature

Transform
SVM

Support vector machine

v

Máy vector hÈ trÒ

a


K hiêu toỏn hc

ẻ di ca mẻt vector c trng

M

N Kớch thểc ca cẽ s d liêu Ênh
T Sậ bẻ ∞c tr˜ng
t Chø sË bỴ ∞c tr˜ng
Q, Ii Énh truy vòn v Ênh th i trong cẽ s d liêu
Ii Vector ∞c tr˜ng chu©n hố cıa £nh th˘ i
I˜it Vector c trng chuân hoỏ bẻ t ca Ênh th i
c trng bẻ t tẽng ng ca Ênh truy vòn Q v Ênh I bòt k

Qt, I t
Qit

c trng chuân hoỏ bẻ t ca Ênh truy vòn

DQt (Ii ), D t (Q, Ii ) Kho£ng cách theo bỴ ∞c tr˜ng t cıa £nh Ii so vĨi £nh truy
vßn Q
DQ (Ii ), D(Q, Ii ) Kho£ng cách £nh Ii so vểi Ênh truy vòn Q trờn bẻ c trng
kt hềp
top

k Tp gm k Ênh cú th hĐng tẽng tá cao nhòt ậi vểi Ênh truy vòn

NB Tp Ênh cú ẻ tẽng tá cao nhòt theo c trng ton cc trong mỴt tra
c˘u
NB

T™p £nh ˜Ịc xác nh™n khơng liên quan  ph£n hÁi cıa ng˜Ìi dùng

NB + T™p £nh ˜Ịc xác nh™n liên quan  ph£n hÁi cıa ng˜Ìi dùng
NBt T™p Ênh cú ẻ tẽng tá cao nhòt theo c trng  bỴ t trong mỴt tra c˘u
NB ⇠ T™p £nh cú th hĐng ẻ tẽng tá cao v thuẻc tp NB
c˘u
vi

trong mỴt tra


NB ⇤ T™p £nh ch˜a ˜Òc tra c˘u

(D)

Vt,c

Tâm cˆm c t™p giá tr‡ kho£ng cách bỴ ∞c tr˜ng t theo FCM

Vt (D) T™p tâm cˆm theo bỴ ∞c tr˜ng t
Vt,c,j Tâm cˆm c cıa thành ph¶n ∞c tr˜ng j  bỴ ∞c tr˜ng t theo phân cˆm
mÌ FCM
wt TrÂng sË kho£ng cách cıa bỴ ∞c tr˜ng t
p
⌘t,c,i
Giá tr‡ Ỵ thc ca phản t th i bẻ c trng t so vểi cm c, p l

hê sậ FCM
(l),NB +
t,kIt k

ẻ lêch chuân theo ẻ di c trng bẻ c trng t trong l¶n l∞p th˘

l Ëi vĨi các £nh trong tp NB +
(l),NB +
t (I )
t,DQ
i

ẻ lêch chuân khoÊng cỏch bẻ c trng t trong lản lp th l ậi vểi

cỏc Ênh trong tp NB +
t,c,i

ẻ lêch chuân thnh phản j ca bẻ c trng t theo cm c

(D)
t,c

ẻ lêch chuân khoÊng cỏch bẻ c trng t theo cm c

vii


Danh sỏch hỡnh v
0.1
0.2

Hê thậng tra cu Ênh dáa vo nỴi dung. . . . . . . . . . . . . . . .
Hê thậng xuòt . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.1
1.2
1.3

Thành ph¶n th˘ nhßt cıa ∞c tr˜ng mơ men màu. . . . . . . . . . 15
Phân bË d˙ liªu thành ph¶n 1 cıa ∞c tr˜ng mơ men màu (gËc) . . 18
(a) Phõn bậ d liêu thnh phản 5 l˜Òc Á ∞c tr˜ng l˜Òc Á HSV
(gËc). (b) L˜Òc Á ∞c tr˜ng l˜Ịc Á HSV chu©n hố theo lu™t 3
thành phản th 5, 97.4555% d liêu rẽi vo [-1,1] . . . . . . . . . 18

1.4
1.5

1.6

Énh truy vßn “mandolin image 0001.jpg”. . . . . . . . . . . . . .
Hª thËng tra c˘u vĨi £nh truy vßn “mandolin image 0001.jpg”. . .
K∏t qu£ top 20 cỏc Ênh tẽng tá nhòt vểi Ênh truy vòn lản tra
cu khi tĐo. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Hai £nh có ng˙ nghỉa t˜Ïng Áng . . . . . . . . . . . . . . . . . .
L˜Òc Á màu cıa £nh truy vßn và hai £nh trong k∏t qu£ top 20.
Minh ho§ siêu phØng . . . . . . . . . . . . . . . . . . . . . . . . .

1.7
1.8
1.9
2.1
2.2
2.3
2.4

2.5

2.6

2.7

Mụ hỡnh hê thậng xuòt . . . . . . . . . . . . . . . . . . . . . .
Minh hoĐ chuân hóa 3
FCM . . . . . . . . . . . . . . . . . . .
Minh hoĐ tớnh chòt bÊo ton th tá ca chuân hố 3
FCM . .
Phân bË d˙ liªu gËc  thành ph¶n th˘ n´m cıa các ∞c tr˜ng (a)

L˜Ịc Á màu HSV, (b) l˜Ịc Á t¸ t˜Ïng quan màu, (c) mơ men
màu, (d) k∏t cßu Gabor, (e) mơ men Wavelet, (f) GIST . . . . . .
(a) Phân bË d˙ liêu c trng lềc HSV (chuân hoỏ 3 ) thnh
phản 5 gm 97.45% thuẻc [-1,1]. (b) Phõn bậ d liêu c trng lềc
HSV (chuân hoỏ 3
FCM ) thnh phản 5 gm 99.81% thuẻc
[-1,1] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
(a) Phân bậ d liêu c trng autoCorrelogram (chuân hoỏ 3 )
thnh phản 5 gm 98.02% thuẻc [-1,1]. (b) Phõn bậ d liêu c
trng autoCorrelogram (chuân hoỏ 3
FCM ) thnh phản 5 gÁm
99.9955% thc [-1,1] . . . . . . . . . . . . . . . . . . . . . . . . .
(a) Phân bË d liêu c trng mụ men mu (chuân hoỏ 3 ) thnh
phản 5 gm 99.68% thuẻc [-1,1]. (b) Phõn bậ d liêu c trng mụ
men mu (chuân hoỏ 3
FCM ) thnh phản 5 gm 100% thuẻc
[-1,1] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

viii

3
6

. 19
. 19
.
.
.
.

20
20
21
32

. 38
. 42
. 43

. 56

. 57

. 57

. 58


2.8

2.9

2.10

2.11
2.12
2.13
2.14
2.15

(a) Phõn bậ d liêu c trng kt còu Gabor(chuân hoỏ 3 ) thnh
phản 5 gm 98.1% thuẻc [-1,1]. (b) Phõn bậ d liêu c trng kt
còu Gabor (chuân hoỏ 3
FCM ) thnh phản 5 gm 99.95% thuẻc
[-1,1] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
(a) Phõn bậ d liêu c trng bòt bin Wavelet(chuân hoỏ 3 )
thnh phản 5 gm 99.5% thuẻc [-1,1]. (b) Phõn bậ d liêu c
trng bòt bin Wavelet (chuân hoỏ 3
FCM ) thnh phản 5 gm
100% thuẻc [-1,1] . . . . . . . . . . . . . . . . . . . . . . . . . . .
(a) Phân bË d˙ liªu c trng hỡnh dĐng GIST (chuân hoỏ 3 )
thnh phản 5 gm 98.8% thuẻc [-1,1]. (b) Phõn bậ d liêu c
trng hỡnh dĐng GIST (chuân hoỏ 3
FCM ) thnh phản 5 gÁm
99.9985% thc [-1,1] . . . . . . . . . . . . . . . . . . . . . . . . .
So sánh chòt lềng truy vòn. (a) Hiêu nng Precision/Recall. (b)
Hiêu nng Î chính xác. . . . . . . . . . . . . . . . . . . . . . . .
Trung bình Ỵ chính xác cıa kˇ thu™t ∑ xußt trên top k k∏t qu£
theo n´m vòng cıa ph£n hÁi liên quan . . . . . . . . . . . . . . .
So sánh trung bình Ỵ chính xác cıa kˇ thu™t ∑ xußt và PowerTool
trên các top k k∏t qu£. . . . . . . . . . . . . . . . . . . . . . . .
So sánh trung bình Ỵ chính xác cıa kˇ thu™t ∑ xußt và PowerTool
trên top 20 k∏t qu£ theo m˜Ìi vịng cıa ph£n hÁi liên quan . . .
Bi∫u Á Precision và Recall cıa kˇ thu™t ∑ xußt v PowerTool .

Hê thậng xuòt . . . . . . . . . . . . . . . . . . . . . . . . . . .
Minh ho§ khơng gian tìm ki∏m EQ . . . . . . . . . . . . . . . . .
MỴt miêu t£ Pareto front . . . . . . . . . . . . . . . . . . . . . . .
Minh hoĐ hai mc ẻ sõu l PF 1 và PF 2 cıa không gian EQ . . .
Trung bình Ỵ chính xác (Precision) trên k∏t qu£ top k ca

xuòt Pareto-AdaBoost trờn ba tp d liêu theo n´m vòng ph£n hÁi
liên quan. (a) Db1. (b) Db2. (c) Db3. . . . . . . . . . . . . . . . .
3.6 Trung bình Ỵ chính xác (Precision) trên k∏t qu£ top k cıa ∑
xt Pareto-SVM trên ba t™p d˙ liªu theo n´m vịng ph£n hÁi liên
quan. (a) Db1. (b) Db2. (c) Db3. . . . . . . . . . . . . . . . . . .
3.7 So sánh Ỵ chính xác trên các k∏t qu£ top k cıa kˇ thu™t ∑ xt
Pareto-AdaBoost vĨi các kˇ thu™t cÏ s trên ba t™p d˙ liªu. (a) T™p
d˙ liªu Db1. (b) T™p d˙ liªu Db2. (c) T™p d˙ liªu Db3. . . . . . .
3.8 So sánh Ỵ chính xác trên các k∏t qu£ top k cıa kˇ thu™t ∑ xt
Pareto-SVM vĨi các kˇ thu™t cÏ s trên ba t™p d˙ liªu. (a) T™p d˙
liªu Db1. (b) T™p d˙ liªu Db2. (c) T™p d˙ liªu Db3. . . . . . . . .
3.9
Á th‡ Ỵ chính xác (Precision) và hÁi t˜ng (Recall) cıa các ph˜Ïng
pháp Pareto-AdaBoost, SVM, AdaBoost và MARS trên t™p d˙ liªu.
(a) T™p d˙ liªu Db1. (b) T™p d˙ liªu Db2. (c) T™p d˙ liªu Db3. .
3.10 Á th‡ Î chính xác (Precision) và hÁi t˜ng (Recall) cıa các ph˜Ïng
pháp Pareto-SVM, SVM, AdaBoost và MARS trên t™p d˙ liªu Db1,
Db2 và Db3. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.1
3.2
3.3
3.4
3.5

. 58

. 59

. 59
. 60

. 63
. 64
. 66
. 67
.
.
.
.

72
74
76
78

. 91

. 92

. 94

. 94

. 95

. 95

A.1 Các £nh ví dˆ t¯ cÏ s d˙ liªu Corel . . . . . . . . . . . . . . . . . 112
ix

A.2 Mẻt Ênh mđu t mẩi lểp ca 10 lểp cıa cÏ s d˙ liªu Wang . . .
A.3 MÈi mđu cho mẻt ch trong sậ 101 ch trong cÏ s d˙ liªu
£nh Caltech 101 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
A.4 Các m®u cıa cÏ s d˙ liªu Wang, các chı ∑ ng˙ nghỉa : bi∫n, Châu
Phi, hoa hÁng, khıng long, ng¸a, núi, th˘c ´n, di tích, voi, xe bu˛t.
MÈi dịng mỴt chı ∑, ví dˆ mÈi chı ∑ 5 £nh t˜Ïng ˘ng t¯ trên
xuËng d˜Ói. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
A.5 Ton bẻ 55 Ênh truy vòn ềc s dng trong ánh giá ground truth.
MÈi dịng cho bi∏t các truy vßn khác nhau cho cùng c£nh ‡a danh.
L˜u ˛ s¸ thay i lển v phĐm vi ca cỏc vựng truy vòn và thay
Íi v‡ trí, ánh sáng, v.v cıa chính các £nh. . . . . . . . . . . . . .
B.1
B.2
B.3
B.4
B.5
B.6
B.7
B.8
B.9
B.10
B.11

a mẻt Ênh vo hê thậng tra c˘u ∑ xußt. . . .
K∏t qu£ tra c˘u khi t§o cıa top 20 . . . . . .
K∏t qu£ tra c˘u top 20 vịng ph£n hÁi th˘ nhßt
K∏t qu£ tra c˘u top 20 vòng ph£n hÁi th˘ hai .
K∏t qu£ tra c˘u top 20 vòng ph£n hÁi th˘ ba .
a vo hê thậng mẻt truy vòn . . . . . . . . . .
K∏t qu£ tra c˘u khi t§o top 20. . . . . . . . .

K∏t qu£ tra c˘u top 20 vòng ph£n hÁi th˘ nhßt
K∏t qu£ tra c˘u top 20 vịng ph£n hÁi th˘ hai .
K∏t qu£ tra c˘u top 20 vòng ph£n hÁi th˘ ba .
K∏t qu£ tra c˘u top 20 vòng ph£n hÁi th˘ t˜ .

x

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

. 113
. 117

. 118

. 119
.
.
.
.
.
.
.
.
.
.
.

120
121
121
122
122
123
123
124
124
124
125


Danh sách b£ng
2.1

2.2

2.3
2.4
2.5
2.6
2.7
2.8
2.9
2.10
2.11
3.1
3.2
3.3
3.4
3.5
3.6
3.7

B£ng mỴt sË £nh theo nh™n ‡nh chı quan cıa ng˜Ìi dùng so sánh
v∑ t˜Ïng t¸ ng˙ nghỉa vểi truy vòn Q = 710.jpg. Cỏc Ênh năm trong
tp Wang . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
ẻ o khoÊng cỏch ca Ênh truy vòn 710.jpg Ëi vÓi các £nh t™p
NB + , NB và NB . K hiêu cỏc cẻt (d1), (d2), (d3), (d4), (d5),
(d6) là kho£ng cách t˜Ïng ˘ng cıa các bỴ ∞c tr˜ng l˜Ịc Á màu
HSV, t¸ t˜Ïng quan màu, mơ men màu, k∏t cßu Gabor, mơ men
Wavelet và GIST theo các hàm kho£ng cách ; D là kho£ng cách
tồn bỴ. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Ỵ o kho£ng cách L2 cıa £nh truy vßn 710.jpg Ëi vĨi các £nh
trong t™p NB + , NB và NB ⇠ . . . . . . . . . . . . . . . . . . . . .
Các miêu t£ £nh và hàm khoÊng cỏch s dng trong thác nghiêm. .

Tham sậ phõn cˆm FCM . . . . . . . . . . . . . . . . . . . . . . . .
Các Ëi t˜Òng cıa t™p AGRt trên sáu l¶n l∞p ph£n hÁi Ëi vĨi £nh
truy vßn Q = 710.jpg . . . . . . . . . . . . . . . . . . . . . . . . . .
ThËng kê trÂng sË kho£ng cách t¯ng bỴ ∞c tr˜ng wt theo mẩi lản
lp ậi vểi mẻt sậ Ênh truy vòn . . . . . . . . . . . . . . . . . . . .
Trung bình Ỵ chính xác (Precision) top k k∏t qu£ trên 10 vịng
ph£n hÁi liên quan Ëi vĨi t™p d˙ liªu Wang ca k thut xuòt .
Trung bỡnh ẻ hi t˜ng (Recall) top k k∏t qu£ trên 10 vòng ph£n
hÁi liên quan Ëi vĨi t™p d˙ liªu Wang cıa kˇ thut xuòt . . . .
Trung bỡnh ẻ chớnh xác (Precision) top k k∏t qu£ trên 10 vòng
ph£n hÁi liên quan Ëi vĨi t™p d˙ liªu Wang cıa PowerTool (MARS)
Trung bình Ỵ hÁi t˜ng (Recall) top k k∏t qu£ trên 10 vịng ph£n
hÁi liên quan Ëi vĨi t™p d˙ liªu Wang cıa PowerTool (MARS) . .
Kho£ng cách gi˙a Q và o1 , o2 , o3 trong các ∞c tr˜ng màu s≠c và
k∏t cßu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Các miêu t£ £nh v hm khoÊng cỏch s dng trong thác nghiêm.
Cỏc tham sậ s dng trong thác nghiêm. . . . . . . . . . . . . . .
SË ˘ng viên Pareto theo top k Ëi vÓi Db1 . . . . . . . . . . . .
SË ˘ng viên Pareto theo top k Ëi vÓi Db2 . . . . . . . . . . . .
SË ˘ng viên Pareto theo top k Ëi vÓi Db3 . . . . . . . . . . . .
Trung bình Ỵ chính xác top
k k∏t qu£ cıa ∑ xt ParetoAdaBoost trên n´m vịng ph£n hÁi liên quan Ëi vĨi t™p d˙ liªu
Db1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
xi

.
.
.
.
.

.

48

49
50
50
55
60
61
63
64
65
65
70
87
89
90
90
91

. 91


Trung bình Ỵ chính xác top
k k∏t qu£ cıa ∑ xt ParetoAdaBoost trên n´m vịng ph£n hÁi liên quan Ëi vĨi t™p d˙ liªu
Db2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.9 Trung bình Ỵ chính xác top
k k∏t qu£ cıa ∑ xt ParetoAdaBoost trên n´m vịng ph£n hÁi liên quan Ëi vĨi t™p d˙ liªu
Db3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.10 Trung bình Ỵ chính xác top k k∏t qu£ cıa ∑ xußt Pareto-SVM
trên n´m vịng ph£n hÁi liên quan Ëi vĨi t™p d˙ liªu Db1 . . . .
3.11 Trung bình Ỵ chính xác top k k∏t qu£ cıa ∑ xt Pareto-SVM
trên n´m vịng ph£n hÁi liên quan Ëi vĨi t™p d˙ liªu Db2 . . . .
3.12 Trung bình Ỵ chính xác top k k∏t qu£ cıa ∑ xt Pareto-SVM
trên n´m vịng ph£n hÁi liên quan Ëi vĨi t™p d˙ liªu Db3 . . . .
3.8

. 92

. 92
. 93
. 93
. 93

A.1 Danh sách 10 chı ∑ cıa cÏ s d˙ liªu Wang . . . . . . . . . . . . . 114
A.2 Danh sách 101 chı ∑ cıa cÏ s d˙ liªu Caltech 101 . . . . . . . . . 115
A.3 Danh sách 17 chı ∑ cıa cÏ s d˙ liªu Oxford Buildings . . . . . . . 116

xii


M

ảu

Tớnh còp thit ca

ti

Sá phỏt trin mĐnh m ca Internet cho phép dπ dàng xây d¸ng, l˜u tr˙ các
cÏ s d liêu lển. Mẻt trong sậ ú l Flickr 1 , YouTube 2 , Facebook 3 , Twitter 4 v
ton bẻ mĐng Internet. Yờu cảu khai thỏc mẻt cỏch hiêu quÊ d liêu a phẽng
tiên trờn thỳc ây sá quan tõm ca cẻng ng nghiờn cu [21]. Nhiu hê thËng
tìm ki∏m thơng tin v´n b£n và £nh nh˜ Google 5 , Bing 6 , Yahoo 7 ã ˜Òc phát
tri∫n mĐnh m trong nhng nm gản õy nhng vđn cha ỏp ng ềc nhu cảu
ngèi dựng. Sá phỏt trin mĐnh m≥ cıa d˙ liªu a ph˜Ïng tiªn ngày càng tr
thành mỴt thách th˘c lĨn. Khi kích th˜Ĩc cıa kho £nh ròt lển cỏch tip cn tra
cu băng t khúa tr nên khơng kh£ thi d®n tĨi các nghiên c˘u khai thỏc tra cu
dáa trờn nẻi dung d liêu Ênh.
Tra cu Ênh dáa vo nẻi dung (Content-based image retrieval) hay gi t≠t là
CBIR ˜Ịc giĨi thiªu bi các nghiên c˘u t¯ nh˙ng n´m 1980. CBIR ã ˜Ịc ã
˜Ịc nghiên c˘u rỴng rãi, nhi∑u ph˜Ïng pháp và hª thËng ã ˜Ịc phát trin
trớch rỳt nẻi dung ca Ênh băng cỏch s dng cỏc c trng mc thòp . D liêu
trong CBIR ềc lòy trờn cẽ s cỏc nẻi dung m nú trớch rỳt băng cỏch s dng
1.
2.
3.
4.
5.
6.
7.

/>
/> />
/> />
1


2

các kˇ thu™t trích rút ∞c tr˜ng m˘c thßp bên trong ca mẩi Ênh (mu sc, hỡnh
dĐng, kt còu, vv).
Tuy CBIR cú nhiu tin bẻ song ngèi dựng vđn gp khó kh´n trong viªc
tìm ki∏m thơng tin liên quan t¯ tp d liêu Ênh lển khụng ng nhòt v mt nẻi
dung v ng nghổa.

iu ny dđn n kt quÊ tỡm ki∏m ch˜a §t ˜Ịc nh˜ mong

mn. Thơng tin mà máy tính hi∫u nỴi dung £nh th˜Ìng là các giá tr‡ i∫m £nh,
vector ∞c tr˜ng ˜Ịc trích rút theo các thı tˆc,... cịn con ng˜Ìi hi∫u v∑ nỴi dung
cıa £nh th˜Ìng l cỏc khỏi niêm ng nghổa. Do khụng cú sá t˜Ïng quan mỴt cách
chính xác gi˙a nỴi dung mà máy tớnh cú ềc thụng qua c trng trác quan mc
thòp vĨi nỴi dung mà con ng˜Ìi hi∫u thơng qua các khỏi niêm ng nghổa mc
cao dđn n khoÊng trậng ng nghỉa. Kho£ng trËng ng˙ nghỉa ‡nh nghỉa theo
Smeulders và cỴng s¸ [94] nh˜ sau :
“Kho£ng trËng ng˙ nghỉa là s¸ khơng t˜Ïng Áng gi˙a thơng tin £nh, ˜Ịc
trích rút t¯ d liêu trác quan so vểi din giÊi v d liªu £nh ó bi ng˜Ìi dùng
trong tình hng cˆ th∫ .
KhoÊng trậng ng nghổa năm gia cỏc c trng trác quan m˘c thßp cıa các
£nh và các ng˙ nghỉa m˘c cao mong muËn d¸ ‡nh suy ra t¯ các ∞c trng trác
quan mc thòp. Nhiu nghiờn cu trong lổnh vác CBIR n nay vđn ang cậ gng
thu hàp khoÊng trậng ng˙ nghæa này. Cˆ th∫, hÏn ba th™p kø qua nhi∑u hª thËng
CBIR ã ˜Ịc phát tri∫n, bao gÁm QBIC [28], Photobook [80], MARS [79], [83],
[90], PicHunter [17], VisualSEEK [96], Blobworld [11], MindReader [46], SIMPLIcity [110], FIRE [23], và các nghiên c˘u khác [12], [41], [60], [115], [124].

Mˆc tiêu, ph§m vi nghiờn cu ca lun ỏn
Thụng thèng mẻt hê thậng tra cu Ênh dáa vo nẻi dung ềc miờu tÊ nh
Hỡnh 0.1 [62]. Cỏc nẻi dung trác quan ca cỏc £nh trong cÏ s d˙ liªu ˜Ịc trích
rút và miêu t£ bi các vector ∞c tr˜ng nhi∑u chi∑u. Các vector ∞c tr˜ng cıa các

3
Ênh trong cẽ s d liêu tĐo nờn mẻt cẽ s d˙ liªu ∞c tr˜ng.

∫ tra c˘u các £nh,

thơng tin truy vòn ca ngèi dựng a vo hê thậng tra c˘u có th∫ là các £nh
m®u ho∞c v≥ phác th£o. Hê thậng sau ú s bin i nhng mđu ny t˜Ïng ˘ng
vÓi bi∫u diπn cıa các vector ∞c tr˜ng. Các Î t˜Ïng t¸ ho∞c các kho£ng cách gi˙a
các vector ∞c tr˜ng cıa £nh truy vßn vĨi các £nh trong cÏ s d liêu ềc tớnh
v tra cu ềc thác hiên dáa trờn mẻt lềc chứ sậ. Lềc chứ sậ a ra mẻt
cỏch hiêu quÊ tỡm kim cỏc £nh trong cÏ s d˙ liªu. Qua kh£o sát nhi∑u nhiờn

Hỡnh 0.1. Hê thậng tra cu Ênh dáa vo nẻi dung.

c˘u CBIR, s¸ k∏t hỊp a ∞c tr˜ng ch˜a ˜Ịc xem xột mẻt cỏch ảy dđn n
viêc so sỏnh ẻ tẽng tá Đt hiêu quÊ cha cao. Trong hê thËng này ánh chø sË
và tra c˘u s˚ dˆng k∏t hỊp a ∞c tr˜ng cÙng c¶n ˜Ịc nghiên c˘u ∫ nâng cao
hiªu qu£ tra c˘u.

∫ nâng cao k∏t qu£ tra c˘u chính xác  ¶u ra, lu™n án ˜a ra

các mˆc tiêu và giĨi h§n ph§m vi nghiên c˘u nh˜ sau.

Mc tiờu ca lun ỏn
So sỏnh ẻ tẽng tá : Nghiờn cu v xuòt chuân hoỏ c trng, chuân hoỏ
khoÊng cỏch nõng cao hiêu quÊ so sỏnh ẻ t˜Ïng t¸.
Ph£n hÁi liên quan : Nghiên c˘u và ∑ xuòt k thut hiêu chứnh trng sậ v
dch chuyn truy vßn.

4
ánh chø sË và tra c˘u : Tßt c£ các £nh trong cÏ s d˙ liªu vector ∞c tr˜ng
˜Ịc tính tốn tr˜Ĩc và l˜u tr˙ trong hª qu£n tr‡ cÏ s d˙ liªu. Rút gÂn khơng
gian tìm ki∏m s˚ dˆng ti∏p c™n tËi ˜u Pareto ∫ l¸a chÂn t™p ˘ng viờn tật nhòt
t cẽ s d liêu. Tra cu a ra “top” k∏t qu£ các £nh có kho£ng cách cıa vector
c trng nh nhòt hoc ềc dá bỏo xp hĐng cao nhòt vểi Ênh truy vòn.

PhĐm vi nghiờn cu ca lun ỏn
S dng mẻt sậ tp Ênh chuân ềc s dˆng nhi∑u trong các nghiên c˘u v∑
CBIR. Xây d¸ng cÏ s d liêu c trng dáa trờn mẻt sậ phẽng pháp trích rút
∞c tr˜ng tËt ã có. Cài ∞t th¸c nghiêm cho cỏc xuòt. So sỏnh v ỏnh giỏ
hiêu n´ng v∑ m∞t Ỵ chính xác thơng qua t™p k∏t qu£ tra c˘u.

Ph˜Ïng pháp và nỴi dung nghiên c˘u
Ph˜Ïng pháp nghiên c˘u là k∏t hÒp gi˙a nghiên c˘u l˛ thuy∏t v thác nghiêm.
Cẽ s d liêu v thụng tin khoa hÂc ˜Ịc thu th™p, tÍng hỊp t¯ các t§p chí khoa
hÂc chun ngành trong và ngồi n˜Ĩc, qua Xêmina ho∞c tham gia bỏo cỏo tĐi cỏc
hẻi thÊo khoa hc, qua trao i vểi thảy hểng dđn v cỏc ng nghiêp cùng lỉnh
v¸c nghiên c˘u,...
Lu™n án tÍng hỊp các thơng tin liên quan trong lỉnh v¸c CBIR, l¸a chÂn các
cách ti∏p c™n ã ˜Ịc áp dˆng thành cơng, ti∏n hành th˚ nghiêm vểi cỏc tp d
liêu Ênh chuân trong cỏc bi báo khoa hÂc và ánh giá k∏t qu£.
NỴi dung nghiên c˘u trong lu™n án gÁm :
(1) Nghiên c˘u tÍng quan v tra cu Ênh dáa vo nẻi dung.
(2) Nghiờn cu cách k∏t hỊp nhi∑u ∞c tr˜ng trong hª thËng CBIR t ú phỏt
hiên cỏc quy lut, rng buẻc cẽ bÊn cıa k∏t hÒp nhi∑u ∞c tr˜ng.


5

(3) Nghiên c˘u mỴt sË kˇ thu™t gi£m kho£ng trËng ng˙ nghỉa trong CBIR.

K∏t qu£ §t ˜Ịc cıa lu™n án
Lu™n án ã có nh˙ng óng góp chính nh˜ sau :
∑ xuòt chuân hoỏ cÊi tin phự hềp vểi d liêu thác t trong tra cu Ênh dáa
vo nẻi dung, cho phộp nõng cao hiêu quÊ ậi sỏnh ẻ tẽng tá dáa vo c trng
mc thòp ca cỏc Ênh trong hê thËng tra c˘u trong cơng trình [CT6].
∑ xt kˇ thu™t hiêu chứnh trng sậ ẻ tẽng tá v dch chuyn truy vòn
dáa vo thụng tin phÊn hi ca ngèi dựng trong cơng trình [CT6].
∑ xt s˚ dˆng tËi ˜u Pareto xõy dáng tp ng viờn nõng cao ẻ chớnh
xỏc cıa hª thËng CBIR trên khơng gian k∏t hỊp a ∞c tr˜ng trong cơng trình
[CT7].
Mơ hình tÍng qt cho các ∑ xt cıa lu™n án trong Hình 0.2 ˜Ịc mơ t£
nh˜ sau :
(1)

∞c tr˜ng £nh cıa truy vßn và các ∞c tr˜ng £nh cıa các £nh cÏ s d˙

liªu ˜Ịc chuân hoỏ theo xuòt chuân hoỏ c trng.
(2)

ẻ tẽng tá ca cỏc Ênh trong cẽ s d liêu vểi Ênh truy vòn ềc tớnh

toỏn dáa vo cỏc vector c trng ó ềc chuân hoỏ. Cỏc Ênh ềc xp hĐng
theo ẻ tẽng tá giÊm dản. Tp Ênh kt quÊ hin th top

k (tp gm k Ênh cú

th hĐng tẽng tá cao nhßt Ëi vĨi £nh truy vßn). Trên k∏t qu£ top
dùng ánh giá m˘c Ỵ liên quan theo nh™n th˘c.

k ngèi

õy l ảu vo ca xuòt hiêu

chứnh trng sậ v dch chuyn truy vòn, kt quÊ ảu ra l tp cỏc trng sậ cho
mẩi bẻ c trng.
(3)

ẻ tẽng tá các £nh trong cÏ s d˙ liªu so vĨi £nh truy vòn ềc tớnh lĐi

dáa vo hm khoÊng cỏch kt hỊp bỴ trÂng sË v¯a thu ˜Ịc.


6

Hỡnh 0.2. Hê thậng xuòt

(4) Xõy dáng tp ng viên Pareto ∫ gi£m khơng gian tìm ki∏m.
(5) T™p hn luyªn là các £nh ˜Ịc ánh giá trong t™p k∏t qu£ top

k . T™p

ki∫m tra là t™p ˘ng viên Pareto.
(6) Tỡm hm phõn lểp dáa vo thụng tin ảu vo l tp huòn luyên v tp
kim tra băng mẻt mỏy phân lÓp.
(7) S≠p x∏p các £nh trong t™p ki∫m tra theo giá tr‡ d¸ báo phân lĨp. T™p k∏t
qu£ hi∫n th gm top

k Ênh cú th hĐng giỏ tr dá báo phân lĨp cao nhßt.

(8) Ph£n hÁi liên quan : S˚ dˆng thơng tin ánh giá cıa ng˜Ìi dùng liên quan
ho∞c không liên quan trên t™p k∏t qu£ top

k . D¸a trên các £nh ˜Ịc ánh giá,


7
hê thậng hiêu chứnh trng sậ, dch chuyn truy vòn v ẻ tẽng tá s ềc cp
nht lĐi. Quỏ trỡnh ˜Ịc l∞p l§i t¯ b˜Ĩc tìm t™p ˘ng viên Pareto.
Các nghiên c˘u cıa lu™n án ã ˜Ịc cơng bË trong các cơng trình ˜a ra 
ci cıa lu™n án, óng gúp cho cỏc ti còp cẽ s Viên CNTT, mó sậ CS16.03,
CS14.03 v ti còp Viên Hn lõm Khoa hc v Cụng nghê Viêt Nam, mó sậ
VAST01.07/15-16.

Còu trỳc cıa lu™n án
Ch˜Ïng 1 giĨi thiªu ki∏n th˘c tÍng quan bao gm : Giểi thiêu mẻt sậ c
trng v sá k∏t hỊp a ∞c tr˜ng th˜Ìng ˜Ịc s˚ dˆng trong mẻt sậ nghiờn cu
tiờu biu v CBIR. Giểi thiêu v phõn tớch mẻt sậ k thut chuân hoỏ c trng,
chuân hoỏ khoÊng cỏch. Giểi thiêu v phõn tớch mẻt sậ kˇ thu™t gi£i quy∏t bài
tốn kho£ng trËng ng˙ nghỉa nh˜ k thut hiêu chứnh trng sậ, dch chuyn truy
vòn s dˆng thơng tin ph£n hÁi liên quan, mỴt sË kˇ thut mỏy hc.
Chẽng 2 xuòt chuân hoỏ c trng cÊi tin dáa theo chuân hoỏ Gauss.
xuòt k thut hiêu chứnh trng sậ v dch chuyn truy vòn dáa vào thơng tin
ph£n hÁi cıa ng˜Ìi dùng.
Ch˜Ïng 3 ∑ xt rỳt gn tp ng viờn nhăm giÊm khụng gian tỡm ki∏m d¸a
vào ti∏p c™n tËi ˜u Pareto vĨi các tiêu chí l¸a chÂn là khơng gian a ∞c tr˜ng.
T™p các £nh liên quan theo ph£n hÁi cıa ng˜Ìi dùng ˜Ịc s dng hiêu chứnh
lĐi tp Pareto phự hềp vĨi nhu c¶u tìm ki∏m cıa chính ng˜Ìi dùng, cho phép
nâng cao Ỵ chính xác phân lĨp trong CBIR.

Ci cùng là ph¶n K∏t lu™n và h˜Ĩng phát tri∫n, tÍng hỊp các k∏t qu£ chính
cıa lu™n án và mỴt sË khuy∏n ngh‡ nghiên c˘u t˜Ïng lai.


Chẽng 1
Tng quan v Tra cu Ênh dáa
vo nẻi dung
Vểi sá gia tng nhanh chúng sậ lềng d liêu Ênh sË, CBIR tr thành lỉnh v¸c
nghiên c˘u dành ˜Ịc nhi∑u sá quan tõm trong nhiu nm qua, gm ròt nhiu các
nghiên c˘u nh˜ [12], [46], [64], [80], [88], [90], [91], [115], [124]. Các hª thËng này
th˜Ìng trích rút các bi∫u diπn tr¸c quan cıa £nh và ‡nh nghỉa các hàm tìm ki∏m,
Ëi sánh mËi liên quan khi tra c˘u áp ng yờu cảu ngèi dựng.

cÊi thiên hiêu

nng tra cu, các kˇ thu™t hÂc máy hiªu qu£ ã ˜Ịc s˚ dˆng trong phân lĨp
theo truy vßn [18], [22], [54], [112]. Mẻt hê thậng CBIR gm cỏc thnh phản cẽ
bÊn mụ t£ trong sÏ Á Hình 0.1. NỴi dung cıa ch˜Ïng s nghiờn cu mẻt sậ thnh
phản cẽ bÊn nh trớch rút ∞c tr˜ng, chu©n hố, ph£n hÁi liên quan. Bên cĐnh ú
chẽng s phõn tớch mẻt sậ nghiờn cu liờn quan, nh˙ng y∏u tË £nh h˜ng ∏n
hiªu qu£ hª thËng CBIR.
Mc 1.1 giểi thiêu mẻt sậ c trng Ênh s dˆng trong hª thËng CBIR.

∫

s˚ dˆng hiªu qu£ các ∞c trng, trong Mc 1.2 giểi thiêu mẻt sậ hê thậng CBIR
s˚ dˆng k∏t hỊp a ∞c tr˜ng. Mˆc 1.3 giĨi thiêu v phõn tớch mẻt sậ phẽng
phỏp chuân hoỏ thèng ˜Òc s˚ dˆng trong CBIR cho ∞c tr˜ng và giá tr‡ kho£ng
cách. Kho£ng trËng ng˙ nghỉa ˜Ịc trình bày trong Mˆc 1.4. MỴt sË kˇ thu™t
8

9
gi£m kho£ng trËng ng˙ nghỉa ˜Ịc trình bày trong các Mˆc 1.5, 1.6, 1.7 và 1.8.
Mˆc 1.9 trình bày ph˜Ïng pháp ánh giá hiªu n´ng cıa hª thËng CBIR s˚ dng
trong cỏc xuòt Chẽng 2 v Chẽng 3.

Mẻt sË ∞c tr˜ng £nh th˜Ìng s˚ dˆng trong

1.1

tra c˘u £nh dáa vo nẻi dung
Trong CBIR, trớch rỳt c trng nhăm chuyn i mẩi Ênh ảu vo thnh
mẻt tp cỏc c tr˜ng (thơng th˜Ìng d˜Ĩi hình th˘c vector ∞c tr˜ng). Các c
trng mc thòp ềc trớch rỳt mẻt cỏch tá ẻng dáa trờn cỏc thuẻc tớnh khỏc
nhau (mu sc, kt còu, hình d§ng, v.v.) cıa chính £nh ó. Tr˜Ĩc khi trích rút
∞c tr˜ng, các £nh ˜Ịc ti∑n x˚ l˛ (chuy∫n Íi khơng gian màu, gi£m nhiπu, l˜Ịng
t˚ hố, v.v.). Các ∞c trng s mang ảy thụng tin v Ênh, viêc tỡm cỏc c
trng liờn quan biu din nẻi dung trác quan ca cỏc Ênh trong mẻt cẽ s d liêu
lển vđn ang l mẻt nhiêm v thỏch thc. Láa chn c trng tu thuẻc vo cẽ
s d liêu Ênh, tu thc ˘ng dˆng và cÙng nh˜ tu˝ thc vào mong mn cıa
ng˜Ìi dùng. Các ∞c tr˜ng có th∫ bi∫u diπn tồn cˆc (cho tồn bỴ £nh), cˆc bỴ
(cho mỴt vùng ∞c biªt cıa £nh) ho∞c các ti∏p c™n khơng gian.

1.1.1

Miêu t£ tồn cˆc

L˜Ịc Á màu
∞c tr˜ng này ˜Ịc s˚ dˆng trong nhi∑u hª thËng CBIR nh˜ QBIC [72],

MARS [79], [83], [90], PicHunter [17], VisualSEEK [96], v.v. L˜Ịc Á màu th˜Ìng
˜Ịc bit dểi dĐng mẻt vector n chiu [h1 , ..., hn ], trong ó hj là sË i∫m £nh có
màu j trong £nh và n là sË các giá tr‡ màu. Nh˜ v™y, l˜Òc Á màu bi∫u diπn phân
bË cıa các màu trong £nh.


10
Các mơ men màu
Gi£ ‡nh màu trong mỴt £nh có th theo mẻt phõn phậi xỏc suòt nhòt nh.
Khi ú, các mơ men phân phËi màu s≥ ˜Ịc s˚ dˆng nh˜ các ∞c tr˜ng màu cıa
£nh. Stricker và Orengo [97] ‡nh nghỉa các mơ men màu khác nhau cho mÈi kênh
màu trong £nh.

T˜Ïng quan màu
T˜Ïng quan màu nói ∏n t˜Ïng quan không gian cıa các c∞p màu trong £nh
[45]. Trong [74], [84] ã s˚ dˆng ∫ trích rút ∞c tr˜ng £nh s˚ dˆng cho CBIR.
T˜Ïng t¸ l˜Ịc Á màu và các mơ men màu, t˜Ïng quan màu có th∫ s˚ dˆng cho
các lo§i khơng gian màu khác nhau.

∞c tr˜ng k∏t còu
c trng kt còu ềc s dng rẻng rói trong CBIR, ph£n ánh cßu trúc
khơng gian, b∑ m∞t,... Có th∫ nh nghổa mẻt vựng kt còu nh mẻt vựng cú
cèng Ỵ khơng Áng nhßt. Các ∞c tr˜ng k∏t cßu cÙng là các ∞c tr˜ng tr¸c quan
quan trÂng cıa £nh. ChØng hĐn, con h v con bỏo khụng th phõn biêt n∏u chø
s˚ dˆng màu s≠c và hình d§ng. Các ∞c trng kt còu l cản thit trong trèng
hềp ny.
Cú th chia bi∫u diπn k∏t cßu thành ph˜Ïng pháp cßu trúc và ph˜Ïng pháp
thËng kê. Các ph˜Ïng pháp cßu trúc miêu tÊ kt còu băng cỏch xỏc nh tớnh bÊn
chòt hoc các m®u cÏ b£n (nh˜ là các ˜Ìng trịn, hình lˆc giác, hình ch˙ nh™t,...)
và quy t≠c ∫ t§o nên kt còu. Cỏc phẽng phỏp ny cú hiêu quÊ khi miêu t£ các

k∏t cßu có cßu trúc, qua ∑ c™p trong bài báo [38], [66], [105], [109]. Ph˜Ïng pháp
thËng kê miêu t£ k∏t cßu thơng qua t™p thËng kê các vector c trng, dáa trờn
cỏc tớnh chòt nh ẻ tẽng ph£n, entropy,... ˜a ra trong [38], [39].


11
Trong [34], [56] dáa vo nguyờn l kt còu l sá lp i lp lĐi ca cỏc chòt
liêu vểi mẻt tản suòt nhòt nh, tng ca phẽng phỏp ny là s˚ dˆng mỴt t™p
các bỴ lÂc Gabor ∫ phân tớch còu trỳc ca kt còu a tứ lê (tản sậ) v a hểng.
Zhang v cẻng sá [121] s dng bi∏n Íi Gabor wavelet s˚ dˆng cho CBIR.

∞c tr˜ng hình dĐng
Cỏc c trng hỡnh dĐng ềc s dng rẻng rói trong các hª thËng CBIR
[107].

ây là ki∫u ∞c tr˜ng miêu t£ Ëi t˜Ịng và vùng. Các miêu t£ hình d§ng

˜Ịc trích rút, sau khi phân o§n £nh theo các Ëi t˜Ịng và các vùng. Các ∞c
tr˜ng hình d§ng khơng phong phỳ băng cỏc c trng mu v kt còu.

c trng

hỡnh dĐng ềc giểi thiêu trong bi bỏo [117]. Cú th chia chúng vào hai nhóm :
(i) Các miêu t£ ˜Ìng Áng m˘c ; (ii) Các miêu t£ vùng. Các miêu t£ ˜Ìng Áng
m˘c ˜a ra trong mỴt sË bài báo [29], [119], [122]. Các miêu t£ vùng, có th∫ bi∫u
diπn các thc tính cıa tồn bỴ vùng, ˜Ịc ˜a ra trong các bài báo v∑ các mô
men Hu [44], các bßt bi∏n Zernike [51].

∞c tr˜ng GIST
Oliva và Torralba [75] mơ hỡnh hoỏ viêc nhn dĐng cÊnh th giểi thác b qua

phân o§n, q trình x˚ l˛ các vùng và các ậi tềng c th băng xuòt tp
chiu trác quan (tính t¸ nhiên, tính rõ ràng, tính nhám, giãn n, g gh) biu din
còu trỳc khụng gian ca mẻt cÊnh. Mụ hỡnh ny tĐo ra mẻt khụng gian a chiu,
trong ó các c£nh liên quan tÓi các chı ∑ ng˙ nghỉa (ví dˆ nh˜ ˜Ìng phË, cao
tËc, bÌ bi∫n) ˜Ịc xem nh gản nhau. Tớnh hiêu quÊ ca c trng GIST ã ˜Ịc
ch˘ng minh trong nh™n d§ng Ëi t˜Ịng [76], [103].