Tóm tắt Luận án tiến sĩ Toán học: Nghiên cứu một số kỹ thuật phân hạng trong tra cứu ảnh dựa vào nội dung

BỘ GIÁO DỤC VÀ ĐÀO TẠO

VIỆN HÀN LÂM KHOA HỌC
VÀ CÔNG NGHỆ VIỆT NAM

HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ

……..….***…………

VŨ VĂN HIỆU

NGHIÊN CỨU MỘT SỐ KỸ THUẬT PHÂN HẠNG
TRONG TRA CỨU ẢNH DỰA VÀO NỘI DUNG

Chuyên ngành: Cơ sở Toán cho Tin học
Mã số: 62 46 01 10

TÓM TẮT LUẬN ÁN TIẾN SĨ TOÁN HỌC

Hà Nội – 2017


Công trình được hoàn thành tại: Học viện Khoa học và Công nghệ Viện Hàn lâm Khoa học và Công nghệ Việt Nam

Người hướng dẫn khoa học 1: PGS. TS. Ngô Quốc Tạo
Người hướng dẫn khoa học 2: PGS. TS. Nguyễn Hữu Quỳnh

Phản biện 1: …
Phản biện 2: …
Phản biện 3: ….

Luận án sẽ được bảo vệ trước Hội đồng chấm luận án tiến sĩ, họp tại
Học viện Khoa học và Công nghệ - Viện Hàn lâm Khoa học và Công
nghệ Việt Nam vào hồi … giờ ..’, ngày … tháng … năm 201….

Có thể tìm hiểu luận án tại:
- Thư viện Học viện Khoa học và Công nghệ
- Thư viện Quốc gia Việt Nam


M

¶u

Tính cßp thi∏t cıa

∑ tài

VÓi s¸ phát tri∫n m§nh m≥ cıa Internet cho phép dπ dàng xây d¸ng, l˜u tr˙ các cÏ s d˙
liªu a ph˜Ïng tiªn lÓn. Nhi∑u hª thËng tìm ki∏m v´n b£n và £nh nh˜ Google, Yahoo phát tri∫n
m§nh m≥ trong nh˙ng n´m g¶n ây nh˜ng v®n ch˜a áp ˘ng ˜Òc nhu c¶u ng˜Ìi dùng. Bên
c§nh nh˙ng ti∏n bÎ trong CBIR, ng˜Ìi dùng v®n g∞p khó kh´n trong viªc tìm ki∏m thông tin
liên quan t¯ t™p £nh lÓn không Áng nhßt. K∏t qu£ tìm ki∏m ch˜a §t ˜Òc nh˜ mong muËn.
Nhi∑u nghiên c˘u trong lænh v¸c CBIR ∏n nay v®n ang cË g≠ng nâng cao hiªu qu£.

Mˆc tiêu, ph§m vi nghiên c˘u cıa lu™n án
Thông th˜Ìng mÎt hª thËng tra c˘u £nh d¸a vào nÎi dung ˜Òc miêu t£ nh˜ Hình 0.1

Hình 0.1. Hª thËng tra c˘u £nh d¸a vào nÎi dung.

1

Mˆc tiêu cıa lu™n án :
— So sánh Î t˜Ïng t¸ : Nghiên c˘u và ∑ xußt chu©n hoá ∞c tr˜ng, chu©n hoá kho£ng
cách ∫ nâng cao hiªu qu£ so sánh Î t˜Ïng t¸.
— Ph£n hÁi liên quan :
—

∑ xußt kˇ thu™t hiªu chønh trÂng sË và d‡ch chuy∫n truy vßn.

ánh chø sË và tra c˘u : Vector ∞c tr˜ng cıa tßt c£ các £nh trong cÏ s d˙ liªu ˜Òc
trích rút tr˜Óc và l˜u tr˙ trong hª qu£n tr‡ cÏ s d˙ liªu. Rút gÂn không gian tìm ki∏m
s˚ dˆng ti∏p c™n tËi ˜u Pareto. K∏t qu£ tra c˘u là t™p £nh có kho£ng cách nh‰ nhßt
ho∞c ˜Òc d¸ báo cùng lÓp so vÓi £nh truy vßn.

Ph§m vi nghiên c˘u cıa lu™n án :
— S˚ dˆng mÎt sË t™p £nh ˜Òc s˚ dˆng nhi∑u trong nghiên c˘u v∑ CBIR. Xây d¸ng cÏ
s d˙ liªu ∞c tr˜ng d¸a trên mÎt sË ph˜Ïng pháp trích rút ∞c tr˜ng tËt.
—

∑ xußt mÎt sË kˇ thu™t c£i thiªn Î chính xác trong CBIR trên mÎt sË t™p £nh.

— Cài ∞t th¸c nghiªm cho các ∑ xußt, so sánh và ánh giá Î chính xác.

Ph˜Ïng pháp và nÎi dung nghiên c˘u
Ph˜Ïng pháp nghiên c˘u : TÍng hÒp các thông tin liên quan trong lænh v¸c CBIR, l¸a chÂn
các cách ti∏p c™n ã ˜Òc áp dˆng thành công, ti∏n hành th˚ nghiªm vÓi các t™p d˙ liªu £nh
chu©n trong các bài báo khoa hÂc và ánh giá k∏t qu£.
NÎi dung nghiên c˘u : Nghiên c˘u tÍng quan v∑ tra c˘u £nh d¸a vào nÎi dung. Nghiên
c˘u cách k∏t hÒp nhi∑u ∞c tr˜ng t¯ ó phát hiªn các quy lu™t, ràng buÎc cÏ b£n cıa k∏t hÒp

nhi∑u ∞c tr˜ng. Nghiên c˘u mÎt sË kˇ thu™t gi£m kho£ng trËng ng˙ nghæa trong CBIR.

K∏t qu£ §t ˜Òc cıa lu™n án
∑ xußt chu©n hoá c£i ti∏n cho phép nâng cao hiªu qu£ Ëi sánh Î t˜Ïng t¸, ∑ xußt kˇ
thu™t hiªu chønh trÂng sË và d‡ch chuy∫n truy vßn trong tÍ hÒp ∞c tr˜ng [CT6].

∑ xußt s˚

dˆng tËi ˜u Pareto xây d¸ng t™p ˘ng viên trên không gian k∏t hÒp a ∞c tr˜ng ∫ nâng cao
Î chính xác tra c˘u [CT7].

2


Hình 0.2. Hª thËng ∑ xußt

3


Ch˜Ïng 1
TÍng quan v∑ tra c˘u £nh d¸a vào nÎi
dung

1.1
1.1.1

MÎt sË ∞c tr˜ng £nh th˜Ìng s˚ dˆng trong CBIR
Các ti∏p c™n

∞c tr˜ng toàn cˆc

Các ti∏p c™n toàn cˆc th¸c hiªn trích rút các ∞c tr˜ng trên toàn bÎ £nh, các ∞c tr˜ng
˜Òc tính toán d¸a trên các thuÎc tính màu s≠c, k∏t cßu ho∞c hình d§ng cıa £nh. MÎt sË ∞c
tr˜ng ˜Òc trích rút theo cách ti∏p c™n toàn cˆc nh˜ : l˜Òc Á màu, t˜Ïng quan màu, mô men
màu, Gabor wavelet, bi∏n Íi Gabor, GIST ˜Òc s˚ dˆng trong các công trình [CT6], [CT7].

1.1.2

Các ti∏p c™n

∞c tr˜ng cˆc bÎ

Các kˇ thu™t phát hiªn các i∫m nÍi b™t ã ˜Òc ∑ xußt trong mÎt sË nghiên c˘u nh˜ SIFT
(Scale-Invariant Feature Transform) và SURF (Speed Up Robust Features). Các ∞c tr˜ng này
˜Òc s˚ dˆng trong mÎt sË th¸c nghiªm cıa công trình [CT5].

4


1.2

Kt hềp a c trng trong CBIR

Nhiu nghiờn cu CBIR s dng kt hềp nhiu c trng trác quan gm cỏc kiu mu sc,
kt còu v hỡnh dĐng, mẩi kiu gm nhiu bẻ c trng. u im nhăm nhòn mĐnh úng gúp
theo kiu. HĐn ch l khụng Êm bÊo tớnh cụng băng gia cỏc bẻ c trng trong cựng mẻt
kiu vỡ cỏc bẻ c trng cú nhng úng gúp tớch các khỏc nhau.

1.3

Chuân hoỏ trong CBIR

Cỏc hê thậng tra cu cẽ s d liêu Ênh phc tĐp s dng cỏc c trng thèng ềc trớch
rỳt băng nhiu thut toỏn khỏc nhau vểi nhiu ngun khỏc nhau, nờn khụng phÊi tòt cÊ nhng
c trng ny cú cựng phĐm vi.

1.3.1

Mc ớch ca chuân hoỏ

Êm bÊo sá bỡnh ỉng trờn mẩi thnh phản c trng trong cựng mẻt vộc tẽ c trng.
Chỉng hĐn nh trong biu din kt còu b mt, mẻt thnh phản cú th l trung bỡnh trong khi
thnh phản khỏc cú th l ẻ lêch chuân. Lỳc ny nhòt thit phÊi chuân hoỏ d liêu trểc khi
thác hiên viêc tớnh ẻ tẽng tá gia cỏc vộc tẽ c trng ca Ênh truy vòn vểi cỏc Ênh.

1.3.2

Chuân húa min-max

Chuân húa min-max cho phộp chuyn d liêu v phĐm vi [0, 1] nh sau :
}, 8 k , tijk
=
{tijk } 7! {tijk

tijk min{tijk }
,
max {tijk } min{tijk }

(1.1)

trong ú min{tijk } v max {tijk } l giỏ tr nh nhòt v lển nhòt ca chuẩi thnh phản k theo
bẻ c trng tij ca tòt cÊ cỏc Ênh trong cẽ s d liêu.

5


1.3.3

Chuân húa Gauss

}, 8 k , tijk
= tijk àk ,
{tijk } 7! {tijk
3 k
def

trong ú àk = mean({tijk }),

1.4

(1.2)

def
k

= var ({tijk }).

KhoÊng trậng ng nghổa

Thut ng khoÊng trậng ng nghổa ềc dựng miờu tÊ sá khỏc nhau gia hai mc miờu

tÊ ca mẻt Ênh.
bi con ngèi.

1.5

ú l nẻi dung trác quan mc thòp v khỏi niêm ng nghổa mc cao ềc hiu
nõng cao hiêu quÊ tra cu cản thit thu hàp khoÊng trậng ng nghổa ny.

PhÊn hi liờn quan trong CBIR

PhÊn hi liờn quan trong CBIR ềc hiu nh sau :
Bểc 1 : Mỏy tớnh a ra cỏc kt quÊ tra cu khi tĐo (top k ) thụng qua Ênh truy vòn.
Bểc 2 : Ngèi dựng cung còp ỏnh giỏ trờn kt quÊ top k , ỏnh giỏ theo kiu nh liờn
quan hoc khụng liờn quan vểi nhn thc ca chớnh ngèi dựng ú.
Bểc 3 : Mỏy hc v th lĐi. Lp lĐi bểc 2.
T tp kt quÊ top k mẻt sậ phẽng phỏp thèng s dng k thut phÊn hi liờn quan nh
hiêu chứnh trng sậ v dch chuyn truy vòn ; m rẻng truy vòn ; k thut hc mỏy. Mẩi phẽng
phỏp cú cỏch hc khỏc nhau trong viêc s dng thụng tin ca ngèi dựng.

1.6

Hiêu chứnh trng sậ v dch chuyn truy vòn trong
CBIR s dng phÊn hi liờn quan

K thut hiêu chứnh trng sậ hc quan tõm ca ngèi dựng băng cỏch iu chứnh trng
sậ ca mẩi c trng ca truy vòn v trng sậ ca mẩi chiu trong cựng mẻt c trng, ềc
6


i∑u chønh sau mÈi l¶n l∞p. Các trÂng sË lÓn ˜Òc gán cho nh˙ng ∞c tr˜ng có s¸ phân biªt tËt

gi˙a các £nh liên quan và không liên quan ∫ t´ng c˜Ìng Î chính xác tra c˘u.

1.7

Tra c˘u £nh d¸a vào nÎi dung s˚ dˆng kˇ thu™t máy
hÂc

1.7.1

Hußn luyªn và ki∫m tra

D˙ liªu bao gÁm truy vßn và các £nh, mÈi truy vßn liên quan ∏n mÎt sË các £nh. S¸ liên
quan cıa các £nh Ëi vÓi truy vßn ˜Òc cho bi mÎt nhãn, k˛ hiªu mÎt lo§i ( ˜a ra trong hußn
luyªn và d¸ báo trong ki∫m tra). D˙ liªu ki∫m tra gÁm mÎt truy vßn mÓi và các £nh liên quan.

1.7.2

Nhãn d˙ liªu

Các truy vßn ˜Òc ˜a vào các hª thËng tìm ki∏m và các £nh x∏p h§ng cao nhßt ˜Òc tr£
v∑ (top rank). Nh˜ v™y, mÈi truy vßn liên quan vÓi nhi∑u £nh. Con ng˜Ìi ánh giá d¸a vào s¸
liên quan trên các c∞p £nh-truy vßn. S¸ ánh giá liên quan th˜Ìng theo nhi∑u m˘c Î. Con
ng˜Ìi ánh giá liên quan theo quan i∫m cıa trung bình các ng˜Ìi dùng. Các nhãn bi∫u diπn
s¸ liên quan sau ó ˜Òc gán cho các c∞p £nh-truy vßn.

1.7.3

Xây d¸ng mô hình hÂc

Mˆc ích s˚ dˆng các kˇ thu™t hÂc máy ∫ th¸c hiªn nhiªm vˆ x∏p h§ng. D˙ liªu bao gÁm

truy vßn và các £nh, trong ó mÈi truy vßn liên quan ∏n mÎt sË £nh. Thu™t toán sau ó truy
c™p mÎt t™p ki∫m tra, t™p mÓi cıa các c∞p truy vßn - £nh vÓi mˆc ích d¸ báo các nhãn x∏p
h§ng sau cùng có kh£ n´ng tËt nhßt.

Î phù hÒp xác ‡nh thông qua mÎt hàm lÈi.

7


1.7.4

Phõn lểp Ênh

1.7.4.1

K thut Adaboost

õy l phẽng phỏp cho phộp cÊi thiên ẻ chớnh xỏc ca bòt k cỏc thut toỏn hc no,
cho phộp kt hềp cỏc phẽng phỏp phõn lểp yu thnh mẻt phõn lểp mĐnh hẽn.

1.7.4.2

Support Vector Machine (SVM)

SVM phng oỏn kt quÊ tra cu theo cỏc mđu huòn luyên. Dáa vo kt quÊ tra cu, ngèi
dựng láa chn cỏc Ênh liờn quan v cỏc Ênh khụng liờn quan tĐo thnh tp mđu dẽng v tp
mđu õm tẽng ng. Sau khi hc tp mđu huòn luyên, băng cỏch s dng SVM, bẻ phõn lểp
SVM f (x ) s dản iu chứnh theo mc ớch tra cu ca ngèi dựng.

1.8

Mẻt sậ tip cn dáa theo phẽng phỏp tậi u Pareto

Tp Pareto l mẻt tp cha tòt cÊ cỏc im cú ớt nhòt mẻt mc tiờu tậi u trong khi Êm
bÊo khụng thay i cỏc mc tiờu khỏc. Cỏc im nh vy ềc gi l cỏc im tậi u Pareto.
Pareto front ảu tiờn bao gm mẻt tp cỏc im khụng b lm trẻi.

1.9

Cỏc phẽng phỏp ỏnh giỏ ẻ o hiêu nng

Hai chứ sậ ềc s dng l Precision (Pr- ẻ chớnh xỏc) v recall (Re - ẻ hi tng). Pr
l tứ sậ ca sậ cỏc Ênh liờn quan ềc tra cu (E) vểi tng sậ Ênh ềc tra cu (D) : Pr =

E
.
D

Re l tứ sậ ca sậ cỏc Ênh liờn quan ềc tra cu (E) vểi ton bẻ sậ Ênh liờn quan cú trong cẽ
s d liêu (A) : Re =

E
.
A

8


K∏t lu™n ch˜Ïng 1
Ch˜Ïng 1 giÓi thiªu mÎt sË ∞c tr˜ng th˜Ìng ˜Òc s˚ dˆng và s¸ k∏t hÒp các ∞c tr˜ng.

Trong ch˜Ïng ã phân tích nh˙ng khó kh´n khi áp dˆng chu©n hoá Gauss và phân tích nh˙ng
tÁn t§i cıa các kˇ thu™t nh¨m gi£m kho£ng trËng ng˙ nghæa trong CBIR.

9


Ch˜Ïng 2
∑ xußt chu©n hoá

∞c tr˜ng và hiªu

chønh trÂng sË trong tÍ hÒp ∞c tr˜ng
∫ có nh˙ng ∑ xußt c£i ti∏n trong hª thËng CBIR, trong ch˜Ïng ∑ xußt kˇ thu™t chu©n
hoá ∞c tr˜ng, hiªu chønh trÂng sË kho£ng cách và hiªu chønh truy vßn s˚ dˆng ph£n hÁi liên
quan. Hình 2.1 là mô hình ki∏n trúc hª thËng ∑ xußt trong công trình nghiên c˘u [CT6].

Hình 2.1. Mô hình hª thËng IR 3

10

FCM


2.1

Chuân hoỏ c trng dáa vo phõn cm mè FCM

KhÊo sỏt trờn mẻt sậ tp Ênh chuân cho thòy hảu ht d liêu c trng gậc phõn bậ khụng
theo Gauss.

xuòt b giÊ thit d liêu cỏc thnh phản c trng theo phõn bậ Gauss, phõn

cm tĐo ra cỏc vựng ng nhòt, chuân hoỏ cỏc thnh phản theo lut 3 trờn mẩi cm. Kt
nhp kt quÊ theo mẩi cm ềc mẻt giỏ tr chuân hoỏ duy nhòt.
Cho {Iit }1iN v cỏc hăng sậ p = p(t) > 1 (p(t) l hê sậ FCM cho bẻ c trng th t),

C = C (t) 2 N+ , Mt = dim(Iit ) l ẻ di ca c trng bẻ t, 8 i, 1 i N . Thut toỏn lp
FCM các tiu húa hm mc tiờu :

J (V , ) = min
V ,

N X
C
X

p
t,c,i
Iit Vt,c

2

,

(2.1)

i=1 c=1

2

vểi ẻ o khoÊng cỏch Euclid, kIit Vt,c k =

Mt
P

j =1

(Iit [j ] Vt,c [j ])2 , v cỏc rng buẻc bin nh sau :

(1) t,c,i 2 [0, 1], 8 1 i N , i c C , t
PC
(2)
c=1 t,c,i = 1, 8 1 i N ,
Pn
(3)
i=1 t,c,i < N , 8 1 c C .

1,

nh nghổa 2.1. [CT6] Cho tp d liêu {Iit }1iN ềc phõn thnh C cm s dng FCM vểi
tham sậ p > 1.

ẻ lêch chuân cm c (1 c C ) ềc tớnh nh sau :

t,c,j

v
u N
N
u

X
def tX p
2
p
t
=
t,c,i (Ii [j ] Vt,c [j ]) /
t,c,i
, 8 1 j Mt ,
i=1

(2.2)

i=1

Mênh 2.1. [CT6] GiÊ s {Vc }C
c=1 l tp C vộc tẽ tõm m chiu ( ảu ra ca thut toỏn phõn
cm s dng FCM), 8 c = 1, .., C . Khi ú ẻ lêch chuân ca cm c thoÊ món cụng thc sau :
2
t,c,j

=

PN

p
t,c,i
(Iit [j ])2
2
Vt,c

[j ].
PN p

i=1 t,c,i

i=1

(2.3)

nh nghổa 2.2. [CT6] Phộp chuân húa 3 FCM .
n
oMt
t
= I[j ]
Cho I = {I [j ]}M
,
I
, 8 1 j Mt , ềc nh nghổa nh sau
j =1
j =1

min
def
I[j ] =

1cC

n

I [j ] Vt,c [j ]

3 t,c,j

o

+ max

1cC

C +1
11

n

I [j ] Vt,c [j ]
3 t,c,j

o

(2.4)


Mênh 2.2. [CT6] Phộp chuân húa 3

FCM bÊo ton th tá, nghổa l : I [j]

I0 [j ].

I0 [j] ) I[j ]

Chuân hoỏ Êm bÊo kt quÊ tớnh ẻ tẽng tá chớnh xỏc hẽn, cÊi thiên tp kt quÊ top-k hin

th cho ngèi dựng, t ú nõng cao hiêu quÊ truy vòn.

2.2

Chuân hoỏ khoÊng cỏch dáa vo phõn cm FCM

Giỏ tr khoÊng cỏch Ênh truy vòn vểi mẩi Ênh cẽ s d liêu ềc chuân hoỏ theo Thut
toỏn 2.1.
Thut toỏn 2.1 Chuân hoỏ d liêu khoÊng cỏch 3 FCM theo tng bẻ [CT6]
ảu vo: {Iit }1iN . /* Tp cỏc vộc tẽ c trng ó chuân hoỏ theo lut 3 FCM */
{Vt,c }1cCt
. /* Tp cỏc tõm theo tng bẻ c trng */
{ t,c,j }1cCt ,1j Mt
. /* ẻ lêch chuân */
+
hăng sậ p = p(t) > 1, C = C (t) 2 N , C 2
(D)
ảu ra: {Vt,c }1cC (D)
. /* Tp tõm */
t

1:

{

(D)
t,c }1cC (D)
t

. /* ẻ lêch chuân */

Bểc 1 :
(1) Sinh ra hai tp gm K giỏ tr chứ sậ ngđu nhiờn RD1 = {RD1,i }1iK , v RD2 =
{RD2,i }1iK thoÊ món :
(1.1) RD1 \RD2 = ?, RD1,i < RD1,j , RD2,i < RD2,j , 8 1 i j K .
(1.2) 1 RD1,i , RD2,i N , 8 1 i N (chn K = [N /10], m = K 2 .
t
t
(2) Xỏc nh tp giỏ tr D(IRD
, IRD
) ềc tp giỏ tr sậ dẽng {dk }1k m
1,i
1,i
n
oCt(D)
n
o
(D)
(D)
(D)
2: Bểc 2 : FCM (Ct , pt ) {dk }1k m ta ềc tp tõm Vt,c
v t,c,i
(D)
c=1

theo Cụng thcn(2.1)o
(D)
3: Bểc 3 : Tớnh
t,c

(D)

1cCt

1cCt

,1im

theo Cụng thc (2.3)

(Bểc 2 v 3, s dng Cụng thc (2.1), (2.3), (2.4) thay th d liêu c trng băng giỏ tr
khoÊng cỏch
sậ thác dẽng vụ hểng.)
( l cỏc (D)
)
n
oCt
n
o
(D)
(D)
4: Return
Vt,c
, t,c
(D)
c=1

2.3

1cCt

Hiêu chứnh trng sậ, dch chuyn truy vòn

nh nghổa 2.3. [CT6] Cho truy vòn Q thỡ ẻ o khoÊng cỏch ca bẻ c trng th t v ẻ
o khoÊng cỏch ton bẻ vểi mẻt Ênh I trong cẽ s d liêu tẽng ng ềc xỏc nh nh sau :
12


(1)

ẻ o khoÊng cỏch ca mẻt bẻ c trng :
def

DQt (I ) = wt DQt (I ),

(2.5)

trong ú wt l trng sậ theo bẻ c trng th t.
(2)

ẻ o khoÊng cỏch ton bẻ :
def

DQ (I ) =

T
X

DQt (I )

(2.6)

t=1

Gi tp kt quÊ NB cú ẻ tẽng tá nhn thc cao nhòt ca ngèi dựng. Ngèi dựng s
ỏnh giỏ v phÊn hi cho cỏc Ênh trờn tp NB thu ềc NB + , NB .
nh nghổa 2.4. [CT6] Tp ng thun (Agreement (AGR)) gia ẻ o khoÊng cỏch ton bẻ
v ẻ o khoÊng cỏch theo bẻ c trng ềc nh nghổa nh sau
def

AGRt (DQ (I ), DQt (I ), N ) = NB \NBt ,

(2.7)

trong ú NB , NBt tẽng ng l tp N Ênh cú ẻ o khoÊng cỏch cao nhòt theo ẻ o khoÊng
cỏch ton bẻ DQ (I ), v theo ẻ o khoÊng cỏch DQt (I ) ca riờng bẻ c trng t.

2.3.1

Hiêu chứnh trng sậ

Cụng thc tớnh trng sậ cho tng bẻ c trng vểi mẩi Ênh truy vòn c th ềc xỏc nh
trong xuòt nh sau :
Tớnh giỏ tr trng sậ
(l+1)
wt

trong ú l l k hiêu lản lp,

= max

(l)
wt

= f

hm f cú th chn chỉng hĐn :

f

(score(Iit ),

(l),NB +
t (I ) ,
t,DQ



(l)
wt +



(l)
wt , 0

score(Iit ),

(l),NB +
)

t,kIit k

=

(



(l),NB +
t (I ) ,
t,DQ

(2.8)
(l),NB +
t,kIit k

score(Iit )
3
(l),NB +
(l),NB +
)
t (I )
t,DQ
t,kIit k



2 ( 1, +1),

(2.9)

Thut toỏn 2.2 xuòt hiêu chứnh khoÊng cỏch ton cc dáa trờn khoÊng cỏch cc bẻ.

13


Thut toỏn 2.2 Hiêu chứnh trng sậ ẻ o khoÊng cỏch ton cc [CT6]
ảu vo: {Iit }1iN
. /* Cẽ s d liêu c trng ó ềc chuân hoỏ */
{Vt,c }1cCt . /* Tõm ca cỏc cm theo bẻ c trng trong ảu ra ca thut toỏn phõn
cm FCM */
{ t,c,j }1cCt ,1j Mt . /* ẻ lêch chuân ca cỏc cm theo bẻ c trng trong ảu ra ca
thut
toỏn
n
o chuân hoỏ c trng */
(D)
Vt,c
. /* Tõm ca cỏc cm trờn tp giỏ tr khoÊng cỏch bẻ theo bẻ c
(D)
1tT ,1cCt

trng
n
otrong ảu ra ca Thut toỏn 2.1 */
(D)
. /* ẻ lêch chuân ca cỏc cm trờn tp giỏ tr khoÊng cỏch bẻ theo bẻ
t,c
(D)
1cCt

c trng trong ảu ra ca Thut toỏn 2.1 */
/* Vộc tẽ c trng mc thòp Q ca Ênh truy vòn. Lmax sậ lản lp phÊn hi, K : sậ Ênh
cú ẻ o khoÊng cỏch ton cc so vểi Q l thòp nhòt. */
ảu ra: Tp trng sậ {wt }1tT
1: Khi tĐo 8 t = 1, T , wt = T1
2: Chuân húa tng bẻ t ca Q theo 3
FCM (thut toỏn chuân hoỏ c trng).
3: for l = 1 to Lmax do
4:
for Each Ii 2 {Ii }1iN , 8 t = 1, T do
5:
Chuân hoỏ ẻ o khoÊng cỏch cho bẻ t băng cỏch : DQt (Ii ) = 3 FCM DQt (Ii )

D t (I )+1
i
6:
Chuyn DQt (Ii ) v [0, 1] : DQt (Ii ) = min max Q 2 , 0 , 1
T
P
7:
Tớnh ẻ o khoÊng cỏch : DQ (Ii ) =
wt DQt (Ii )
t=1

8:
9:
10:
11:
12:

13:
14:
15:
16:

/*Hiêu chứnh trng sậ dáa trờn AGRt */
for each I 2 N B (l) , 8 t = 1, T do
(l)
if I 2 AGRt then
Hiêu chứnh wt theo cụng thc (2.8) v (2.9)
end if
end for
T
P
Chuân húa lĐi trng sậ wt , 8 t = 1, T , wt = wt /
wt
t=1

end for
end for
Return : Kt thỳc thu ềc {wt }1tT

2.3.2

Dch chuyn truy vòn
def

t Q t =

1

#(AGRt )

P

Iit 2AGRt

Iit , v

def
t

=

r

1
#AGRt

def
t | 3
trong ú AGRt = Iit 2 AGRt / | Iit Q

t

14

P

Ii 2AGRt

t
Iit Q

2

,


2 và #AGRt⇤

AGRt có s¸ Áng nhßt cao v∑ ∞c tr˜ng, khi #AGRt

1 ( £m b£o có s¸

thay Íi), truy vßn mÓi ˘ng vÓi bÎ ∞c tr˜ng t ˜Òc l™p l§i nh˜ sau :
def

Qt,new =

2.4

Th˚ nghiªm và

2.4.1

CÏ s d˙ liªu £nh

1
#AGRt⇤

X

Iit

(2.10)

Iit 2AGR ⇤

ánh giá các k∏t qu£

T™p d˙ liªu £nh Wang 1 là t™p con cıa t™p Corel ˜Òc s˚ dˆng trong th¸c nghiªm.

2.4.2

Trích rút bÎ ∞c tr˜ng k∏t hÒp

CÏ s d˙ liªu £nh ˜Òc bi∫u diπn vÓi ba ki∫u ∞c tr˜ng màu s≠c, k∏t cßu, hình d§ng bao
gÁm sáu bÎ ∞c tr˜ng m˘c thßp nh˜ trong B£ng 2.1.
B£ng 2.1. Các miêu t£ £nh và hàm kho£ng cách s˚ dˆng trong th¸c nghiªm.

Miêu t£
Ki∫u
L˜Òc Á HSV
Màu
Các mô men màu
Màu
L˜Òc Á t¸ t˜Ïng quan màu Màu
Các phép lÂc Gabor
K∏t cßu
Các mô men Wavelet

K∏t cßu
Gist
Hình d§ng

SË chi∑u
32
6
64
48
40
512

2.4.3

Các k∏t qu£ th¸c nghiªm và lu™n gi£i

2.4.3.1

Phân bË d˙ liªu và chßt l˜Òng truy vßn

Hàm kho£ng cách
L1
L2
L1
Canberra
L2
L2

Các Hình 2.2, 2.3, 2.4, 2.5, 2.6, 2.7 là so sánh k∏t qu£  thành ph¶n th˘ n´m cıa chu©n
hoá ∞c tr˜ng 3 và chu©n hoá ∑ xußt 3

FCM . Qua phép chu©n hoá 3

thành ph¶n ∞c tr˜ng th˘ 5 “rÏi vào” [-1,1] nhi∑u hÏn chu©n hoá 3 .
1. />
15

FCM , các giá tr‡


7000

Thanh phan thu 5 dac trung luoc do mau HSV (3)
7000

6000

6000

5000

5000

4000

Tan suat

Tan suat

Thanh phan thu 5 luoc do mau HSV (3-FCM)

3000
2000

4000

3000

2000

1000

1000

0
-2

-1

0

1
Gia tri

2

3

0
-0.5

4

0

0.5

1

1.5

2

Gia tri

(a)

(b)

Hỡnh 2.2. (a) Phõn bậ d liêu c trng lềc HSV (chuân hoỏ 3 ) thnh phản 5 gm
97.45% thuẻc [-1,1]. (b) Phõn bậ d liêu c trng lềc HSV (chuân hoỏ 3 FCM )
thnh phản 5 gm 99.81% thuẻc [-1,1]
4500

Thanh phan thu 5 dac trung tu tuong quan mau (3)
6000

Thanh phan thu 5 dac trung tu tuong quan mau (3-FCM)

4000

5000

3500
4000

2500

Tan suat

Tan suat

3000

2000
1500

3000

2000

1000
1000

500
0
-2

-1

0

1

2
Gia tri

3

4

5

6

0
-0.2

0

0.2

0.4

0.6

0.8

1

Gia tri

(a)

(b)

Hỡnh 2.3. (a) Phõn bậ d liêu c trng autoCorrelogram (chuân hoỏ 3 ) thnh phản 5
gm 98.02% thuẻc [-1,1]. (b) Phõn bậ d liêu c trng autoCorrelogram (chuân hoỏ
3 FCM ) thnh phản 5 gm 99.9955% thuẻc [-1,1]

Hỡnh 2.8(a-b) chng minh chòt lềng truy vòn biu din qua ẻ chớnh xỏc trờn cỏc kt quÊ
top k khi c trng ềc chuân hoỏ 3

FCM tật hẽn khi ềc chuân húa 3 . Kt quÊ tra

cu ny khụng s dng k thut hiêu chứnh no.

2.4.3.2

Hiêu quÊ

ẻ chớnh xỏc tra cu s dng k thut hiêu chứnh trng sậ v

dch chuyn truy vòn
Phẽng phỏp xuòt (k hiêu l IR-ThreeSigmaFCM ) ềc so sỏnh vểi phẽng phỏp cẽ
s PowerTool (PowerTool chuân hoỏ c trng 3 v s dng k thut hiêu chứnh trng sậ).
Hỡnh 2.9(a) cho bit trung bỡnh ẻ chớnh xỏc theo kt quÊ top k . Trc honh biu din tra
cu theo cỏc trèng hềp top k l 20, 40, 60, 80, 100, 120, 140, 160, 180, 200. Trc tung biu
din trung bỡnh ẻ chớnh xỏc ca cỏc Ênh trÊ v theo top k sau 5 lản lp phÊn hi liờn quan.
16

400

Thanh phan thu 5 dac trung mo men mau (3)
400

350

350

300

300

250

Tan suat

Tan suat

250
200
150

200

150

100

100

50
0
-1.5

Thanh phan thu 5 dac trung mo men mau (3-FCM)

50

-1

-0.5

0
Gia tri

0.5

1

0
-0.6

1.5

-0.4

-0.2

0

0.2

0.4

0.6

Gia tri

(a)

(b)

Hỡnh 2.4. (a) Phõn bậ d liêu c trng mụ men mu (chuân hoỏ 3 ) thnh phản 5 gm
99.68% thuẻc [-1,1]. (b) Phõn bậ d liêu c trng mụ men mu (chuân hoỏ 3 FCM )
thnh phản 5 gm 100% thuẻc [-1,1]
6000

Thanh phan thu 5 dac trung ket cau Gabor (3)
6000

5000

5000

4000

Tan suat

Tan suat

4000

3000

2000

3000

2000

1000

0
-2

Thanh phan thu 5 dac trung ket cau Gabor (3-FCM)

1000

0

2

4
Gia tri

(a)

6

8

0
-0.5

0

0.5

1

1.5

2

2.5

Gia tri

(b)

Hỡnh 2.5. (a) Phõn bậ d liêu c trng kt còu Gabor(chuân hoỏ 3 ) thnh phản 5 gm
98.1% thuẻc [-1,1]. (b) Phõn bậ d liêu c trng kt còu Gabor (chuân hoỏ 3 FCM )
thnh phản 5 gm 99.95% thuẻc [-1,1]

Sau ba vũng phÊn hi liờn quan, k thut xuòt Đt tểi 87%, 78%, 74%, 69%, 64% trờn cỏc
top 20, top 40, top 60, top 80 v top 100 tẽng ng. Hỡnh 2.9(b) so sỏnh trung bỡnh ẻ
chớnh xỏc trờn top k ca k thut xuòt v PowerTool sau ba vũng lp phÊn hi liờn quan.

Hỡnh 2.10(a) so sỏnh ẻ chớnh xỏc trờn top 20 ca k thut xuòt v PowerTool. Biu
cho bit trung bỡnh mẩi vũng phÊn hi liờn quan k thut xuòt u cao hẽn. Hỡnh 2.10(b)
l biu so sỏnh ẻ chớnh xỏc v ẻ hi tng ca k thut xuòt v PowerTool trung bỡnh
sau ba vũng phÊn hi liờn quan.

2.5

Kt lun chẽng 2
xuòt trong chẽng ó nõng cao hiêu nng v ẻ chớnh xỏc ca hê thậng CBIR. Nẻi dung

xuòt gm chuân hoỏ c trng, hiêu chứnh trng sậ ẻ tẽng tá truy vòn v dch chuyn
17


300

Thanh phan thu 5 dac trung mo ment Wavelet (3σ)
300

250

250

200

200

Tan suat

Tan suat

Thanh phan thu 5 dac trung mo men Wavelet (3σ-FCM)

150

100

150

100

50

50

0
-1.5

-1

-0.5

0
Gia tri

0.5

1

0

-0.4

1.5

-0.3

-0.2

-0.1

0

0.1

0.2

0.3

0.4

Gia tri

(a)

(b)

Hình 2.6. (a) Phân bË d˙ liªu ∞c tr˜ng bßt bi∏n Wavelet(chu©n hoá 3 ) thành ph¶n 5 gÁm
99.5% thuÎc [-1,1]. (b) Phân bË d˙ liªu ∞c tr˜ng bßt bi∏n Wavelet (chu©n hoá 3 FCM )
thành ph¶n 5 gÁm 100% thuÎc [-1,1]
Thanh phan thu 5 dac trung GIST (3σ)

500

500

450
400

400

350

300
Tan suat

Tan suat

350

250
200
150

300

250

200

150

100

100

50
0
-1.5

Thanh phan thu 5 dac trung GIST (3σ-FCM)

450

50

-1

-0.5

0

0.5
Gia tri

1

1.5

2

2.5

0
-0.4

-0.2

0

0.2

0.4

0.6

Gia tri

(a)

(b)

Hình 2.7. (a) Phân bË d˙ liªu ∞c tr˜ng hình d§ng GIST (chu©n hoá 3 ) thành ph¶n 5 gÁm
98.8% thuÎc [-1,1]. (b) Phân bË d˙ liªu ∞c tr˜ng hình d§ng GIST (chu©n hoá 3 FCM )
thành ph¶n 5 gÁm 99.9985% thuÎc [-1,1]

truy vßn sau mÈi vòng ph£n hÁi liên quan.

18

0.8

0.75

0.7
3σ-FCM
3σ

0.7

Do chinh xac tren so anh tra ve

0.65

Do chinh xac

3σ-FCM
3σ

0.65

0.6
0.55
0.5
0.45
0.4

0.6
0.55
0.5

0.45
0.4
0.35

0.35
0.3
0.1

0.2

0.3

0.4

0.5

0.6

0.3

0.7

20

40

Do hoi tuong

60

80

100

120

140

160

180

200

So anh ket qua tra ve (k)

(a)

(b)

Hình 2.8. So sánh chßt l˜Òng truy vßn. (a) Hiªu n´ng Precision/Recall. (b) Hiªu n´ng Î
chính xác.

IR-THREESIGMAFCM

0.9
Round 1
Round 2
Round 3
Round 4

Round 5

0.8

Do chinh xac tren so anh ket qua tra ve

Do chinh xac tren anh ket qua tra ve

0.9

0.7

0.6

0.5

0.4

IR-THREESIGMAFCM
PowerTool

0.8

0.7

0.6

0.5

0.4

0.3

0.3
20

40

60
80 100 120 140
So anh ket qua tra ve (k)

160

180

20

200

40

60
80 100 120 140
So anh ket qua tra ve (k)

(a)

160

180

200

(b)

Hình 2.9. (a) Trung bình Î chính xác cıa kˇ thu™t ∑ xußt trên top k k∏t qu£ theo n´m
vòng cıa ph£n hÁi liên quan. (b) So sánh trung bình Î chính xác cıa kˇ thu™t ∑ xußt và
PowerTool trên các top k k∏t qu£..

0.9

0.9
IR-THREESIGMA-FCM
PowerTool (MARS)

0.8

Do chinh xac

Do chinh xac cua top-20

0.85

0.8

0.75

0.7

0.6

0.5
0.7

0.4
IR-THREESIGMA-FCM
PowerTool (MARS)

0.65

1

2

3

4
5
6
So vong lap

7

8

9

10

(a)

0.3
0.1

0.2

0.3

0.4
0.5
Do hoi tuong

0.6

0.7

(b)

Hình 2.10. (a) So sánh trung bình Î chính xác cıa kˇ thu™t ∑ xußt và PowerTool trên
top 20 k∏t qu£ theo m˜Ìi vòng cıa ph£n hÁi liên quan. (b) Bi∫u Á Precision và Recall cıa
kˇ thu™t ∑ xußt và PowerTool.

19

0.8


Ch˜Ïng 3
∑ xußt kˇ thu™t Pareto front a m˘c

sâu nâng cao hiªu qu£ phân lÓp £nh
Ch˜Ïng này ∑ xußt kˇ thu™t Pareto front a m˘c sâu cho hª thËng CBIR s˚ dˆng k∏t hÒp
nhi∑u ∞c tr˜ng. Thay vì tìm mÎt truy vßn trung tâm ∫ chÂn ˜Òc các £nh liên quan ho∞c chø
áp dˆng máy phân lÓp, thu™t toán PDFA cıa lu™n án lßy ra mÎt t™p thu gÂn các £nh ˘ng c˚
viên. Cách này làm gi£m nhiπu ng˙ nghæa và c£i thiªn hiªu n´ng cho máy phân lÓp trong hÂc
máy. Hª thËng ∑ xußt nh˜ Hình 3.1 trong công trình nghiên c˘u [CT7].

Hình 3.1. Hª thËng ∑ xußt

20


3.1

MÎt sË tính chßt hình th˘c d¸a trên kˇ thu™t Pareto
front a m˘c sâu trong không gian tÍ hÒp ∞c tr˜ng

Gi£ thi∏t {Ei | i = 1, N } là mÎt cÏ s d˙ liªu ∞c tr˜ng cıa N £nh, ˜Òc trích rút theo T
bÎ ∞c tr˜ng trong sË các ki∫u ∞c tr˜ng tr¸c quan gÁm màu s≠c, k∏t cßu và hình d§ng.

Î o

kho£ng cách t˜Ïng ˘ng cıa mÈi bÎ ∞c tr˜ng gi˙a £nh truy vßn Q và £nh I , DQt (I ), 8 t = 1, T .

MÈi £nh I 2 E có T kho£ng cách so vÓi truy vßn Q t˜Ïng ˘ng vÓi T bÎ ∞c tr˜ng. Không gian
tìm ki∏m các £nh I có Î t˜Ïng t¸ so vÓi £nh truy vßn Q cˆ th∫ ˜Òc cho bi :
EQ = {(I , (DQ1 (I ), ..., DQT (I )) | I 2 E},

(3.1)

TÁn t§i mÎt ánh x§ ⇡Q , là song ánh trong không gian tìm ki∏m EQ , nh˜ là
⇡Q : E Q

!E

(I , (DQ1 (I ), ..., DQT (I ))

7! I

(3.2)

∫ Ïn gi£n, khi Q cË ‡nh, ta ∞t I ⌘ ⇡Q (I ) 2 E và A ⌘ {⇡Q (I )/ 8 I 2 A} ⇢ E, 8 I 2 EQ ,

8 A ⇢ EQ .

‡nh nghæa 3.1. [CT7] (TrÎi Pareto) Cho I1 và I2 là hai i∫m cıa không gian tìm ki∏m EQ ,
I1 trÎi hÏn I2 hay I2 b‡ làm trÎi bi I1 (k˛ hiªu I1

Q

I2 ) n∏u và chø n∏u

8
< 8 t = 1, T , D t (I )  D t (I ),
Q 1
Q 2
: 9 t 2 [1, T ] : D t0 (I ) < D t0 (I ),
0
Q 1
Q 2

(3.3)

Theo ‡nh nghæa này, rõ ràng r¨ng I1 và I2 trong không gian tìm ki∏m EQ , tho£ mãn tính
chßt I1

Q

I2 , vì th∏ I1 là liên quan hÏn I2 Ëi vÓi Q.

‡nh nghæa 3.2. [CT7] (Pareto front) Cho A ⇢ EQ , Pareto front cıa A (k˛ hiªu PFQ (A))
˜Òc ‡nh nghæa nh˜ sau :
def

PFQ (A) = {I 2 A/@I 0 2 A : I 0

21

Q

I } ⇢ A,

(3.4)


Pareto front hay t™p Pareto là t™p ch˘a tßt c£ các i∫m có ít nhßt mÎt kho£ng cách tËi
thi∫u. Các i∫m này ˜Òc gÂi là các i∫m tËi ˜u Pareto.
‡nh nghæa 3.3. [CT7] (Pareto front a m˘c sâu) 3.3.1. Pareto front Î sâu th˘ l ˜Òc ‡nh
nghæa nh˜ sau :
(i) PFDQ0 = ?,

def

(ii) PFDQl = PFQ (EQ \[lj =11 PFDQt ).

def

3.3.2. Giá tr‡ Î sâu : 8 I 2 EQ , depthQ (I ) = l 2 N + ^ l  #EQ : I 2 PFDQl .
‡nh l˛ 3.1. [CT7] ( ˜Ìng trÎi) MÂi i∫m I trong không gian tìm ki∏m EQ , luôn tÁn t§i ít
nhßt depthQ (I ) 1 các i∫m khác trong EQ là i∫m liên quan tËt hÏn I theo các ∞c tr˜ng m˘c
thßp.
‡nh nghæa 3.4. [CT7] (HÒp Pareto) Cho EA ⇢ E và L là Î sâu cıa Pareto front, hÒp Pareto

cıa t™p con EA (k˛ hiªu PFUL (EA )) ˜Òc ‡nh nghæa nh˜ sau
[

def

PFUL (EA ) =

PFDal .

(3.5)

a2EA ,1lL

‡nh nghæa 3.5. [CT7] (Bao cıa Pareto front) Cho 8 A ⇢ EQ và ✏ > 0, bao cıa Pareto front
(k˛ hiªu PFBQ,✏ (A)) ˜Òc ‡nh nghæa nh˜ sau
PFBQ,✏ (A) = {I 2 A/ 9 I0 2 PFQ (A) : DIt0 (I ) < ✏, 1  t  T , T 2 N ? },
Mªnh ∑ 3.1. [CT7] PFQ (A) ⇢ PFBQ,✏ (A) ⇢ A

3.2

Nâng cao hiªu qu£ phân lÓp £nh

Hª thËng trong công trình [CT7] ho§t Îng theo Thu™t toán 3.1 nh˜ sau :

22

(3.6)


Thut toỏn 3.1 PFCBIR (Tra cu s dng Pareto front a mc ẻ sõu) [CT7]
ảu vo: E
. Cẽ s d liêu c trng
l
. sậ mc front ( ẻ sõu)
K . Sậ im ca tp l hềp cỏc Pareto front a mc sõu
ảu ra: Tp Ênh kt quÊ thoÊ món
/* Tra cu khi tĐo */
1: EQ
Tớnh ẻ tẽng tá mẩi Ênh vểi Ênh truy vòn Q
l
2: PFDQ
EQ /* Xõy dáng tp ng viờn Pareto theo nh nghổa 3.3 s dng thut toỏn tỡm
ng viờn Pareto.
3: NB
PFDQl /* Hin th top k Ênh tẽng tá nhòt vểi Q t tp ng viờn Pareto ( theo
ẻ tẽng tá mc thòp) */
4: Tp huòn luyên : {NB + , NB }
NB /* Tp huòn luyên ềc xõy dáng t láa chn ca

ngèi dựng trờn top k kt quÊ */
/* Tra cu s dng thụng tin phÊn hi */
5: while ngèi dựng cha thoÊ món do
6:
Q0
NB + /* S dng k thut hiêu chứnh truy vòn ềc miờu tÊ trong mc 2.3.2 (
xuòt [CT6]) */
7:
EQ 0
Tớnh lĐi ẻ tẽng tá mẩi Ênh vểi truy vòn hiêu chứnh Q 0 /* Tớnh ẻ tẽng tá
dáa vo k thut hiêu chứnh trng sậ xuòt trong [CT6] */
8:
PFDQl 0
EQ 0 /* Xõy dáng tp ng viờn Pareto theo nh nghổa 3.3 s dng thut toỏn
tỡm ng viờn. õy l tp kim tra */
9:
Xõy dáng mẻt hm quyt nh phõn lểp kiu nh SVM, AdaBoost,.. cho tp kim tra.
10:
NB
Tp kim tra /* Hin th top k Ênh tẽng tá nhòt vểi Q 0 t tp kim tra, ềc
sp xp giÊm dản theo giỏ tr dá bỏo ca hm phõn lểp */
11:
Cp nht tp huòn luyên : {NB + , NB }
NB /* Tp huòn luyên ềc xõy dáng t
láa chn ca ngèi dựng trờn top k kt quÊ */
12: end while

3.3

Th nghiêm v

3.3.1

Cẽ s d liêu Ênh

ỏnh giỏ cỏc kt quÊ

Sỏu bẻ c trng mc thòp ềc s dng gm Lềc HSV, Cỏc mụ men mu, Lềc
tá tẽng quan mu, Cỏc phộp lc Gabor, Cỏc mụ men Wavelet, Gist. Ba tp Ênh chuân ềc
s dng l : Tp con ca tp COREL (Db1), Oxford Building (Db2), tp Caltech ( Db3).

3.3.2

Cỏc phẽng phỏp cẽ s

Phẽng phỏp xuòt ềc so sỏnh vểi ba phẽng phỏp tra cu Ênh s dng phÊn hi
liờn quan : Tong v cẻng sá (Support vector machine active learning for image retrieval ), Tieu
23