Nghiên cứu và phát triển các hệ thống tra cứu ảnh dựa trên nội dung (Đồ án tốt nghiệp)

án t t nghi p

i Phòng
M CL C

M C L C........................................................................................................ 1
DANH M C HÌNH V .................................................................................. 3
DANH SÁCH CÁC T
L IC M
M

VI T T T .............................................................. 4

N .................................................................................................. 5

U .......................................................................................................... 6

CH
NG 1: CÁC KHÁI NI M C B N V TRA C U NH D A
TRÊN N I DUNG .......................................................................................... 7
1.1 Gi i thi u .............................................................................................. 7
1.2 Nh ng thành ph n c a m t h th ng tra c u nh d a trên n i dung.... 8
1.2.1 Trích ch
1.2.2

c tr ng (Features Extraction):................................. 9
s (Indexing):............................................................... 11

1.2.3 Giao di n truy v n (Query Interface):......................................... 12
1.3 Kho ng cách ng
1.4 Các ph

u nh d a trên n i dung ............ 12

ng pháp làm gi m kho ng cách ng

1.4.1 K thu t b n th

it

.......................... 13

ng.......................................................... 14

1.4.2 K thu t máy h c ........................................................................ 16
1.4.3 K thu t ph n h i liên quan ........................................................ 22
1.4.4 M u ng

............................................................................ 23

1.4.5 Tra c u nh web.......................................................................... 25
1.5

c ng d ng c a tra c u nh d a trên n i dung................. 27

CH
NG 2: TRA C U NH D A TRÊN N I DUNG V I PH N
H I LIÊN QUAN ......................................................................................... 28
2.1 Gi i thi u ph

ng pháp ph n h i liên quan ....................................... 28

2.2 Ki n trúc t ng quan c a h th ng ....................................................... 29
2.2.1 Trích ch
2.2.2

t

c tr ng ................................................................... 30
ng t ............................................................................ 31

2.2.3 Ph n h i t ng
2.3 Các ph

i dùng............................................................... 32

ng pháp ph n h i liên quan ................................................. 32

2.3.1 K thu t c p nh t truy v n .......................................................... 32

- CT1401

1


án t t nghi p

i Phòng

2.3.2 Nh ng k thu t h c th ng kê...................................................... 33
2.4 Nh ng thách th c trong ph n h i liên quan ....................................... 35

2.5 CBIR v i ph n h i liên quan s d ng SVM....................................... 36
2.5.1 Support Vector Machine ............................................................. 36
2.5.2 Ph n h i b
CH

NG 3:

3.1

ng và h c ch

ÁP D

ng .............................................. 37

T TH

NGHI M ............................ 38

t ................................................................................................. 38

3.1.1 C s d li u ............................................................................... 38
3.1.2 Trích ch

c tr

i sánh................................................ 38

3.2 Các ch

ng trình ............................................................... 38

3.2.1 M

nh truy v n .......................................................................... 38

3.2.2 Tra c u nh.................................................................................. 38
3.2.3 Ph n h i liên quan....................................................................... 39
3.3 K t qu th nghi m............................................................................. 40
3.3.1 Giao di n ch

ng trình ............................................................... 40

3.3.2 M t s k t qu th nghi m ......................................................... 41
3.4 M t s nh n xét v ch

ng trình ........................................................ 44

K T LU N .................................................................................................... 45
TÀI LI U THAM KH O ............................................................................ 46

- CT1401

2


án t t nghi p

i Phòng
DANH M C HÌNH V

Hình 1-1: Ki n trúc t ng quan v h th ng tra c u nh.................................... 8
Hình 1-2: S
minh h a b n th
i t ng.................................................. 15
Hình 1-3: S
mô t k thu t SVM ............................................................. 17
Hình 1-4: L
mô t ph
............................................ 20
Hình 1-5: S
mô t ph ng pháp RF......................................................... 23
Hình 1-6: H th ng tra c u nh Worldnet s d ng Semantic template.......... 25
Hình 2-1: Ki n trúc h th ng tra c u nh d a trên n i dung v i ph n h i liên
quan ......................................................................................................... 30
Hình 3-1: Giao di n ch ng trình ................................................................... 40
Hình 3-2: Ng i dùng ch n nh truy v n ....................................................... 41
Hình 3-3: K t qu tra c
u .................................................................. 41
Hình 3-4: Ng i dùng ch n nh liên quan l n 1............................................. 42
Hình 3-5: K t qu sau vòng l p ph n h i th nh t ......................................... 42
Hình 3-6: K t qu sau vòng l p ph n h i th hai ........................................... 43
Hình 3-7: Ng i dùng ch n nh liên quan l n 3............................................. 43
Hình 3-8: K t qu sau vòng l p ph n h i th ba ............................................ 44

- CT1401

3

án t t nghi p

i Phòng
DANH SÁCH CÁC T

VI T T T

STT

T vi t t t

Mô t

1

APC

Affinity Propagation Clustering

2

ARE

Augmented Relation Embedding

3

CBIR

Content-Based Image Retrieval

4

CNS

Color Naming System

5

CRT

Composite Region Template

6

FSVM

Fuzzy Support Vector Machine

7

HSL

Hue-Saturation-Luminance

8

KL

Karhunen-Loeve

9

LGRM

Local and Global Regressive Mapping

10

LPC

Locality Preserving Clustering

11

MRBIR

Manifold-Ranking Based Image Retrieval

12

MSRA

Microsoft Research Asia

13

NCut

Normalized Cut

14

PCA

Principal Component Analysis

15

RF

Relevance Feedback

16

RGB

Red-Green-Blue

17

ST

Semantic Template

18

SVM

Support Vector Machine

19

SVT

Semantic Visual Template

- CT1401

4


án t t nghi p

i Phòng
L IC

Em xin chân thành c
y giáo, Th
ng d n t n tình ch b o em r t nhi u trong su t quá trình tìm hi u nghiên c u và
án này t lý thuy
n ng d ng. S
ng d n c a th
có thêm ki n th c v l p trình và ki n th c v
c x lý nh.
ng th
tin

c th y cô trong khoa Công ngh thông
i H c Dân L p H

trang b cho em nh ng ki n th
em hoàn thành t

n c n thi t trong su t th i gian h c t p t i
án này.

Em xin chân thành c m
i h c Dân L p H i Phòng, ban giám hi

n H u Ngh , Hi
ng
ng, khoa Công ngh thông tin,

u ki n t t nh t trong su t th i gian em h c t p
và làm t t nghi p.
Trong quá trình h

t th

tránh kh i nh ng thi u sót, em r
t c các b

k t qu c

Sau cùng, em xin g i l i c
em xây d

án t t nghi p không

c s góp ý quý báu c a các th y cô
c hoàn thi
om i

u ki

án này.

Em xin chân thành c

H i Phòng, ngày 2 tháng 12

2014

Sinh viên th c hi n

- CT1401

5


án t t nghi p

i Phòng
M

T khi m

U

c toàn c u hoá kéo theo s m r ng c a các n i dung
n

nh, âm nh c, video,

ki m các lo

, khi n cho nhu

u chia s và tìm

t cách nhanh chóng. Và trong s các
ik

n các d li u hình nh. M

theo m t m

,

u tìm ki m hình nh

chung quy

i dùng mu n tìm ki m

là nh ng thông tin kèm theo và hình nh mà h c n ho c m t s khác l i tìm ki m
hình nh

xác nh n tính chính xác c a thông tin h nh

c. Các d li u hình

u ph c v cho nhi
c quan tr ng trong cu c s
th ng b o m t, an ninh, y t , hay các h th ng phát hi n chuy
vi c nghiên c u và phát tri n các h th ng tra c u nh ngày càng tr nên c p thi t.
án s trình bày k thu t ph n h
d a trên n
thu h p kho ng cách ng

Các khái ni

c ng d ng trong tra c u nh
, c i thi n hi
u.

n v tra c u nh d a trên n i dung

Gi i thi u các khái ni
các thành ph n trong nó.

n v h th ng tra c u nh d a trên n i dung và

Tra c u nh d a trên n i dung v i ph n h i liên quan
Gi i thi

n h i liên quan và máy h c SVM.
Áp d

t

t th nghi m
nghi m d a trên lý thuy t t

- CT1401

6


án t t nghi p

i Phòng
CÁC KHÁI NI
N V TRA C U NH D A
TRÊN N I DUNG

1.1 Gi i thi u
Trong th
i bùng n v tìm ki m thông tin hi n nay, ngoài vi c tìm ki m các
n n i dung thì vi c tìm ki m nh
g có
ng tr nên ph bi n. V i
ngu n tài nguyên nh vô cùng to l n trên m ng internet, thì vi c tìm ki m chính xác
m tb c
tìm ki m m t b c
hi n l

i yêu c u c

t trên t ng t m

i dùng là khó kh thi. Chúng ta khó có th
ng,
vi c tìm ki
c th c
n khi tìm th

nh có n i dung c n tìm.

V i l i ngu n tài nguyên nh trên m ng internet s ngày càng nhi
phát tri n c a công ngh s
, nhu c u th t s

a theo s
i chúng ta

ph i có m t công c h tr cho vi c tìm ki m nh càng s m càng t t.
Có hai ki u tìm ki m d li u
m theo t khoá và tìm ki m theo
n i dung nh. Tìm ki m theo t khoá d tho
c nhu c
i dùng v i các
nhu c u tìm ki m hình nh m i theo mong mu n b n thân h . Và thêm n a, tìm
ki m theo t
m theo n i dung b i vì nó ho
ng trên
vi c phân tích và so sánh các t ho c c m t
ng v
t qu .

Ki u d li u này là d ng cá
n, t ng cho nên k t qu
chóng,
i dùng ph i có nh m u. Tuy nhiên,
m là k t qu hình nh không ph
i mong
mu n c
i dùng. Và nó ch phù h p nh t v i vi
ng nhu c u c
i
dùng thông qua các mô t b ng t ng
kh c ph
m này c a tìm ki m
theo t khoá, m
i là tìm ki m nh theo n i dung. Ý
ng chính c
o ra s mô t nh m t cách t
ng tr c ti p
t n i dung nh b ng s phân tích n i dung nh mà không có s can thi p th công.
mc
a trên t khóa là vi c trích
ch
c th c hi n m t cách t
ng và n i dung c a nh luôn luôn nh t
quán. Trong th c t ,
ng s d
c cao (khái
ni m), ch ng h
khóa, mô t
gi i thích hình

t c a chúng. Trong khi nh
c trích ch n m t cách t
ng b ng
cách s d ng k thu t c a th giác máy ch y
c th p (màu s c,
k t c u, hình d ng, v
c dù nhi u thu t toán ph c t
c
thi t k
mô t màu s c,
tc
t toán này
v n không th ph n ánh th
nh.

- CT1401

7


án t t nghi p

i Phòng

Do v y, kho ng cách ng
c th p và các khái ni m
m c cao v n còn l n nên hi u su t c a CBIR là v n còn xa v
ic a
i
dùng.

thu h p kho ng cách ng
, ph n h i liên quan (RF
m t công c hi u qu
c i thi n hi
a h th ng CBIR. Nói chung, RF
nh m m
i thi n hi
u thông qua vi c h c nh
u ch nh c a
i dùng trên nh ng k t qu tra c u. Theo cách này, h th ng c n ph i th c hi n
thông qua m t s vòng l p. Trong m i vòng l p, h th ng s tr l i m t danh sách
nh t v i nh truy v n d a trên kho ng cách Euclidean. Sau
c
i s d ng gán nhãn liên quan ho c không liên

ng n các
, các nh này s

quan v i nh truy v n. S d ng nh ng
gi ng, nh ng k thu t h c máy s
c áp d

ng h t
xây d ng mô hình phân l p t t

c các
d li u thành hai l p liên quan và không liên quan v i nh
truy v n. Hàm phân l
cs d
ph

liên quan
c a
d li u.

1.2 Nh ng thành ph n c a m t h th ng tra c u nh d a trên n i dung
M t h th ng tra c u

i các thành ph

-1 [5].

Hình 1-1: Ki n trúc t ng quan v h th ng tra c u nh
Trích ch

,

n quan tr ng nh t trong tra c u nh d a trên n i dung:
s và giao di n truy v
i dùng.

- CT1401

8


án t t nghi p

i Phòng

1.2.1 Trích ch

tures Extraction):

a nh bao g
c tính
c tính ng
c tính
c (color), hình d ng (shape), k t c u
(texture), v trí không gian (spatial location). Chúng có th
c trích xu t t
ng
ho c bán t
ng. c tính logic cung c p mô t tr
ng c a d li u hình nh
các c
khác nhau.
ho c bán t
ng. M t ho c nhi

c tính logic
c chi t xu t b ng tay
c s d ng trong ng d ng c

ng,

th .

1.2.1.1

c (color):

c là m t trong nh

c s d ng ph bi n trong tra
m t không gian màu l a ch n. S
ng

c u nh. Màu s
c a không gian màu là có s
c th hi n g

c dùng cho các ng d ng khác
i nh n th c c
i và

c s d ng r ng rãi trong
c ph bi n ho c
các mô t trong h th ng CBIR bao g m: ma tr n hi p bi n màu, bi
màu,
moment màu, và véc- k t h p màu [5]
ng s
k t qu , m t t
c xây d
tính toán t

ng l y t
m b t bi

m quan sát khác nhau và s chi u sáng. Theo
c tính toán. Các b t bi n

c
hue c p hue-hue
i x ng. Vi c l a ch

c
thu c vào k t

qu

n. Ví d , n u vi
n cung c
ng mà không có màu
ng nh t, thì rõ ràng màu trung bình không ph i là l a ch n t t. V i các ng d ng
c bi
d li u khuôn m
i, thì mi n tri th c có th
c khai thác
gán tr ng s cho t
m nh trong vi c tính toán vùng màu.

1.2.1.2

t c u (texture):

K t c u không
c, vì th mà m t
s h th ng không s d
t c u. Tuy nhiên, k t c u cung c p các
thông tin quan tr ng trong vi c phân lo i nh, vì nó mô t n i dung c a nhi u nh
th

trái cây, mây, cây, g ch, và v
t c u là m
quan tr ng trong vi
c cao cho m
u nh [5].
tc
c s d ng trong h th ng tra c u nh bao g m các
, ch ng h
c bao g m s d ng l c Gabor ho c
bi

i wavelet, th

tc
t c u Tamura

wold

th ng kê c c b ,
xu t b i Liu và các

c ng s

- CT1401

9


án t t nghi p
1.2.1.3

i Phòng
a trên hình d ng (shape):

Hình d ng là m t khái ni
t.
ng c a
các ng d ng nói chung bao g m: t l aspect, tu n hoàn, mô t Fourier, b t bi n
th
ng bao liên ti
nh
quan tr ng, m
c s d ng r ng rãi trong CBIR
nhi u mi n

t c u [5]
c bi

ng nhân t

hi n tính h u ích trong
iv i
cs

d ng trong h u h t các lo i gi y t , tuy nhiên, nó l

áp d

hình d ng so v i màu s c và k t c u do s thi u chính xác c
g p khó k

th y ti
s d

ng ch
CBIR. Ví d

c s d ng trong m t s h th ng và cho
ng s
n ch ng h
l
nh

ng. M t h th ng mà Wang và c ng s
quán tính c a th t t 1mô t hình d ng khu v c.

1.2.1.4
Các vùng ho

n. M c dù

d ng tiêu chu n hoá

(spatial location):
ng v i thu c tính màu s c và k t c u

có th

c nh n ra m t cách d dàng b i ràng bu c không gian [5]. Ví d , các vùng có
b u tr i và bi n màu xanh có th có bi
,

i có v trí không
gian trong nh khác nhau. Vì th , v trí không gian c a các vùng (ho
i
ng) ho c m i liên h không gian gi a nhi u vùng trong m t nh thì r t h u d ng
cho vi c tra c u nh. M t bi u di n c a m i liên h không gian
c s d ng r ng
rãi nh t
2D strings
c Chang và các c ng s
K thu t
này
c xây d ng b ng cách chi u các nh theo tr c x và y. Cho hai t p ký hi u V
và A,
phép chi u. C m i ký hi u trong V
c bi u di n
b im
ng trong nh. Còn m i ký hi u trong A
c bi u di n b i m t
lo i liên h không gian gi
ng. N u chúng khác nhau, thì k thu t
2D G-string s c t t t c
ng d c theo
ng bao h p nh nh t và m
r ng m i liên h không gian vào trong hai t p toán t không gian. M t t p toán t
nh
m i liên h không gian c c b . Và t p còn l i
nh
m i liên
h không gian toàn c c, ch ra r ng phép chi u c
ng là tách ra, n i li n

ho
nh cùng v trí. Ngoài ra, k thu 2D C-string
xu t
b i Lee và các c ng s
c c ti u con s
t. Còn k
thu 2D B-string
c gi i thi
i Yang và các c ng s .
K thu t này s bi u di n m
ng b i hai ký hi u, thay th cho vi c m
u
và k
ng bao c
ng.

- CT1401

10


án t t nghi p
H uh
tìm t t c các nh ch

i Phòng
có th t o ra ba ki u truy v n. Ki u truy v n 0 s
ng O1, O2, , On. Ki u truy v n 1 s tìm t t c các

nh ch

ng mà có m i liên h ch c ch n gi a t
ng khác,
kho ng cách gi a chúng là
. Cu i cùng, ki u truy v n 2 s tìm t t c
các nh mà có liên k t kho ng cách ch c ch n v i t

ng khác.

Ngoài k thu
2D string
trên, còn có các k thu
spatial
quad-tree
c gi i thi
i Samet,
symbolic image
c
gi i thi
i Gudivada và Raghavan. Hai k thu
c
bi u di n thông tin không gian. Tuy nhiên, tra c u nh d a trên m i liên h
không gian c a vùng thì v n là m t bài toán khó trong nghiên c u tra c u nh d a
trên n i dung. B i vì, các phân
nc a
ng ho
y thì
ng không kh thi tr khi trong các ng d ng r t gi i h n. M c dù, m t s h
th
n phân chia nh vào trong các kh i con chu n, mà ch
c thành

công nh v
h u h t nh t nhiên không b
nén vào các kh i con chu
gi i quy t v
này, m
a trên
k thu Radon transform , m t k thu t mà s khai thác
c quan
c a s p x p không gian mà không c
n ph c t
xu
i Guo và các c ng s .

1.2.2

c

s (Indexing):

M tv
quan tr ng khác trong tra c u nh d a trên n
s
và tìm ki m nhanh nh d
c quan. B i vì, các vécc a
ng t i s chi
p cho các c u trúc
s truy n th ng. Vi c gi m s chi
cs d
c khi
lên k ho

s .
M t trong nh ng công ngh
c s d ng ph bi n cho vi c gi m s chi u là
Phân tích thành ph n chính PCA [5]. Nó là m t công ngh t
c ánh x
tuy n tính d li
u vào cho m t không gian to
. Các tr
c th
ánh x t
n in d li u. H th ng QBIC s d ng PCA
làm gi m 20
chi u trong vécng thành hai ho c ba chi u. Ngoài công ngh
PCA ra, nhi u nhà nghiên c u còn s d ng bi
i KL
làm gi m s chi u trong
c dù, bi
i KL có m t s thu c tính h u d
nh v trí h u h t không gian con quan tr ng, các thu
quan tr
i v i vi
có th b phá hu trong su t quá
trình gi m các chi u mù. Ngoài hai công ngh bi
i PCA và KL, thì m ng
-ron
c ch ng minh là công c h u ích cho vi c gi m s chi

- CT1401

11

án t t nghi p

i Phòng

1.2.3 Giao di n truy v n (Query Interface):
bi u di n nh tra c u t
d li
i dùng thì có r t nhi u cách.
Và nh
ng nh
c s d ng là: duy t qua m c, truy v n b i
khái ni m, truy v n b i b n phác th o, và truy v n b i ví d . Duy t qua m c là
g pháp duy t qua toàn b
d li u theo danh m c các nh. M
a
d li
c phân lo i thành nhi u m c khác
c n i dung tr c quan. Truy v n b i khái ni m là tra c u nh

nhau theo ng

theo mô t khái ni m liên quan v i t ng

d li u [5]. Truy v n b i

b n phác th o và truy v n b i ví d là v ra m t b n phác th o ho c cung c p m t
nh ví d t nh ng nh v
s d li u.

c quan s

bao g m c

Trong s ba tác v trên, thì trích ch
nhi m v quan tr
trên n i dung t p t

c trích ch n t

) là

t. Ph n l n các nghiên c u tra c u nh d a
m v này.

1.3 Kho ng cách ng

u nh d a trên n i dung

c tra c u nh hi n nay có hai h th

c phát tri n là: h

th ng tra c u d a trên n i dung và h th ng d a trên t
m khác bi t duy
nh t gi a hai h th ng này chính là s
i thì
ng s d ng các khái ni
khoá, mô t

n, gi i thích hình
,
nh
ct
ng trích ch n b ng k thu t th giác máy tính thì ch y
m c th p (màu s c, k t c u, hình d ng, v trí không gian,
). Nói chung là
không có m i liên quan tr c ti p gi
c th
c cao.
M c dù, các nhà nghiên c u
phát tri n r t nhi u các thu t toán ph c t
mô t
c, k t c u, hình d ng. Th
, các thu
mô t
ng
a hình nh, và có nhi u h n ch khi gi i
quy t m
d li u n i dung nh l n. Các thí nghi m m r ng trên h th ng
CBIR cho th y n
c th
ng không th mô t các khái ni m
ng
c cao
i dùng.
, hi u su t c a CBIR v
c nhu c u c
i dùng. Tác gi Eakins
xu t ra

ba m
c a các truy v n trong CBIR.
M c 1: Tra c u b
ho c b trí không gian c a các ph n t

- CT1401

c, k t c u, hình d ng
nh.

12


án t t nghi p

i Phòng

M c 2: Tra c u b
v im tm
suy lu n logic. Ví d

nh b
,
t b c nh có ch a bông hoa

M c 3: Tra c u b i các thu c tính tr u
ng trong nh, ho c n i dung c a
là tra c u tên các s ki n,
tb c
Có th th y m c 2 và m

ng, bao hàm s
c miêu t

ng m

a nh, ho c các d u hi u n i b t,

c g i là tra c u nh ng

gi a m c 1 và m c 2 là kho ng cách ng
nh m c th p và s
Kho ng cách ng
.

1.4

Ví d

, và kho ng cách

. S khác bi t gi a gi i h n mô t

phong phú ng

i dùng,

c g i là

m kho ng cách ng

Làm th

ng
các công ngh

chúng ta có th liên k
c cao?. Câu h
gi i quy t v

kho ng cách ng
B ng cách áp d ng vào

c th p c a nh v i các
y các nhà nghiên c u c g ng phát tri n

này. Các công ngh m i trong vi c làm gi m

n nay có th
c phân ra theo các tiêu chí khác nhau.
c khác nhau, các công ngh tra c u nh có th có

th
c chia ra là: tra c u nh ngh thu t, tra c u nh phong c nh, tra c u nh
web,
t s k thu t
cs d
suy ra ng
m c cao:
(1) S d ng b n th

nh ngh a khái ni m m c cao.

(2) S d
c có giám sát ho
c th p v i các khái ni m truy v n.

g

c

(3) Gi i thi u ph n h i liên quan (RF) vào vòng l p tra c u nh cho vi c h c
liên t
nh c
i dùng.
ST

(4) Sinh m u ng
(5) S d ng c
c a
tra c u nh web.

h tr tra c u nh m c cao.
n t trên web và n i dung tr c quan

Trong t t c các k thu t trên thì k thu t (3) có th r t khó
c áp d ng và ít
c ph bi n r ng rãi. Vì th mà k thu t (3) ch có th
c tìm th y nh ng
mi
c bi

o tàng ngh thu
hi n nay ch có k thu
c áp d ng r ng rãi
th ng áp d ng k thu t (2) thì có 3 thành ph

- CT1401

n báo chí. Và
i s ng. Và nh ng h

13


án t t nghi p

i Phòng

Trích ch

nh m c th p.
.

Làm gi m kho ng cách ng
Thêm n a là, có m t s h th ng ch s d ng m t k thu
c u nh d a trên ng
h p 3 ho c 4 k thu t

t s h th ng s d ng k t
trên.

1.4.1 K thu t b n th
Trong m t s
h ng ngày. Ví d
da tr i

tra

ng

ng h p, ng
b u tr i
c mô t
th ng s d ng ng

ng s
m

d

c suy ra t ngôn ng
trên,
u, màu xanh
n,
c tiên, các kho ng
nh m c th p. V i m i kho ng

c mô t m c trung gian c a nh, ví d
v a,
ng mô t
hình thành m t m u t v

b n th
ng
c a khái ni m truy v n m c cao.

xanh nh t, xanh
n, và cái

d li u nh có th
c phân lo i vào các m c khác nhau b ng cách ánh
x mô t ng
c cao (các t khoá) d a trên ki n th c c
i. Ví d
b u tr i
xanh nh t màu s c),
u
(k t c u), trên cao v trí không gian).
, Mezaris và c ng s
i
thi u h th ng tra c u nh d a trên b n th
ng. Trong h th ng này, m i
vùng c a
c mô t b i màu trung bình trong không gian màu lab, v trí c a
nó trong tr c d c và tr c ngang, kích c và hình d ng c a nó. B n th
ng
c minh ho b i hình 1-2.

- CT1401

14

án t t nghi p

i Phòng

Hình 1-2
V y h th

minh h a b n th

ng

nào?. M u ch t
cl
t c u và màu s c. Trong h th ng máy tính hi n nay,

ng t

tri

i thì ch có kho ng t
n 20
t tên. Nh ng mô hình tên màu bi u di n m i liên quan gi a không
gian màu s v
c
i s d ng.
, Berk và các c ng s
xu t m t h th ng tên màu n i ti ng
CNS
(Color Naming System). H th

ng t hoá không gian màu
HSL (Hue-Saturation-Luminance)
ng chính
ng t giá tr Hue
tt
n. Saturation và Luminance thì
ng t
bin
u ch
sáng c a
màu. M t b
CNS
, cam, nâu, vàng, xanh lá cây, xanh
, v i vi c thêm vào các giá tr vô s
, xám và tr ng.
cm tm
n.
Thêm n a, liên k t màu t i s c m nh n và tr c quan cho vi c tra c u tranh,
nh, thì m t lo
n sángt i,
n m-l nh,
n bù,
là: màu vàng thì
cg
m ,
cg
l nh
t s nhà nghiên
c u khác thì c g
ng liên quan trong c nh thiên nhiên.

Ví d : màu tr ng thì gán v i tuy t, mây,
thì gán v i m t tr i. Vì th mà
b ng cách này h th
m s chênh l ch ng
tr truy v n
b ng t khoá.

th

th
CNS ,
n xây d ng m t h
t tên k t c u mà s chu n hoá các mô t và bi u di n c a k t c u.

- CT1401

15


án t t nghi p
Tuy nhiên,
trong ng d

i Phòng
n nay v
i s ng. Vì vi

t h th
t tên k t c u nào có s n
t tên cho k t c u th c s r t khó. Trong nh ng

xây d ng m t h th
an tr

c g

D a trên nh ng th nghi m tr c quan,
r ng có ba thu c tính quan tr
này; và làm th

t tên k t c u, m t s nhà nghiên c u
nh n bi t k t c u.
, Rao và các c ng s
i nh n bi t k t c

ra
p l i,

ph c t p. Tuy nhiên, làm th
có th ánh x
t c u m c th p v i ba y u t trên

thì v n còn ph i nghiên c u thêm.
So v i màu s c thì k t c u v

c tìm hi u sâu và mô hình

Và có m
, thay vì vi c s d ng tên k t c
v n. Thì m t s nhà nghiên c u l i c g

ng t hoá các c
c u thành các kho
Cu i cùng,
li u
khác nhau l
h

.

khoá cho truy
t
t c u.

n th

ng s ho
ng t t v i m
d
i ng
i m t b các nh có n i dung
n ph i có nh ng công c hi u qu
h th ng có th

c ng

1.4.2 K thu t máy h c
Trong m t s
ng h p,
có th
th ng yêu c u c n ph i có m t công c hình th c

thu t máy h c có hai lo i là: h
chúng ta s tìm hi u k thu t máy h c có giám sát.

c cao, thì h
thu t máy h c. Mà trong
,

1.4.2.1 H c có giám sát
H c có giám sát d a theo thu t toán Support Vector Machines (SVM) và phân
l p Bayesian
cs d
h c các khái ni m m c cao t
nh m c th p. V i m t n n t ng lý thuy t m nh m , SVM
cs d
nh n
d
ng, phân lo i text,
,
t gi i pháp t t cho
vi c h c trong h th ng tra c u nh.
u, SVM
c thi t k cho vi c phân l p
nh phân. Gi s r ng: có m t t p d li u hu n luy n {x1, x2,
, xn},
véc{y1, y2,

trong không gian X

Rd thu c v hai l p r i r c v i các nhãn c a nó là

, yn} và yi {-1, 1}

(Optimal separating plane) nh m c
m d li u g n nh t
1-3.

- CT1401

, chúng ta có m t m t ph ng phân tách t
i hóa kho ng cách t siêu ph

n các

16


án t t nghi p

i Phòng

Các vécm trên m t m
trên s
c g n nhãn là +1

is
tr véc-

c g n nhãn là -1, còn các vécm t
c
n các m u hu n luy n n m

g n v i siêu ph ng nh
h
c nhi u khái ni m cho tra c u nh, m i m t b
SVM s
c hu n luy n cho t ng b khái ni m. Ví d cho vi c dùng SVM trong
chú thích
n hu n luy n, m i m t mô hình SVM nh phân s
c
hu n luy n cho t ng b khái ni m trong 23 b khái ni
c l a ch
n giai
n ki m th thì vùng d li
c g n nhãn s
b SVM
n khi mô hình SVM nào cho ra k t qu

t vào t ng
t thì mô hình

thích h p v i vùng d li

Hình 1-3

mô t k thu t SVM

c s d ng r ng rãi là phân l p Bayesian.
, Ailaya và các c ng s
d ng l p phân lo i nh phân Bayesian
ghi l i các khái ni m m c cao c a c nh t nhiên t

c th
d
li u nh s t
ng phân lo i nh vào trong m t lo i chung là n i c nh/ngo i c nh,
nh ngo i c nh l i ti p t
c phân lo i ti p vào trong lo i thành
ph /phong c nh,
, Luo và Savakis
ng
M

Bayesian

phân lo i nh n i c nh/ngo i c nh.

- CT1401

17


án t t nghi p

i Phòng

M t k thu t h
h c các khái ni m là m ng -ron.
s d ng k
thu t này thì các khái ni m ph
c phân chia thành 11 lo i là: g ch, mây, lông
thú, c ,

,
c hu n luy

ng,

, cát, da,

c.
,m ts
c th p c

ng l n d li u
n)

ng -ron phân l
thi t l p liên k t gi
c th p
c cao (các nhãn phân lo i). M t b t l i c a k thu t này là nó yêu

và ng
c um ts

ng l n các d li

Ba thu t toán
C nm ts

c hu n luy

trên t n t

ph c t p tính toán cao.

m:

ng l n các m u hu n luy

c g n nhãn, và các d li u này

thì d b l i.
T p hu n luy n thì ph

cc

nh su t trong quá trình h c và

n

ng d ng.
, n u mà mi n ng d
i, thì các m
c cung c
m b o tính hi u qu phân l p.
Bên c nh các thu

c g n nhãn m i ph i

c nêu trên, k thu t cây quy

tree

bi u di
lên m t c u trúc cây b ng vi

nh (decision

M ts p
quy không gian thu c tính input vào

trong m t t p không gian không ch ng l p. M t t p lu t quy
nh có th
c
bi u di n b
ng d n t g
n ng n. Vào
, Sethi và Coman
s d
nh CART
bi u di n lu t quy
nh ánh x
phân b màu toàn c c (HSV bi
không gian màu) trong m t
chú thích
n (4 t khóa: Sunset, Marine, Arid images and Nocturne). Còn MacArthur và
các c ng s c a ông
nh C4.5
c d a trên m t
t p nh liên quan cho truy v
cs d
t mô
phân l

d li u nh vào hai l p: liên quan và không liên quan. Thu t
toán này
c s d ng trong vòng l p ph n h i liên quan (RF
cung c p các nh
i dùng g n nhãn vòng l p ti p theo.
So v
c khác, cây quy
nh là khái ni
n, hi u
qu v
và nhi u
, cây quy
nh
có th d dàng chuy n thành m t t p quy t c có th tích h p vào m t h th ng
ng quy
nh t
ng. Tuy nhiên,
mc
pháp này là thi u tính mô, n u mà s d ng trong vi c h c khái ni m m c cao
trong tra c u
.

- CT1401

18


án t t nghi p

i Phòng

này

kh c ph

c nh

d ng giá tr thu c tính input,
giá tr liên t c. M c dù, m t s thu
tính liên t c. Th

c phát tri n b i các tác gi
a,
ng các
c thi t k

u có hay không các thu

n nào
nh m c th p thì có
r i r c hóa các thu c
c thi t k

n nay v

phân
i gi i.

1.4.2.2 H c không giám sát
Không gi

thu t h c có giám sát là có s hi n di n c a k t qu trong

quá trình h c. H c không giám sát thì s không cho k t qu
t ra là: làm th
Phân c m nh là m t k thu t h

u ra, mà nhi m v

t ch c ho c phân c
n hình cho m

u vào.
u.

K thu t này c g ng gom các d li u nh gi ng nhau vào trong m t c m m t cách
t

, và gi m thi u s gi ng nhau gi a các c m khác nhau. M i c m k t qu s
c liên k t v i m t nhãn l p và nh trong m t c m thì s
nhau.
m k-mean truy n th ng và các bi n th c
phân c m nh.
, Stan và Sethi
d

ng

phân c m k-mean
áp d
nh m c th p c a m t t p các nh

hu n luy
, s li u th
ic am ic
cs d
l y m t t p h p các ánh x gi
c th
nt i
khoá) c a m i c
g ng. Các quy t c ánh x có th
cs
d
thêm
c g n ch s
d li u.
, Jin và các c ng s
d ng m
chú thích
d li u m t cách t
ng cho m
u tiên, h th ng
s phân c m vùng nh vào trong m t c m mà s d ng m t bi n th c
pháp phân c m k-mean.
c g i là ràng bu c t ng c p k-mean
(PCK-mean). S c
c thi t l
th c nghi
, xác su t h u
nghi m c a m i khái ni m (59 khái ni
d li u nh)
t vùng s d

semisemic Jin và các c ng s s d
,m t
nh m i có th
c chú thích b ng vi c ch n các khái ni m v i xác su t cao nh t.
Do s phân b ph c t p c a d li u
m d li
d ng phi tuy n tính),
n th
ng không th phân chia t t các nh v i các khái ni
v
này,
, Shi và Malik
xu t m

- CT1401

cl ym ut
m k-mean
gi i quy t
m

19


án t t nghi p

i Phòng

quang ph Normalized cut (NCut
trong m t vài ng d ng

c s d ng thành công
n nh, phân c m nh.

, Chen và các c ng s
CLUE
gi m kho ng cách ng
th ng CBIR khác mà ch hi n th các nh trùng kh p

i dùng.

Thì h th ng này c g ng tra c u ng
t cách t
ng và g n k t các c m
nh. Cho m t truy v n nh, m t t p các
cho truy v
cl a
ch
ng c a truy v n. D a trên gi thuy t r ng, các nh có ng
gi ng nhau thì c
phân c m các

ng b phân c

hi n th c m
dùng. Hình 1-4

u ch
cho h th n

Ncut
p ng

Ncut không th t o ra m t hàm ánh x
m d li u m
gi
c tính toán này có th b ph c t

Hình 1-4

c s d ng cho vi c
, h th ng

theo ph n h i c

i

gi i quy t các
t c d li u hu n luy n ph i
c l n c a b hu n luy n.

mô t

gi i quy
, Zheng và các c ng
s
xu t ra m
c c b (locality preserving
clustering-LPC) cho vi c phân c m nh. K t qu thí nghi m cho th
LPC có th cung c p vi c tra c

Ncut,
i có hi
a là, k t qu tra c u c a LPC
c ch
m k-mean.

- CT1401

20


án t t nghi p

i Phòng

1.4.2.3 K thu t tra c u nh nh n d

ng

Nh n d
ng trong nh là m t bài toán quan tr ng trong th giác máy
tính v i các ng d ng trong chú thích nh, giám sát và tra c u nh. Các thu t toán
nh n d
ng giám sát ho
c phát tri n g
có th tra c u nh d a trên ng
, Fergus và các c ng s
i
thi u m t
invariant learning

c b t bi n co dãn không giám sát (unsupervised scaleh c và nh n d ng mô hình l
ng t các c
c

phân c

n nhãn.
t ng ph n c a

,
th và m t bi u di n xác

xu
c s d ng cho h u h t các khía c nh c
hình d ng, b
ngoài, kh p,
i. Trong quá trình nh n d ng,
cs
d ng trong ki u Bayesian cho phân lo i nh. Mô hình t nhiên linh ho
c
ch ng minh b ng k t qu t t trong m t lo t các b d li u bao g m: các l p hình
h c ràng bu c (ví d
t,
ng m m d o (ví d
ng v t).
Có m t th c t r ng, h u h

i dùng mu n tra c u nh d

i

ng trong
, Li và các c ng s
n m t phiên
b n bán giám sát m i c a thu t toán EM cho vi c h c s phân chia c a l
i
ng. Các
c bi u di n là b véca nhi u lo i vùng tr u
ng. M i vùng tr
t pha tr n c a s phân
chia Gaussian
c
c s d ng trong vi c nh n
d ng có th
nt
c s d ng
thì g
vùng tr
ng
t m u ch t c
ng ti p c n này là không c n
bi t v trí c
ng trong nh. Các thí nghi m trên m t t p 860
ng
minh tính hi u qu c
, Li và các c ng s
xu
c lan truy n ho c
h c cách nh n bi

ng s d ng nhi u lo
M c tiêu c a cách làm này là phát tri n m
phân lo i nh
ngo i c nh. Pha lan truy n s
ng hoá mô t
dài nh, cái mà có th tu
ch nh s
ng c a t ng lo
c trích ch n. Còn pha phân tách, m t
cách h c phân lo i mà nh s
c bi u di n b i mô t
dài c
nh, và bao g m
Trong k t qu th c nghi m c
, b ng vi c s
d ng màu s c, k t c u, và các c
y r ng hi u su t tra c u
r t kh thi trên 31 lo i ph n t
ng và 20 khái ni m m c cao.

- CT1401

21


án t t nghi p

i Phòng

1.4.3 K thu t ph n h i liên quan

Khái ni m ph n h
c gi i thi u trong tra c u nh d a trên n i
dung t khái ni m tra c u thông tin d
n t cu i nh
thành m t công ngh ph bi n cho CBIR
gi m kho ng cách ng
gi
c th p và các khái ni m ng
c cao [3]. Nói chung, ph n
h i liên quan nh m m
i thi n hi
ub ih cv is
u ch nh
c
i dùng trên k t qu tra c u. Trong cách này, h th ng c n ph i ch y thông
qua m t s vòng l p. Trong m i vòng l p, h th
sách các nh k t qu

c tiên s tr v m t danh

c s p x p g n nh t v i nh truy v n d a trên kho ng

cách Euclidean
ts
i dùng gán nhãn liên quan
ho c không liên quan t i nh truy v n. S d ng các
là các m u, các k thu t h c máy s
cs d
h c và phân l p các nh trong
d li u thành hai l p liên quan và không liên quan. B ng vi c h c m t cách

liên t c thông qua s
i dùng cu i, ph n h
y
vi
trong h th ng CBIR [4]. M t quá trình x
n hình
c a RF trong CBIR
c mô t
1.

i dùng l a ch n nh truy v n. S
c trích ch n.
2. H th ng tr l i k t qu

,

c th p c a nh
ng h p:

a.

u: D
c
nh truy v
h ng nh k t qu .
b. Trong các vòng l p RF: S d ng hàm phân l
qu .
3.

c th p gi a

d li
x p
x p h ng nh k t

i s d ng s quy
nh ch n nh ng nh k t qu có m
v
nh c a mình nh
ng nh liên quan (m
không liên quan (m u âm) v i nh truy v n.

4. Thu t toán máy h c s
d ng các m
hi n t

c áp d

cg

h c ph n h i c
c t vòng l

gi ng
) hay
i dùng s
n vòng l p

c 2.

c (2), (3) và (4) s

c l p l i nhi u l
v i k t qu tra c u. Hình 1-5 s cho th y cách ho

- CT1401

i dùng hài lòng
ng c a RF trong CBIR.

22


án t t nghi p

i Phòng

Hình 1-5

mô t

Có nhi u cách ti p c
c (4), mà t
m máy h c chung, v b n
ch t RF là m t bài toán phân l p nh phân. Tro
, các nh m
c cung c p
b
hu n luy n m t l p phân lo i. L p này s
cs
d
phân lo i

d li u thành nh ng lo
n truy v n
và ph n còn l i thì không. Tuy nhiên, RF r t khác t các bài toán phân l p truy n
th ng. B i vì, nh ng ph n h
c cung c p t
i dùng thì l i b gi i h n trong
h th ng tra c u nh trên th c t . Vì v y, m
c m u nh s là
t h a h n trong RF.

1.4.4 M u ng
(Semantic template), m c dù k thu
c s d ng
r
thu
c p trên,
i là m t cách ti p c
yh a
h n trong vi c tra c u nh d a trên ng
u ng
t ánh x gi a
các khái ni m m
giác m c th p. M u ng
c
bi u di n l i
c tính toán t m t b
t p các nh m u. Trong m t s h th ng, bi
ng hay các nh m
c
M u ng

cung c p cho s ti n d ng truy v n c
, Chang và các c ng s
(semantic visual template
liên k

- CT1401

i dùng.
i thi u v
ng m u ng c nh
nh m c th p t i các khái ni m

23


án t t nghi p

i Phòng

m c cao trong tra c u video. M t m u nh là m t b các bi
c nh/
ng
bi u di n các khái ni m
h p,
ch n cho quá trình truy v

a ví d v c nh
sinh các m u ng
,

u cho các khái ni
c bi t b
r ng bu c không gian và th i gian. Tr ng s

ng ho c ví d v
c
ng

nh
c gán cho t

c trích
i dùng s
ng và
a

t
qua s

ng. Quá trình truy v
c cung c p cho h th ng. Thông
i dùng, h th ng cu i cùng s h i t v i m t nhóm nh

truy v

n hình mà có s trùng kh
i dùng.

Th h c

t t nh t

chính xác cao) các khái ni m

SVT c a Chang và các c ng s ph thu c vào s
i dùng và yêu c
i dùng ph i có s hi u bi t chuyên sâu v

u này gây tr ng i cho các ng d
i dùng bình
ng hay s d ng. So v i vi c này,
, Zhuang và các c ng s
s d ng m t h th
sinh m u ng
t cách t
ng trong quá trình
x lý ph n h i liên quan, d a trên nh ng hi u bi t r ng ph n h i liên quan là m t
i dùng c th hóa truy v n ng
nh t,
i dùng g i
nh truy v n v i m t khái ni m (t khóa
i di n cho
p l i nhi u l n,
h th ng s tr v m t s hình
ng tâm
c a nh ng
c tính toán và s d
i di n c a các khái ni m truy
v

, ST s
ST={C, F, W} v i khái ni m truy v n C,
tr ng tâm F
c, và tr ng s W
c áp d
-

m tm

, Miller và các c ng s
i các m u ng

i thi u h th ng WorldNet
u, m

xây d ng
i dùng g i

khái ni m truy v n (t khóa), thì h th ng có th tìm m t m u ng
ng,
và s d ng F và W
tìm nh ng
. Quá trình tra c
c
th hi n hình 1-6
i dùng không th th y
c vi c sinh m u, và s d ng h
th ng mà không c n b t k ki n th c nào v
i di

- CT1401

24


án t t nghi p

i Phòng

Hình 1-6: H th ng tra c u nh Worldnet s d ng Semantic template
M t công vi
H s d ng m t công ngh

c gi i thi u b
c g i là CRT
gi i mã ng

CRT

p x p không gian nguyên m u trong nh. Cho m t

l p ng

, m t t p các nh m

c thu th

nh. Công ngh

u tiên, h th ng s

n

m i
ng nh t và trích ch
i b ng cách quét nh
theo chi u d c
, h th ng h p nh t các vùng chu i b
mt ns
CRT trong t p h p các khu v c chu
c t t t c các nh m u. B ng vi c k t
h p CRT t m i l p ng
o thành m
n CRT. Mô t ng
a
nh ng
t có th
c t o ra b
i sánh s s p x p c a các khu
v c
n CRT. Các thí nghi m v i m t t p 10 l p ng
bãi bi n,
tòa nhà, cua, th l n,
ng minh r
i thi
chính xác tra c u so v
n th ng s d ng bi
c
t c u.

1.4.5 Tra c u nh web
Chúng ta phân lo i tra c u nh web
t trong các công ngh m i trong
tra c u nh m c cao,
t mi n ng d
c bi t. Vì nó có m t s khác bi t
k thu t t tra c u nh trong các ng d ng khác. M
m trong tra c u nh
web là m t s thông tin b sung trên web có s
t
u ki n tra c u nh d a
trên ng
, m t file nh ch
ng d
ng có m t c u trúc phân
c p rõ ràng bao g m m t s thông tin v
i nh. Ngoài ra, các tài li u
HTML
a m t s thông tin h
nh, ALT-tag, các

- CT1401

25