Một số kỹ thuật chỉ mục và tìm kiếm đối tượng trong video số

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
***





NGUYỄN THANH BÌNH






MỘT SỐ KỸ THUẬT CHỈ MỤC
VÀ TÌM KIẾM ĐỐI TƯỢNG TRONG VIDEO SỐ






LUẬN VĂN THẠC S

Hà Nội - 2008
MỤC LỤC


 1
 3
 4
 5
-  7

 7

IRS) [1], [2], [6] 9
 9

 9

 10
 11
 12
 13
 13
n 14
 15
 19
 21
 24
 . 26
 27
 29

- 
 31
 [2], [6] 31
 31
2.1.2 Nén video 31
 46
 46
 47
 47
 56
 62

2
-  68
 68
 68
 69
 72
  73
 74
 75
 76
 79
 80
 84
interMedia 84

VIDEO 86
 86
 87

3.2.3 Thi 87
  89
3.2.5 



 90
 92
 93


3

DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT



STT
Từ viết tắt
Tiếng Anh
Tiếng Việt
1.
BLOB
Binary Large Object

2.
CLOB
Character Large Object

3.

CNTT


4.
CSDL


5.
DBMS
Database Management System


6.
MMDBMS
Multimedia Database
Management System


7.
IR
Information Retrieval
Truy tìm thông tin
8.
MIRS
Multimedia Indexing &
Retrieval System



9.

MPEG
Moving Picture Experts Group

10.
OODBMS
Object-Oriented Database
Management System
H
 




11.
QoS
Quality of Service







12.
RDBMS
Relational Database
Management System

 
13.

UI
User Interface



4

DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ




Trang

1.

13
2.
Hình 1.2: 
17
3.
Hình 1.3: 
18
4.
Hình 1.4: 
19
5.
Hình 1.5: K
20
6.


22
7.

23
8.
Hình 1.8: 
30
9.
Hình 1.9: 
30
10.
Hình 2.1: Mô hình màu RGB
35
11.
Hình 2.2: Mô hình màu YUV
36
12.
Hình 2.3: B
39
13.
Hình 2.4: óng vuông
39
14.

39
15.

51
16.


52
17.

53
18.

53
19.
Hình 2.10: 
54
20.
 
54
21.
Hình 2.12
65
22.
Hình 2.13
66
23.
Hình 2.14
68
24.
Oracle Intermedia
86


5

MỞ ĐẦU



















, 








 , 





















 . 







, 







 ,  khô












 .   


. 



















 , 






 , 

 . 















 


, .
 , n      

  







 c






(DBMS)  . 

. 
 S
.

 , 
 


























 . C 
 [3]:

- 
khó

      H   

.
- 


6


 

 - K

- 

 K






C
.

, t 



Trình bày t
Trình bày m
trong vide
.

7
CHƢƠNG 1 - TỔNG QUAN
VỀ CƠ SỞ DỮ LIỆU ĐA PHƢƠNG TIỆN


1.1 NHU CẦU CẦN CÓ HỆ THỐNG QUẢN TRỊ CƠ SỞ DỮ
LIỆU ĐA PHƢƠNG TIỆN [1]

 chúng   nh X
 , c  ,  
, t, nay, khi 












    , 


, m :
- 
             - Magnetic

,
- sinh viên 


 
 


,
-  

      

- 




hay SGML,









 
  b           
này. 






 

,
,

8
ruy tìm nhanh.




 ây, khi mà 








 (DBMS).        
do c

, cho phép


: 
, c
          



nhau. 




-  

-  


Hin nay, có nhiu h qun tr  d lii dùng to
và qun tr các lo d liu khác nhau. Tuy nhiên, do d li
tin có có tính cht và yêu cc bit, khác xa vi loi d liu ch và s nên
CSDL truyn thng không phù hp trong vic qun lý d lin.
Các k thut truy tìm thông tin có th 
tic s hiu qu, kh n lý d lin thì
vc.
Vì vy, thc t  i cn có h thng qun tr   d li 

n (Multimedia Database Management Systems - MMDBMS).

9
1.2 SỰ CẦN THIẾT PHẢI CÓ HỆ THỐNG CHỈ MỤC VÀ TRUY
TÌM THÔNG TIN ĐA PHƢƠNG TIỆN (MIRS) [1], [2], [6]


 

1.2.1 Một vài tính chất chính của dữ liệu đa phƣơng tiện
- 

- 
- 

- 

- 
- 

1.2.2 Hệ thống quản trị cơ sở dữ liệu và vai trò của chúng trong
quản lý dữ liệu đa phƣơng tiện (MM)

             Ralational
Database Management System - RDBMS
 
Binary Large Object


block 

Hệ quản trị CSDL hướng đối tượng (OODBMS) 



Hệ thống CSDL quan hệ - đối
tượngobject-
orientedpropertiesc tính (attributes)
method

10



              


Do 
- 

-               

- 
sánh chính xác.
- 

- 

1.2.3 Hệ thống truy tìm thông tin (IR) và vai trò của chúng trong
truy tìm đa phƣơng tiện


: tvà 

; t

 

- 
- 
- 

- image texture


. Tuy nhiên, 
 ,


11
 

        

1.3 KHÁI QUÁT VỀ MIRS
Các thao tác M
           
 Trong
 






Chỉ mục:   (f
1
, f
2
, f
k
)
Truy vấn:  (q
1
, q
2
, q
k
)
Tính tương tự:  d(f,q)
Kết quả: d(f(I),q) 

Mô  
- 
- 
- 

Truy vấn
Các đặc trưng
truy vấn
Các mục thông
tin
Các mục thông tin

đã được chỉ mục
Tính toán
sự tương tự
Trả về những kết
quả giống nhất
Hình 1.1: Hoạt động của hệ thống MIRS
Xử lý và trích chọn
đặc trưng
Tiền xử lý và chỉ mục

12
- 
- 

- 
- 

1.4 KHẢ NĂNG MONG ĐỢI VÀ CÁC ỨNG DỤNG CỦA MIRS



Truy vấn trên cơ sở meta-data
Meta-

Truy vấn trên cơ sở mô tả




 

Truy vấn trên cơ sở mẫu (pattern) hay đặc trƣng


các thông ti
Truy vấn theo thí dụ (by example)




Truy vấn ứng dụng cụ thể


      
    Y tế, An
ninh, Giáo dục, Báo chí, Giải trí, Thương mại,…

13
 

 C
u

1.5 CÁC LĨNH VỰC LIÊN QUAN ĐẾN ĐA PHƢƠNG TIỆN
- Âm thanh (Audio)
- Images)
- Natural Language Processing)
- Truy tìm thông tin (Information Retrieval)
- CPU Power)
- 
- 

- 
- Video
- 
- 
1.6 CÁC NHIỆM VỤ THIẾT KẾ CỦA HỆ THỐNG CSDL ĐA
PHƢƠNG TIỆN
N
 
- 
      UI – User Interface    

- 

.
-  



- 



- 


14
 QoS - Quality of Service 
      




  

- 

1.6.1 Khái quát về nhiệm vụ CSDL đa phƣơng tiện
1.6.1.1 Mục tiêu chính của MMDBMS
Theo cách nhìn trên 

- H tr các kiu d ling, các
c bit mà kiu d lin, lùi, dng,
- Có kh n lý s ng l
c ca CSDL).
- H tr hic cha cao và qun tr  hiu qu.
- Có các kh a h CSDL truyn thng.
- Có kh n.
1.6.1.2 Tiệm cận lƣu trữ tài nguyên đa phƣơng tiện


- 
- 

-              

- 

               


    

 

              
   tro


15
Người
dùng
1.6.2 Kiến trúc MIRS



 

1.6.2.1 Kiến trúc tự trị (autonomy)
  
 nh 1.2), 
 







1.6.2.2 Kiến trúc đồng nhất (uniformity)

 
   

 (unified index) - hình 1.3. C 

Trả lời
Multimedia Query Engine
(Máy truy vấn)
Document Index
(Chỉ mục tài liệu)
Image Index
(Chỉ mục ảnh)
Audio Index
(Chỉ mục Audio)
Video Index
(Chỉ mục video)
Hình 1.2 Kiến trúc tự trị
Truy vấn

16


               









1.6.2.3 Kiến trúc lai (hybrid)

1.4
    



Người
dùng
Multimedia Query Engine (Máy truy vấn)
Unified Index (Chỉ mục đồng nhất)
Hình 1.3 Kiến trúc đồng nhất
Truy vấn
Trả lời
Tài liệu
Ảnh
Âm thanh
Video

17

1.6.2.4 Các chức năng chính của hệ thống





              



Hình 1.5 




-  

        Video

 

    

Người
dùng
Multimedia Query Engine (Máy truy vấn)
Unified Index (Chỉ mục đồng nhất)
Hình 1.4 Kiến trúc lai
Truy vấn
Trả lời
Tài liệu
Ảnh
Âm thanh
Video
Media Index
(Chỉ mục riêng)

18


-  ng









1.5 

 b 
), c
), q ).




Giao diện
Người sử
dụng

Bộ trích chọn
đặc trưng

Chỉ số hóa và
môtơ tìm kiếm

Quản lý
truyền tin

Quản lý

truyền tin

Quản lý
lưu trữ
Hình 1.5: kiến trúc cơ sở tổng thể của MIRS

19
1.6.3 Mô hình dữ liệu
1.6.3.1 Yêu cầu mô hình dữ liệu
Trong DBMS 



Trong MIRS và MMDBMS mô 

      


C

 


 y:
- 

- 

- 


- 
1.6.3.2 Mô hình dữ liệu đa phƣơng tiện tổng quát

1.6).
Tầng “đối tƣợng”


 quan trlà c




20


Tầng “loại media”
             
     i


Tầng “khuôn mẫu media”


 


   





: M
Mô hình vi       frame, shot, scene (hay
sequence) và episode (video document
Không gian
Thời gian
Tổng hợp
Văn bản
Ảnh
Đồ họa
Âm thanh
Thô
Nén
Đa mức
xám
Màu
JPEG
JPIG
DPCM
Video
Tầng đối
tượng
Tầng loại
media
Tầng
khuôn
mẫu
media
Hình 1.6: Mô hình dữ liệu liệu đa phương tiện tổng quát

21
- Frame 
- Shot 
máy.
- Scene 
- Episode scenes 








  chính, ngày
 

1.6.4 Thiết kế giao diện ngƣời sử dụng



- 
- 

- 
- Thân 

t
Episode
Scene

Scene
Scene

Shot
Shot

Shot
Shot

Frame
Frame

Hình 1.7: Mô hình video tổng quát

22
1.6.4.1 Thu thập dữ liệu
Trong MIRS hay MMDBMS thì các 
      , c        



Query by Example).
         
      vài giây/đối tượng  vài giờ/đối tượng
phức tạp 

1.6.4.2 Hỗ trợ truy vấn
   
           



 
 

Tìm kiếm


- 


- 

            


 

 


 

23


 

            

 

Duyệt


 
1) Bc
ng tin 
2) 

    
 
           

              



Làm mịn truy vấn




 . Sau vài


          

1.6.4.3 Trình diễn kết quả
MIRS t


24


- 



- 

-  

1.6.5 Trích chọn đặc trƣng, chỉ mục và đo tƣơng tự


              
            



1.6.5.1 Trích chọn đặc trƣng
ch
 
 
-  

- 
, 
-  



- 


- 

.