Nghiên cứu một số kỹ thuật phân đoạn video ( Luận văn thạc sĩ)

ĐẠI HỌC THÁI NGUYÊN
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN
VÀ TRUYỀN THÔNG

NGUYỄN ĐÌNH TRUNG

NGHIÊN CỨU MỘT SỐ KỸ THUẬT
PHÂN ĐOẠN VIDEO

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Thái Nguyên, 2014

Số hóa bởi Trung tâm Học liệu

/>

ĐẠI HỌC THÁI NGUYÊN
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN
VÀ TRUYỀN THÔNG

NGUYỄN ĐÌNH TRUNG

NGHIÊN CỨU MỘT SỐ KỸ THUẬT
PHÂN ĐOẠN VIDEO
Chuyên ngành: Khoa học máy tính
Mã số: 60 48 01

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH
NGƢỜI HƢỚNG DẪN KHOA HỌC
TS. NGUYỄN THỊ HỒNG MINH

Đã chỉnh sửa theo ý kiến của hội đồng.
Thái Nguyên, 2014
Số hóa bởi Trung tâm Học liệu

/>

LỜI CAM ĐOAN
Tôi xin cam đoan Những nội dung trong luận văn “NGHIÊN CỨU MỘT SỐ KỸ
THUẬT PHÂN ĐOẠN VIDEO” là do tôi thực hiện dƣới sự hƣớng dẫn trực tiếp
của Cô TS. Nguyễn Thị Hồng Minh.
Mọi tham khảo dùng trong luận văn đều đƣợc trích dẫn rõ ràng tên tác giả, tên
công trình, thời gian, địa điểm công bố.
Mọi sao chép không hợp lệ, vi phạm quy chế đào tạo, hay gian trá, tôi xin chịu
trách nhiệm hoàn toàn.

Thái Nguyên, tháng 05 năm 2014
Nguyễn Đình Trung

Số hóa bởi Trung tâm Học liệu

/>

LỜI CẢM ƠN
Tôi xin gửi lời cảm ơn chân thành nhất tới TS. Nguyễn Thị Hồng Minh, Cô đã
cho tôi những định hƣớng, tận tình chỉ bảo giúp đỡ tôi những ý kiến rất quý báu
để tôi hoàn thành luận văn tốt nghiệp này.
Tôi xin cảm ơn Trƣờng Đại Học Công Nghệ Thông tin và Truyền thông - Đại
Học Thái Nguyên đã hết sức tạo điều kiện cho tôi trong quá trình học, làm và
hoàn thành khóa luận này.

Xin chân thành cảm ơn quý Thầy Cô trong khoa Sau đại học Trƣờng Đại học
Công nghệ Thông tin và Truyền thông – ĐH Thái Nguyên đã nhiệt tình giảng
dạy, trang bị cho tôi những kiến thức quý báu trong suốt thời gian học tập tại
trƣờng.
Tôi xin tỏ lòng biết ơn sâu sắc tới các thầy cô, bạn bè đã dìu dắt, giúp đỡ tôi tiến
bộ trong suốt quá trình làm khóa luận tốt nghiệp.
Xin gửi lời cảm ơn tới gia đình, những ngƣời bạn của tôi đã động viên, giúp đỡ
tôi trong suốt quá trình học tập và hoàn thành luận văn.

Số hóa bởi Trung tâm Học liệu

/>

MỤC LỤC
PHẦN MỞ ĐẦU ......................................................................................................... 8
I. Lý do chọn đề tài .............................................................................................................8
II. Mục tiêu nghiên cứu.....................................................................................................10
III. Nội dung nghiên cứu...................................................................................................10
IV. Phƣơng pháp nghiên cứu ............................................................................................10

Chƣơng 1 KHÁI QUÁT VỀ VIDEO VÀ BÀI TOÁN PHÂN ĐOẠN .................... 12
1.1. Khái quát về video .....................................................................................................12
1.1.1. Video là gì ...........................................................................................................12
1.1.1.2. Chuyển Cảnh................................................................................................12
1.1.2. Các ứng dụng Video ...........................................................................................13
1.1.2.1. Video tƣơng tự .............................................................................................15
1.1.2.2. Video số .......................................................................................................16
1.1.3. Các chuẩn video ..................................................................................................16
1.1.3.1. Định dạng AVI.............................................................................................17
1.1.3.2. Định dạng MOV ..........................................................................................17

1.1.3.3. Các định chuẩn MPEG ................................................................................19
1.1.3.4. Chuẩn ITU-T................................................................................................23
1.1.4. Một số đặc trƣng của video.................................................................................33
1.1.4.1. Màu sắc ........................................................................................................33
1.1.4.2. Kết cấu .........................................................................................................33
1.1.4.3. Hình dáng .....................................................................................................35
1.1.4.4. Chuyển động ................................................................................................35
1.2. Bài toán phân đoạn Video ..........................................................................................36
1.2.1. Bài toán ...............................................................................................................36
1.2.2. Phân loại các phƣơng pháp phân đoạn ...............................................................36
1.2.3. Các yếu tố chính để xác định phƣơng pháp phân đoạn ......................................37

Chƣơng 2 MỘT SỐ KỸ THUẬT PHÂN ĐOẠN VIDEO ....................................... 38
2.1. Phân đoạn video bằng kỹ thuật phát hiện đối tƣợng từ trên xuống ...........................38
2.2. Phân đoạn và theo vết các vùng Video ......................................................................39
2.3. Phân đoạn Video bằng kỹ thuật trừ ảnh và phát hiện chuyển cảnh trong Video ......41
2.3.1. Các kỹ thuật trừ ảnh ............................................................................................43
2.3.1.1. Trừ ảnh dựa vào điểm ảnh ...............................................................................43
2.3.1.2. Trừ ảnh phân khối ............................................................................................45
2.3.2. Phƣơng pháp biểu đồ màu. .....................................................................................45
2.3.2.1. Biểu đồ toàn cục ..............................................................................................48
2.3.2.2. Biểu đồ cục bộ .................................................................................................48
2.3.3. Trừ ảnh dựa vào đặc trƣng ..................................................................................53
2.3.3.1. Đặc trƣng là cạnh .........................................................................................55
2.3.3.2. Đặc trƣng là vectơ chuyển động ..................................................................55
2.3.4. Phƣơng pháp thống kê ............................................................................................61
2.3.5. Phát hiện chuyển cảnh ........................................................................................64
2.3.5.1. Đối với kỹ thuật phát hiện cắt cảnh .............................................................65
2.3.5.2. Đối với các kỹ thuật phát hiện chuyển cảnh dần dần ..................................65

Chƣơng 3 CHƢƠNG TRÌNH THỬ NGHIỆM ......................................................... 67
3.1. Bài toán ......................................................................................................................68
3.2. Phân tích, lựa chọn công cụ .......................................................................................68
Số hóa bởi Trung tâm Học liệu

/>

3.3. Một số kết quả thực hiện chƣơng trình ......................................................................68

PHẦN KẾT LUẬN ................................................................................................... 71
TÀI LIỆU THAM KHẢO......................................... Error! Bookmark not defined.

Số hóa bởi Trung tâm Học liệu

/>

DANH MỤC CÁC KÝ HIỆU VÀ VIẾT TẮT
AVI

Audio Video Interleave

BLOB

Binary Large Object

CATV

Cable Television

CBT

Computer Based Training

CDMA

Code Division Multiple Access

CSDL

Cơ sở dữ liệu

CCIR

Consultative Committee for International Radio

DBMS

Database Management System

DBS

Direct Broadcast Satellite

DCT

Discrete Cosine Transform

DV

Digital Video

DVD

Digital Video Disc

HDTV

High Definition TV

IEC

International Electrotechnical Commission

IMA

Interactive Multimedia Association

ISO

International Organization for Standardization

ISO-IEC

International Organization for Standard –
International Electrotechnical Commission

ITU-T

International Telecommunication Union

JPEG

Joint Picture Experts Group

MACE

Macintosh Audio Compression and Expansion
codec

Số hóa bởi Trung tâm Học liệu

/>

MOV

Quick Time Movie File Extension

MPEG

Moving Picture Experts Group

NTSC

National Television Standard Committee

OVID

Object Video Information Database

PAL

Phase Alternation Line

PES

Packetised Elementary Streams

RGB

Red, Green, Blue

RLE

Run Leng Encoding

TV

Television

VCD

Video Compact Disc

VDBMS

Video Database Management System

VIMSYS

Visual Information Management System

VOD

Video On Demand

VODM

Video Object Description Model

VSDG

Video Semantic Directed Graph

WBT

Web Based Training

WMA

Windows Media Audio

WMV

Windows Media file with Audio/Video

YUV

Sơ đồ mã hoá hình ảnh màu phân cách độ chói
(Y) và hai tín hiệu màu: đỏ trừ Y (U) và xanh
trừ Y (V).

Số hóa bởi Trung tâm Học liệu

/>

DANH MỤC CÁC HÌNH VẼ
Hình 1.1:
Cấu trúc phân cấp của video ..................... Error! Bookmark not defined.
Hình 1.2:
Cắt cứng .................................................... Error! Bookmark not defined.
Hình 1.3:
Fade in....................................................... Error! Bookmark not defined.
Hình 1.4:
Fade out..................................................... Error! Bookmark not defined.
Hình 1.5:
Chồng mờ.................................................. Error! Bookmark not defined.
Hình 1.6:
Wipe .......................................................... Error! Bookmark not defined.
Hình 1.7:
push sang trái ............................................ Error! Bookmark not defined.
Hình 1.8:
Một số loại wipe cơ bản ............................ Error! Bookmark not defined.
Hình 1.9:
Sơ đồ giải nén MPEG–1 (ISO/IEC 11172)Error! Bookmark not defined.
Hình 1.10: Sơ đồ nén dữ liệu âm thanh ...................... Error! Bookmark not defined.
Hình 1.11: Mô hình hệ thống giải mã MPEG 2 ......... Error! Bookmark not defined.
Hình 1.12: Mô hình nén và giải nén theo từng lớp của MPEG 4 ....Error! Bookmark
not defined.
Hình 1.13: Các ảnh rất khác nhau nhƣng có cùng biểu đồ màu Error! Bookmark not
defined.

Hình 1.14: Biểu đồ thể hiện 4 loại ảnh cơ bản ............ Error! Bookmark not defined.
Hình 1.15: Các thao tác camera .................................................................................. 35
Hình 2.1. Khám phá và khai thác cấu trúc các đối tƣợng ảnh………………………… 36
Hình 2.2. Sơ đồ ứng dụng kỹ thuật trừ ảnh vào phân đoạn video . Error! Bookmark not
defined.
Hình 2.3. Các cửa sổ cơ sở trong thuật toán so sánh thực ............. Error! Bookmark not
defined.
Hình 2.4. Chênh lệch biểu đồ, * cắt cảnh, ---- chồng mờ Error! Bookmark not defined.
Hình 2.5. So sánh biểu đồ của hai ảnh ............................ Error! Bookmark not defined.
Hình 2.6. a.Ví dụ một ảnh màu, b.Biểu đồ màu của ảnh a ........... Error! Bookmark not
defined.
Hình 2.7. So sánh cặp a. chênh lệch biểu đồ liên tiếp, b. chênh lệch biểu đồ tích lũy
........................................................................................ Error! Bookmark not defined.
Hình 2.8. Phát hiện chuyển cảnh dần dần bằng kỹ thuật so sánh cặp...Error! Bookmark
not defined.
Hình 2.9. Phát hiện chuyển cảnh dần dần bằng kỹ thuật phát hiện cạnh ................. Error!
Bookmark not defined.
Hình 2.10. Ma trận 3 thành phần mở rộng khác nhau có kích thƣớc 3*3, 5*5, 13*13
........................................................................................ Error! Bookmark not defined.
Hình 2.11. a. Phân số thay đổi cạnh P, b.Độ chênh lệch của P qua các khung hình
........................................................................................ Error! Bookmark not defined.
Hình 2.12. Phát hiện chuyển cảnh dần dần bằng phƣơng pháp phát hiện cạnh a.fade out
rồi fade in, b.chồng mờ ................................................... Error! Bookmark not defined.
Hình 2.13. Phân số thay đổi cạnh vào và ra của các khung hình ... Error! Bookmark not
defined.
Hình 2.14. Phân số thay đổi cạnh của các khung hình ... Error! Bookmark not defined.
Hình 2.15. Phát hiện chuyển cảnh dần dần ..................... Error! Bookmark not defined.
Hình 2.16. Mẫu vectơ cho các di chuyển camera ........... Error! Bookmark not defined.
Hình 2.17. Các hiệu ứng camera với luồng vectơ khuếch đại ....... Error! Bookmark not
defined.

Hình 2.18. Sơ đồ khối thuật toán phát hiện chuyển cảnh ............................................... 65
Hình 2.19. Kết quả phát hiện cắt cảnh. ......................... Error! Bookmark not defined.
Số hóa bởi Trung tâm Học liệu

/>

Hình 2.20. Kết quả phát hiện cắt cảnh bằng các kỹ thuật cải tiến từ hƣớng tiếp cận so
sánh biểu đồ (HistDiff) ................................................... Error! Bookmark not defined.
Hình 3.1.
Giao diện phát hiện chuyển cảnh .............................................................. 69
Hình 3.2.
Nội dung file lƣu kết quả phân đoạn......................................................... 69

DANH MỤC CÁC BẢNG
Bảng 1.1. Các tiêu chuẩn của Video số .......................................................................... 16
Bảng 1.2. Một số ràng buộc của MPEG-1 ...................... Error! Bookmark not defined.
Bảng 1.3. Mô tả kiểu CIF và QCIF................................................................................. 32
Bảng 2.1.
So sánh các kỹ thuật trừ ảnh với việc phát hiện biên tập video ................ 65

Số hóa bởi Trung tâm Học liệu

/>

PHẦN MỞ ĐẦU
I. Lý do chọn đề tài

Hiện nay, phần lớn lƣợng thông tin mà con ngƣời tiếp thu đƣợc từ thế giới
bên ngoài là ở dạng thông tin thị giác, vì vậy các nghiên cứu về dạng thông
tin này đều ít nhiều mang đến những lợi ích thiết thực cho cuộc sống. Với

trình độ khoa học kỹ thuật hiện nay, thông tin thị giác đuợc số hóa dƣới hai
dạng là ảnh số và video số.
Video ra đời vào những năm đầu của thế kỷ XX và phát triển khá mạnh mẽ,
nhƣng phải đến những thập kỷ cuối của thế kỷ XX video số mới phát triển.
Với sự ra đời và phát triển mạnh của máy tính và các hệ thống viễn thông,
việc xử lý dữ liệu video đƣợc số hoá trên máy tính tỏ ra khá hiệu quả. Dữ
liệu video số đã đƣợc đƣa vào rất nhiều ứng dụng trong thực tế nhƣ đào tạo
điện tử dựa vào máy tính, hỗ trợ đào tạo trên mạng, hệ thống mô phỏng,
giám sát, video theo yêu cầu… Vấn đề nâng cao hiệu quả và chất lƣợng của
thao tác, xử lý với dữ liệu video đang đƣợc nhiều nhà nghiên cứu, triển
khai ứng dụng quan tâm
Thông tin video khác với dữ liệu dạng văn bản cũng nhƣ dữ liệu ảnh
số bởi hai yếu tố là thời gian và không gian. Hơn thế nữa, dung lƣợng và
định dạng phi cấu trúc của dữ liệu video số gây ra một số khó khăn trong
quản lý, truy xuất, tái sử dụng và biên soạn các đoạn video thành tài liệu
video. So với ảnh số có tính chất tĩnh, video là dữ liệu động với trục thời
gian. Ảnh video đƣợc biểu diễn một cách liên tục trên một tốc độ nhất định.
Một ảnh video có chất lƣợng tốt bao gồm 25 đến 30 khung hình (frame)
trên một giây. Bên cạnh đó, ảnh video cần lƣợng lƣu trữ lớn và băng thông
rộng. Kích thƣớc một giờ video MPEG -1 là hơn 500MB.
Chính đặc tính liên tục và lƣợng dữ liệu lớn làm cho video trở nên thách
thức hơn khi xử lý và quản lý. Nói cách khác, khi nhiều thông tin hơn, đặc
Số hóa bởi Trung tâm Học liệu

/>

biệt là theo thời gian và chuyển động, ta lại có thêm nhiều cơ hội để phân
tích các nội dung trực quan trong ảnh video. Hơn nữa, mặc dù video là
phƣơng tiện truyền thông liên tục, nội dung chứa trong nó có dạng phân
cấp theo tự nhiên. Một đoạn phim video đƣợc chia thành các câu chuyện,

shot, frame/đoạn, cảnh, khung hình và cả các đối tƣợng kèm theo hành
động. Những hệ thống tìm kiếm video hiệu quả đòi hỏi phân tích và chỉ
mục đƣợc tất cả các yếu tố này.
Trong quá trình nỗ lực tìm kiếm lời giải cho bài toán truy vấn dữ liệu ảnh,
video, thì bài toán phân đoạn video xuất hiện một cách tự nhiên. Để có thể
truy vấn các đoạn video, thì các video phải đƣợc phân đoạn một cách thích
hợp trong một thể thống nhất có ý nghĩa. Sự phân đoạn và miêu tả đặc điểm
bằng tay là cách thủ công, tốn nhiều thời gian, phụ thuộc vào kỹ năng và sự
hiểu biết của ngƣời thực hiện, hơn nữa có khả năng bị giới hạn chỉ ở các
thuộc tính tƣơng đƣơng.
Trong quá trình chỉ số hoá dữ liệu video, bƣớc quan trọng đầu tiên là phân
đoạn dữ liệu video theo thời gian. Bƣớc này nhằm mục đích phân chia
dòng video liên tục thành các đơn vị cơ sở có ý nghĩa đó là các lia (shot),
các cảnh (scene) hay một dãy cảnh quay.
Một kịch bản điển hình trong tạo chỉ mục và tìm kiếm nội dung video đƣợc
biểu diễn trong hình 1 dƣới đây. Trƣớc tiên, các video và ảnh đầu vào đƣợc
phân đoạn thành các đơn vị theo không gian và thời gian thích hợp. Các
đặc trƣng trực quan sau đó đƣợc rút ra từ các đơn vị này để tạo chỉ mục và
tóm lƣợc, cuối cùng những video và ảnh này đƣợc đƣa ra và tìm kiếm dựa
trên các cấu trúc và đặc trƣng ở trên.

Số hóa bởi Trung tâm Học liệu

/>

Hình 1. Quá trình phân đoạn và tìm kiếm ảnh video

Chính vì vậy, việc nghiên cứu về phân đoạn Video là rất cần thiết cho một hệ
thống dữ liệu video và nó ngày càng trở nên cấp thiết hơn khi nhu cầu sử dụng
video ngày càng gia tăng. Xuất phát từ hoàn cảnh đó chúng tôi lựa chọn đề tài

"Nghiên cứu một số kỹ thuật phân đoạn video".
II. Mục tiêu nghiên cứu

Mục tiêu của đề tài là tập trung nghiên cứu một số kỹ thuật phân đoạn
video, đề xuất một số cải tiến và xây dựng một ứng dụng thực tế sử dụng
kỹ thuật cải tiến đã đƣợc nghiên cứu.
III. Nội dung nghiên cứu
Tổng quan về dữ liệu video.
Nghiên cứu các kỹ thuật phân đoạn video và đề xuất cải tiến
Triển khai ứng dụng thử nghiệm phân đoạn video nhằm tìm ra các phân
đoạn có ngữ cảnh phù hợp theo mục đích tìm kiếm
IV. Phƣơng pháp nghiên cứu
Tổng hợp các thông tin liên quan, lựa chọn các cách tiếp cận đã đƣợc
áp dụng thành công, tiến hành cài đặt thử nghiệm cho với các kỹ thuật đƣợc đề

Số hóa bởi Trung tâm Học liệu

/>

xuất. Đánh giá kết quả, từ đó sẽ tiến hành nghiên cứu sâu hơn về giải pháp cải
tiến.
Các tƣ liệu và thông tin liên quan chủ yếu đƣợc thu thập, tổng hợp từ
các nguồn sau:
+ Các tạp chí khoa học chuyên ngành trong và ngoài nƣớc, internet...
+ Trao đổi với các đồng nghiệp cùng lĩnh vực nghiên cứu.
Tiến hành nghiên cứu và tìm các ứng dụng có liên quan đến đề tài đặt
ra.
Trao đổi thông qua seminar hoặc tham gia báo cáo tại các hội thảo
khoa học nhằm nâng cao khả năng nghiên cứu, cách trình bày bài báo cáo khoa
học là kiểm chứng đánh giá các kết quả nghiên cứu.

Số hóa bởi Trung tâm Học liệu

/>

Luận án đầy đủ ở file: Luận án Full