Phân tích tự động dữ liệu video số hỗ trợ truy tìm thông tin thị giác dựa vào nội dung
Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (3.79 MB, 121 trang )
<span class="text_page_counter">Trang 1</span><div class="page_container" data-page="1">
Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
<b>PHAN VĨNH PHÝỚC -0112275 </b>
<b>KHÓA LUẬN CỬ NHÂN TIN HỌC </b>
<b>GIÁO VIÊN HÝỚNG DẪN </b>
<b>Th.s LÝ QUỐC NGỌC</b>
<small>id3289046 pdfMachine by Broadgun Software - a great PDF writer! - a great PDF creator! - </small>
</div><span class="text_page_counter">Trang 2</span><div class="page_container" data-page="2">Phân tắch tự động dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
Luận vãn của chúng em sẽ rất khó hồn thành nếu khơng có sự truyền đạt kiến thức quắ báu và sự hýớng dẫn tận tình của Thầy Lý Quốc Ngọc. Chúng em xin chân thành cám õn sự chỉ bảo của thầy.
Chúng con xin gửi tất cả lòng biết õn, sự kắnh trọng đến ông bà, cha mẹ, cùng tồn thể gia đình, những ngýời đã ni dạy, đã cho chúng con niềm tin và nghị lực để výợt qua mọi khó khãn.
Chúng em xin trân trọng cám õn quý Thầy cô trong Khoa Công nghệ thông tin trýờng Đại học Khoa học Tự nhiên Tp.Hồ Chắ Minh đã tận tình giảng dạy, truyền đạt những kiến thức quý báu và tạo điều kiện cho chúng em đýợc thực hiện luận vãn này.
điểm khó khãn nhất, tiếp thêm động lực và ý chắ, giúp chúng tơi hồn thành đýợc luận vãn.
Mặc dù đã cố gắng nỗ lực hết sức mình, song chắc chắn luận vãn khơng khỏi cịn nhiều thiếu sót. Chúng em rất mong nhận đýợc sự thông cảm và chỉ bảo tận tình của q Thầy cơ và các bạn.
</div><span class="text_page_counter">Trang 3</span><div class="page_container" data-page="3">Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
<b>NHẬN XÉT CỦA GIÁO VIÊN HÝỚNG DẪN </b>
</div><span class="text_page_counter">Trang 4</span><div class="page_container" data-page="4">Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
<b>NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN </b>
</div><span class="text_page_counter">Trang 5</span><div class="page_container" data-page="5">Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
<b>1. Giới thiệu tổng quan ...13</b>
<b>2. Các hýớng nghiên cứu liên quan ðến ðề tài ...17</b>
<b>3. Qui trình chính ðýợc thực hiện trong luận vãn...19</b>
3.1. Giai ðoạn ngoại tuyến (off-line) ...19
3.2. Giai ðoạn trực tuyến (on-line) ...20
2.2. Không gian màu RGB ...27
2.3. Không gian màu CMY ...29
2.4. Không gian màu HSV...30
<b>3. Lýợc ðồ màu (Color Histogram) ...33</b>
3.1. Ðịnh nghĩa ...33
3.2. Thuật tốn tính lýợc ðồ màu :...34
3.3. Ý nghĩa của lýợc ðồ màu...38
3.4. Ðánh giá ýu ðiểm, khuyết ðiểm...38
3.5. Ứng dụng ...39
<b>4. Lýợc ðồ týõng quan màu (Color Correlogram)...40</b>
4.1. Giới thiệu lýợc ðồ týõng quan màu...40
4.2. Tính lýợc ðồ týõng quan màu ...40
4.3. Lýợc ðồ tự týõng quan màu ...40
4.4. Ứng dụng ...41
<b>5. Biên dạng (Edge) ...41</b>
</div><span class="text_page_counter">Trang 6</span><div class="page_container" data-page="6">Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
<b>1. Giới thiệu sõ lýợc phân ðoạn ðoạn cõ sở...55</b>
<b>2. Một số tài liệu in, bài báo ðiển hình về phân ðoạn cõ sở ...57</b>
2.1. Kỹ thuật mơ hình Markov ẩn (The Hidden Markov Model)...57
2.2. Phát hiện chuyển cảnh dựa vào phân tích và týõng tác nghe nhìn...59
2.3. Phát hiện chuyển cảnh dựa vào lýợc ðồ ...59
2.4. So sánh các kỹ thuật phát hiện biên ðoạn cõ sở ...60
<b>3. Các hýớng tiếp cận phân ðoạn ðiển hình ...61</b>
3.1. Sự sai biệt về lýợc ðồ màu...61
3.2. Tỉ số thay ðổi biên cạnh...62
3.3. Sự phân tích ðặc trýng âm thanh ...62
3.4. Sự phân tích phát hiện chuyển ðộng...63
<b>2. Tổ chức các ðoạn cõ sở theo cấu trúc cây nhị phân ...80</b>
2.1. Giải thuật phân lớp phân cấp...80
2.2. Tạo liên kết lân cận...81
</div><span class="text_page_counter">Trang 7</span><div class="page_container" data-page="7">Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
2.4. Cụ thể hóa giai ðoạn phân lớp trong giải thuật phân lớp phân cấp ở mục 2.1 ở trên 83
<b>3. Xây dựng bảng mục lục và chỉ mục...85</b>
<b>4. Xác ðịnh các lớp của các ðoạn cõ sở và phần tử ðại diện của lớp ...88</b>
4.1. Lớp của các ðoạn cõ sở ...88
4.2. Phần tử ðại diện của lớp ...89
<b>5. Khung hình chính ðại diện cho ðoạn cõ sở...89</b>
<b>2. Các thuật tốn cài ðặt...116</b>
2.1. Khơng gian màu :...116
2.2. Các thuật toán phân ðoạn...116
</div><span class="text_page_counter">Trang 8</span><div class="page_container" data-page="8">Phân tắch tự động dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
Hình 7 Chuyển cảnh tiệm tiến...25
Hình 8. Khơng gian màu độ xám ...26
Hình 9. Khơng gian RGB...27
Hình 10. Khơng gian RGB...28
Hình 11. Khơng gian RGB...28
Hình 12. Khơng gian CMY...29
Hình 13. Các thành phân tạo nên khơng gian màu HSV ...30
Hình 14. Khơng gian màu HSV dýới dạng đối týợng hình nón ...32
Hình 15 Lýợc đồ màu ...33
Hình 16 Mắt ngýời khơng nhạy cảm với sự thay đổi màu sắc ...36
Hình 17 Khơng gian màu HSV đã đýợc định lýợng...37
Hình 18Các màu đã đýợc định lýợng trong khơng gian HSV...38
Hình -19. Những ảnh khác nhau nhýng có lýợc đồ màu giống nhau ...39
Hình 20...42
Hình 21...44
Hình 22...46
Hình 23. Biên đoạn cõ sở...55
Hình 24.Tắnh sự khác biệt đặc trýng giữa những khung hình liên tiếp ...56
Hình 25 Đýờng sai biệt về đặc trýng lýợc đồ giữa các khung hình liên tiếp ...56
Hình 26Sõ đồ giải thuật phân đoạn...57
Hình 27 Chuyển cảnh tức thì dễ phát hiện...63
Hình 28 Chuyển cảnh tiệm tiến khó phát hiện...64
Hình 29...65
Hình 30 Kết quả phân đoạn bằng phýõng pháp 2 ngýỡng ...67
Hình 31 Đýờng sai biệt lýợc đồ màu tồn cục...68
Hình 32...69
Hình 33...70
Hình 34. Đýờng cong ban đầu (ở trên) và sau khi qua tốn tử hình thái học (ở dýới). Đýờng màu đỏ là những nõi phát hiện chuyển cảnh ...71Hình 35. Phân đoạn theo lýợc đồ tự týõng quan màu và tốn tử hình thái học, giải thuật
</div><span class="text_page_counter">Trang 9</span><div class="page_container" data-page="9">Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
Hình 36 Liên kết lân cận cho bảng mục lục...81
Hình 37 Liên kết lân cận cho bảng chỉ mục...82
Hình 38 Dãy liên kết lân cận ban ðầu ...83
Hình 39Kết quả sau khi liên kết 2 ðoạn cõ sở có khoảng cách bé nhất...84
Hình 40Kết quả của giai ðoạn phân lớp phân cấp ...85
Hình 41...86
Hình 42. Cây sau khi rút gọn ...87
Hình 43...88
Hình 44 Các khung hình trong ðoạn cõ sở...90
Hình 45 Khung hình chính của ðoạn cõ sở trên...90
Hình 56. Truy vấn với dữ liệu nhập là ðoạn cõ sở...114
Hình 57. Truy vấn với dữ liệu nhập là ðoạn video ...115
Hình 58. Truy vấn với dữ liệu nhập là ảnh tĩnh...116
</div><span class="text_page_counter">Trang 10</span><div class="page_container" data-page="10">Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
Bảng 1 Bảng thống kê kết quả phân ðoạn...76Bảng 2. Kết quả truy tìm...100
</div><span class="text_page_counter">Trang 11</span><div class="page_container" data-page="11">Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
Hỗ trợ truy tìm thơng tin thị giác là việc ðýa ra một phýõng pháp mới trong việc
việc truy tìm sẽ trở nên dễ dàng hõn, tiện lợi hõn, chính xác hõn, và nhanh chóng hõn. Hýớng nghiên cứu này ðang thu hút ðýợc sự quan tâm của nhiều ngýời do nhu cầu ngày càng tãng về lýu trữ và truy vấn dữ liệu video số. Trong khn khổ luận vãn này, chúng tơi trình bày một số phýõng pháp phân ðoạn, xây dựng cây phân cấp phân lớp, truy tìm video, và tích hợp các phýõng pháp này vào một chýõng trình cài ðặt.
</div><span class="text_page_counter">Trang 12</span><div class="page_container" data-page="12">Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
<b>CHÝÕNG 1 MỞ ÐẦU </b>
Chýõng này giới thiệu tổng quan về tình hình sử dụng dữ liệu video trên thế giới, những vấn ðề phát sinh, các hýớng nghiên cứu giải quyết. Trong chýõng này cũng giới thiệu sõ lýợc qui trình xử lý chính trong luận vãn và cấu trúc báo cáo luận vãn.
Nội dung của chýõng :
1. Giới thiệu tổng quan.
2. Các hýớng nghiên cứu liên quan ðến ðề tài.
4. Cấu trúc luận vãn.
</div><span class="text_page_counter">Trang 13</span><div class="page_container" data-page="13">Phân tắch tự động dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
<b>1.Giới thiệu tổng quan </b>
nhất. Nhờ có thị giác mà chúng ta tiếp nhận thơng tin từ thế giới bên ngồi một cách
giữ lại những thông tin thị giác tiếp nhận đýợc. Mới đầu chỉ là những hình thù đýợc khắc một cách thô sõ trong các hang động, trên những tảng đá, để truyền lại kinh nghiệm cho thế hệ sau. Trải qua một quãng thời gian sau, con ngýời phát minh ra giấy viết. Từ đây, thông tin thị giác đýợc lýu giữ dýới hình thức mới tiện lợi hõn. Rồi con ngýời phát minh ra máy ảnh để chụp ảnh tĩnh, và máy quay phim để thu ảnh động
thu đýợc rất chắnh xác, gần nhý giống với những gì mắt ta cảm nhận đýợc. Khơng những vậy mà nó cịn là những đoạn video thể hiện một cách sống động thế giới và những gì mắt ta thấy đýợc. Con ngýời nhý có đýợc quyền nãng đóng bãng thời gian và khơng gian. Nhờ đó, kiến thức của con ngýời về thế giới ngày càng tãng, trình độ khoa học kỹ thuật càng lúc càng cao.
Và máy tắnh xuất hiện. Sự ra đời của máy tắnh đánh dấu một kỷ nguyên mới, thời kỳ của máy tắnh và kỹ thuật số. Tất cả đều đýợc số hóa nếu có thể. Điều này dẫn đến sự bùng nổ về thông tin thị giác, khiến chúng trở thành một phần không thể thiếu
nắm đýợc thông tin, ngýời đó có sức mạnh trong tay. Thơng tin thì không thiếu, thậm chắ quá nhiều dẫn đến thừa thông tin. Vấn đề là việc chọn lọc tìm kiếm, lýu giữ, và sử dụng nhý thế nào cho hợp lý.
Phần lớn dữ liệu video số hiện nay đýợc lýu giữ dýới dạng thô và đýợc gán nhãn, đánh chỉ mục bằng vãn bản.Chẳng hạn nhý trong một cõ sở dữ liệu video có
</div><span class="text_page_counter">Trang 14</span><div class="page_container" data-page="14">Phân tắch tự động dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
n<i>ày đýợc đánh chỉ mục và gán nhãn là Ộeuro2004_France_EnglandỢ, cho biết đây là </i>
đoạn video về trận đấu ở Euro 2004 giữa hai đội bóng Pháp và Anh. Sở dĩ hiện nay phýõng pháp gán nhãn chỉ mục dựa vào vãn bản này đýợc sử dụng nhiều vì nó đõn giản, cho kết quả tìm kiếm nhanh. Tuy nhiên khơng lúc nào kết quả cũng làm vừa lịng ngýời truy tìm, thậm chắ ngýời dùng phải mất khá nhiều công sừc. Vắ dụ nhý trong cõ sở dữ liệu video đề cập ở trên có thể cịn có nhiều đoạn video týõng tự nhý
<i>euro2004_Portugal_Spain.mpg, euro2004_Russia_Greece.mpg , </i>Ầ Một ngýời nào đó muốn truy tìm những cảnh ghi bàn thắng trong Euro 2004. Ngýời đó sẽ tìm kiếm các
<i>đoạn video với từ khóa là Ộeuro 2004Ợ. Kết quả truy tìm là rất nhiều đoạn video có liên </i>
duyệt qua các đoạn video vừa tìm đýợc, mỗi đoạn video phải duyệt từ đầu đến cuối,
duyệt tiếp. Độ dài trung bình một đoạn video về trận đấu bóng đá là 90 phút, nếu đuợc nén dýới dạng MPEG1 thì có dung lýợng khoảng 800MB. Euro 2004 có tổng cộng 31 tr<b>ận đấu. Nhý vậy, để hồn thành cơng việc, ngýời truy tìm phải tải một dung lýợng </b>
<b>46.5 giờ để duyệt dữ liệu video. Nếu duyệt với tốc độ nhanh gấp 5 lần, tức là chỉ xem </b>
l<b>ýớt qua, thì cũng phải mất 9.3 giờ, chýa kể thời gian tải dữ liệu video. Rõ ràng cách </b>
các đoạn video một cách thủ công, lại thêm một lần nữa mất rất nhiều thời gian và cơng sức. Mà thơng tin khơng chỉ có thể thao, mà còn ở nhiều lĩnh vực khác, và dữ liệu ngày càng nhiều, càng phong phú, và tãng thêm rất nhanh mỗi ngày, việc gán nhãn chỉ mục thủ công càng tốn nhiều chi phắ. Chýa kể đến sự khác biệt về ngôn ngữ tự nhiên. Chẳng hạn nhý kho dữ liệu đó do những nguời Nhật gán nhãn chỉ mục theo tiếng Nhật, bắt buộc chúng ta cũng phải biết tiếng Nhật mới có thể truy tìm đuợc thơng tin. Đây là
</div><span class="text_page_counter">Trang 15</span><div class="page_container" data-page="15">Phân tắch tự động dữ liệu video số hỗ trợ truy tìm thông tin dựa vào nội dung
nhý nhau với mọi nguời, mọi ngýời đều cảm nhận giống nhau, không phân biệt ngôn ngữ, sắc tộc.
Những công việc gán nhãn chỉ mục trên đều đýợc làm thủ công do cách thức lýu trữ chýa hợp lý, chýa phát triển kịp với sự bùng nổ của thơng tin. Từ đó nảy sinh
nhiều ngữ nghĩa hõn, để con ngýời có thể tìm kiếm và sử dụng hiệu quả thơng tin thị giác.
Bây giờ, giả sử một ngýời lại tìm thơng tin về những bàn thắng trong Euro 2004, nhýng là tìm trong những bài viết, những bài báo, vãn bản mơ tả những cảnh ghi bàn đó. Cơng việc trở nên dễ dàng hõn nhiều, chúng ta chỉ cần vào một trang tìm kiếm nào đó trên mạng internet, gõ vào các từ khóa Ộsút tung lýới, ghi bàn, euro 2004Ợ, sẽ có rất nhiều bài viết đýợc tìm thấy. Lúc này, cách thức tìm kiếm đi trực tiếp vào nội dung vãn bản cần tìm nên kết quả chắnh xác và dễ chấp nhận hõn. Vậy tại sao chúng ta khơng tìm kiếm thơng tin thị giác dựa vào nội dung?
Luận vãn của chúng tơi tìm hiểu và phát triển một phýõng pháp giúp phân tắch tự động cấu trúc video số giúp lýu trữ, quản lý, tìm kiếm một cách hiệu quả thông tin
chúng ta chỉ cần có một đoạn video nhỏ mơ tả cảnh quả bóng đang bay vào khung th<i>ành, và chúng ta dùng đoạn video đó làm Ộtừ khóaỢ để truy tìm các bàn thắng trong </i>
dữ liệu video, với ý nghĩa là : tìm những đoạn video nào mà có cảnh quả bóng bay vào
</div><span class="text_page_counter">Trang 16</span><div class="page_container" data-page="16">Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
<i>Ví dụ : </i>
Ðoạn video dùng ðể truy vấn là cảnh ảnh trái bóng ðang bay vào khung thành
<b><small>Hình 1 Ðoạn video dùng dể truy vấn </small></b>
Kết quả truy vấn :
</div><span class="text_page_counter">Trang 17</span><div class="page_container" data-page="17">Phân tắch tự động dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
<b>2.Các hýớng nghiên cứu liên quan đến đề tài </b>
Trýớc nhu cầu ngày càng lớn trong việc quản lý dữ liệu video, nhiều nhóm nghiên cứu đã nhảy vào cuộc. Đã có nhiều thuật toán về nén dữ liệu video số cho kết quả rất khả quan và đang đýợc áp dụng rộng rãi. Các định dạng file video MPEG1,
chứ không giải quyết đýợc việc lýu trữ hiệu quả để truy tìm.
vào thực tế một số phýõng pháp lýu trữ và truy tìm dựa vào nội dung, cho thấy đây là một hýớng phát triển mới và rất có triển vọng. Sau đây là một số nhóm tiêu biểu:
Đại học Carnegie Mellon
Nhóm phát triển thuộc Đại học Carnegie Mellon đang thực hiện một dự án thý viện thông tin cho phép ngýời dùng truy tìm video bằng ngơn ngữ tự nhiên. Các býớc xử lý để tạo nên thý viện video : phát hiện các đoạn cõ sở bằng cách sử dụng phýõng pháp độ sai biệt về lýợc đồ màu, rồi rút trắch khung hình chắnh, nhận dạng khuôn mặt, nhận dạng chữ viết qua video, và tìm ảnh dựa vào đặc trýng lýợc đồ màu trong các khơng gian màu và vân khác nhau.
Nhóm nghiên cứu của IBM
Nhóm nghiên cứu của IBM đã phát triển một hệ thống truy tìm video theo nội
Hệ thống sử dụng IBM Cue Video để phát hiện đoạn cõ sở và lựa chọn khung hình chắnh một cách tự động.
</div><span class="text_page_counter">Trang 18</span><div class="page_container" data-page="18">Phân tắch tự động dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
Đại học Johns Hopkins
Nhóm nghiên cứu JHU/APL đã phát triển một hệ thống truy tìm tự động video dựa vào nội dung của các khung hình video số. Mỗi khung hình chắnh đýợc đánh chỉ số bởi chắnh đặc trýng lýợc đồ màu và vân ảnh của nó.
Có thể thấy rằng, hiện nay, lĩnh vực xử lý video theo nội dung khá hấp dẫn và thu hút đýợc sự quan tâm của ngày càng nhiều nhóm nghiên cứu vì những nhu cầu và ứng dụng thực tế của nó. Tuy nhiên, phần lớn những nghiên cứu vẫn còn ở trong lý thuyết, còn những hệ thống đã cài đặt áp dụng thì chỉ có kết quả týõng đối. Vì vậy, trong luận vãn này, chúng tôi nghiên cứu và thực hiện cài đặt một số phýõng pháp giúp lýu trữ và
mạnh mẽ hiện nay.
</div><span class="text_page_counter">Trang 19</span><div class="page_container" data-page="19">Phân tắch tự động dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
<b>3.Qui trình chắnh đýợc thực hiện trong luận vãn </b>
Gồm 2 giai đoạn : Giai đoạn ngoại tuyến và giai đoạn trực tuyến (xem hình)
<b><small>Hình 3 Qui trình chắnh </small></b>
Mục đắch của giai đoạn này phân tắch và lýu trữ những đặc trýng cấp cao của dữ liệu video, gồm các býớc :
Đầu tiên, dữ liệu video dýới dạng tập tin video thông thýờng (avi, mpeg) đýợc đýa vào bộ phân đoạn để phân tắch đoạn video ban đầu thành các đoạn cõ sở.
</div><span class="text_page_counter">Trang 20</span><div class="page_container" data-page="20">Phân tắch tự động dữ liệu video số hỗ trợ truy tìm thông tin dựa vào nội dung
Tiếp theo, tiến hành rút trắch đặc trýng của các đoạn cõ sở để tạo thành cõ sở dữ liệu các đặc trýng của các đoạn cõ sở. Các đặc trýng có thể là đặc trýng màu, đặc trýng chuyển động, đặc trýng biên cạnh, Ầ
Kế đến, phân lớp các đoạn cõ sở và chọn phần tử đại diện, tạo nên cõ sở dữ liệu các lớp của các đoạn cõ sở với phần tử đại diện.
một cõ sở dữ liệu có thể truy vấn. Giai đoạn này thực hiện truy vấn dữ liệu
Đýa đoạn video cần truy vấn vào, phân tắch đoạn video này thành các đoạn cõ sở giống nhý ở giai đoạn ngoại tuyến trên.
Sau đó tiến hành rút trắch đặc trýng của các đoạn cõ sở của đoạn video truy vấn, rồi thực hiện phân chia các đoạn cõ sở và chọn phần tử đại diện. So sánh các đặc trýng của các đoạn cõ sở của đoạn video truy vấn với các đặc trýng của các đoạn cõ sở đýợc lýu trong cõ sở dữ liệu tạo ra ở giai đọan ngoại tuyến. Ứng với mỗi đoạn cõ sở của đoạn video truy vấn, chọn ra và xếp hạng những đoạn cõ sở gần nhất với nó, ta có kết quả của truy vấn.
3.3.Các lĩnh vực liên quan: Xử lý ảnh số và video số Xử lý tắn hiệu số
Ầ
</div><span class="text_page_counter">Trang 21</span><div class="page_container" data-page="21">Phân tắch tự động dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
<b>4.Cấu trúc luận vãn </b>
4.1.CHÝạNG 1 : MỞ ĐẦU.
Chýõng này giới thiệu tổng quát về xử lý video trên thế giới, sõ lýợc về đề tài, lý do chọn, hýớng tiếp cận đề tài, các nghiên cứu đã và đang đýợc thực hiện. 4.2.CHÝạNG 2 : MỘT SỐ KHÁI NIỆM VÀ ĐẶC TRÝNG TRONG XỬ LÝ
ẢNH SỐ VÀ VIDEO SỐ.
Nội dung chắnh của chýõng này là giới thiệu một số khái niệm, đặc trýng hay sử dụng trong xử lý ảnh số và video số nhý : các không gian màu, lýợc đồ màu, đặc trýng chuyển động, Ầ
4.3.CHÝạNG 3 : PHÂN TÍCH TỰ ĐỘNG VIDEO SỐ THÀNH CÁC ĐOẠN Cạ SỞ.
Chýõng này trình bày về vấn đề phân tắch video thành các đoạn cõ sở, bao gồm các khái niệm cõ bản, một số phýõng pháp thýờng dùng, các phýõng pháp cải tiến đýợc dùng trong luận vãn.
4.4.CHÝạNG 4 : TỔ CHỨC CÁC ĐOẠN Cạ SỞ THEO CẤU TRÚC CÂY. Nội dung chắnh của chýõng là các thuật toán tổ chức các đoạn cõ sở theo cấu trúc cây, xây dựng bảng mục lục và bảng chỉ mục và phân lớp các đoạn cõ sở. 4.5.CHÝạNG 5 : TRUY VẤN DỮ LIỆU VIDEO SỐ
Chýõng này nói về các thuật tốn dùng cho việc truy vấn, truy tìm video số. 4.6.CHÝạNG 6 : HỆ THỐNG ĐÃ CÀI ĐẶT
Chýõng này giới thiệu về chýõng trình đã cài đặt, các chức nãng chắnh của chýõng trình, các thuật tốn đã cài đặt, và hýớng dẫn sử dụng.
4.7.CHÝạNG 7 : KẾT LUẬN
Ở phần này, chủ yếu là những kết quả đạt đýợc, những đóng góp mới và hýớng phát triển trong týõng lai.
</div><span class="text_page_counter">Trang 22</span><div class="page_container" data-page="22">Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thông tin dựa vào nội dung
Nội dung của chýõng :
1. Một số khái niệm, ðịnh nghĩa trong xủ lý video 2. Không gian màu
3. Lýợc ðồ màu
4. Lýợc ðồ týõng quan màu 5. Biên cạnh
6. Ðặc trýng chuyển ðộng
7. Các ðặc trýng toàn cục của ðoạn cõ sở 8. Tóm tắt chýõng
</div><span class="text_page_counter">Trang 23</span><div class="page_container" data-page="23">Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
<b>1.Một số khái niệm, ðịnh nghĩa trong xử lý video </b>
Một ðoạn video gồm nhiều ảnh tĩnh ðặt liên tiếp nhau tạo nên chuyển ðộng
Vd :
<b><small>Hình 4 Các khung hình </small></b>
Ðể ðoạn video có thể tạo cảm giác chuyển ðộng, các khung hình phải ðýợc quay với tốc ðộ phù hợp. Vì mắt ngýời chỉ có thể nhận ðýợc 24 hình/giây, nên nếu nhý
ðýợc sự rời rạc giữa những khung hình, mà chỉ thấy những cảnh liên tục. Có nhiều hệ video và mỗi hệ có tốc ðộ quay khác nhau nhý : NTSC 30 hình/giây, PAL 24 hình/giây, SECAM 29.99 hình/giây.
thì một giây có 30 khung hình, vậy một phút có 1800 khung hình, một giờ có
</div><span class="text_page_counter">Trang 24</span><div class="page_container" data-page="24">Phân tắch tự động dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
đoạn cõ sở là thắch hợp nhất cho việc duyệt và truy tìm thơng tin dựa vào nội dung. 1.3.Chuyển cảnh
Nhý đã nói ở trên, chuyển cảnh là những đýờng biên phân chia các đoạn cõ sở. Ngồi các chuyển cảnh tự nhiên thì ngày càng xuất hiện nhiều chuyển cảnh do chỉnh sửa video tạo nên. Các phần mềm xử lý phim nổi tiếng nhý Adobe Premiere hoặc Ulead MediaStudio cung cấp hõn 100 kiểu chỉnh sửa video để tạo nên những đoạn chuyển cảnh khác nhau. Tuy nhiên, hõn 99% rõi vào một trong những loại chuyển cảnh sau :
Chuyển Cảnh
</div><span class="text_page_counter">Trang 25</span><div class="page_container" data-page="25">Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
Lànhững chuyển cảnh rõ ràng, dứt khoát, ngay lập tức và dễ nhận biết
<b><small>Hình 6 Chuyển cảnh tức thì </small></b>
ðối týợng mờ dần và chìm vào nền của ảnh hoặc cảnh cũ mờ dần và ðan
<b><small>Hình 7 Chuyển cảnh tiệm tiến </small></b>
</div><span class="text_page_counter">Trang 26</span><div class="page_container" data-page="26">Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
<b>2.Khơng gian màu </b>
Một khơng gian màu là một mơ hình ðại diện cho màu về mặt giá trị ðộ sáng; một không gian màu xác ðịnh bao nhiêu thông tin màu ðýợc thể hiện. Nó ðịnh nghĩa khơng
những giá trị ðộ sáng. Một thành phần màu còn ðýợc gọi là một kênh màu.
Mỗi ðiểm ảnh trong ảnh có thể ðýợc ðại diện bởi một ðiểm trong khơng gian màu 3 chiều. Những không gian màu thýờng ðýợc dùng ðể bao gồm RGB, CMY, Munsell,
<b><small>Hình 8. Khơng gian màu ðộ xám </small></b>
</div><span class="text_page_counter">Trang 27</span><div class="page_container" data-page="27">Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
2.2.Khơng gian màu RGB
Không gian RGB là không gian màu ðýợc sử dụng rộng rãi trong việc hiển thị hình ảnh. Ý týởng tạo ra không gian màu RGB ðến từ cái cách mà mắt con ngýời hoạt ðộng. Nó có những cõ quan cảm nhận ðể phát hiện ra 3 màu khác nhau : ðỏ(red), lục (green), lam (blue). Không gian màu RGB cũng gồm có 3 thành phần màu : Red, Green, và Blue. Những thành phần này ðýợc gọi là màu gốc ðể cộng vào, vì mỗi màu ðýợc tạo nên bằng cách cộng thêm các phần tử vào màu ðen(0,0,0).
<b><small>Hình 9. Khơng gian RGB </small></b>
</div><span class="text_page_counter">Trang 28</span><div class="page_container" data-page="28">Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
<b><small>Hình 10. Khơng gian RGB </small></b>
</div><span class="text_page_counter">Trang 29</span><div class="page_container" data-page="29">Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
2.3.Không gian màu CMY
Không gian CMY ðýợc dùng chủ yếu trong in ấn. CMY là viết tắt của
ứng với ba màu mực in. Chúng ðýợc gọi là những màu gốc ðể trừ, vì mỗi màu
sự chiếu sáng của màu ðỏ, Magenta hấp thu màu xanh lục, Yellow hấp thu màu
<b><small>Hình 12. Khơng gian CMY </small></b>
Mối quan hệ giữa RGB và CMY :
111
</div><span class="text_page_counter">Trang 30</span><div class="page_container" data-page="30">Phân tắch tự động dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
2.4.Khơng gian màu HSV
Mơ hình HSV(Hue, Saturation, Value), cịn gọi là HSB (Hue, Saturation,
<i>Hue, lo</i>ại màu (chẳng hạn màu đỏ, xanh, hay vàng) Có giá trị từ 0 - 360 hoặc từ 0 - 2đ
<i>Saturation, </i>độ thuần khiết của màu
Có giá trị từ 0 Ờ 100%, thýờng đýợc chuẩn hoá về 0 Ờ 1.
Độ thuần khiết của một màu càng thấp, độ xám của màu đó càng nhiều và màu đó càng mờ.
<i>Value, </i>độ sáng của màu
Có giá trị từ 0 Ờ 100%, thýờng đýợc chuẩn hóa về 0 Ờ 1.
Mơ hình HSV đýợc tạo ra từ nãm 1978 bởi Alvy Ray Smith. Nó là một phép biến đổi phi tuyến của không gian màu RGB. Mơ hình HSV giúp tách bạch màu (H, S) và độ sáng (V), phù hợp với cảm nhận của con ngýời.
<b><small>Hình 13. Các thành phân tạo nên khơng gian màu HSV </small></b>
</div><span class="text_page_counter">Trang 31</span><div class="page_container" data-page="31">Phân tắch tự động dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
Mơ hình HSV thýờng đýợc dùng nhiều trong các ứng dụng đồ họa máy tắnh. Trong các chýõng trình ứng dụng, khi một ngýời dùng phải chọn một màu
H<i>ình). Trong đó, thành phần loại màu Hue đýợc thể hiện bằng một vùng hình </i>
trịn, cịn một vùng tam giác riêng biệt thýờng đuợc dùng để thể hiện thành phần
<i>Saturation và Value. Trục đứng của tam giác ứng với Saturation, và trục ngang ứng với Value. Bằng cách này, một màu có thể đýợc chọn bằng cách đầu tiên </i>
chọn loại màu từ vùng hình tròn, rồi chọn độ thuần khiết và độ sáng týõng ứng
Một phýõng thức khác hình dung về mơ hình HSV là hình nón. Trong c<i>ách thể hiện này, thành phần Hue đýợc mơ tả nhý là một dạng hình nón 3 chiều </i>
c<i>ủa bánh xe màu. Thành phần Saturation đýợc thể hiện bằng khoảng cách đến </i>
t<i>âm của vòng trịn cắt hình nón, và thành phần Value là khoảng cách đến điểm </i>
cuối của hình nón. Cách thể hiện khác là sử dụng một hình nón lục giác (có đáy và thiết diện là hình lục giác) thay vì hình nón trịn. Phýõng thức này thắch hợp với việc hình dung tồn bộ khơng gian màu HSV trong một đối týợng đõn.
</div><span class="text_page_counter">Trang 32</span><div class="page_container" data-page="32">Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
<b><small>Hình 14. Khơng gian màu HSV dýới dạng ðối týợng hình nón </small></b>
</div><span class="text_page_counter">Trang 33</span><div class="page_container" data-page="33">Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
<b>3.Lýợc ðồ màu (Color Histogram) </b>
3.1.Ðịnh nghĩa
Lýợc ðồ màu của ảnh cho biết sự phân bố của các màu trong ảnh.
<i><small>nini</small></i>
</div><span class="text_page_counter">Trang 34</span><div class="page_container" data-page="34">Phân tắch tự động dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
3.2.Thuật tốn tắnh lýợc đồ màu :
Giải thuật tạo lýợc đồ ảnh màu trong không gian RGB Býớc 1. Tạo mảng 3 chiều histogram, kắch thýớc 2<small>b</small>
x2<sup>b</sup>x2<sup>b</sup>(b : số bit
Býớc 2. Với mọi giá trị r, g, b nằm trong khoảng [0-2<small>b</small>
] Histogram[r][g][b] = 0
Býớc 3. Với mọi điểm ảnh có toạ độ x, y
Rút trắch thành phần màu r, g, b của điểm ảnh đó Histogram[r][g][b] += 1
Phần lớn các ảnh đýợc sử dụng trong máy tắnh hiện nay đều sử dụng khơng gian màu RGB gồm có 2<small>24</small>
một ảnh RGB cần tốn nhiều chi phắ lýu trữ và thời gian tắnh tốn. Ngồi ra, khi lýợc đồ màu đýợc ứng dụng vào việc truy tìm ảnh số hay video số thì khơng
Mơ hình màu HSV giúp tách bạch giữa màu sắc(H,S) và độ sáng (V), phù hợp cho việc truy tìm ảnh số và video số. Nhýng những ảnh thông thýờng hay những đoạn video số lýu trong máy tắnh thýờng sử dụng không gian màu RGB, nên phải chuyển đổi từ RGB sang không gian HSV.
</div><span class="text_page_counter">Trang 35</span><div class="page_container" data-page="35">Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
Thuật toán chuyển từ RGB sang HSV
Gọi R,G,B là giá trị nhập của RGB với giá trị trong khoảng [0,1] hay [0,255]
Procedure RGB_to_HSV(in R, G, B; out H, S, V) {
V := Max(R, G, B); Min := Min(R, G, B); If (V >= 0) then
S := (V - Min)/V; Else S := 0;
If (S <= 0) then {
H := -1; Return; }
Diff := V-Min;
If (H <= 0) H := H + ð/2; }
</div><span class="text_page_counter">Trang 36</span><div class="page_container" data-page="36">Phân tắch tự động dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
sáng, nhýng nó vẫn chýa thực sự phù hợp với cách truy tìm thơng thị giác của
nhỏ là mắt ngýời khơng phân biệt đýợc, do đó, có những ảnh nhìn rất giống
<b><small>Hình 16 Mắt ngýời khơng nhạy cảm với sự thay đổi màu sắc </small></b>
Để cải tiến phù hợp cho việc ứng dụng trong tìm kiếm, các màu trong khơng
lýợng, một trong những cách đó là
ành 3 vùng
</div><span class="text_page_counter">Trang 37</span><div class="page_container" data-page="37">Phân tắch tự động dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
Khi đó, tổng số màu bằng HxSxI = 162 màu, chi phắ tắnh toán và lýu trữ giảm đi rất nhiều, và lýợc đồ màu này rất thắch hợp cho việc truy tìm thơng tin thị giác.
<b><small>Hình 17 Khơng gian màu HSV đã đýợc định lýợng </small></b>
</div><span class="text_page_counter">Trang 38</span><div class="page_container" data-page="38">Phân tắch tự động dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
<b><small>Hình 18Các màu đã đýợc định lýợng trong không gian HSV </small></b>
3.3.Ý nghĩa của lýợc đồ màu
<i>Đối với một màu c<small>i</small>, H<sub>ci</sub>(I) thể hiện số điểm ảnh có màu c<small>i</small></i> trong <i>ảnh I. Nói cách </i>
kh<i>ác, với mỗi điểm ảnh trong ảnh I, H<small>ci</small>(I) th</i>ể hiện xác suất điểm ảnh đó có màu là
<i>c<sub>i. </sub></i>Khơng có mang thơng tin về khơng gian.
3.4.Đánh giá ýu điểm, khuyết điểm Ýu điểm
Tắnh toán lýợc đồ màu ắt tốn chi phắ, đõn giản, nhanh chóng.
Lýợc đồ màu bất biến đối với một số phép biến đổi hình học nhý phép biến đổi Affine : tịnh tiến, xoay, sự co, giãn.
</div><span class="text_page_counter">Trang 39</span><div class="page_container" data-page="39">Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
Khuyết ðiểm
Lýợc ðồ màu chỉ xét phân bố toàn cục về màu của ảnh mà không xét ðến yếu tố cục bộ về vị trí, làm mất thơng tin về quan hệ không gian giữa các màu. Dẫn ðến việc có thể có nhiều ảnh khác nhau nhýng lại có cùng lýợc ðồ màu.(Hình)
</div><span class="text_page_counter">Trang 40</span><div class="page_container" data-page="40">Phân tắch tự động dữ liệu video số hỗ trợ truy tìm thơng tin dựa vào nội dung
<b>4.Lýợc đồ týõng quan màu (Color Correlogram) </b>
4.1.Giới thiệu lýợc đồ týõng quan màu
phân bố theo không gian, Một đặc trýng mới đýợc giới thiệu gọi là lýợc đồ týõng quan màu.
Lýợc đồ týõng quan màu hứa hẹn mô tả không chỉ là phân phối màu của các điểm ảnh mà còn là sự týõng quan về không quan giữa các cặp màu.
4.2.Tắnh lýợc đồ týõng quan màu
Gọi [D] là tập gồm D khoảng cách <i><small>d</small></i><sub>1</sub><small>,</small><i><small>d</small></i><sub>2</sub><small>,...,</small><i><small>dD</small></i> đýợc đo bằng độ đo <i><small>L</small></i><small></small>. Lýợc đồ týõng quan màu của ảnh I đýợc xác định với cặp màu
<i><small>c ,icj</small></i> và khoảng cách d nhý sau:<small> </small>
Pr [ <sub>2</sub> || <sub>1</sub> <sub>2</sub>| ]Trong đó I là ảnh, kắch thýớc MxN (Điểm ảnh), <i>I<sub>c</sub></i>
<i>p</i><i>I</i>|<i>I</i>
<i>p</i> <i>c</i> , lýợc đồ týõng quan màu thể hiện xác suất cặp điểm ảnh bất kỳ <i><small>p</small></i><small>1</small> và <i><small>p</small></i><small>2</small> chịu sự ràng buộc về màu (<i><small>p</small></i><small>1</small>có màu <i>c<small>i</small></i>,<i><small>p</small></i><sub>2</sub> có màu <i><small>cj</small></i> ) và vị trắ ( <i><small>p</small></i><small>1</small> <i><small>p</small></i><small>2</small> <i><sub>L</sub></i><sub></sub> <small></small><i><small>d</small></i>).4.3.Lýợc đồ tự týõng quan màu
Nếu chúng ta xét đến tất cả sự kết hợp có thể có của các cặp màu, kắch thýớc của lýợc đồ týõng quan màu sẽ rất lớn, hõn nữa, thời gian tắnh tốn sẽ lâu. Do <i>đó, một phiên bản đõn giản hõn đýợc sử dụng, gọi là lýợc đồ tự týõng quan màu. Lýợc đồ này chỉ quan tâm đến sự týõng quan về không gian giữa những </i>
màu giống nhau và do đó giảm đýợc số chiều và chi phắ tắnh toán. Lýợc đồ tự týõng quan màu đýợc xác định nhý sau:
( <sup>(</sup><sub>,</sub><sup>)</sup>
<i><small>c</small></i>
</div>
