Thiết kế hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao
Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (5.87 MB, 168 trang )
<span class="text_page_counter">Trang 1</span><div class="page_container" data-page="1">
TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN KHOA CÔNG NGHỆ THÔNG TIN
BỘ MÔN CÔNG NGHỆ TRI THỨC
WX
NGUYỄN BÁ CÔNG NGUYỄN HỮU ĐỨC
<b>THIẾT KẾ HỆ THỐNG TRUY TÌM ẢNH DỰA VÀO ĐẶC TRƯNG CẤP THẤP VÀ </b>
<b>ĐẶC TRƯNG CẤP CAO </b>
<b>LUẬN VĂN CỬ NHÂN TIN HỌC </b>
<b>Tp. Hồ Chí Minh –Năm 2005 </b>
</div><span class="text_page_counter">Trang 2</span><div class="page_container" data-page="2">TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN KHOA CÔNG NGHỆ THÔNG TIN
BỘ MÔN CÔNG NGHỆ TRI THỨC
WX
NGUYỄN BÁ CÔNG -0112127 NGUYỄN HỮU ĐỨC -0112168
<b>THIẾT KẾ HỆ THỐNG TRUY TÌM ẢNH DỰA VÀO ĐẶC TRƯNG CẤP THẤP VÀ </b>
</div><span class="text_page_counter">Trang 3</span><div class="page_container" data-page="3"><i><small>Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao </small></i>
<b>Lời cảm ơn </b>
Đầu tiên chúng em xin chân thành gửi lời cảm ơn đến Thầy Lý Quốc Ngọc, người đã tận tình hướng dẫn, động viên và giúp đỡ chúng em trong suốt thời gian qua. Nếu không có lời chỉ dẫn, những tài liệu, những lời động viên khích lệ của Thầy thì luận văn này khó lòng hòan thiện được. Một lần nữa chúng em xin tỏ lòng biết ơn Thầy.
Cũng xin gửi lời cảm ơn đến gia đình, bạn bè và những ngừơi thân đã ủng hộ động viên tinh thần chúng em để luận văn được hòan thành.
Chúng em cũng xin chân thành cảm ơn các thầy cô trong khoa Cơng nghệ thơng tin đã tận tình chỉ bảo và giúp đỡ chúng em trong suốt thời gian chúng em học đại học và trong suốt quá trình chúng em làm luận văn.
Tp. Hồ Chí Minh, tháng 7 năm 2005
Nguyễn Bá Công – Nguyễn Hữu Đức
</div><span class="text_page_counter">Trang 4</span><div class="page_container" data-page="4"><i><small>Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao </small></i>
<b>Lời mở đầu </b>
Cùng với sự mở rộng của multimedia, với khối lượng hình ảnh và phim lưu trữ ngày càng lớn, cùng với sự phát triển vượt bậc của các thiết bị Điện Tử, Tin Học và Viễn Thông đã thu hút ngày càng nhiều những chuyên gia đi vào nghiên cứu những công cụ cung cấp cho việc lấy thông tin dữ liệu ảnh từ nội dung của chúng.
Hiện nay trên thế giới việc truy tìm ảnh đã bước sang thời kỳ mới, thời kỳ truy tìm ảnh dựa vào nội dung .Việc truy tìm dữ liệu hình ảnh dựa vào nội dung ảnh ngày càng phát triển mạnh mẽ, nó khắc phục khuyết điểm của việc truy tìm ảnh dựa vào văn bản kí tự. Dữ liệu đầu vào được mô phỏng gần gũi với con người hơn, kết quả ảnh trả về mang ngữ nghĩa gần đúng với ảnh truy vấn hơn.
Nằm trong xu hướng đó, trong luận văn này chúng em trình bày một mơ hình truy tìm thơng tin hình ảnh dựa vào nội dung thông qua đặc trưng cấp thấp và đặc trưng cấp cao của ảnh. Nó có thể được sử dụng bởi các tổ chức sở hữu tư liệu ảnh và video, thư viện số, ảnh vệ tinh, ảnh y học, giáo dục từ xa,…
</div><span class="text_page_counter">Trang 5</span><div class="page_container" data-page="5"><i><small>Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao </small></i>
<b>NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN </b>
</div><span class="text_page_counter">Trang 6</span><div class="page_container" data-page="6"><i><small>Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao </small></i>
<b>NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN </b>
</div><span class="text_page_counter">Trang 7</span><div class="page_container" data-page="7"><i><small>Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao </small></i>
<b>Mục lục </b>
Lời cảm ơn ... i
Lời mở đầu ... ii
NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN... iii
NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN... iv
Mục lục ... v
Mục lục các hình ... ix
Thuật ngữ chuyên ngành... xiv
Chương 1 Tổng quan ... 1
1.1. Hướng truy tìm ảnh dựa vào nội dung... 2
1.2. Hệ thống tìm kiếm ảnh thế hệ đầu tiên (dựa vào văn bản) ... 3
1.3. Hệ thống tìm kiếm thơng tin trực quan thế hệ mới... 5
1.3.1 Các hệ thống tìm kiếm ảnh tĩnh ... 5
1.3.2 Các hệ thống tìm kiếm phim ảnh (video) ... 6
1.3.3 Các hệ thống tìm kiếm ảnh 3 chiều và video... 6
1.3.4 Các hệ thống tìm kiếm trên Internet ... 6
1.4. Xu hướng phát triển từ đặc trưng cấp thấp đến đặc trưng cấp cao và tiến dần đến ngữ nghĩa... 8
1.5. Một số hệ thống truy tìm ảnh dựa vào nội dung hiện nay ... 10
1.6. Sự hình thành “Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao”... 11
1.7. Hướng tiếp cận của bài toán... 13
1.7.1 Xây dựng cơ sở dữ liệu ... 13
1.7.2 Xây dựng hệ thống tìm kiếm ... 14
1.7.2.1 Tìm kiếm dựa vào sự phân bố mang tính tịan cục ... 14
1.7.2.1.1 Đặc trưng lược đồ màu ... 14
1.7.2.1.2 Đặc trưng vector liên kết màu (Color Coherence Vector)... 14
1.7.2.1.3 Đặc trưng tự tương quan màu (AutoCorrelogram)... 15
1.7.2.1.4 Đặc trưng lược đồ hệ số góc (Edge Direction Histogram) ... 16
1.7.2.1.5 Đặc trưng Vector liên kết hệ số góc (Edge Direction Coherence Vector) ... 16
1.7.2.2 Tìm kiếm dựa vào sự phân bố mang tính cục bộ... 17
1.7.2.3 Tìm kiếm theo vùng, đối tượng ... 18
1.7.2.4 Tìm kiếm theo ngữ nghĩa... 20
Chương 2 CÁC KHÁI NIỆM CƠ BẢN ... 21
</div><span class="text_page_counter">Trang 8</span><div class="page_container" data-page="8"><i><small>Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao </small></i>
2.1.3.4 Hệ màu L*a*b:... 27
2.1.3.5 Hệ màu HSI: Hue-Saturation-Intensity... 27
2.1.4 Các đặc trưng về màu sắc ... 30
2.1.4.1 Lược đồ màu (Histogram)... 30
2.1.4.2 Vector liên kết màu (Color Coherence Vector) ... 32
2.1.4.3 Đặc trưng tự tương quan màu (AutoCorrelogram)... 34
2.2. Vân (textture) ... 38
2.2.1 Khái niệm... 38
2.2.2 Một số loại vân tiêu biểu... 39
2.2.3 Ma trận đồng hiện (Co-occurrence Matrix)... 39
2.2.4 Phép biến đổi Wavelet ... 41
2.3. Hình dáng... 43
2.3.1 Khái niệm về biên cạnh... 43
2.3.2 Các phương pháp phát hiện biên... 44
2.3.2.1 Phát hiện biên trực tiếp ... 44
2.3.2.2 Phương pháp phát hiện biên gián tiếp... 48
2.3.3 Các đặc trưng về biên cạnh... 49
2.3.3.1 Lược đồ hệ số góc (Edge Direction Histogram) ... 49
2.3.3.2 Vector liên kết hệ số góc (Edge Direction Coherence Vector): .... 51
2.4.3 Các độ đo được sử dụng trong bài tóan ... 57
2.4.3.1 Độ đo tương tự giữa 2 bin màu trong hệ màu HSI ... 57
2.4.3.2 Độ đo dùng cho lược đồ màu... 57
2.4.3.3 Độ đo dùng cho đặc trưng liên kết màu (Color Coherence Vector)... 61
2.4.3.4 Độ đo dùng cho đặc trưng tự tương quan màu(AutoCorrelogram) 612.4.3.5 Độ đo dùng cho đặc trưng lược đồ hệ số góc (Edge Direction Histogram) ... 62
2.4.3.6 Độ đo dùng cho đặc trưng liên kết hệ số góc (Edge Direction Coherence Vector) ... 62
Chương 3 TRUY TÌM ẢNH DỰA VÀO ĐẶC TRƯNG CẤP THẤP ... 64
3.1. Các đặc trưng được sử dụng để truy tìm ảnh ... 65
</div><span class="text_page_counter">Trang 9</span><div class="page_container" data-page="9"><i><small>Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao </small></i>
3.1.1.1 Lược đồ màu (histogram) ... 65
3.1.1.2 Vector liên kết màu (Color Coherence Vector) ... 65
3.1.1.3 Đặc trưng tự tương quan màu (AutoCorrelogram)... 66
3.1.2 Đặc trưng về hình dáng... 67
3.1.2.1 Lược đồ hệ số góc (Edge Direction Histogram) ... 67
3.1.2.2 Vector liên kết hệ số góc (Edge Direction Coherence Vector)... 67
3.2. Giải thuật phân lớp phân cấp (Hierarchical Agglomerative Clustering Algorithm- HAC) và áp dụng giải thuật trong phân lớp ảnh theo các đặc trưng của ảnh ... 68
3.2.1 Tổng quan về giải thuật... 68
3.2.2 Giải thuật... 68
3.2.3 Áp dụng giải thuật phân lớp phân cấp vào việc xây dựng cây phân cấp theo các đặc trưng của ảnh... 70
3.3. Tạo chỉ mục truy tìm ảnh ... 78
3.4. Các chiến lược truy tìm ảnh... 79
3.4.1 Truy tìm ảnh xét đến tính phân bố tồn cục ... 79
3.4.1.1 Tìm kiếm theo màu sắc ... 79
3.4.1.1.1 Lược đồ màu ... 79
3.4.1.1.2 Vector liên kết màu... 80
3.4.1.1.3 Đặc trưng tương quan màu (Correlogram): ... 82
3.4.1.3.2 Tìm kiếm kết hợp các đặc trưng với nhau dùng trọng số ... 86
3.4.2 Truy tìm ảnh xét đến tính phân bố cục bộ (yếu tố khơng gian)... 87
3.4.2.1 Tìm kiếm xét đến tính cục bộ với việc chia lưới tìm kiếm... 87
3.4.2.2 Tìm kiếm xét đến tính cục bộ với việc vẽ... 90
Chương 4 TRUY TÌM ẢNH DỰA VÀO ĐẶC TRƯNG CẤP CAO ... 93
4.1. Bài toán phân đoạn ảnh... 94
4.1.1 Chọn đặc trưng để phân đoạn ảnh... 94
4.5. Các chiến lược truy tìm theo đặc trưng cấp cao ... 105
4.5.1 Giai đoạn nhập dữ liệu ... 106
4.5.2 Giai đoạn truy tìm ... 110
4.5.3 Giai đoạn sắp hạng (RANKING)... 110
Chương 5 TRUY TÌM ẢNH DỰA VÀO NGỮ NGHĨA ... 112
</div><span class="text_page_counter">Trang 10</span><div class="page_container" data-page="10"><i><small>Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao </small></i>
Chương 6 CÀI ĐẶT VÀ THỬ NGHIỆM ... 117
6.1. Cài đặt ... 118
6.1.1 Chương trình ... 118
6.1.2 Các đặc trưng sử dụng cho chương trình ... 118
6.1.3 Cơ sở dữ liệu ... 119
6.1.3.1 Cơ sở dữ liệu truy tìm theo đặc trưng cấp thấp... 119
6.1.3.2 Cơ sở dữ liệu truy tìm theo đặc trưng cấp cao... 119
6.1.4 Chức năng truy tìm ảnh... 119
6.2. Thử nghiệm ... 120
6.2.1 Tìm kiếm xét đến tính tồn cục... 120
6.2.1.1 Tìm kiếm theo lược đồ màu... 120
6.2.1.2 Tìm kiếm theo lược đồ hệ số góc... 121
6.2.1.3 Tìm kiếm theo vector liên kết màu ... 123
6.2.1.4 Tìm kiếm theo vector liên kết hệ số góc... 124
6.2.1.5 Tìm kiếm theo AutoCorrelogram... 125
6.2.1.6 Tìm kiếm ảnh bằng việc kết hợp các đặc trưng với nhau theo tóan tử AND... 126
6.2.1.7 Tìm kiếm ảnh bằng cách kết hợp các đặc trưng dùng trọng số ... 128
6.2.2 Tìm kiếm dựa trên tính phân bố cục bộ ... 129
6.2.2.1 Tìm kiếm bằng cách chia lưới... 129
6.2.2.2 Tìm kiếm bằng cách vẽ vùng... 133
6.2.3 Tìm kiếm dựa theo vùng, đối tượng của ảnh có sẵn ... 135
6.2.4 Tìm kiếm dựa theo vùng, đối tượng khi mà người dùng chưa có ý niệm rõ ràng về tấm ảnh... 141
6.2.5 Tìm kiếm dựa vào ngữ nghĩa ... 144
6.3. Kết quả thực nghiệm của hệ thống ... 145
6.3.1 Thực nghiệm việc tìm kiếm theo các đặc trưng cấp thấp ... 146
6.3.2 Thực nghiệm việc tìm kiếm theo đặc trưng cấp cao... 147
Chương 7 TỔNG KẾT VÀ HƯỚNG PHÁT TRIỂN ... 148
</div><span class="text_page_counter">Trang 11</span><div class="page_container" data-page="11"><i><small>Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao </small></i>
<b>Mục lục các hình </b>
Hình 1: Mơ hình của hệ thống tìm kiếm thế hệ đầu tiên ... 4
Hình 2: Mơ hình của hệ thống tìm kiếm thế hệ mới... 8
Hình 3: Hình gốc 1... 9
Hình 4: Ảnh giống lược đồ màu với ảnh gốc... 9
Hình 5: Minh họa các vùng của ảnh ... 9
Hình 6: Minh họa các vùng của ảnh có gán ngữ nghĩa... 10
Hình 7:Mơ hình “Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao”... 12
Hình 8: minh họa 2 ảnh có lược đồ màu giống nhau 89%... 14
Hình 9: minh họa 2 ảnh có vector liên kết màu giống nhau 75%... 15
Hình 10:minh họa 2 ảnh có đặc trưng Correlogram giống nhau 75%... 15
Hình 11: minh họa 2 ảnh có lược đồ hệ số góc giống nhau 88% ... 16
Hình 12: minh họa 2 ảnh có Vector liên kết hệ số góc giống nhau 78%... 17
Hình 13: Ảnh minh họa chia lưới 1x3 ... 17
Hình 14: Ảnh minh họa vẽ vùng tìm kiếm ... 18
Hình 15: Ảnh minh họa tìm kiếm theo vùng ... 19
Hình 16: Minh họa tìm kiếm theo vùng khi người dùng có một vài ý niệm về ảnh truy vấn ... 19
Hình 17: Minh họa việc áp dụng mơ hình học vào các vùng của ảnh để tìm kiếm theo ngữ nghĩa... 20
Hình 18: Hệ màu RGB... 25
Hình 19: Hệ màu CMY... 26
Hình 20:Hệ màu HSI... 28
Hình 21: Khơng gian màu HSI ... 29
Hình 22: Minh họa sự thay đổi cường độ sáng trong hệ màu HSI ... 29
Hình 23: Ảnh trong hệ màu RGB ... 31
Hình 24: Ảnh trong hệ màu HSI ... 31
Hình 25: Lược đồ màu của ảnh sau khi lượng hoá ... 32
Hình 26: Ảnh trong hệ màu RGB ... 33
Hình 27: Ảnh trong hệ màu HSI ... 33
Hình 28: Màu đỏ thể hiện liên kết màu trong ảnh ... 33
Hình 29: Lược đồ vector liên kết màu của ảnh sau khi được lượng hố ... 34
Hình 30: Các ví dụ về vân... 39
Hình 31: Decompostion để tạo ra các frequency bands bởi biến đổi Wavelet... 42
Hình 32: Đường bao của ảnh ... 43
Hình 33: Gradient của ảnh theo hướng θ ... 45
Hình 34: Mơ hình 8 hướng... 45
Hình 35: Ảnh minh họa mảnh biên... 47
Hình 36: Ảnh sau khi dùng phương pháp Gradient phát hiện biên ... 47
Hình 37: Ảnh sau khi được làm mảnh biên ... 48
Hình 38: Minh họa nguyên lý Bellman... 49
</div><span class="text_page_counter">Trang 12</span><div class="page_container" data-page="12"><i><small>Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao </small></i>
Hình 39: Ảnh minh họa lược đồ hệ số góc ... 50
Hình 40: Đường biên của ảnh ... 50
Hình 41: Lược đồ hệ số góc của ảnh... 50
Hình 42: Ảnh minh họa vector liên kết hệ số góc... 52
Hình 43: Ảnh minh họa sự liên kết giữa các biên cạnh ... 52
Hình 44: Lược đồ vector liên kết hệ số góc của ảnh... 52
Hình 45: Minh họa vùng của ảnh... 55
Hình 46: minh họa 2 lược đồ màu giống nhau ... 58
Hình 47: Lược đồ màu thể hiện phần giao của 2 lược đồ màu trên... 59
Hình 48: Hình minh họa độ đo Euclide ... 59
Hình 49: Lược đồ màu thể hiện độ khác nhau giữa 2 lược đồ màu trên ... 60
Hình 50:Cây phân cấp cho việc phân lớp cơ sở dữ liệu ... 71
Hình 51: Cơ sở dữ liệu minh họa thuật toán HAC vào việc phân lớp ảnh theo đặc trưng lược đồ màu ... 72
Hình 52:Cây phân cấp theo lược đồ màu... 73
Hình 53: Nhóm các ảnh có cùng đặc trưng màu... 73
Hình 54:Cơ sở dữ liệu phân lớp ảnh theo đặc trưng liên kết màu ... 73
Hình 55: Cây phân cấp theo đặc trưng liên kết màu... 74
Hình 56: Nhóm các ảnh có cùng đặc trưng liên kết màu... 74
Hình 57: Cơ sở dữ liệu minh họa thuật toán HAC đồi với đặc trưng Correlogram... 75
Hình 58: Cây phân cấp theo đặc trưng Correlogram ... 75
Hình 68: Minh họa 2 ảnh có lược đồ màu giống nhau ... 80
Hình 69: Minh họa 2 ảnh giống nhau về lược đồ màu nhưng khác nhau về ngữ nghĩa... 80
Hình 70: Minh họa 2 ảnh có lược đồ màu giống nhau nhưng khác nhau về ngữ nghĩa... 81
Hình 71: Hình minh họa vector liên kết màu khắc phục tính khơng duy nhất của lược đồ màu... 81
Hình 72: Hình minh họa 2 ảnh có đặc trưng tương quan màu giống nhau 81.2% 82Hình 73: minh hoạ 2 ảnh có lược đồ hệ số góc giống nhau... 83
</div><span class="text_page_counter">Trang 13</span><div class="page_container" data-page="13"><i><small>Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao </small></i>
Hình 75: Hình minh họa 2 ảnh có vector liên kết hệ số góc khác nhau ... 84
Hình 76: Hìmh minh họa 2 ảnh giống nhau về lược đồ màu và lược đồ hệ số góc85Hình 77:Hình minh họa tìm kiếm chia lưới-1... 87
Hình 78: Minh họa ảnh được chia lưới 3x3 để tìm kiếm-1 ... 88
Hình 79: Hình minh họa tìm kiếm chia lưới-2... 88
Hình 80: Minh hoạ chia lưới 1x2 để tìm kiếm-2 ... 89
Hình 81: Ảnh minh họa tìm kiếm chia lưới-3... 89
Hình 82: Minh hoạc chia lưới 1x3 cho việc tìm kiếm trên ảnh-3... 89
Hình 83: Ảnh minh họa tìm kiếm vẽ ... 90
Hình 84: Chia lưới 3x3 trên ảnh tìm kiếm ... 90
Hình 85: Minh họa vẽ hình trên ảnh tìm kiếm... 91
Hình 86: Hỉnh minh họa vẽ trên ảnh tìm kiếm ... 91
Hình 87: Hình minh hoa vẽ tìm kiếm ... 92
Hình 88: Hình minh họa vẽ tìm kiếm ... 92
Hình 89: Hình minh họa cây phân cấp... 97
Hình 90: Minh họa áp dụng giải thuật HAC vào phân đoạn ảnh-1 ... 98
Hình 91: Minh họa áp dụng giải thuật HAC vào phân đoạn ảnh-2 ... 99
Hình 92: Minh hoạ dùng thuật tốn HAC phân đoạn ảnh-3... 99
Hình 93: Minh họa vùng của ảnh... 100
Hình 94: Cơ sở dữ liệu dùng để phân vùng ảnh ... 102
Hình 95: Các vùng của tập ảnh được tách ra bằng giải thuật HAC... 103
Hình 96: Cây phân cấp của tập vùng trên ... 103
Hình 97: Nhóm các vùng giống nhau ... 103
Hình 98: Cơ sở dữ liệu ảnh phân vùng ... 104
Hình 99: Các vùng của tập dữ liệu ảnh sau khi được tách bằng giải thuật HAC 104Hình 100: Cây phân cấp của tập vùng trên ... 104
Hình 101: Nhóm các vùng giống nhau ... 105
Hình 102: ảnh minh họa tìm kiếm theo vùng ... 107
Hình 103: Hình minh họa tìm kiếm theo vùng, đối tượng... 108
Hình 104: Câu truy vấn “Bầu trời” AND “ Cỏ” AND “ Hoa màu trắng” ... 109
Hình 105: Câu truy vấn “Hoa màu vàng” AND NOT “ Lá màu xanh” ... 109
Hình 106: Các vùng đã được gán nhãn... 114
Hình 107: Kết quả câu truy vấn “Hoa màu tím”... 114
Hình 108: Kết quả câu truy vấn “ Hoa mai”... 115
Hình 109: Kết quả câu truy vấn “ Cỏ” và “ Nhà”... 115
hình 110: Kết quả câu truy vấn “ Sư tử” AND “ Bầu trời” ... 116
Hình 111: Mơ hình hệ thống... 118
Hình 112: Ảnh truy vấn theo lược đồ màu ... 120
Hình 113: Tập kết quả tìm kiếm theo lược đồ màu ... 121
Hình 114: Kết quả tìm kiếm theo lược đồ màu với độ giống nhau 70% ... 121
Hình 115:Ảnh truy vấn theo lược đồ hệ số góc ... 121
Hình 116: Tập kết quả tìm kiếm theo lược đồ hệ số góc... 122
Hình 117: Tập kết quả tìm theo lược đồ hệ số góc với độ giống nhau 89% ... 122
</div><span class="text_page_counter">Trang 14</span><div class="page_container" data-page="14"><i><small>Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao </small></i>
Hình 118: Ảnh truy tìm theo đặc trưng vector liên kết màu... 123
Hình 119:Tập kết quả tìm theo đặc trưng vector liên kết màu ... 123
Hình 120: Kết quả tìm kiếm với độ giống nhau 70% ... 123
Hình 121: Ảnh truy vấn theo đặc trưng vector liên kết hệ số góc ... 124
Hình 122: Tập kết quả tìm theo đặc trưng liên kết hệ số góc ... 124
Hình 123: Tập kết quả tìm theo đặc trưng liên kết hệ số góc với độ giống nhau 84% ... 125
Hình 124: Ảnh truy vấn ... 125
Hình 125: Tập kết quả thu được ... 125
Hình 126: Tập kết quả tìm được với độ giống nhau 70%... 126
Hình 137: Ảnh truy vấn tìm kiếm dựa trên tính phân bố cục bộ ... 129
Hình 138: Ảnh minh họa chia lưới và vùng được chọn... 130
Hình 152: Các vùng của ảnh sau khi phân đoạn... 135
Hình 153: Tập kết quả tìm theo vùng hoa màu tím ... 136
Hình 154: Các vùng của ảnh truy vấn... 137
Hình 155: Vùng tìm kiếm ... 137
Hình 156: Tập kết quả tìm được theo vùng sư tử ... 138
Hình 157: Minh họa tìm kiếm theo tốn tử BOOL... 138
Hình 158: Tập kết quả thu được ... 139
</div><span class="text_page_counter">Trang 15</span><div class="page_container" data-page="15"><i><small>Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao </small></i>
Hình 160: Minh họa câu truy vấn ... 140
Hình 161: Kết quả tìm được... 140
Hình 162: Câu truy vấn... 141
Hình 163: Kết quả thực hiện câu truy vấn trên... 141
Hình 164: Hình minh họa tìm kiếm theo vùng ... 142
Hình 165: Kết quả tìm được... 142
Hình 166: Minh họa câu truy vấn theo vùng ... 143
Hình 167: Tập Kết quả tìm được ... 143
Hình 168:Tập kết quả tìm kiếm với từ khố” hổ con”... 144
Hình 169: Ảnh minh hoạ tìm kiếm theo ngữ nghĩa, từ khố “Chúa sơn lâm” .... 145
Hình 170: Kết quả tìm kiếm với từ khoá “ Chúa sơn lâm” với độ giống nhau 64%... 145
</div><span class="text_page_counter">Trang 16</span><div class="page_container" data-page="16"><i><small>Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao </small></i>
<b>Thuật ngữ chuyên ngành </b>
Color coherence vector: vectơ liên kết màu
Edge direction coherence vector: vectơ liên kết hệ số góc Edge direction histogram: lược đồ hệ số góc
Hierarchical Agglomerative Clustering Algorithm (HAC): thuật toán phân lớp phân cấp
Histogram: lược đồ màu Texture: vân
</div><span class="text_page_counter">Trang 17</span><div class="page_container" data-page="17"><i><small>Chương 1: Tổng quan </small></i>
<b>Chương 1 Tổng quan </b>
</div><span class="text_page_counter">Trang 18</span><div class="page_container" data-page="18"><i><small>Chương 1: Tổng quan </small></i>
<b>1.1. Hướng truy tìm ảnh dựa vào nội dung </b>
Truy tìm ảnh dựa vào nội dung là tìm kiếm thơng tin trực quan. Truy tìm thơng tin trực quan là chủ đề nghiên cứu mới trong lĩnh vực công nghệ thông tin. Tương tác với nội dung trực quan là cách thiết yếu nhất để truy tìm thơng tin trực quan. Các yếu tố trực quan như màu sắc, vân, hình dáng đối tượng và các yếu tố không gian trực tiếp liên quan đến khía cạnh của cảm nhận nội dung ảnh, cùng với các khái niệm ở mức cao như ý nghĩa đối tượng, khung cảnh trong ảnh, được dùng như là manh mối cho tìm kiếm hình ảnh với nội dung tương tự từ cơ sở dữ liệu. Truy tìm ảnh dựa vào nội dung địi hỏi phải có sự đóng góp từ các lĩnh vực nghiên cứu khác là rất lớn và đặt ra nhiều thử thách trong nghiên cứu đối với các nhà khoa học và kỹ sư. Các lĩnh vực nghiên cứu khác nhau, được phát triển một các độc lập, đóng góp rất lớn cho chủ đề nghiên cứu mới mẽ này. Truy tìm thơng tin, mơ hình hóa và thể hiện dữ liệu trực quan, phân tích và xử lý phim/ảnh, nhận dạng và thị giác máy tính (computer vision), tổ chức cơ sở dữ liệu đa phương tiện (multimedia), lập chỉ mục đa chiều, mơ hình hóa tâm lí hành vi người dùng, hệ tương tác người-máy và trực quan hóa dữ liệu, là các lĩnh vực nghiên cứu quan trọng nhất đóng góp cho truy tìm thơng tin trực quan.
Các yếu tố mô tả nội dung có liên quan đến các đặc trưng cảm nhận như màu sắc, vân, hình dạng, cấu trúc, mối liên hệ về không gian và chuyển động. Các yếu tố cơ sở nguồn gốc của màu sắc như đối tượng, vai trị, sự kiện, hay các thơng tin có liên hệ với màu sắc như cảm giác, cảm tưởng hay ý nghĩa của hình ảnh. Do vậy, phân tích ảnh, nhận dạng và thị giác máy tính đóng vai trị cơ bản trong các hệ thống truy tìm thơng tin trực quan. Nó cho phép tự động trích chọn hầu hết các thơng tin cảm nhận, thơng qua việc phân tích phân bố điểm ảnh và rút ra các độ đo nội dung trực quan.
</div><span class="text_page_counter">Trang 19</span><div class="page_container" data-page="19">Dữ liệu mô tả và phụ thuộc nội dung được thể hiện thơng qua từ khố hay ngun bản. Từ khố rất thích hợp cho việc xác định: Các thực thể quan trọng trong hình ảnh (như đối tượng, con người…), các khái niệm hay thuật ngữ phụ thuộc ngữ cảnh (như: mắt, miệng, gương mặt…) hay khung cảnh thể hiện (cảnh bãi biển, cảnh núi non, cảnh hồng hơn…). Ngun bản là các mô tả bao quát hơn, thường được viết bởi các chuyên gia, tóm tắt vào từ ngữ những gì thể hiện được và ý nghĩa của ảnh. Truy tìm thơng tin dựa trên các hệ thống tìm kiếm truyền thống làm việc trên văn bản dùng ngôn ngữ truy vấn như SQL hay tìm kiếm tồn văn bản.
Do hệ thống tìm kiếm này là dựa vào từ khóa được chú thích bằng văn bản do đó có những hạn chế sau: Việc tạo từ khóa cho một số lượng lớn ảnh tốn thời gian, từ khóa thì ngắn khơng thể mơ tả hết các nét cảm nhận nổi bật của các đặc trưng trực quan và khơng duy nhất, văn bản khơng thích hợp cho việc xây dựng độ đo tương tự về giác quan, những mô tả bằng văn bản chỉ phản ánh quan điểm của người chú thích chứ khơng phải người dùng cuối tương tác với hệ thống nhưng việc nhận thức là một vấn đề chủ quan của từng người. Do những hạn chế trên đã dẫn đến sự ra đời của hệ thống tìm kiếm ảnh dựa vào nội dung. Thế hệ mới của hệ thống tìm kiếm ảnh dựa vào nội dung hỗ trợ đầy đủ việc lấy thông tin dựa vào nội dung thuộc về thị giác. Chúng cho phép phân tích đối tượng, tự động rút trích đặc trưng.
Những tìm kiếm đặc thù cho những hệ thống dạng này là “ tìm tất cả những hình ảnh có hình con chó “ hay “ tìm kiếm tất cả những tấm ảnh về biển ở Việt Nam”.
</div><span class="text_page_counter">Trang 20</span><div class="page_container" data-page="20"><i><small>Chương 1: Tổng quan </small></i>
Những khuyết điểm mà tìm kiếm theo văn bản khơng thực hiện được khi người dùng muốn tìm kiếm những tấm ảnh có nội dung “ảnh có hoa màu xanh xanh” hay “hoa màu vàng có nhụy màu tím ” việc tìm kiếm theo văn bản khơng thực hiện được vì có rất nhiều loại hoa màu xanh cũng như hoa màu vàng nhụy màu tím. Vả lại từ khóa là do quan điểm của người chú thích chứ khơng phải của người dùng.
Mơ hình hệ thống tìm kiếm thế hệ đầu tiên:
<b>Hình 1: Mơ hình của hệ thống tìm kiếm thế hệ đầu tiên </b>
</div><span class="text_page_counter">Trang 21</span><div class="page_container" data-page="21"><i><small>Chương 1: Tổng quan </small></i>
<b>1.3. Hệ thống tìm kiếm thơng tin trực quan thế hệ mới </b>
Hệ thống tìm kiếm thơng tin trực quan thế hệ mới hỗ trợ tìm kiếm hồn tồn bằng nội dung trực quan. Truy cập đến thông tin không chỉ ở mức khái niệm dùng từ khoá và văn bản, mà cịn thơng qua mức độ cảm nhận dùng các độ đo khách quan của nội dung trực quan và các mơ hình tương tự thích hợp. Trong các hệ thống này thì xử lý ảnh, nhận dạng và thị giác máy tính làm một phần được tích hợp vào kiến trúc và vận hành hệ thống. Nó cho phép phân tích khách quan sự phân bố điểm ảnh và tự động rút trích độ đo từ dữ liệu nhập thơ.
<b>1.3.1 Các hệ thống tìm kiếm ảnh tĩnh </b>
Nội dung của ảnh tĩnh bao gồm:
Thuộc tính cảm nhận: màu sắc, vân, hình dạng, yếu tố khơng gian.
Các yếu tố nội dung cơ sở: đối tượng, quang cảnh.
Cảm giác, cảm nhận và ý nghĩa được kết hợp với tập các đặc trưng cảm nhận.
Để tìm ảnh tương ứng với các thuộc tính cảm nhận, mơ hình tìm kiếm địi hỏi với mỗi ảnh các đặc trưng tiêu biểu (tham số) được tính trước. Truy vấn được thông qua các mẫu trực quan. Để khởi tạo truy vấn, người dùng chọn các đặc trưng và phạm vi của các tham số quan trọng và chọn độ đo tương tự. Mẫu có thể được soạn thảo bởi người dùng hay rút từ các ảnh mẫu. Hệ thống kiểm tra độ tương tự giữa nội dung trực quan được ngừơi dùng truy vấn và ảnh trong cơ sở dữ liệu. Vì khơng thể dự đốn được kết quả trả về tương ứng với truy vấn có thoả mãn hay không nên kỹ thuật để cải thiện chất lượng truy vấn là giữ đến mức thấp nhất có thể số thất thốt (do chi phí của số lượng lớn hơn các truy vấn thất bại) và cho phép một hình thức tương tác gọi là hồi đáp thích hợp (relevance feedback). Trong đó các mẫu rất cứng nhắc, thiếu độ linh động cần thiết để giải quyết các khái
</div><span class="text_page_counter">Trang 22</span><div class="page_container" data-page="22"><i><small>Chương 1: Tổng quan </small></i>
niệm và yếu tố màu sắc của hình ảnh. Vì thế, để tìm kiếm ảnh dựa trên các thuộc tính cấp cao thì phải thực hiện truy vấn lại bằng văn bản.
<b>1.3.2 Các hệ thống tìm kiếm phim ảnh (video) </b>
Khác với ảnh tĩnh, ảnh phim truyền các thông điệp có nhiều thơng tin hơn thơng qua nhiều khía cạnh thông tin. Bao gồm cách các khung ảnh liên kết lại với nhau sử dụng các hiệu ứng soạn thảo (cắt, giảm,phân rã,làm mờ…) và nội dung thể hiện trong ảnh (nhân vật, nội dung câu chuyện, thông điệp câu chuyện). Sự thay đổi về màu sắc, vân, hình dạng và chuyển động (của cả thiết bị thu nhận ảnh, nhân vật và đối tượng) được quan sát trong nhiều khung ảnh, là quan trọng hơn thông tin được nhúng vào các khung ảnh đơn. Kỹ thuật dùng để thu nhận phim ảnh cũng góp phần quan trọng vào thông tin của luồng phim ảnh. Mỗi loại phim ảnh có các đặc trưng riêng. Điều này được thể hiện trong cách mỗi đơn vị phim ảnh được rút trích, tổ chức trong cấu trúc kiến thức, chỉ mục và truy cập bởi người dùng. Trong hệ thống tìm kiếm video việc truy cập có thể được thực hiện thơng qua cả mức cấu trúc lẫn nội dung.
<b>1.3.3 Các hệ thống tìm kiếm ảnh 3 chiều và video </b>
Tập các ảnh 3 chiều và video giờ được dùng rất nhiều trong nhiều lĩnh vực như y học, CAD (thiết kế bộ phận máy móc), bản đồ địa lý, phân loại ảnh nghệ thuật (điêu khắc, đối tượng 3D, mơ hình…). Việc nghiên cứu lĩnh vực tìm kiếm này chỉ mới bắt đầu.
<b>1.3.4 Các hệ thống tìm kiếm trên Internet </b>
Môi trừơng mạng phát triển rất nhanh trong đó việc tìm kiếm, truy cập và truyền tải các thông tin trực quan rất quan trọng. Với các hệ thống dựa trên web, người dùng có thể tìm kiếm hình ảnh và phim từ nhiều nguồn dữ liệu khác nhau được phân tán trên mạng. Thơng tin có thể thu nhận từ:
</div><span class="text_page_counter">Trang 23</span><div class="page_container" data-page="23">Sự biểu thị đặc điểm độc lập lĩnh vực của nội dung trực quan của hình ảnh.
Kỹ thuật xử lí ảnh để tự động trích các đặc điểm trực quan một cách tự động.
Tóm tắt biểu thị ngắn gọn cho các đặc điểm này.
Hàm tính độ tương tự để so sánh ảnh một cách hiệu quả.
Kỹ thuật lập chỉ mục để việc truy xuất ảnh trong cơ sở dữ liệu có hiệu suất cao.
Khuyết điểm: Trong các hệ thống tìm kiếm thế hệ mới này các đặc trưng tìm kiếm chủ yếu là các đặc trưng cấp thấp, dữ liệu nhận chưa mô phỏng gần gũi với suy nghĩ của con người, ảnh tìm được có thể mang nội dung ngữ nghĩa rất khác so với ảnh truy vấn. Điều này làm bất lợi cho người dùng cũng như hệ thống họat động với hiệu quả khơng cao. Do đó, nhu cầu địi hỏi phải có hệ thống tìm kiếm họat động với hiệu quả cao hơn cũng như tiện dụng hơn để đáp ứng nhu cầu ngày càng cao của con người. Để đáp ứng nhu cầu trên, hàng lọat những hệ thống truy tìm ảnh dựa vào
<b>nội dung mới ra đời trong đó có hệ thống “Truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao”. </b>
Mơ hình hệ thống tìm kiếm thế hệ mới:
</div><span class="text_page_counter">Trang 24</span><div class="page_container" data-page="24"><i><small>Chương 1: Tổng quan </small></i>
<b>Hình 2: Mơ hình của hệ thống tìm kiếm thế hệ mới </b>
<b>1.4. Xu hướng phát triển từ đặc trưng cấp thấp đến đặc trưng cấp cao và tiến dần đến ngữ nghĩa </b>
Nhằm đáp ứng nhu cầu ngày càng cao của con người trong tìm kiếm ảnh, nên các hệ thống truy tìm ảnh đã khơng ngừng nâng cao khả năng tìm kiếm của mình. Các hệ thống tìm kiếm theo các trưng cấp thấp đang dần được thay thế bằng các hệ thống tìm kiếm theo đặc trưng cấp thấp kết hợp với đặc trưng cấp cao. Việc tìm kiếm theo các đặc trưng cấp cao đã khắc phục được các khuyết điểm của việc tìm kiếm theo các đặc trưng cấp thấp đó là: giải quyết được vấn đề lớn đang cản trở bước phát triển truy tìm ảnh dựa vào nội dung trong việc dữ liệu nhận mô
</div><span class="text_page_counter">Trang 25</span><div class="page_container" data-page="25"><i><small>Chương 1: Tổng quan </small></i>
ngữ nghĩa gần hơn so với ảnh truy vấn. Bên cạnh các đặc trưng cấp cao như vùng (hay còn gọi là vần của ảnh) được tách ra từ ảnh, việc áp dụng mơ hình học vào sẽ làm cho hệ thống tìm kiếm theo nội dung tiến thêm một bước đó là tìm kiếm dựa vào ngữ nghĩa.
Ví dụ minh họa trong tìm kiếm:
Giả sử ta có ảnh ban đầu như sau:
<b>Hình 3: Hình gốc 1 </b>
Với việc tìm kiếm theo đặc trưng cấp thấp thì người dùng chỉ có thể tìm kiếm những tấm ảnh có màu sắc gần giống với tấm ảnh trên như:
<b>Hình 4: Ảnh giống lược đồ màu với ảnh gốc</b>
Điều này dẫn đến khả năng xuất hiện những ảnh tuy giống nhau về màu sắc nhưng khác nhau về ngữ nghĩa, khơng hiệu quả trong tìm kiếm.
Để tránh khả năng trên xảy ra ta có thể tiến hành tìm kiếm ảnh theo các đặc trưng cấp cao là vùng. Chúng ta có thể phân đọan ảnh thành các vùng, và từ đó chọn các vùng cần thiết cho quá trình tìm kiếm. Điều này làm cho kết quả tìm kiếm cao hơn và hiệu quả hơn do vùng mang ngữ nghĩa hơn và thể hiện được tính phân bố của các thành phần trong ảnh.
Ví dụ các vùng trong ảnh sau khi phân đoạn ảnh:
<b>Hình 5: Minh họa các vùng của ảnh</b>
</div><span class="text_page_counter">Trang 26</span><div class="page_container" data-page="26"><i><small>Chương 1: Tổng quan </small></i>
Việc tìm kiếm theo đặc trưng cấp cao là vùng trong ảnh còn có thể đưa lên một bước là tìm kiếm theo ngữ nghĩa. Từ tập ảnh cơ sơ dữ liệu ban đầu qua bước phân đoạn ảnh và gán nhãn tự động cho ảnh ta có được những vùng ảnh với những ngữ nghĩa xác định. Vì vậy việc tìm kiếm bây giờ chỉ là đưa ra ngữ nghĩa của ảnh muốn tìm kiếm thơng qua tập các nhãn ngữ nghĩa đã gán ở trên dứơi dạng một câu truy vấn.
Ví dụ các vùng ảnh sau khi gán nhãn ngữ nghĩa:
<b>Hình 6: Minh họa các vùng của ảnh có gán ngữ nghĩa </b>
Với các nhãn được gán trên, khi chúng ta có nhu cầu tìm kiếm những ảnh có hình con sư tử thì chúng ta chỉ cần thực hiện câu truy vấn “Sư tử” thì kết quả trả về sẽ là những ảnh chỉ có hình con sư tử. Đây là bước tiến nhảy vọt trong truy tìm ảnh dựa vào nội dung.
<b>1.5. Một số hệ thống truy tìm ảnh dựa vào nội dung hiện nay </b>
Trong những năm gần đây, nhiều hệ thống tìm kiếm ảnh dựa vào nội dung (content-based image retrieval: CBIR) đã được đề xuất và phát triển trong cộng đồng nghiên cứu như:
QBIC (Query By Image Content) của IBM. Virage của cơng ty Virage.
Photobook của phịng thí nghiệm truyền thông MIT. VisualSEEK của đại học Columbia.
RetriecvalWare của tập địan cơng nghệ Excalibur.
</div><span class="text_page_counter">Trang 27</span><div class="page_container" data-page="27">hệ thống trước kia, đồng thời tiến đến “Tìm kiếm theo ngữ nghĩa”, tạo một bước nhảy vọt trong lĩnh vực truy tìm ảnh dựa vào nội dung.
<b>1.6. Sự hình thành “Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao” </b>
Giả sử khi có nhu cầu tìm kiếm một vài tấm ảnh trong cơ sở dữ liệu hàng trăm ngàn ảnh, điều này có thể thực hiện được khi ta tìm kiếm bằng tay theo cách thông thường, nghĩa là xem từng tấm ảnh cho đến khi tìm thấy ảnh cần tìm. Việc tìm kiếm này làm tốn rất nhiều thời gian chúng ta. Do đó, nhu cầu địi hỏi phải có một cơng cụ hỗ trợ giúp cho việc tìm kiếm nhanh hơn, hiệu quả hơn. Do đó đề tài “Thiết kế hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao” ra đời để đáp ứng nhu cầu trên.
Truy tìm ảnh dựa vào nội dung là tìm kiếm thơng tin trực quan. Tương tác với nội dung trực quan là cách thiết yếu nhất để truy tìm thơng tin hiệu quả nhất. Các yếu tố trực quan như màu sắc, vân (texture), hình dạng đối tượng và các yếu tố khơng gian trực tiếp liên quan đến khía cạnh cảm nhận nội dung ảnh.
Do đó nội dung của đề tài sẽ được giải quyết như sau: truy tìm ảnh dựa vào các đặc trưng như lược đồ màu (Histogram), Vector liên kết màu (Color Coherence Vector), Correlogram, lược đồ hệ số góc (Edge Direction Histogram), Vector liên kết hệ số góc (Edge Direction Coherence Vector), vân(texture), vùng.
</div><span class="text_page_counter">Trang 28</span><div class="page_container" data-page="28"><i><small>Chương 1: Tổng quan </small></i>
Tuy hệ thống này tiến dần đến “Tìm kiếm theo ngữ nghĩa” nhưng các đặc trưng cấp thấp không thể thiếu trong quá trình xây dựng hệ thống. Việc áp dụng mơ hình học vào hệ thống cũng phải dựa vào các đặc trưng cấp thấp như lược đồ màu, vector liên kết màu,... .Do đó, đặc trưng cấp thấp là nền tảng để xây dựng các hệ thống cao hơn và cũng như tìm kiếm theo đặc trưng cấp thấp khơng bao giờ bị lạc hậu.
Sau đây là mơ hình của hệ thống:
<b>Hình 7:Mơ hình “Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao” </b>
</div><span class="text_page_counter">Trang 29</span><div class="page_container" data-page="29"><i><small>Chương 1: Tổng quan </small></i>
<b>1.7. Hướng tiếp cận của bài toán </b>
Các vấn đề mà đề tài tập trung giải quyết: Xây dựng cơ sở dữ liệu ảnh. Xây dựng hệ thống tìm kiếm ảnh:
o Tìm kiếm theo các đặc trưng cấp thấp: Lược đồ màu (Histogram), Vector liên kết màu (Color Coherence Vector), tương quan màu (Correlogram), Vân (Texture), lược đồ hệ số góc (Edge Direction Histogram), Vector liên kết hệ số góc (Edge Direction Coherence Vector).
o Tìm kiếm theo vùng, đối tượng. o Tìm kiếm theo ngữ nghĩa.
<b>1.7.1 Xây dựng cơ sở dữ liệu </b>
Để tăng hiệu quả trong việc tìm kiếm cũng như mô tả trực quan hơn về các đối tượng ảnh. Chúng em hướng tới xây dựng một cơ sở dữ liệu ảnh nhằm đưa những ảnh có đặc điểm giống nhau về cùng một nhóm. Ở đây, mỗi đặc trưng chúng em gom thành một cây, từ đó giúp cho việc tìm kiếm các đối tượng ảnh một cách dễ dàng, cũng như việc thể hiện chúng sinh động hơn, giúp người dùng có thể hình dung được tập dữ liệu ảnh của mình. Thuật tóan được
<b>chúng em sử dụng để xây cây là “Thuật tóan phân lớp phân cấp (</b>Hierarchical Agglomerative Clustering Algorithm- HAC . <b>)”</b>
Chúng em chọn “Thuật tóan phân lớp phân cấp” này cho bài tóan mà khơng chọn các thuật tóan khác vì nó có một số ưu điểm sau:
Không cần xác định trước số phân lớp nên ta có thể phân lớp từ thơ cho đến mịn.
Dễ cài đặt. Tốc độ nhanh.
</div><span class="text_page_counter">Trang 30</span><div class="page_container" data-page="30"><i><small>Chương 1: Tổng quan </small></i>
<b>1.7.2 Xây dựng hệ thống tìm kiếm </b>
<b>1.7.2.1 Tìm kiếm dựa vào sự phân bố mang tính tịan cục </b>
Khi người dùng có nhu cầu tìm kiếm những tấm ảnh có sự giống nhau về đặc trưng nào đó trong tịan tấm ảnh so với ảnh truy vấn thì người dùng có thể chọn chức năng tìm kiếm dựa vào sự phân bố tịan cục. Đây cũng là nền tảng cho các tìm kiếm cấp cao hơn về sau.
<b>1.7.2.1.1 Đặc trưng lược đồ màu </b>
Màu sắc là thông tin gần gũi, trực quan với con người nhất. Qua đặc trưng màu sắc, có thể lọc được rất nhiều lớp ảnh thơng qua vị trí, khơng gian, định lượng của màu trong ảnh.
Ví dụ hai ảnh có lược đồ màu giống nhau:
<b>Hình 8: minh họa 2 ảnh có lược đồ màu giống nhau 89% </b>
<b>1.7.2.1.2 Đặc trưng vector liên kết màu (Color Coherence Vector) </b>
Cũng như đặc trưng lược đồ màu, đặc trưng vector liên kết màu là thơng tin quan trọng trong ảnh. Nó thể hiện rõ ràng mật độ phân bố màu trong ảnh. Với 2 ảnh có thể rất giống nhau về lược đồ
</div><span class="text_page_counter">Trang 31</span><div class="page_container" data-page="31"><i><small>Chương 1: Tổng quan </small></i>
màu nhưng do khác nhau về sự phân bố màu sắc, nên trong quá trình tìm kiếm theo lược đồ màu có thể cho ra nhiều ảnh “dư thừa”, khác nhau về ngữ nghĩa. Nếu trong quá trình tìm kiếm trên ta sử dụng vector liên kết màu thì sẽ khắc phục được tình trạng trên.
Ví dụ hai ảnh có lược đồ vector liên kết màu giốn nhau:
<b>Hình 9: minh họa 2 ảnh có vector liên kết màu giống nhau 75% </b>
<b>1.7.2.1.3 Đặc trưng tự tương quan màu (AutoCorrelogram) </b>
Đây cũng là đặc trưng cấp cao của ảnh. Nó thể hiện tính phân bố cục bộ về màu. Cũng giống như đặc trưng vector liên kết màu, đặc trưng này giúp ta có thể phân biệt được những ảnh có thể rất giống nhau về lược đồ màu khác nhau về ngữ nghĩa.
Ví dụ hai ảnh có đặc trưng correlogram giống nhau:
<b>Hình 10:minh họa 2 ảnh có đặc trưng Correlogram giống nhau 75% </b>
</div><span class="text_page_counter">Trang 32</span><div class="page_container" data-page="32">Ví dụ hai ảnh có đặc trưng lược đồ hệ số góc giống nhau:
<b>Hình 11: minh họa 2 ảnh có lược đồ hệ số góc giống nhau 88%</b>
<b>1.7.2.1.5 Đặc trưng Vector liên kết hệ số góc (Edge Direction Coherence Vector) </b>
Cũng như đặc trưng lược đồ hệ số góc, đặc trưng vector liên kết hệ số góc là đặc trưng cấp cao của ảnh. Nó thể hiện rõ ràng hơn về hình dáng của ảnh. Ngịai ra nó cịn thể hiện mối liên kết chặt chẽ giữa các điểm biên cạnh (các điểm biên cạnh có cùng góc độ), cũng như là những điểm không phải là biên cạnh.
</div><span class="text_page_counter">Trang 33</span><div class="page_container" data-page="33"><i><small>Chương 1: Tổng quan </small></i>
Ví dụ hai ảnh có lược đồ vector liên kết hệ số góc giống nhau:
<b>Hình 12: minh họa 2 ảnh có Vector liên kết hệ số góc giống nhau 78% </b>
<b>1.7.2.2 Tìm kiếm dựa vào sự phân bố mang tính cục bộ </b>
Khi người dùng có nhu cầu tìm kiếm một vùng nào đó trong ảnh, thì việc tìm kiếm mang tính tịan cục khơng giải quyết được vấn đề trên. Chính vì vậy chúng em đã giải quyết vấn để này bằng việc cho người dùng chia lưới hoặc có thể vẽ một vùng nào đó trong ảnh mà họ muốn tìm kiếm. Vì vậy với cách tìm kiếm này sẽ giúp cho hệ thống họat động hiệu quả hơn.
Minh họa việc chia lưới tìm kiếm:
Khi người dùng muốn tìm kiếm những tấm ảnh dạng “cảnh thành phố lúc hịan hơn” thì người dùng có thể chia lưới như sau:
<b>Hình 13: Ảnh minh họa chia lưới 1x3 </b>
</div><span class="text_page_counter">Trang 34</span><div class="page_container" data-page="34"><i><small>Chương 1: Tổng quan </small></i>
Trong đó block 0 tìm theo luợc đồ màu, cịn block 1, 2 tìm kiếm theo lược đồ hệ số góc.
Minh họa việc vẽ vùng để tìm kiếm:
Khi người dùng muố tìm kiếm những ảnh có bơng hoa ở giữa thì có thể vẽ như sau:
<b>Hình 14: Ảnh minh họa vẽ vùng tìm kiếm </b>
<b>1.7.2.3 Tìm kiếm theo vùng, đối tượng </b>
Đây là bứơc tiến nhảy vọt trong việc truy tìm ảnh dựa vào nội dung. Vùng là đặc trưng cấp cao của ảnh. Với đặc trưng về vùng, chúng ta có thể thực hiện được các ý tưởng sau:
Với vùng, sẽ làm cho dữ liệu đầu vào được mô phỏng gần gũi với chúng ta hơn.
Với vùng, sẽ giúp cho chúng ta có thể tiến thêm một bước trong vấn đề tìm kiếm ảnh dựa vào nội dung là “Tìm kiếm theo ngữ nghĩa” bằng việc áp dụng mơ hình học vào vùng.
Ở đây việc tìm kiếm theo vùng đối tượng có thể chia ra làm hai chiến lược:
Tìm kiếm theo vùng, đối tựơng từ ảnh có sẵn: Từ ảnh truy vấn
</div><span class="text_page_counter">Trang 35</span><div class="page_container" data-page="35"><i><small>Chương 1: Tổng quan </small></i>
thành các vùng gọi là vần của ảnh. Từ các vần này ta có thể chọn ra vài vần cần truy tìm. Và hệ thống có thể tìm ra được những ảnh phù hợp theo ý muốn của người dùng.
Ví dụ minh họa chia vùng ảnh có sẵn để tìm kiếm:
<b>Hình 15: Ảnh minh họa tìm kiếm theo vùng </b>
Tìm kiếm khi người dùng chưa có ý niệm rõ lắm về tấm ảnh cần tìm, mà chỉ có một số yêu cầu nào đó về các “vần” cấu thành nên nó hoặc họ chỉ cần tìm các ảnh tương tự với các vần chính của ảnh truy vấn chứ khơng cần sự tương tự tồn cục. Ví dụ minh họa:
Khi người dùng có ý niệm tìm kiếm những tấm ảnh như sau: “Cỏ non xanh tận chân trời, cành lê trắng điểm một vài bông hoa”. Người dùng có thể ghép các vùng lại với nhau từ tập dữ liệu có sẵn như sau:
<b>Hình 16: Minh họa tìm kiếm theo vùng khi người dùng có một vài ý niệm về ảnh truy vấn </b>
</div><span class="text_page_counter">Trang 36</span><div class="page_container" data-page="36"><i><small>Chương 1: Tổng quan </small></i>
<b>1.7.2.4 Tìm kiếm theo ngữ nghĩa </b>
Với việc áp dụng mơ hình học vào bài tóan phân vùng ảnh, khi đó mỗi vùng (vần) trong ảnh có thể mang một ngữ nghĩa nào đó. Điều này dẫn đến một khả năng truy tìm mới là dựa vào câu truy vấn dạng ngơn ngữ, liên kết với các vùng đại diện theo một luận lý để truy tìm ảnh. Điều này giúp cho người dùng có thể thực hiện câu truy vấn dễ dàng.
Ví dụ minh họa tìm kiếm theo ngữ nghĩa:
<b>Hình 17: Minh họa việc áp dụng mơ hình học vào các vùng của ảnh để tìm kiếm theo ngữ nghĩa </b>
Với các nhãn ngữ nghĩa trên, khi người dùng muốn tìm kiếm hoa mai vàng, người dùng chỉ việc đánh từ khóa “hoa mai vàng” để tìm kiếm.
</div><span class="text_page_counter">Trang 37</span><div class="page_container" data-page="37"><i><small>Chương 2: Các khái niệm cơ bản </small></i>
<b>Chương 2 CÁC KHÁI NIỆM CƠ BẢN </b>
</div><span class="text_page_counter">Trang 38</span><div class="page_container" data-page="38"><i><small>Chương 2: Các khái niệm cơ bản </small></i>
<b>2.1. Màu sắc </b>
<b>2.1.1 Khái niệm về màu sắc </b>
Sự nhận thức về màu sắc là rất quan trọng trong đời sống của con người. Sự nhận thức về màu sắc phụ thuộc vào cả tính chất vật lý của ánh sáng và quá trình xử lý của thị giác với sự góp phần rất quan trọng của kinh nghiệm. Con người có thể dùng thơng tin màu sắc để phân biệt đối tượng, vật liệu, đồ ăn, vị trí, và ngay cả thời gian của ngày, ...
<b>2.1.2 Một số đặc tính vật lý đặc biệt về màu sắc </b>
Con người chỉ có khả năng nhận thức được ánh sáng có bức xạ điện từ với bước sóng trong khoảng 400 – 700 nanomet. Cơ quan thị giác cảm nhận được ánh sáng là do bề mặt đối tượng phát ra ánh sáng, là kết quả của sự tương tác giữa năng lượng chiếu sáng và những phân tử của bề mặt đối tượng. Một đối tượng màu xanh dương sẽ có bề mặt màu xanh dương khi chiếu ánh sáng trắng vào. Nhưng đối tượng đó sẽ có màu tím khi chiếu ánh sáng đỏ vào.Với sự phát triển mạnh mẽ của các thiết bị kinh tế, máy móc xử lý màu sắc trở nên thơng dụng: Chúng ta có các thiết bị như máy quay phim màu, thiết bị chiếu màu và những phần mềm xử lý ảnh màu. Máy móc có thể dùng màu sắc cho những mục đích như là con người. Đặc biệt, màu sắc thuận tiện bởi vì nó cung cấp phép đo lường đa dạng tại mỗi điểm ảnh đơn, có thể phân lớp, phân loại mà khơng cần đến những sự xử lý không gian phức tạp để đưa đến quyết định. Do đó, việc lựa chọn mơ hình màu thích hợp và sử dụng lược đồ lượng hố màu thích hợp sẽ giảm bớt độ phân giải màu. Đây là các vấn đề quan trọng trong việc tìm kiếm ảnh dựa trên màu sắc. Màu sắc thường được biểu diễn như là các điểm trong không gian màu 3 chiều. Hiện tại có rất nhiều mơ hình màu hình học hỗ trợ việc thể hiện màu sắc một cách rõ ràng, dễ lượng hố .Mơ hình
</div><span class="text_page_counter">Trang 39</span><div class="page_container" data-page="39"><i><small>Chương 2: Các khái niệm cơ bản </small></i>
Mơ hình dựa trên thiết bị đo màu: Kết quả từ độ đo vật lý hệ số phản xạ quang phổ sử dụng thiết bị đo màu. Các không gian màu chuẩn theo CIE (Comission International d’Eclairage) thuộc loại này.
Mơ hình màu dựa trên cảm nhận sinh lí: Kết quả từ các nghiên cứu về thần kinh. Tồn tại 3 kiểu hình nón phân biệt trong võng mạc của con người đóng vai trị vào việc sắp xếp màu sắc trong không gian màu. Các mơ hình màu CIE XYZ, RGB và các biến thể thuộc nhóm này.
Mơ hình màu dựa trên tâm lý học: dựa trên cách mà màu sắc hình thành trong đầu của người quan sát. Các mơ hình đối lập dựa trên các phân tích thực nghiệm phản ứng của con người đối với các thành phần đối lập cơ sở. Họ các không gian màu HSB (Hue-Saturation-Brightness) thuộc lớp này.
Mơ hình màu có thể phân biệt
o Mơ hình hướng thiết bị: Định nghĩa theo thuộc tính của thiết bị dùng để hiển thì màu như màn hình TiVi, màn hình máy tính và máy in. Các mơ hình màu hướng thiết bị là RGB, CMY, YIQ. Người dùng rất khó xử lý trên các mơ hình này vì nó khơng phản ánh trực tiếp các khái niệm trực giác màu sắc, sắc thái (còn gọi là sắc độ, là độ đậm nhạt của màu sắc) và cường độ sáng.
o Mơ hình hướng ngừơi dùng: Dựa trên khả năng cảm nhận màu sắc của con người. Con người cảm nhận màu sắc thông qua các đối tượng trực giác màu sắc, sắc thái và cường độ sáng. Các mơ hình màu hướng ngừơi dùng là HSL, HSV, HCV, HSB, MTM, L*u*v, L*a*b* và L*C*h .
</div><span class="text_page_counter">Trang 40</span><div class="page_container" data-page="40"><i><small>Chương 2: Các khái niệm cơ bản </small></i>
Khơng gian màu là một cách biểu diễn tốn học một tập các màu. Các khơng gian màu có thể được phân vào 2 loại không gian màu: phụ thuộc thiết bị hay độc lập thiết bị.
o Không gian màu độc lập thiết bị được chia thành nhiều không gian màu được định theo chuẩn CIE như: XYZ, L*a*b và L*u*v, ứng dụng chính cho mục đích đo màu . o Khơng gian màu phụ thuộc thiết bị được chia vào 3 lớp
rộng: không gian màu in, không gian màu video, và không gian màu màn hình. Các khơng gian màu in CMY, CMYK dựa trên màu mực được dùng trong ngành in và nhiếp ảnh. Các khơng gian màu màn hình là các biến thể của không gian màu RGB, các không gian màu video - tất cả đều tương tự như không gian màu YUV được phân thành các không gian màu riêng tuỳ vào ứng dụng.
<b>2.1.3 Các hệ màu thông dụng </b>
<b>2.1.3.1 Hệ màu chuẩn RGB: </b>Mắt người có thể phân biệt hàng ngàn màu sắc khác nhau, những con số chính xác hơn vẫn còn đang được bàn cãi nhiều. Ba màu RGB (Red-Green- Blue) mã hóa hệ thống đồ họa sử dụng ba byte 2<sup>24 </sup>hay khoảng chừng 16 triệu màu phân biệt. Máy tính có thể phân biệt bất kỳ màu gì sau khi được mã hóa, nhưng việc mã hóa có thể khơng trình bày được những sự khác biệt trong thế giới thực. Mỗi điểm ảnh RGB bao gồm một byte cho màu R, một byte cho màu G và một byte cho màu B. Việc mã hóa một màu tùy ý trong dãy hiển thị được làm bằng cách tổ hợp ba màu chính. Ví dụ: Red(255,0,0), Green(0,255,0), Blue(0,0,255), Black(0,0,0) Hệ thống màu RGB là một hệ thống màu cộng vào bởi vì mỗi màu được tạo nên bằng cách cộng thêm các phần tử vào màu
</div>
