tìm kiếm ảnh theo nội dung sử dụng bộ lọc gabor

Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (2.44 MB, 35 trang )

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC CẦN THƠ
KHOA CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

LUẬN VĂN TỐT NGHIỆP ĐẠI HỌC

NGÀNH KHOA HOC MÁY TÍNH

ĐỀ TÀI

TÌM KIẾM ẢNH THEO NỘI DUNG SỬ
DỤNG BỘ LỌC GABOR
Sinh viên thực hiện: Nguyễn Tiến Đạt
MSSV: 1111492
Khóa: 37

Cần Thơ, 5/2015

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC CẦN THƠ
KHOA CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG
BỘ MÔN KHOA HỌC MÁY TÍNH

LUẬN VĂN TỐT NGHIỆP ĐẠI HỌC

NGÀNH KHOA HOC MÁY TÍNH

ĐỀ TÀI

TÌM KIẾM ẢNH THEO NỘI DUNG SỬ

DỤNG BỘ LỌC GABOR
Giáo viên hướng dẫn:

Sinh viên thực hiện:

Ths. Phạm Nguyên Hoàng

Nguyễn Tiến Đạt
MSSV: 1111492
Khóa: 37

Cần Thơ, 5/2015

Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor

NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN


.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................

.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
Cần Thơ, ngày tháng năm 2015
Giáo viên phản biện

GVHD: Ths Phạm Nguyên Hoàng

- Trang ii -

SVTH: Nguyễn Tiến Đạt

Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor

LỜI CÁM ƠN
Để hoàn thành tốt đề tài luân văn: “Tìm kiếm ảnh theo nội dung sử dụng bộ lọc
Gabor” này không thể thiếu sự giúp đỡ, hướng dẫn tận tình của các quý Thầy, Cô
Khoa Công nghệ thông tin & Truyền thông Trường Đại học Cần Thơ nói chung và
các Thầy, Cô trong bộ môn Khoa Học Máy Tính nói riêng. Thầy, Cô đã truyền đạt
cho em những kiến thức căn bản, cốt yếu nhất và những kinh nghiệm quý báu thông
qua từng môn học, giúp em vận dụng và hoàn thành đề tài một cách tốt nhất. Em xin
được gửi lời cám ơn chân thành, sâu sắc đến các Thầy, các Cô…
Và đặc biệt em xin chân thành cám ơn Ths. Phạm Nguyên Hoàng, Thầy đã tận
tình hướng dẫn, giúp đỡ và đóng góp ý kiến cho em trong suốt quá trình thực hiện đề
tài luận văn. Mặc dù trong quá trình thực hiện đề tài còn gặp nhiều khó khăn, nhưng
nhờ sự ân cần, chỉ bảo, hướng dẫn tận tình thông qua các buổi thảo luận với Thầy mà
em đã hoàn đề tài này một cách tốt nhất.
Cuối cùng, em muốn gửi lời cảm ơn đến gia đình và bạn bè, những người thân
yêu luôn bên cạnh, động viên em trong suốt quá trình học tập và thực hiện đề tài luận
văn này. Em xin chân thành cám ơn.!

Cần Thơ, ngày 10 tháng 5 năm 2015
Sinh viên thực hiện
Nguyễn Tiến Đạt

GVHD: Ths Phạm Nguyên Hoàng

- Trang iii -

SVTH: Nguyễn Tiến Đạt

Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor

MỤC LỤC

NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN ..................................................... i
NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN ....................................................... ii
LỜI CÁM ƠN .......................................................................................................... iii
MỤC LỤC ................................................................................................................ iv
DANH MỤC CÁC HÌNH ....................................................................................... vi
DANH SÁCH CÁC TỪ VIẾT TẮT ..................................................................... vii
TÓM TẮT .............................................................................................................. viii
ABSTRACT ............................................................................................................. ix
PHẦN I: GIỚI THIỆU TỔNG QUAN ....................................................................1
1. ĐẶT VẤN ĐỀ .............................................................................................................................. 1
2. LỊCH SỬ GIẢI QUYẾT VẤN ĐỀ .................................................................................................... 1
3. MỤC TIÊU ĐỀ TÀI ...................................................................................................................... 2
4. ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU ................................................................................... 2
5. NỘI DUNG NGHIÊN CỨU........................................................................................................... 2
6. NHỮNG ĐÓNG GÓP CỦA ĐỀ TÀI............................................................................................... 2

PHẦN II: NỘI DUNG LUẬN VĂN.........................................................................3
CHƯƠNG 1: MÔ TẢ BÀI TOÁN ........................................................................................................ 3
1.

MÔ TẢ CHI TIẾT ĐỀ TÀI ................................................................................................... 3

2.

PHÂN TÍCH, ĐÁNH GIÁ CÁC GIẢI PHÁP CÓ LIÊN QUAN .................................................. 4

CHƯƠNG 2: THIẾT KẾ VÀ CÀI ĐẶT HỆ THỐNG ................................................................................ 6
1.

THIẾT KẾ HỆ THỐNG ....................................................................................................... 6

2.

CÀI ĐẶT HỆ THỐNG....................................................................................................... 11

CHƯƠNG 3: KẾT QUẢ NGHIÊN CỨU VÀ ĐÁNH GIÁ....................................................................... 12
1.

KẾT QUẢ NGHIÊN CỨU ................................................................................................. 12

2.

KIẾM THỬ VÀ ĐÁNH GIÁ .............................................................................................. 15

PHẦN III: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN..........................................19
1.

KẾT LUẬN ...................................................................................................................... 19

2.

HƯỚNG PHÁT TRIỂN..................................................................................................... 20

DANH MỤC TÀI LIỆU THAM KHẢO ...............................................................21
GVHD: Ths Phạm Nguyên Hoàng

- Trang iv -

SVTH: Nguyễn Tiến Đạt

Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor
Phụ Lục ....................................................................................................................22
1. Hướng dẫn cài đặt .................................................................................................................. 22
2. Sử dụng chương trình ............................................................................................................. 22

GVHD: Ths Phạm Nguyên Hoàng

- Trang v -

SVTH: Nguyễn Tiến Đạt

Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor

DANH MỤC CÁC HÌNH

Hình 1: Sơ đồ khái quát hệ thống CBIR sử dụng bộ lọc Gabor.................................. 3
Hình 2: Ví dụ về một số loại kết cấu........................................................................... 4
Hình 3: Phần thực (xanh) và phần ảo (đỏ) của sóng Gabor ........................................ 5

Hình 4: Phần thực (a) và biên độ (b) của bộ lọc Gabor .............................................. 7
Hình 5. Tạo bộ cơ sở dữ liệu các đặc trưng của ảnh. .................................................. 8
Hình 6: Rút trích vector đặc trưng theo 4 vùng ảnh con của ảnh ................................ 9
Hình 7: Rút trích vector đặc trưng theo kênh màu của ảnh......................................... 9
Hình 8: Một số ảnh trong tập Caltech-4 .................................................................... 12
Hình 9: Một số ảnh trong tập dữ liệu Caltech-101 .................................................... 13
Hình 10: Một số ảnh trong tập dữ liệu Unbench ....................................................... 14
Hình 11: Mô hình tổng quát của hệ thống tìm kiếm ảnh .......................................... 15
Hình 12: Biểu đồ đường cong PR (Precision – Recall) ............................................ 18
Hình 13: Giao diện chương trình demo ..................................................................... 22
Hình 14: Hiển thị thông tin chi tiết của ảnh .............................................................. 24

GVHD: Ths Phạm Nguyên Hoàng

- Trang vi -

SVTH: Nguyễn Tiến Đạt

Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor

DANH SÁCH CÁC TỪ VIẾT TẮT

Từ viết tắt
CBIR
DFT
GUI
IDE
SM
AP

MAP

Mô tả
Content Based Image Retrieval – Tìm kiếm ảnh theo
nội dung
Dicrete Fourier Transform – Biến đổi Fourier rời rạc
Graphic user interface
Integrated Development Environment
Similarity – Độ đồng dạng, giống nhau.
Average Precision – Độ chính xác trung bình
Mean Average Precision – Độ chính xác trung bình của
AP

GVHD: Ths Phạm Nguyên Hoàng

- Trang vii -

SVTH: Nguyễn Tiến Đạt

Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor

TÓM TẮT
Sự phát triển mạnh mẽ của công nghệ ảnh số đã làm số lượng ảnh lưu trữ trên
các thiết bị lưu trữ cũng như trên web tăng lên một cách nhanh chóng, đòi hỏi cần
phải có các công cụ hỗ trợ tìm kiếm ảnh hiệu quả. Mặc dù các công cụ tìm kiếm ảnh
theo văn bản đi kèm với ảnh ra đời cho phép người dùng tìm kiếm ảnh với thời gian
đáp ứng khá nhanh. Tuy nhiên, các công cụ này vẫn còn hạn chế trong việc giải quyết
khó khăn giữa nội dung ảnh tìm kiếm và nội dung ảnh trả về. Sự ra đời của các công
cụ tìm kiếm ảnh theo nội dung đã giải quyết được những nhập nhằng trên. Mục tiêu

của đề tài là nghiên cứu sử dụng bộ lọc Gabor để phân tích các đặc trưng của ảnh
giúp nâng cao hiệu quả tìm kiếm ảnh, trả về những ảnh có độ tương đồng nhiều nhất
với ảnh cần tìm kiếm, đáp ứng được nhu cầu tìm kiếm của người dùng.

GVHD: Ths Phạm Nguyên Hoàng

- Trang viii -

SVTH: Nguyễn Tiến Đạt

Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor

ABSTRACT
The development of the digital image technology has made the number of
images stored on the device as well as the web grows quickly, requires the need to
have the tools to support effective images search. Though the image search engine
according to the text accompanying the image released to allow users to search for
images with fairly rapid response time. However, these tools are still limited in
resolving difficult between image content search and contents of the image
returns. The introduction of the image search tool base on content image has solved
the above ambiguity. The goal of the subject is studied using Gabor filter to analyze
the image feature to improve the effectiveness of searching images, returns the similar
images with image search, meet the needs of user’s searches.

GVHD: Ths Phạm Nguyên Hoàng

- Trang ix -

SVTH: Nguyễn Tiến Đạt

Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor

PHẦN I: GIỚI THIỆU TỔNG QUAN

1. ĐẶT VẤN ĐỀ
Trong suốt những thâp niên vừa qua, ngành khoa học và công nghệ đã phát triển
không ngừng, các nhà khoa học đã không ngừng nghiên cứu, tìm tòi, phát minh ra
các thiết bị, công nghệ có ích, góp phần làm cho cuộc sống con người trở nên sinh
động, thú vị hơn. Trong đó, với việc phát minh ra máy ảnh kĩ thuật số cùng với nhu
cầu chụp ảnh của con người ngày càng cao nên đã làm số lượng ảnh trên các thiết bị
lưu trữ cũng như trên web tăng lên một cách nhanh chóng. Theo dữ liệu trên trang
“Tổng cục thống kê” về “Internet năm 2008 qua những con số thống kê” thì có 10 tỉ
ảnh trên Facebook (tính đến tháng 10/2008), 3 tỉ ảnh trên Flickr (tính đến tháng
11/2008), 6.2 tỉ ảnh trên Photobucket (tính đến tháng 10/2008).
Song song với nhu cầu tìm kiếm văn bản thì nhu cầu tìm kiếm ảnh cũng là vấn
đề được nhiều người quan tâm đến. Tuy nhiên, với một số lượng ảnh quá lớn trên
Internet như vậy thì công việc tìm kiếm trở nên vô cùng khó khăn. Để giải quyết vấn
đề này một trong những phương pháp được nhiều người quan tâm nghiên cứu hiện
nay là phương pháp “Tìm kiếm ảnh dựa theo nội dung” (Content Based Image
Retrieval - CBIR). Ý tưởng phương pháp này là trích chọn các đặc trưng dựa vào nội
dung trực quan của ảnh như màu sắc, kết cấu, hình dạng và bố cục không gian của
ảnh để làm cơ sở cho việc tra cứu, sắp xếp, tổ chức cơ sở dữ liệu ảnh. Hiện nay có
nhiều hệ thống cho phép tra cứu thông tin theo nội dung hình ảnh như như Google
Image Swirl, Bing, Tiltomo, Tineye, Pixolution…Các hệ thống trên đã đưa ra các kết
quả tìm kiếm rất tốt dựa trên ảnh mẫu.
2. LỊCH SỬ GIẢI QUYẾT VẤN ĐỀ
Tìm kiếm, truy vấn ảnh theo màu sắc, hình dạng, cấu trúc của ảnh không phải
là vấn đề mới mẻ, xa lạ, đã có khá nhiều người bỏ công sức để nghiên cứu, tìm hiểu,

giải quyết vấn đề này, họ đã xây dựng được các ứng dụng hữu ích cho các lĩnh vực
trong đời sống như: hệ thống tra cứu cây thuốc trong y học, nhận dạng khuôn mặt,
nhận dạng biển số xe, tìm kiếm sản phẩm…các hệ thống này khi đưa vào thực nghiệm
cho kết quả rất khả quan. Ngoài ra, còn có các bài báo khoa học nổi tiếng trình bày
chi tiết về vấn đề này như: “Texture - based Image Retrieval in MPEG - 7 Muitimedia
System”, “Computer Vision and Image Search Engines”, “Texture Features for
Browsing and Retrieval of Image Data”…nội dung, ý tưởng của các bài báo khoa học
này đã được nhiều người triển khai và cho ra kết quả gần như mong đợi.

GVHD: Ths Phạm Nguyên Hoàng

- Trang 1 -

SVTH: Nguyễn Tiến Đạt

Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor

3. MỤC TIÊU ĐỀ TÀI
Nghiên cứu áp dụng bộ lọc Gabor vào trong thiết kế hệ thống tìm kiếm ảnh theo
nội dung mà cụ thể là xây dựng các thuật toán trích chọn các đặc trưng về màu sắc,
hình dạng, kết cấu của ảnh bằng bộ lọc Gabor.
4. ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU
- Nghiên cứu cơ sở lý thuyết về đặc trưng nội dung ảnh và tìm kiếm ảnh theo
đặc trưng nội dung, sóng Gabor và việc trích xuất vector đặc trưng của ảnh, các kĩ
thuật xử lý ảnh và các phương pháp đo độ tương đồng giữa hai ảnh
- Xây dựng cơ sở dữ liệu ảnh, cơ sở dữ liệu các vector đặc trưng Gabor của tập
dữ liệu ảnh và xây hệ thống tìm kiếm ảnh theo nội dung.
5. NỘI DUNG NGHIÊN CỨU
Do tính đa dạng, phong phú về các đặc trưng của ảnh nên nội dung đề tài luận

văn chỉ tập trung nghiên cứu các vấn đề sau:
- Nghiên cứu về thuật toán biến đổi sóng Gabor và tạo ra các bộ lọc Gabor với
hướng và tần số khác nhau.
- Nghiên cứu cách trích trọn các vector đặc trưng về màu sắc, hình dạng và cấu
trúc của ảnh thông qua bộ lọc Gabor theo các hướng và tần số tương ứng.
- Nghiên cứu phương pháp đo độ tương đồng thông qua việc tính khoảng cách
Euclidean giữa các vector đặc trưng của ảnh.
- Nghiên cứu xây dựng hệ thống tìm kiếm ảnh theo nội dung sử dụng bộ lọc
Gabor tương tác với người dùng thông qua giao diện đồ họa.
6. NHỮNG ĐÓNG GÓP CỦA ĐỀ TÀI
Đề tài đã đưa ra được cách thức áp dụng bộ lọc Gabor để trích trọn đặc trưng
của ảnh, đồng thời đề xuất được phương pháp cải tiến giúp tăng số đặc trưng của ảnh.
Thông qua đó, triển khai thực nghiệm trên các tập dữ liệu khác nhau, kết quả đạt được
đã chứng minh mức độ hiệu quả của giải thuật đề xuất.

GVHD: Ths Phạm Nguyên Hoàng

- Trang 2 -

SVTH: Nguyễn Tiến Đạt

Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor

PHẦN II: NỘI DUNG LUẬN VĂN
CHƯƠNG 1: MÔ TẢ BÀI TOÁN

1. MÔ TẢ CHI TIẾT ĐỀ TÀI
Tìm kiếm ảnh theo nội dung (Content Based Images Retrieval CBIR) hay truy
vấn theo nội dung ảnh (Query Based Image Content QBIC) là một ứng dụng của thị

giác máy tính đối với bài toán tìm kiếm ảnh “Dựa vào nội dung ảnh (Content Based
Image)” nghĩa là việc tìm kiếm sẽ phân tích nội dung thực sự của các bức ảnh. Nội
dung ảnh ở đây được thể hiện bằng màu sắc, hình dạng, kết cấu (texture), các đặc
trưng cục bộ (local features)… hay bất cứ thông tin nào có từ chính nội dung ảnh.
Cụm từ CBIR được T.Kato đưa ra vào năm 1992 trong quá trình thu thập ảnh một
cách tự động từ cơ sở dữ liệu dựa trên biểu diễn màu sắc, hình dạng và kết cấu của
ảnh. Đối với hệ thống CBIR, trích chọn đặc trưng ảnh là bước tiền xử lý đây cũng là
bước quan trọng nhất và khó nhất trong hệ thống CBIR trước khi thực hiện các bước
tiếp theo là đo độ tương đồng, ghi chú và cuối cùng là hiển thị kết quả. Trong đề tài
này sẽ sử dụng những bộ lọc Garbor theo hướng và tần số khác nhau để trích các đặc
trưng trên, các bộ lọc này được xây dựng dựa trên hàm Gabor. Ảnh cần tìm kiếm sẽ
được rút trích vector đặc trưng bằng bộ lọc Gabor, sau đó đem so sánh độ tương đồng
với các vector đặc trưng của ảnh trong cơ sở dữ liệu và trả về kết quả những ảnh có
độ tương đồng gần nhất với ảnh cần tìm kiếm. Sơ đồ sau thể hiện khái quát cách thức
hoạt động của hệ thống tìm kiếm ảnh sử dụng bộ lọc Gabor
Đặc trưng của
ảnh tìm kiếm

Matching
Feature

Bộ CSDL
đặc trưng
ảnh

Hình 1: Sơ đồ khái quát hệ thống CBIR sử dụng bộ lọc Gabor
GVHD: Ths Phạm Nguyên Hoàng

- Trang 3 -

SVTH: Nguyễn Tiến Đạt

Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor
- Đầu tiên, tập cơ sở dữ liệu ảnh sẽ được rút trích đặc trưng tạo thành bộ cơ sở
dữ liệu đặc trưng ảnh. Sau đó ảnh tìm kiếm cũng sẽ được rút trích đặc trưng và đem
so sánh, tính toán khoảng cách với các đặc trưng trong bộ cơ sở dữ liệu đặc trưng
ảnh. Cuối cùng, trả về những ảnh có nét tương đồng nhiều nhất so với ảnh tìm kiếm
cho người dùng.
2. PHÂN TÍCH, ĐÁNH GIÁ CÁC GIẢI PHÁP CÓ LIÊN QUAN
Đặc trưng ảnh và các kĩ thuật trích chọn đặc trưng
a. Đặc trưng của ảnh.
Ba đặc trưng cơ bản thường được sử dụng trong thiết kế hệ thống CBIR là: đặc
trưng màu sắc, đặc trưng kết cấu, đặc trưng hình dạng.
- Đặc trưng màu sắc là một đặc trưng nổi bật và được sử dụng phổ biến nhất
trong tìm kiếm ảnh theo nội dung. Mỗi một điểm ảnh (thông tin màu sắc) có thể được
biểu diễn như một điểm trong không gian màu sắc ba chiều. Như đã nói ở phần trên,
các không gian màu sắc thường dùng là: RGB, HSV, Munsell, CIE…. Tìm kiếm ảnh
theo màu sắc tiến hành tính toán biểu đồ màu cho mỗi ảnh để xác định tỉ trọng các
điểm ảnh của ảnh mà chứa các giá trị đặc biệt (màu sắc). Các nghiên cứu gần đây
đang cố gắng phân vùng ảnh theo các màu sắc khác nhau và tìm mỗi quan hệ giữa
các vùng này.
- Đặc trưng về kết cấu hay cấu trúc nhằm tìm ra mô hình trực quan của ảnh và
cách thức chúng được xác định trong không gian. Kết cấu được biểu diễn bởi các
texel, sau đó được đặt vào một số các tập phụ thuộc vào số kết cấu được phát hiện
trong ảnh. Các tập này không chỉ xác định các kết cấu mà còn chỉ rõ vị trí các kết cấu
trong ảnh. Việc xác định các kết cấu đặc biệt trong ảnh đạt được chủ yếu bằng cách
mô hình các kết cấu như những biến thể cấp độ xám 2 chiều. Ví dụ một số loại kết
cấu:

Hình 2: Ví dụ về một số loại kết cấu.

GVHD: Ths Phạm Nguyên Hoàng

- Trang 4 -

SVTH: Nguyễn Tiến Đạt

Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor
- Hình dạng của một ảnh hay một vùng là một đặc trưng quan trọng trong việc
xác định và phân biệt ảnh trong nhận dạng mẫu. Mục tiêu chính của biểu diễn hình
dạng trong nhận dạng mẫu là đo thuộc tính hình học của một đối tượng được dùng
trong phân lớp, so sánh và nhận dạng đối tượng.
b. Các kĩ thuật trích chọn đặc trưng ảnh.
Có nhiều nghiên cứu để trích đặc trưng ảnh và ứng dụng vào tìm kiếm ảnh như:
đặc trưng dựa trên năng lượng các băng con của biến đổi wavelets, đặc trưng dựa trên
hàm mật độ Gauss chung (GGD- Generalized Gaussian 4 Density), đặc trưng dựa
trên mô hình Markov ẩn (HMM – Hidden Markov Model), đặc trưng dựa trên điểm
đặc thù, đặc trưng dựa trên kết hợp biến đổi wavelets.
Kĩ thuật đo sự tương đồng giữa hai đặc trưng
Hệ thống truy vấn, tìm kiếm ảnh theo nội dung yêu cầu những phương pháp dựa
trên những đặc điểm nguyên thủy để so sánh độ tương đồng giữa ảnh cần tìm kiếm
và tất cả những hình ảnh trong tập ảnh. Mặc dù vậy sự tương tự hoặc sự khác nhau
giữa các ảnh không chỉ được xác định theo một cách. Số lượng của ảnh tương tự sẽ
thay đổi khi yêu cầu tìm kiếm thay đổi. Để đo độ tương đồng giữa hai ảnh, cần có
một phép đo sự tượng tự giữa các vector đặc trưng của hai ảnh. Hiện nay, có nhiều
phương pháp để đo độ tương đồng như: Minkowski (gồm phép đo city block hoặc
Manhattan và Euclidean), chi-square, đo theo lý thuyết thông tin (gồm phép đo
Kullback-Leibler divergence và Jensen Shannon divergence), Bhattacharyya,

Mahalanobis, Chebyshev, Cosine, Correlation, Spearman.
Tiếp cận, chọn lựa giải pháp
Trong đề tài này tập trung vào bài toán tìm kiếm ảnh dựa theo nội dung sử dụng
bộ lọc Gabor hay nói cách khác là tìm hiểu các phương pháp trích chọn đặc trưng ảnh
bằng bộ lọc Gabor và đo sự tương đồng của ảnh theo phương pháp Minkowski bằng
phép đo Euclidean để tìm kiếm tập ảnh kết quả gần với ảnh cần tìm kiếm nhất trong
tập cơ sở dữ liệu ảnh.

GVHD: Ths Phạm Nguyên Hoàng

- Trang 5 -

SVTH: Nguyễn Tiến Đạt

Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor

CHƯƠNG 2: THIẾT KẾ VÀ CÀI ĐẶT HỆ THỐNG

1. THIẾT KẾ HỆ THỐNG
2.1.1. Sóng Gabor Wavelets
- Hàm Gabor Wavelets được đề xuất lần đầu tiên bởi Dennis Gabor, đây cũng
là một công cụ để phát hiện tín hiệu từ tạp nhiễu và để phục vụ như một cơ sở cho
việc biến đổi Fourier trong các ứng dụng lý thuyết thông tin. Hàm Gabor dạng một
chiều có công thức như sau:

𝑔𝜎,𝑓0 (𝑥) =

1 𝑥 2

1

√

. exp [− ( ) ] . exp[2𝜋𝑗𝑓0 𝑥]
2𝜋𝜎
2 𝜎

(1)

- Sau đó, hàm Gabor Wavelets được tổng quát hóa thành dạng hai chiều và được
sử dụng rộng rãi trong nhiều ứng dụng xử lý ảnh trong máy tính. Hàm Gabor dạng 2
chiều có công thức như sau:

𝑔𝜎𝑥𝜎𝑦 𝑓0 (𝑥, 𝑦) =

1
2𝜋𝜎𝑥 𝜎𝑦

1

𝑥2

2

𝜎2𝑥

. exp [− . (

+

𝑦2
𝜎2𝑦

) + 2𝜋𝑗𝑓0 𝑥] (2.1)



𝑔𝜎𝑥𝜎𝑦 𝑓0 (𝑥, 𝑦) =

1
2𝜋𝜎𝑥 𝜎𝑦

1

𝑥2

2

𝜎2𝑥

. exp [− . (

+

𝑦2
𝜎2 𝑦

)] cos(2𝜋𝑓0 𝑥𝑐𝑜𝑠(𝜃)) (2.2)

Trong đó: + σx, σy là hằng số trong không gian của hàm Gauss tương ứng theo chiều
x và y.
+ f0 là tần số sóng điều chế (tần số trung tâm) của hàm Gabor Wavelets.
+ θ là góc xoay của bộ lọc Gabor.
- Sóng Gabor wavelets có hình dạng:

Hình 3: phần thực (xanh) và phần ảo (đỏ) của sóng Gabor

GVHD: Ths Phạm Nguyên Hoàng

- Trang 6 -

SVTH: Nguyễn Tiến Đạt

Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor
2.1.2. Bộ lọc Gabor Wavelets
- Trong thực tế, người ta sử dụng công thức (2.1 hoặc 2.2) để tạo ra các bộ lọc
Gabor với hướng n và tần số m khác nhau. Sau đó áp dụng các bộ lọc đó lên ảnh để
rút trích vector cấu trúc của ảnh đó. Từ hàm g(x, y) được gọi là hàm Gabor “mẹ” có
công thức (2), ta sẽ thu được các bộ lọc tương tự bằng cách thay đổi tần số và xoay
hướng của g(x, y) thông qua hàm sau:

𝑔𝑚𝑛 (𝑥, 𝑦) = 𝑔(𝑥̅ , 𝑦̅ ) ,

m, n = integer
(3)
Trong đó: + m, n là tần số và hướng của bộ lọc Gabor tương ứng, với m
 0...M-1; n  0…N-1 (M, N là số tần số và số hướng cần tạo)
+ 𝑥̅ = 𝑥𝑐𝑜𝑠𝜃 + 𝑦𝑠𝑖𝑛𝜃

+ 𝑦̅ = −𝑥𝑠𝑖𝑛𝜃 + 𝑦𝑐𝑜𝑠𝜃
+ 𝜃 = 𝑛𝜋/𝑁 là góc xoay của bộ lọc Gabor.
+ 𝑓0 € M.
- Biểu diễn dạng ảnh của các bộ lọc Gabor Wavelets với 5 tần số và 8 hướng.

Hình 4: Phần thực (a) và biên độ (b) của bộ lọc Gabor Wavelets.
- Biến đổi Gabor Wavelets của một ảnh cho trước được tính bởi công thức sau:

𝑊𝑚𝑛 (𝑥, 𝑦) = ∫ 𝐼(𝑥, 𝑦)𝑔𝑚𝑛 ∗ (𝑥 − 𝑥1 , 𝑦 − 𝑦1 )𝑑𝑥1 𝑑𝑦1 (4)
Với I(x, y) là mức xám tại điểm ảnh (x, y)
GVHD: Ths Phạm Nguyên Hoàng

- Trang 7 -

SVTH: Nguyễn Tiến Đạt

Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor
- Nói cách khác, ảnh đầu vào sẽ được chập với từng mặt nạ lọc Gabor đã được
tạo ra. Sau đó, sẽ tính các giá trị trung bình và độ lệch chuẩn của các điểm ảnh trên
mỗi ảnh đầu ra tương ứng với những bộ lọc Gabor có tần số và hướng khác nhau. Hai
giá trị này chính là một đặc trưng Gabor của ảnh ứng với tần số m và hướng n. Giá
trị trung bình và độ lệch chuẩn đó được tính theo công thức sau:

𝜇𝑚𝑛 = ∬|𝑊𝑚𝑛 (𝑥𝑦)|𝑑𝑥 𝑑𝑦

(5)

𝜎𝑚𝑛 = √∬(|𝑊𝑚𝑛 (𝑥𝑦)| − 𝜇𝑚𝑛 )2 𝑑𝑥 𝑑𝑦

(6)

- Một vector đặc trưng Gabor đại diện cho bức ảnh I được xây dựng từ các giá
trị 𝜇𝑚𝑛 và 𝜎𝑚𝑛 bằng cách ghép nối tất cả các giá trị đó theo dòng. Giả sử ta sử dụng
M tần số và N hướng xoay thì vector đặc trưng ảnh I là:
𝑓(𝐼) = [𝜇00 𝜎00 𝜇01 𝜎01 … 𝜇𝑀−1 𝑁−1 𝜎𝑀−1 𝑁−1 ]
(7)
- Các vector đặc trưng này sẽ tạo lên bộ cơ sở dữ liệu các vector đặc trưng của
hệ thống tìm kiếm ảnh.

Hình 5. Tạo bộ cơ sơ dữ liệu về các đặc trưng của ảnh.
2.1.3. Phương pháp áp dụng bộ lọc Gabor trong đề tài
Nhằm tăng số chiều của vector đặc trưng Gabor cũng như nâng cao hiệu quả
tìm kiếm của hệ thống, đồng thời giảm thời gian tìm kiếm, ta chọn 2 tần số và 4 hướng
xoay để tạo ra các bộ lọc Gabor và áp dụng lên ảnh theo cách sau:

GVHD: Ths Phạm Nguyên Hoàng

- Trang 8 -

SVTH: Nguyễn Tiến Đạt

Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor
- Để rút trích đặc trưng về hình dạng và cấu trúc của ảnh được chính xác hơn,
ta chia ảnh gốc thành bốn phần sau đó áp dụng các bộ lọc Gabor lên từng phần, ta sẽ
thu được bốn vector đặc của bốn phần trong một ảnh và bốn vector này cũng là những
vector đặc trưng về cấu trúc và hình dạng của ảnh gốc.

𝜇00 (I_00) 𝜎00 (I_00) … 𝜇𝑀−1 𝑁−1 (I_00) 𝜎𝑀−1 𝑁−1 (I_00)

00

01

10

11
I

Texture

𝜇00 (I_01) 𝜎00 (𝐼_01) … 𝜇𝑀−1 𝑁−1 (I_01) 𝜎𝑀−1 𝑁−1 (I_01)

Features

𝜇00 (I_10) 𝜎00 (I_10) … 𝜇𝑀−1 𝑁−1 (I_10) 𝜎𝑀−1 𝑁−1 (I_10)

Extraction

𝜇00 (I_11) 𝜎00 (I_11) … 𝜇𝑀−1 𝑁−1 (I_11) 𝜎𝑀−1 𝑁−1 (I_11)

Hình 6: Rút trích vector đặc trưng theo vùng ảnh.

- Đối với đặc trưng về màu sắc, để rút trích đặc trưng Gabor của ảnh ta tách ảnh
thành ba kênh theo hệ màu RGB sau đó áp dụng các bộ lọc Gabor trên 3 kênh màu
của ảnh ta thu được ba vector đặc trưng Gabor tương ứng với ba kênh màu, ba vector
này cũng là một đặc trưng Gabor về màu sắc của ảnh gốc

R
G

B

I

Texture

𝜇00 (R) 𝜎00 (R) … 𝜇𝑀−1 𝑁−1 (R) 𝜎𝑀−1 𝑁−1 (R)

Features

𝜇00 (G) 𝜎00 (G) … 𝜇𝑀−1 𝑁−1 (G) 𝜎𝑀−1 𝑁−1 (G)

Extraction

𝜇00 (B) 𝜎00 (B) … 𝜇𝑀−1 𝑁−1 (B) 𝜎𝑀−1 𝑁−1 (B)

Hình 7: Rút trích vector đặc trưng theo kênh màu

Sau khi thực hiện hai giai đoạn trên ta thu được một bộ các vector đặc trưng
cho một ảnh, các bộ vector này sẽ tạo thành bộ cơ sở dữ liệu vector đặc trưng
Gabor cho hệ thống tìm kiếm ảnh.
2.1.4. Đo độ tương đồng giữa hai ảnh
Đề tài áp dụng phép đo Euclidean để đo sự tương tự giữa hai vetor đặc trưng
của ảnh. Giả sử ta có hai vector đặc trưng i, j của ảnh I và ảnh J, độ đo tương đồng
giữa hai ảnh I và ảnh J được tính theo công thức (cách viết khác của khoảng cách
Euclidean):

GVHD: Ths Phạm Nguyên Hoàng

- Trang 9 -

SVTH: Nguyễn Tiến Đạt

Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor

𝑠𝑚(𝑖, 𝑗) = ∑𝑀,𝑁
𝑚=0,𝑛=0 (|
(𝑖)

(𝑗)

(𝑖)

(𝑗)

(𝑖)

(𝑗)

𝜇𝑚𝑛 −𝜇𝑚𝑛
𝜎(𝜇𝑚𝑛 )

|+ |

(𝑖)

(𝑗)

𝜎𝑚𝑛 −𝜎𝑚𝑛

𝜎(𝜎𝑚𝑛 )

|)

(8)

Trong đó: + 𝜇𝑚𝑛 , 𝜇𝑚𝑛 là giá trị trung bình các điểm ảnh của ảnh I, I ứng với
tỉ lệ m và hướng xoay n.
+ 𝜎𝑚𝑛 , 𝜎𝑚𝑛 là độ lệch chuẩn các giá trị điểm ảnh của ảnh I, J ứng
với tỉ lệ m và hướng xoay n.
+ 𝜎(𝜇𝑚𝑛 ) là độ lệch chuẩn của các giá trị trung bình trên toàn bộ
các vector đặc trưng trong cơ sở dữ liệu theo tỉ lệ m và hướng xoay
n
+ 𝜎(𝜎𝑚𝑛 ) là độ lệch chuẩn của các giá trị độ lệch chuẩn trên toàn
bộ tập các vector đặc trưng trong cơ sở dữ liệu ứng với tỉ lệ m và
hướng xoay n
2.1.5. Trả về kết quả cho một tìm kiếm ảnh
- Để trả về kết quả cho một lượt tìm kiếm ảnh với những ảnh trong cơ sở dữ liệu
có độ tương đồng gần giống với ảnh cần tìm kiếm, ta cần tính khoảng cách Euclidean
của vector đặc trưng ảnh cần tìm kiếm với tất cả các vector đặc trưng trong cơ sở dữ
liệu theo công thức (8), ta có ảnh tìm kiếm I và L ảnh trong cơ sở dữ liệu:

- Sau khi tính, ta thu được tập các giá trị là khoảng cách giữa vector đặc trưng
ảnh cần tìm kiếm với các vector đặc trưng trong cơ sở dữ liệu.
𝐷 = {𝑠𝑚(𝐼, 𝑓0 ), 𝑠𝑚(𝐼, 𝑓1 ), 𝑠𝑚(𝐼, 𝑓2 ), … , 𝑠𝑚(𝐼, 𝑓𝐿−1 ), }
(9)
- Sau đó, lấy ra k phần tử trong tập D có giá trị nhỏ nhất (sm càng nhỏ, độ tương
đồng càng lớn), ánh xạ đến cơ sở dữ liệu ảnh theo chỉ mục đã lập cho các vector đặc
trưng trong cơ sở dữ liệu các vector đặc trưng của ảnh.

GVHD: Ths Phạm Nguyên Hoàng

- Trang 10 -

SVTH: Nguyễn Tiến Đạt

Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor
2. CÀI ĐẶT HỆ THỐNG
- Dựa vào cơ sở lý thuyết trên ta tiến hành thực nghiệm việc rút trích các vector
đặc trưng Gabor của ảnh cần tìm kiếm và ảnh trong cơ sở dữ liệu, đo độ tương đồng
giữa chúng và trả về kết quả ảnh có độ tương đồng gần nhất với ảnh tìm kiếm. Hệ
thống được xây dựng trên IDE Qt Creator, viết bằng ngôn ngữ C++ kết hợp với thư
viện hỗ trợ xử lý ảnh OpenCV và một số thư viện trong Qt Creator.
+ Qt Creator là một toolkit được xây dựng trên C++ dùng để tạo giao diện người
dùng (GUI – Graphic User Interface) do Trolltech thiết kế và duy trì. Qt hỗ trợ đa hệ
điều hành (mutiplatform), cung cấp cho các nhà phát triển ứng dụng đầy đủ các chức
năng cần thiết để xây dựng ứng dụng GUI. Qt hỗ trợ đầy đủ cho lập trình hướng đối
tượng, truy xuất database, file system, socket… và điều đặt biệt là cho phép lập trình
component. Từ khi được giới thiệu vào đầu năm 1996, Qt đã được sử dụng để tạo ra
hàng nghìn ứng dụng thành công trên khắp thế giới, là phần lõi (core) của KDE – môi
trường desktop nổi tiếng trên Linux (KDE Linux desktop environment), và là một
component chuẩn của các bản phân phối (distro) Linux chuyên nghiệp khác.
Qt Creator hỗ trợ các hệ điều hành sau:
* MS/Windows: 95, 98, NT 4.0, ME, 2000, and XP
* Unix/X11: Linux, Sun Solaris, HP-UX, Compaq Tru64 UNIX, IBM
AIX, SGI IRIX…
* Macintosh: Mac OS X
* Embedded - Các platform Linux hỗ trợ framebuffer.
+ OpenCV là một thư viện mã nguồn mở của Intel, phục vụ cho việc nghiên cứu

hay phát triển về thị giác máy tính. Tối ưu hóa và xử lí các ứng dụng trong thời gian
thực. Giúp cho việc xây dựng các ứng dụng xử lí ảnh, thị giác máy tính,.... một cách
nhanh hơn. OpenCV có hơn 500 hàm khác nhau, được chia làm nhiều phần phục vụ
các côngviệc như: xử lí hình ảnh y tế, an ninh, camera quan sát, nhận dạng, robots...
Ngoài thư viện này, còn có nhiều thư viện hỗ trợ cho việc xử lý ảnh như: EmguCV,
Aforge...
+ Ngoài ra, một số thư viện trong Qt Creator được sử dụng.
- Đầu vào của hệ thống: Một ảnh cần tìm kiếm do người dùng chọn.
- Đầu ra của hệ thống: Tập k ảnh gần giống với ảnh cần tìm kiếm.

GVHD: Ths Phạm Nguyên Hoàng

- Trang 11 -

SVTH: Nguyễn Tiến Đạt

Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor

CHƯƠNG 3: KẾT QUẢ NGHIÊN CỨU VÀ ĐÁNH GIÁ

1. KẾT QUẢ NGHIÊN CỨU
3.1.1. Kết quả điều tra, thu thập thông tin
Các tập dữ liệu thực nghiệm cho hệ thống được cung cấp bởi giảng viên hướng
dẫn đề tài, bao gồm ba tập:
- Tập thứ nhất là tập Caltech-4: tập này có 4090 ảnh, trong đó gồm 5 lớp là: mặt
người, xe môtô, máy bay, cảnh thiên nhiên và xe ôtô. Tập dữ liệu này tương đối ổn
định do đối tượng trong mỗi lớp có hình dạng kết cấu rõ ràng. Một số ảnh trong tập
dữ liệu:

Hình 8: Một số ảnh trong tập Caltech-4
- Tập thứ hai là tập Caltech-101: tập này chứa 5532 ảnh, gồm 54 lớp khác nhau,
đây là tập dữ liệu khó nhất trong ba tập dữ liệu thử nghiệm do số lượng lớp nhiều và
đồng thời đối tượng của từng lớp không có hình dạng kết cấu nhất định.

GVHD: Ths Phạm Nguyên Hoàng

- Trang 12 -

SVTH: Nguyễn Tiến Đạt

Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor

Hình 9: Một số ảnh trong tập dữ liệu Caltech -101
- Tập dữ liệu cuối cùng là tập Unbench: tập này gồm 10200 ảnh và số lớp lên
đến 2550 lớp, điều đặc biệt của tập dữ liệu này là mỗi lớp đối tượng gồm có bốn ảnh
chụp với góc độ khác nhau.

GVHD: Ths Phạm Nguyên Hoàng

- Trang 13 -

SVTH: Nguyễn Tiến Đạt

Tìm kiếm ảnh theo nội dung sử dụng bộ lọc Gabor

Hình 10: Một số ảnh trong tập dữ liệu Unbench
3.1.2. Sơ đồ mô hình hệ thống CBIR sử dụng bộ loc Gabor

Mục tiêu cuối cùng của đề tài là xây dựng được hệ thống tìm kiếm ảnh theo nội
dung sử dụng bộ lọc Gabor và dưới đây là sơ đồ hệ thống đã xây dựng được:

GVHD: Ths Phạm Nguyên Hoàng

- Trang 14 -

SVTH: Nguyễn Tiến Đạt

tìm kiếm ảnh theo nội dung sử dụng bộ lọc gabor

Tài liệu liên quan

Tài liệu bạn tìm kiếm đã sẵn sàng tải về