Truy xuất thông tin máy học và ứng dụng

Báo cáo chuyên đề NCS

MÁY HỌC VÀ ỨNG DỤNG

Hướng dẫn khoa học: GS.TSKH. HOÀNG VĂN KIẾM

1


Nội dung
1. Giới thiệu
2. Nội dung chuyên đề
1.
2.
3.
4.

Xác định các điểm đặc trưng cục bộ
Mô tả đặc trưng ảnh
Các phương pháp máy học và ứng dụng
Kết quả thực nghiệm

3. Kết luận và hướng phát triển tiếp theo


1. Giới thiệu
• Nhu cầu tìm kiếm và truy xuất dựa trên các khái
niệm ngữ nghĩa trong ảnh.
•  Cần phải có những mô hình và cách mô tả
ảnh sao cho có thể xác định các khái niệm có
trong ảnh/video.

Bài toán xác định khái niệm
• Cho trước tập dữ liệu huấn luyện gồm:
– Danh sách các khái niệm
– Tập ảnh liên quan đến khái niệm: cho biết một
ảnh có chứa những khái niệm nào và các ảnh
thuộc cùng một khái niệm

• Yêu cầu: cần xác định xem ảnh mới có chứa
những khái niệm nào ?
•  Đây là bài toán phân lớp ảnh trong trường
hợp một ảnh có thể thuộc nhiều lớp


Những thách thức
• Tập dữ liệu là các ảnh chia sẻ từ internet,
hình ảnh trong thực tế,…


Những thách thức
• Một khái niệm có nhiều ảnh khác nhau

timeofday_day

Chair


Những thách thức
• Một ảnh có chứa nhiều khái niệm khác

nhau
Ảnh có
chứa 9 khái
niệm


Những thách thức
• Dữ liệu huấn luyện bị nhiễu.
• ( ảnh chứa mặt trăng như thuộc khái niệm
timeofday_day hoặc ảnh chứa mặt trời nhưng
được gán là timeofday_night… )


Những kết quả liên quan
• Kết quả cao nhất trong năm 2012 trên tập
dữ liệu này có MiAP là 0.4367


Những kết quả liên quan
• Bảng so sánh kết quả giữa các khái niệm


Mô hình chung xác định khái niệm

Các khái niệm


Rút trích đặc trưng ảnh
• Mỗi ảnh sẽ được mô tả bằng một vector
đặc trưng sao cho có thể thực hiện các

tính toán và so sánh dựa trên vector đặc
trưng.
• Trong chuyên đề này, chúng tôi xét các
đặc trưng cục bộ dựa trên hình ảnh
(visual): SIFT, SURF,…


Đặc trưng cục bộ
Các bước xác định đặc trưng cục bộ:
• Xác định các điểm quan tâm (keypoint,
interest point) trong ảnh.
• Mô tả các điểm quan tâm ( descriptors)
bằng vector nhiều chiều có dạng số.


Đặc trưng cục bộ
• Gọi là đặc trưng cục bộ vì kết quả so sánh dựa trên
những điểm cục bộ giống nhau giữa hai ảnh


Xác định các điểm keypoint
• Yêu cầu: xác định các điểm bất biến (hoặc biến
đổi nhỏ) với các phép biến đổi như tịnh tiến,
xoay, tỉ lệ khác nhau, thay đổi độ sáng, góc
nhìn khác nhau…


Xác định các điểm keypoint
• Có nhiều phương pháp: Hessain, Harris,
SIFT, SURF, …

Các phương pháp mô tả keypoint
• Có nhiều phương pháp mô tả:
– SIFT, SURF, ORB, BRIEF, FREAK
– ColorDescriptor
–…

• VD: <CIRCLE 146 104 3.56762 0 4.87636e005>; 1 0 0 0 0 0 1 10 2 1 7 1 0 0 1 8 0 3 6 0 0
0 4 3 0 0 0 0 0 0 4 5 6 1 0 ....


Biễu diễn vector đặc trưng
• Vì số lượng descriptor trong ảnh thường
rất lớn và khác nhau ( từ vài trăm đến vài
chục nghìn).
• Chi phí để thực hiện so sánh tìm điểm
giống nhau giữa các ảnh là rất lớn.
•  Cần phải biểu diễn ảnh trong một
không gian có số chiều giống nhau.


Mô hình bag of word
• Xây dựng từ điển các từ (visual word)


Mô hình bag of word
• Thống kê tần suất các từ có trong ảnh 
vector đặc trưng cho ảnh

Mô hình bag of word
• Ví dụ: biểu diễn vector đặc trưng cho ảnh


Các thuật toán máy học
• Áp dụng phương pháp học có giám sát
để tiến hành xác định các khái niệm:
thuật toán SVM,…
• Áp dụng phương pháp học không giám
sát để xây dựng các visual word: thuật
toán K-Means, GMM,..


Quá trình phân lớp ( xác định khái niệm)
• Giai đoạn huấn luyện: dựa trên tập mẫu
• Xác định các ảnh thuộc mẫu dương và

• Các ảnh thuộc mẫu âm

• Dùng phương pháp SVM để học

• Giai đoạn kiểm tra: xác định xem ảnh kiểm tra có chứa khái niệm
không ?


Kết quả thực nghiệm
• Tập dữ liệu chuẩn của ImageClef 2012:
– Train: 15.000 ảnh (kích thước 500x, x500)
– Test: 10.000 ảnh

– Số khái niệm sử dụng 20/94

• Đặc trưng:
– Sử dụng 3 phương pháp rút trích keypoint:
SIFT, SURF và HARRIS
– Sử dụng 3 phương pháp mô tả tương ứng:
SIFT, SURF và ColorDescriptor
(OpponentSIFT)


Kết quả thực nghiệm
• Phương pháp máy học:
– Xác định khái niệm:
• SVM ( one versus all)
• Mẫu dương: dựa trên tập huấn luyện
• Mẫu âm: chọn ngẫu nhiên

– Xác định từ trong từ điển: dùng k-means++

• Từ điển
– Sử dụng 3 kích thước: 1.000, 1.500 và 2.000
từ

• Độ đo: MAP và GMAP