ĐỒ án đề tài mô HÌNH TÚI đặc TRƯNG, GÁN mềm VÀ yếu tố KHÔNG GIAN

HVTH:
1211044 – Trần Gia Minh
1211049 – Lưu Minh Ngọc
1211052 – Nguyễn Toàn Nhân
1211054 – Nguyễn Thanh Phúc
1211004 – Huỳnh Lê Hoài Bắc
MÔ HÌNH TÚI ĐẶC TRƯNG, GÁN
MỀM VÀ YẾU TỐ KHÔNG GIAN
GVHD:
TS. Lý Quốc Ngọc
ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH
TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN
Nội dung

Mô hình giỏ đặc trưng

Mô hình gán mềm

Mô hình yếu tố không gian
Mô hình giỏ đặc trưng
Mô hình túi từ ( Bag of Words – BOW )

Được sử dụng thành công trong bài toán
phân loại văn bản.

Một văn bản sẽ được mô tả theo mô hình
bởi lược đồ tần suất xuất hiện của các từ
trong văn bản đó.
Mô hình túi từ ( Bag of Words – BOW )
Các bước thực hiện mô hình BOW:


Bước 1: Trích chọn tập đặc trưng cục bộ cho mỗi đối tượng

Bước 2: Gom nhóm đặc trưng, mỗi nhóm tạo thành một từ
(word). Tập các từ tạo thành từ điển (codebook)

Bước 3: Mỗi đối tượng sẽ được biểu diễn bởi một lược đồ tần
suất xuất hiện của các từ.

Bước 4: Khi đưa một đối tượng vào truy vấn sẽ thực hiện lại 3
bước trên sau đó tiến hành phân lớp đối tượng đó.
Mô hình túi từ ( Bag of Words – BOW )
[1] Bag-of-features for category classification - Cordelia Schmid - 2011
Mô hình túi từ ( Bag of Words – BOW )

Ưu điểm:

Đơn giản, dễ dàng tính toán

Bất biến với các phép biến đổi cũng như đối tượng che khuất, chiếu
sáng và sự biến động giữa các đối tượng trong cùng một lớp.

Nhược điểm:

Thuật toán gom nhóm

Đặc trưng, kích thước từ vựng

Gán trọng số cho lược đồ.
Mô hình giỏ đặc trưng
Khi mô hình BOW được áp dụng trong lĩnh vực thị

giác máy tính thì việc áp dụng này dựa trên biểu diễn
đặc trưng của các điểm trọng yếu. Mỗi đặc trưng sẽ
tương tứng với một từ.
Mô hình giỏ đặc trưng

Bước 1: Rút trích đặc trưng (Phát hiện điểm trọng yếu và
mô tả điểm trọng yếu)
Phương pháp:
•
Harris affine detector
•
SIFT descriptors
•
…
Mô hình giỏ đặc trưng

Bước 2: Gom nhóm đặc trưng tạo thành từ điển
(codebook)
Các phương pháp gom nhóm
•
K-means
•
Gaussian mixture model
•
…
Mô hình giỏ đặc trưng

Bước 3: Mỗi đối tượng sẽ được biểu diễn bởi một
lược đồ tần suất xuất hiện của các từ.
Mô hình giỏ đặc trưng


Bước 4: Khi đưa một đối tượng vào truy vấn sẽ thực
hiện lại 3 bước trên sau đó tiến hành phân lớp đối
tượng đó.
Các phương pháp phân lớp:
•
Naïve Bayes
•
SVM
Quyết định
Tập các đặc trưng
đã được gom nhóm
Quyết định
Huấn luyện
Rút trích đặc trưng
codebook
Biểu diễn ảnh
Tập các đặc trưng
đã được gom nhóm
Truy Vấn
Cải tiến codebook

K-means ( Phổ biến hiện nay. Tuy nhiên chi phí gán lúc huấn
luyện và truy vấn còn lớn )

Randomized Clustering Forests (ERC-Forests) - Tree based
coders ( Nhanh hơn nhưng codebook ít rõ ràng hơn)

Supervised Codebook Learning with Error Backpropagation


Supervised Codebook Learning Through Cluster Reassignment
[2] Supervised Learning and Codebook Optimization
for Bag-of-Words Models - Mingyuan Jiu,Christian Wolf ,Christophe Garcia, Atilla Baskurt – 2012
[3] Fast Discriminative Visual Codebooks using Randomized Clustering Forests - Frank Moosmann, Bill Triggs and Frederic Jurie
Mô hình gán mềm
Mô hình gán mềm

Soft assignment là một kỹ thuật nhận biết các giá trị
liên tục dựa vào các giá trị lân cận nhau
Mô hình gán mềm

Sử dụng một vector trọng số được gán vào các vùng
lân cận

Giá trị của trọng số phụ thuộc vào khoảng cách giữa
descriptor và vùng trung tâm

Ý tưởng: Vector trọng số đóng vai trò như một hệ tọa
độ cục bộ.


w: trọng số
d: khoảng cách từ điểm đặc trưng tới vùng
trung tâm
: độ biến dạng về không gian
%
Mô Hình Gán Mềm
Mô Hình Gán Mềm
Spatial re-ranking


Tổng quan

Các phép biến đổi và cách ước lượng

So sánh
Tổng quan
Tại sao sử dụng spatial re-ranking?

Giúp cải thiện hiệu năng so với mô hình túi từ
Minh hoạ
Spatial re-ranking

Tổng quan

Các phép biến đổi và cách ước lượng

So sánh
Các phép biến đổi và cách ước lượng
Có 2 độ đo lỗi mà chúng ta cần quan tâm là:

Lỗi về hình dáng và vị trí phát hiện của đặc trưng

Lỗi outliers do các đặc trưng bị thiếu hoặc không thích
hợp.
 Giải pháp là RANSAC
LO-RANSAC
RANSAC  LO-RANSAC
Tạo các giả thiết của một mô hình xấp xỉ
Lặp đi lặp lại việc đánh giá lại các giải thiết triển vọng bằng
cách lấp đầy các phép biến đổi


Tạo ra các giả thiết chỉ có một cặp duy nhất của các đặc
trưng tương ứng

 giảm đáng kể số lượng các giả thiết cần phải được xem xét
và tăng tốc cho thủ tục matching
Loại bỏ tính ngẫu nhiên của giải thuật  thủ tục xác định