Description of interest regions with LBP

D
e
s
c
r
i
p
t
i
o
n

o
f

I
n
t
e
r
e
s
t

R
e
g
i
o
n
s

w
i
t
h

L
o
c
a
l

B
i
n
a
r
y

P
a
t
t
e
r
n
s
M
Ô

T

Ả

V
Ù
N
G

Q
U
A
N

T
Â
M

V
Ớ
I

M
Ô

H
Ì
N
H

N
H

Ị

P
H
Â
N

C
Ụ
C

B
Ộ
N
h
ó
m

t
h
ự
c

h
i
ệ
n
:

N

g
u
y
ễ
n

H
u
y

L
i
n
h
N
g
u
y
ễ
n

T
h
ị

H
à
G
i
á

o

v
i
ê
n

h
ư
ớ
n
g

d
ẫ
n
:
P
h
a
n

T
h
ị

H
ả
i

H
ồ
n
g
1
NỘI DUNG
TÁC GIẢ
KHÁI QUÁT CHUNG
TỪ KHÓA
1.GIỚI THIỆU
2.PHƯƠNG PHÁP SIFT VÀ LBP
3.ĐỐI XỨNG TÂM LBP
4.MÔ TẢ CS-LBP
5.ĐÁNH GIÁ THỬ NGHIỆM
6.KẾT LUẬN
2
TÁC GIẢ
3
KHÁI QUÁT CHUNG:
Bài viết này trình bày một phương pháp mới để mô tả vùng quan tâm.
Chúng tôi đã thông qua ý kiến cho rằng sự xuất hiện của một vùng quan tâm có thể được đặc trưng tốt bởi các đặc trưng (trên mỗi) vùng của
nó.
Mô tả hoàn thiện nhất đã được xây dựng dựa trên ý tưởng này là mô tả SIFT sử dụng gradient như đặc trưng vùng.
Trong bài viết này, chúng tôi giới thiệu một kết cấu đặc trưng mới, gọi là CS-LBP, là bản chỉnh sửa của đặc trưng LBP nổi tiếng. Kết hợp có
chọn lọc những thế mạnh của SIFT và LBP, chúng tôi sử dụng CS-LBP như đặc trưng cục bộ trong thuật toán SIFT. Kết quả của mô tả được
gọi là mô tả CS-LBP.
4
Từ khóa:
Mô tả vùng, phát hiện vùng, mô hình nhị phân cục bộ (LBP), SIFT, trùng lặp hình ảnh, công nhận đối tượng
5

1. GIỚI THIỆU

Phát hiện đặc trưng vùng của hình ảnh và mô tả những gì nhận được gây được rất nhiều chú ý trong những năm gần đây.

Ý tưởng cơ bản là trước tiên phát hiện vùng quan tâm có sự biến đổi so với 1 lớp chuyển đổi.

Sau đó, với mỗi vùng phát hiện được, một mô tả bất biến sẽ được xây dựng.

Một khi chúng ta có sự tính toán các mô tả, chúng ta có thể thấy được những vùng trùng lặp giữa các ảnh.
6
1. GIỚI THIỆU

Các vùng quan tâm được sử dụng làm đầu vào của phương pháp mô tả vùng được cung cấp bởi thiết bị dò vùng quan tâm.

Có rất nhiều cách tiếp cận khác nhau để dò tìm khu vực đã được đề xuất; lấy ví dụ, một số máy dò phát hiện góc giống như vùng
trong khi những máy khác lại trích xuất các đốm màu.

Bài viết này tập trung vào mô tả vùng quan tâm, chúng tôi mời độc giả theo dõi để [6] có thêm thông tin về việc phát hiện vùng quan
tâm.
7
1. GIỚI THIỆU

Với việc phát hiện vùng quan tâm, nhiều cách tiếp cận khác nhau để mô tả vùng quan tâm đã được chúng tôi đề xuất.

Các phương pháp nhấn mạnh những thuộc tính hình ảnh khác nhau như cường độ pixel, màu sắc, kết cấu và các cạnh. Nhiều đề
xuất mô tả dựa trên sự phân phối, nghĩa là sử dụng biểu đồ để đại diện cho những đặc điểm khác nhau xuất hiện hay những hình
dạng.
8
1. GIỚI THIỆU


Mô tả SIFT [3] là biểu đồ 3D của vị trí gradient và định hướng nơi đóng góp vào vị trí và hướng là weighted bởi cường độ dốc và một cửa
sổ Gaussian bao trùm vùng.

Tương tự mô tả SIFT là mô tả GLOH [7], thay thế lưới vị trí Cartesian thường được SIFT với một log-polar, và áp dụng PCA vào giảm kích
cỡ của mô tả.

Mô tả SURF xây dựng trên những thế mạnh của máy phát hiện và mô tả sự tồn tại chủ đạo (leading). Nó đó dựa trên ma trận Hessian để
phát hiện và phản hồi Haar wavalet để mô tả.
9
1. GIỚI THIỆU

Một vài nghiên cứu gần đây so sánh các mô tả vùng [15, 7, 16]. Hầu như không có ngoại lệ, những kết quả tốt nhất được báo cáo đều
dành cho mô tả dựa trên sự phân bổ (distributionbased) cũng như SIFT.

Gần đây, một nghiên cứu về mô tả vùng đã được công bố. Các tác giả phân tách tiến trình khai thác mô tả ra một số modules và đặt chúng
vào những sự kết hợp khác nhau. Có rất nhiều sự kết hợp được phát triển để các mô tả được công bố như SIFT nhưng nhiều trong số
chúng chưa được kiểm tra.
10
1. GIỚI THIỆU
•
Hiện nay, rất nhiều toán tử kết cấu tồn tại đã không được sử dụng để mô tả vùng quan tâm [18]. Một lý do có thể là, bằng cách sử dụng
các phương pháp này, thường là một số lượng lớn kích thước được đề nghị để xây dựng mô tả đáng tin cậy.
•
Toán tử kết cấu mô hình nhị phân cục bộ LBP [19-21], đã rất thành công cho việc tính toán các vấn đề vision máy tính khác nhau như nhận
dạng khuôn mặt [22], background subtraction [23], và nhận dạng cấu trúc bề mặt 3D [24], nhưng hiện cho tới nay nó không được sử dụng
để mô tả vùng quan tâm.
11
1. GIỚI THIỆU
•
LBP có những đặc tính có lợi cho việc sử dụng nó trong mô tả vùng quan tâm như dung sai với những thay đổi ánh sáng và đơn giản tính

toán.
•
Nhược điểm là các toán tử tạo ra những biểu đồ khá dài và không phải quá mạnh mẽ trên những vùng hình ảnh phẳng.
•
Để giải quyết vấn đề này, trong bài viết này, chúng tôi đề xuất LBP mới dựa trên những đặc trưng kết cấu, gọi là mô hình LBP đối xứng
(CS-LBP), nó phù hợp hơn cho những vấn đề nhất định.
12
1. GIỚI THIỆU
•
Trong bài viết này, chúng tôi đề xuất một mô tả vùng quan tâm mới, ký hiệu là mô tả CS-LBP, kết hợp những đặc tính tốt của SIFT và LBP.
Điều này đạt được bằng cách áp dụng mô tả SIFT và sử dụng những đặc trưng mới (novel) CS-LBP thay vì đặc trưng gradient ban đầu.
Đặc trưng mới cho phép đơn giản hóa một vài bước của thuật toán làm cho sự tính toán mô tả đạt kết quả đơn giản hơn so với SIFT. Nó
cũng có vẻ mạnh mẽ hơn trong việc thay đổi ánh sáng so với mô tả SIFT.
13
2. Phương pháp SIFT và LBP
•
Trước khi trình bày chi tiết toán tử CS-LBP và mô tả CS-LBP, chúng tôi cung cấp một đánh giá ngắn về phương pháp SIFT và LBP
làm cơ sở cho công việc của chúng ta.
14
2. Phương pháp SIFT và LBP
2.1 Mô tả SIFT (1/2)
•
Mô tả SIFT là một biểu đồ 3D vùng gradient và định hướng. Vị trí được lượng tử hóa trong một vùng lưới kích thước 4x4 và góc gradient được lượng
tử hóa trong 8 hướng, kết quả là một mô tả 128 chiều.
15
2. Phương pháp SIFT và LBP
2.1 Mô tả SIFT (2/2)
•
Đầu tiên, độ lớn gradient và hướng trong vùng quan tâm được tính toán.
•

Sau đó, biên độ gradient cùng với cửa sổ Gaussian bao trùm vùng.
•
Để tránh những ảnh hưởng của các vùng nhỏ vào vùng hiện tại của vùng chúng ta đang quan tâm, một sự suy diễn tam giác (trilinear interpolation)
được sử dụng để phân bổ giá trị của mỗi mẫu gradient vào bin biểu đồ liền kề.
•
Cuối cùng, mô tả thu được bằng cách ghép các biểu đồ có hướng trên tất cả các bins. Để giảm sự ảnh hưởng của sự thay đổi ánh sáng, mô tả được
chuẩn hóa (normalized) về đơn vị chiều dài. Sau đó, ảnh hưởng của cường độ gradient lớn được giảm ngưỡng, như vậy mà mỗi vùng mô tả không lớn
hơn 0.2, và chuẩn hóa lại tới đơn vị độ dài.
16
2. Phương pháp SIFT và LBP
2.2 Hệ thống LBP (1/3)
•
Mô hình LBP là một kết cấu bất biến ánh sáng powerful nguyên thủy. Biểu đồ của mô hình nhị phân tính toán trên một vùng được sử dụng để mô tả kết
cấu. Toán tử mô tả mỗi điểm ảnh bởi quan hệ graylevels với các điểm ảnh lân cận, xem hình ảnh. 1 điểm minh họa cùng với 8 điểm lân cận. Nếu
graylevel của điểm lân cận là cao hơn hoặc bằng, giá trị được thiết lập là 1, ngược lại là 0. Hệ mô tả này mô tả kết quả trong khu vực như 1 số nhị
phân (binary pattem):
•
Trong đó, nc tương ứng với graylevel của các điểm ảnh trung tâm của một vùng lân cận và ni là để cho các graylevel của N cách đều những điểm ảnh
trên một bán kính R.
17
2. Phương pháp SIFT và LBP
2.2 Hệ thống LBP (2/3)
•
Từ mối tương quan giữa các điểm ảnh với khoảng cách, rất nhiều thông tin kết cấu thu được từ các vùng lân cận. Do đó, bán kính R thường được giữ
nhỏ. Trong thực tế, (1) có nghĩa là những dấu hiệu của sự khác biệt trong một vùng lân cận được hiểu là một số nhị phân N bit, kết quả là 2N giá trị
riêng biệt cho các mô hình nhị phân. Từ đó, dễ dàng tìm ra rằng LBP có một vài đặc tính có lợi cho việc sử dụng nó trong mô tả vùng quan tâm. Các
đặc tính được chứng minh là chống lại sự thay đổi ánh sáng mạnh mẽ, chúng rất nhanh cho việc tính toán, và không đòi hỏi quá nhiều thông số thiết
lập [21].
18
2. Phương pháp SIFT và LBP

2.2 Hệ thống LBP (3/3)
19
2.2 Đối xứng tâm LBP
•
Toán tử LBP, mô tả trong phần 2.2, tạo ra các biểu đồ khá dài và do đó rất khó sử dụng trong nội dung mô tả vùng.
•
Để giải quyết vấn đề, chúng ta sửa đổi scheme làm sao để so sánh các điểm ảnh trong vùng lân cận. Thay bởi so sánh một điểm ảnh với điểm trung
tâm, chúng ta so sánh các cặp đối xứng tâm của những điểm ảnh như minh họa trong hình 1. Điều này làm giảm số lượng bước so sánh cho cùng một
số điểm lân cận.
•
Chúng ta có thể nhìn 8 điểm, LBP tạo ra 256 (28) mô hình nhị phân khác nhau, trong khi đó, CS-LBP là 16 (24). Hơn nữa, sự mạnh mẽ trong vùng ảnh
phẳng thu được bởi sự khác biệt các ngưỡng graylevel với một giá trị T nhỏ như đề xuất trong [23]:
3. ĐỐI XỨNG TÂM LBP
20
4. Mô tả CS-LBP
4.1 Khai thác các đặc tính với CS-LBP
4.2 Đặc trưng weighting
4.3 Xây dựng mô tả
4.4 Chuẩn hóa (normalized) mô tả
4.5 Độ phức tạp tính toán
21
4. Mô tả CS-LBP
•
Chúng tôi trích xuất một đặc tính cho mỗi điểm ảnh của vùng đầu vào bằng các sử dụng toán tử CS-LBP giới thiệu trong phần 3. Các hệ có 3 tham số:
bán kính R, số điểm lân cận N, và ngưỡng về sự khác biệt graylevel và T.
•
Thí nghiệm của chúng tôi chỉ ra rằng giá trị tốt cho các tham số trong khoảng {1, 2} là R, {6, 8} là N, và {0, …, 0.02} là T. Chúng tôi tin rằng những giá trị
này cung cấp một điểm khởi đầu tốt đẹp để lựa chọn giá trị tham số trong hình 2.
•
Mô tả CS-LBP:

(a) Một vùng ảnh elip phát hiện bởi máy dò Hessian-Affline.
(b) Vùng với lưới vùng Cartesian sau khi chuẩn hóa (normalized) affine.
(c) Kết quả mô tả CS-LBP tính toán cho vùng chuẩn hóa (normalized). Cũng như các ứng dụng khác nữa.
4.1 Khai thác các đặc tính với CS-LBP
22
4. Mô tả CS-LBP
4.1 Khai thác các đặc tính với CS-LBP
23
4. Mô tả CS-LBP
•
Một weighting có liên quan tới mỗi điểm ảnh của vùng đầu vào dựa trên việc sử dụng các đặc trưng. Một sự so sánh 3 chiến lược weighting khác nhau,
cụ thể là thống nhất (uniform), Gaussian-weighted gradient magnitude (SIFT), và Gaussian, cho thấy rằng mẫu weighting thống nhất là thích hợp nhất
cho việc lựa chọn đặc trưng CS-LBP. Nói cách khác, bước đặc trưng weighting có thể bị bỏ qua trong trường hợp của chúng tôi.
4.2 Đặc trưng weighting
24
4. Mô tả CS-LBP
•
Để kết hợp không gian thông tin vào các mô tả, vùng đầu vào được chia ra thành các ô với một lưới. Chúng tôi đã thử trong 2 lưới khác nhau, tên
chúng là Cartesian và log-polar, và nhận thấy rằng Cartesian cho hiệu suất tốt hơn. Trong thí nghiệm được trình bày trong bài báo này, chúng tôi sử
dụng lưới Cartesian 3x3 (9 ô) hoặc 4x4 (16 ô). Ứng với mỗi ô, một biểu đồ CS-LBP được xây dựng. Như vậy, kết quả mô tả là biểu đồ 3D của đặc trưng
vùng CS-LBP và những giá trị. Như đã giải thích trước đó, số lượng giá trị đặc trưng khác nhau (2
N/2
) phụ thuộc vào kích thước điểm lân cận (N) mà
toán tử CS-LBP lựa chọn.
4.3. Xây dựng mô tả
25