Phát hiện góc Harris

TRƯỜNG ĐẠI HỌC SÀI GỊN

KHOA ĐIỆN TỬ VIỄN THƠNG

BÁO CÁO ĐỀ TÀI
PHÁT HIỆN GÓC

Sinh viên thực hiện:

Nguyễn Ghi Tất

Lê Thành Thuận
12/30/21

Thị giác máy tính

1


ĐIỂM ĐẶC TRƯNG

12/30/21

Thị giác máy tính

2


ĐIỂM ĐẶC TRƯNG
Điểm đặc trưng cục bộ: các thành phần chính
1) Phát hiện (Detection)

Tìm thấy một tập hợp các điểm chính đặc biệt.
2) Sự miêu tả (Description)
Trích xuất bộ mơ tả tính năng xung quanh mỗi điểm dưới dạng vec-tơ.
3) Tính phù hợp (Matching)
Tính tốn khoảng cách giữa các vec-tơ để tìm sự tương đối.

12/30/21

Thị giác máy tính

3


ĐIỂM ĐẶC TRƯNG
Tại sao phải trích xuất điểm quan tâm?

12/30/21

Thị giác máy tính

4


ĐIỂM ĐẶC TRƯNG

•

Các bước để kết hợp hai bức ảnh

Bước 1: trích xuất các điểm đặc trưng

Bước 2: đối xứng các điểm đặc trưng
Bước 3: căn chỉnh hình ảnh

12/30/21

Thị giác máy tính

5


ĐIỂM ĐẶC TRƯNG
Đặc tính của điểm đặc trưng
Tính lặp lại
Các đặc điểm tương tự có thể được tìm thấy trong một số hình ảnh bỏ qua các phép biến đổi hình học và trắc quang.
Nét nổi
Mỗi đặc điểm là riêng biệt.
Độ nhỏ gọn và hiệu quả
Ít tính năng hơn pixel hình ảnh.
Điểm cục bộ
Một đặc điểm chiếm một vùng tương đối nhỏ trong hình.

12/30/21

Thị giác máy tính

6


ĐIỂM ĐẶC TRƯNG
Ta muốn phát hiện (ít nhất một số điểm) các điểm giống nhau trong hình ảnh.

Với những điểm này, khơng có cơ hội để tìm thấy các kết quả phù hợp thực sự.

Ta phải chạy quy trình phát hiện độc lập trên mỗi hình ảnh.

12/30/21

Thị giác máy tính

7


ĐIỂM ĐẶC TRƯNG
Ta muốn xác định một cách đáng tin cậy điểm nào đi với điểm nào.

Phải cung cấp một số bất biến cho sự khác biệt hình học và trắc quang giữa hai chế độ
xem.

12/30/21

Thị giác máy tính

8


ỨNG DỤNG
Ứng dụng của điểm đặc trưng :

•
•

•
•
•
•

12/30/21

Căn chỉnh hình ảnh
Tái tạo 3D
Theo dõi chuyển động
Robot điều hướng
Lập chỉ mục và truy xuất cơ sở dữ liệu
Nhận dạng đối tượng

Thị giác máy tính

9


PHÁT HIỆN GÓC
Sự tương quan giữa các chế độ xem

Sự tương quan: đối sánh các điểm, các bản vá lỗi, các cạnh hoặc vùng trên các hình ảnh

12/30/21

Thị giác máy tính

10

PHÁT HIỆN GĨC
Các tính năng địa phương bất biến:
Phát hiện các điểm có thể lặp lại và phân biệt
Bất biến đối với các phép biến đổi ảnh:

•
•

12/30/21

Sự thay đổi ngoại hình (độ sáng, độ chiếu sáng)
Sự biến đổi hình học (phép tịnh tiến, phép quay, tỷ lệ)

Thị giác máy tính

11


PHÁT HIỆN GĨC

•

Thuộc tính chính: trong vùng xung quanh một góc, độ dốc hình ảnh có hai
hoặc nhiều hướng chủ đạo.

•

12/30/21

Các góc có thể lặp lại và riêng biệt.

Thị giác máy tính

12


PHÁT HIỆN GĨC
Chúng ta có thể dễ dàng nhận ra điểm này bằng cách nhìn qua một cửa sổ nhỏ Dịch chuyển cửa sổ theo bất kỳ
hướng nào sẽ tạo ra sự thay đổi lớn về cường độ

Vùng "phẳng": không

"Cạnh":

thay đổi theo mọi hướng

không thay đổi theo
hướng cạnh

12/30/21

Thị giác máy tính

"Góc":
thay đổi đáng kể theo
tất cả các hướng

13

PHÁT HIỆN GÓC
Thay đổi giao diện của cửa sổ w (x, y) cho [u, v]:

E (u , v) = ∑ w( x, y ) [ I ( x + u , y + v) − I ( x, y ) ]

2

x, y

Window

Shifted

function

intensity

Window function w(x,y) =

or

1 in window, 0 outside

12/30/21

Intensity

Thị giác máy tính

Gaussian

14


PHÁT HIỆN GÓC
Thay đổi giao diện của cửa sổ w (x, y) cho [u, v]:

E (u , v) = ∑ w( x, y ) [ I ( x + u , y + v) − I ( x, y ) ]

2

x, y

I(x, y)
E(u, v)

E(0,0)

w(x, y)

12/30/21

Thị giác máy tính

15


PHÁT HIỆN GÓC
Thay đổi giao diện của cửa sổ w (x, y) cho [u, v]:

E (u , v) = ∑ w( x, y ) [ I ( x + u , y + v) − I ( x, y ) ]

2

x, y

I(x, y)
E(u, v)

E(3,2)

w(x, y)

12/30/21

Thị giác máy tính

16


PHÁT HIỆN GÓC
Thay đổi giao diện của cửa sổ w (x, y) cho shift [u, v]:

E (u , v) = ∑ w( x, y ) [ I ( x + u , y + v) − I ( x, y ) ]

2

x, y

Xấp xỉ cục bộ bậc hai của E (u, v) trong vùng lân cận của (0,0) được đưa ra bởi khai triển Taylor bậc
hai:

 Eu (0,0) 1
 Euu (0,0) Euv (0,0) u 
E (u, v) ≈ E (0,0) + [u v]
+ [u v]

 v 
E
(
0
,
0
)
E
(
0
,
0
)
E
(
0
,
0
)
2
vv
 v


 uv
 

12/30/21

Thị giác máy tính

17


PHÁT HIỆN GĨC
Phép tính gần đúng bậc hai đơn giản hóa thành M là ma trận thời điểm thứ hai được tính từ các đạo hàm ảnh:

u 
E (u, v) ≈ [u v] M  
v 
 I x2
M = ∑ w( x, y ) 
x, y
 I x I y

IxI y 
2 
I y 

M

12/30/21

Thị giác máy tính

18


DIỄN GIẢI MA TRẬN THỜI ĐIỂM THỨ HAI
Bề mặt E (u, v) được xấp xỉ bởi một dạng bậc hai.

u 
E (u , v) ≈ [u v] M  
v 
 I x2
M = ∑ w( x, y ) 
x, y
 I x I y

12/30/21

IxIy 
2 
I y 

Thị giác máy tính

19


DIỄN GIẢI MA TRẬN THỜI ĐIỂM THỨ HAI
Đầu tiên, hãy xem xét trường hợp được căn chỉnh theo trục (độ chênh lệch là ngang hoặc
dọc)

 I x2
M = ∑ w( x, y ) 
x, y
 I x I y

I x I y  λ1 0 
=

2 
I y   0 λ2 

Nếu một trong hai λ gần bằng 0, thì đây khơng phải là một góc, vì vậy hãy tìm những vị trí mà cả hai đều
lớn hơn 0.

12/30/21

Thị giác máy tính

20


DIỄN GIẢI MA TRẬN THỜI ĐIỂM THỨ HAI

u 
[u v] M   = const
v 

Hãy xem xét một "phần" nằm ngang của E(u, v):
Đây là phương trình của một hình elip.

12/30/21

Thị giác máy tính

21


DIỄN GIẢI MA TRẬN THỜI ĐIỂM THỨ HAI
Đường chéo của M:

λ1 0 
M =R 
R

 0 λ2 
−1

Chiều dài trục của hình elip được xác định bởi các giá trị riêng và hướng được xác định bởi R

hướng thay đổi nhanh nhất

hướng thay đổi chậm nhất

12/30/21

Thị giác máy tính

22

TRỰC QUAN HOÁ MA TRẬN THỜI ĐIỂM THỨ HAI

12/30/21

Thị giác máy tính

23


TRỰC QUAN HOÁ MA TRẬN THỜI ĐIỂM THỨ HAI

12/30/21

Thị giác máy tính

24


DIỄN GIẢI CÁC GIÁ TRỊ ĐẶC TRƯNG
Phân loại các điểm ảnh bằng cách sử dụng các giá trị riêng của M:

λ2

“cạnh”
λ2 >> λ1

“góc”
λ1 và λ2 lớn,
λ1 ~ λ2;

E tăng theo mọi hướng

λ1 và λ2 nhỏ; E gần như không
đổi theo mọi hướng.

“ mặt phẳng”

“cạnh”
λ1 >> λ2
λ1

12/30/21

Thị giác máy tính

25