Phân loại và gắn nhãn ảnh

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
Viện CNTT&TT





BÁO CÁO GR1






ĐỀ TÀI: PHÂN LOẠI VÀ GÁN NHÃN ẢNH













Hà Nội tháng 5/2014
!

Giáo viên hướng dẫn
:
TS. Nguyễn Thị Oanh
Sinh viên thực hiện
:
Phạm Văn Phú
SHSV
:
20101990
Lớp
:
IS2 K55

MỤC$LỤC$
I. Những Khái niệm cơ bản 3!
1.! Histogram 3!
1.1! Định nghĩa 3!
1.2 Cách tính 3!
1.3! Các đặc tính và các vấn đề 3!
2.! Texture 4!
2.1 Định nghĩa và 1 số đặc điểm của texture. 4!
2.2! Một số phương pháp phân tích texture. 5!
2.3! Một số khó khăn trong việc phân tích texture. 7!
II. Ảnh nhị phân và xử lý ảnh nhị phân 7!
1.! Phân vùng theo cạnh 7!
1.1 Một số khái niệm: 7!
1.2! Phân loại các kỹ thuật phát hiện biên: 8!
1.3 Quy trình phát hiện biên: 9!
1.4 Phương pháp gradient: 9!
1.5 Kỹ thuật Gradient: 10!

1.6! Phương pháp Laplace: 12!
1.7 Bộ lọc Canny: 13!
1.8 Biến đổi Hough: 14!
2.! Tìm hiểu về phân vùng 14!
2.1! Một số khái niệm. 14!
2.2 Các phương pháp phân vùng ảnh. 15!
2.3 Edge-based segmentation. 15!
2.4 Region-based segmentation. 16!
III. HOG, SIFT, SURF 16!
1.! HOG 16!
2.! SIFT 20!
2.1 Định nghĩa – Tính chất 20!
2.2! Các bước thực hiện: 21!
TÀI LIỆU THAM KHẢO: 30!



I. Những Khái niệm cơ bản

Ảnh : Bản chất là 1 ma trận mà mỗi phần tử của ma trận đại diện cho 1
điểm ảnh. Giá trị phần tử đại diện cho giá trị điểm ảnh tương ứng với phần
tử đó.

1. Histogram

1.1 Định nghĩa
!
Histogram: 1 đặc trưng màu sắc, thể hiện sự phân bố màu sắc
trên ảnh
1.2 Cách tính

– Lấy mẫu màu của ảnh. VD, ảnh màu 24 bit : 8 x 8 x8 màu (bin)
– Tính số điểm ảnh tương ứng với mỗi màu => chuẩn hóa: chia cho
số điểm ảnh
H (h
1
, h
2
, …, h
n
), [0,1], ∑h
i
= 1
Khoảng cách dựa trên phân bố màu:
– thường sử dụng k/c L1 hoặc L2 (euclide):

– Giao giữa 2 histogram


1.3 Các đặc tính và các vấn đề
!
! Độ chói: miền giá trị mức xám.
! Độ tương phản: có nhiều cách định nghĩa:
! Chuẩn chia mức xám:
o (Công thức Slide tiếng Anh)
! Mức biến thiên giữa giá trị nhỏ nhất và lớn nhất của mức xám.
o (Công thức Slide tiếng Anh)

! Các cách biến đổi độ tương phản:
! Tuyến tính.

! Tuyến tính bão hòa.
o Nếu giá trị sau biến đổi < min thì giá trị đó là min
o Nếu giá trị sau khi biến đổi > max thì giá trị đó là max
o min(I(i,j) ≤ S
min
< S
max
≤ max(I(i,j)
! Tuyến tính một phần:
o
Biến đổi đường gấp khúc : S
min
< S < S
max
! Nâng cao ảnh động: các giá trị histogram được dàn đều ra
khoảng giá trị động mà không có biến đổi gì về mặt giá trị.
! Cân bằng ảnh động: 4 bước:
o Bước 1: Tính số điểm ảnh của mỗi mức xám.
o Bước 2: Tính tỷ số điểm ảnh của mỗi mức xám.
o Bước 3: Chuẩn hóa phân bố xác xuất.
o Bước 4: Chuyển mức xám của ảnh.
! Các ưu điểm của histogram:
! Không phụ thuộc/ ít phụ thuộc vào một số các biến đổi hình
học:
o Phép quay
o Phép tịnh tiến
o zoom
! Vấn đề gặp phải:
o Không tính đến sự gần giống giữa các màu trong các
màu (bin) gần nhau

o Việc phân bố trong không gian các màu điểm ảnh: 2
ảnh khác nhau, histogram có thể giống nhau
o Ảnh hưởng của nền
o Phụ thuộc cách biểu diễn màu (không gian màu), phụ
thuộc thiết bị, …
o
2. Texture

2.1 Định nghĩa và 1 số đặc điểm của texture.
2.1.1 Định nghĩa.
Texture rất khó để có thể định nghĩa chính xác, tuy nhiên có 1 vài
định nghĩa về texture:
 Texture là 1 khu vực trong 1 hình ảnh có 1 hoặc 1 vài thuộc
tính là không đổi, biến đổi chậm hoặc theo chu kỳ.

 Texture có thể được mô tả thông qua các kết cấu nhỏ hơn
được gọi là primitives texture (kết cấu nguyên thủy) với 1
không gian bố trí xác định.
 ……
 Texture có khá nhiều định nghĩa, tùy thuộc vào ứng dụng và
mục đích khai thác thông tin mà có các định nghĩa khác
nhau. Nhưng về cơ bản thì mục đích phân tích, phân loại
texture là để xác định được các vùng có chung 1 đặc điểm
đề từ đó có thể xây dựng được bản đồ phân bố các khu vực
đồng kết cấu.
2.1 Một số đặc điểm của texture.
 Texture là 1 khu vực nên sẽ không có texture tồn tại tại 1
điểm. Kích thước của khu vực này phụ thuộc vào loại kết
cấu, hoặc kích thước của primitives texture xác định nên kết
cấu .

 Trong Texture các điểm ảnh sẽ có quan hệ về mặt toán học,
giá trị, thống kê… theo cách phân bố không gian gray-level.
 Một khu vực được coi là texture khi mà số lượng primitives
texture trong khu vực đó là đủ lớn.
 Một số đặ c điể m quan trọng trong việc mô tả texture như :
uniformity, density, coarseness, roughness, regularity,
linearity, direc- tionality, direction, frequency, and phase.
2.2 Một số phương pháp phân tích texture.
!
2.2.1 First order statistics
 Statistics on histogram: Phân tích texture dựa trên thống kê
trên histogram.
 Ta có thể tính 1 vài đặc trưng của texture thông qua
histogram:



2.2.2 Co-occurrence matrices.

 Cách tính ma trận đồng xuất hiện:
Ma trận G * G (G là gray-level) với vector d được định nghĩa : Với
mỗi vị trí (i,j) của ma trận biểu thị số cặp gray-level ứng với vector
d.
Ví dụ:
Ta có ma trận ảnh với vector d(1,0):
1 1 0 0
1 1 0 0
0 0 2 2
0 0 2 2
Có 3 mức xám nên ta sẽ có ma trận 3*3. Với vector d(1,0) ta có ma trận

đồng xuất hiện (Co-occurrence matrices) sau:
4 0 2
2 2 0
0 0 2
 Với mỗi ma trận đồng xuất hiện ta có thể tính được 14
thông số đặc trưng cho kết cấu, tuy nhiên có 1 số thông số
sau là quan trọng nhất:


!
2.3 Một số khó khăn trong việc phân tích texture.
!
2.3.1 Texture segmentation.

 Khó khăn thường gặp phải là không biết rõ loại texture tồn
tại trong ảnh là loại gì, có bao nhiêu texture trong ảnh và
khu vực nào mới thực sự tồn tại texture.
 Hai cách tiếp cận chung để thực hiện phân chia kết cấu này
tương tự phương pháp phân vùng ảnh: cách tiếp cận dựa
trên khu vực hoặc dựa trên ranh giới.

2.3.2 Texture classification.

 Khó khan thường gặp là không biết loại texture cần phân
tích là loại nào
 Để giải quyết khó khăn này ta cần cung cấp thêm 1 cài kiến
thức khác, từ đó xây dựng được mô hình riêng để thực hiện
việc phân tích. Ví dụ : trong nhà máy sơn sẽ có mô hình và
texture classification khác với ngoài đồng lúa.
2.3.3 Scale problem

 Việc phân tích texture thường xuyên phải làm việc trên các
độ phân dải khác nhau (như số lượng điểm ảnh khác nhau,
mức xám - gray-level khác nhau…) gây khó khăn trong
việc phân tích, tính toán, nhận diện vùng chứa texture và
texture.

II. Ảnh nhị phân và xử lý ảnh nhị phân

1. Phân vùng theo cạnh

1.1 Một số khái niệm:

 Điểm Biên: Một điểm ảnh được coi là điểm biên nếu có sự
thay đổi nhanh hoặc đột ngột về mức xám (hoặc màu). Ví dụ
trong ảnh nhị phân, điểm đen gọi là điểm biên nếu lân cận nó
có ít nhất một điểm trắng.

 Đường biên (đường bao: boundary): tập hợp các điểm biên
liên tiếp tạo thành một đường biên hay đường bao.
 Ý nghĩa của đư ờng biên trong xử lý: ý nghĩa đầu tiên: đường
biên là một loại đặc trưng cục bộ tiêu biểu trong phân tích,
nhận dạng ảnh. Thứ hai, người ta sử dụng biên làm phân cách
các vùng xám (màu) cách biệt. Ngư ợ c lại, người ta cũng sử
dụng các vùng ảnh để tìm đường phân cách.
 Tầm quan trọng của biên: để thấy rõ tầm quan trọng của biên,
xét ví dụ sau: khi người họa sỹ muốn vẽ một danh nhân, họa
sỹ chỉ cần vẽ vài đường nứt tốc họa mà không cần vẽ một
cách đầy đủ.
 Mô hình biểu diễn đường biên, theo toán học: điểm ảnh có sự

biến đổi mức xám u(x) một cách đ ộ t ngột theo hình dưới.

1.2 Phân loại các kỹ thuật phát hiệ n biên:

1.2.1 Phương pháp phát hiện biên trực tiếp: phương pháp này chủ
yếu dựa vào sự biến thiên độ sáng của điểm ảnh để làm nổi biên
bằng kỹ thuật đạo hàm.
 Nếu lấy đạo hàm bậc nhấ t của ảnh: ta có phương pháp
Gradient
 Nếu lấy đạo hàm bậc hai của ảnh: ta có phương pháp Laplace.
Hai phương pháp này được gọi chung là phương pháp dò biên
cục bộ.
Ngoài ra, người ta còn sử dụng phương pháp “đi theo đườ ng
bao” dựa vào công cụ toán học
là nguyên lý quy hoạch động và đư ợc gọi là phương pháp dò
biên tổng thể. Phương pháp dò biên trực tiếp có hiệu quả và ít
bị tác động của nhiễu.
1.2.2 Phương*pháp*phát*hiện*biên*gián*tiếp:!Nếu!bằng!cách!nào!đấy,!chúng!
ta!thu!đượng!các!
vùng ảnh khác nhau thì đư ờ ng phân cách giữa các vùng đó chính
là biên. Nói cách khác, việc xác

định đường bao của ảnh được thực hiện từ ảnh đã được phân
vùng. Phương pháp dò biên gián tiếp khó cài đặt nhưng áp dụng
tốt khi sự biến thiên độ sáng nhỏ.

1.3 Quy trình phát hiện biên:

B1: Do ảnh ghi được thường có nhiễu, bước một là phải lọc nhiễu
theo các phương pháp

dã tìm hiểu ở các phần trước.
B2: Làm nổi biên sử dụng các toán tử phát hiện biên.
B3: Định vị biên. Chú ý rằng kỹ thuật nổi biên gây tác dụng phụ là
gây nhiễu làm một số
biên giả xuất hiện do vậy cần loại bỏ biên giả.
B4: Liên kết và trích chọn biên.

1.4 Phương pháp gradient:
Định nghĩa: Gradient là một vec tơ f(x, y) có các thành phần biểu
thị tốc độ thay đổi mức xám của điểm ảnh (theo hai hướng x, y trong
bối cảnh xử lý ảnh hai chiều) tức:


Trong đó dx, dy là khoảng cách giữa 2 điểm kế cận theo hướng x, y
tương ứng (thực tế chọn dx= dy=1). Đây là phương pháp dựa theo đạo
hàm riêng bậc nhất theo hướng x, y.
Gradient trong tọa độ góc (r,θ), với r là véc tơ, θ: góc



1.5 Kỹ thuật Gradient:

Để đơn giản mà không mất tính chất của phương pháp Gradient, người
ta sử dụng kỹ thuật Gradient dùng cặp mặt nạ H1, H2 trực giao (theo 2
hướng vuông góc). Nếu định nghĩa g1, g2 là Gradient theo hai hướng x,
y tướng ứng thì biên độ g(m,n) tại điểm (m,n) được tính:


 Robert áp dụng công thức tính Gradient tại điểm (x, y) như hình
bên Với mỗi điểm ảnh I(x,y) đạo hàm theo x, y được ký hiệu

tương ứng:
gx, gy:




 Toán tử Sobel:

 Toán tử Prewitt:

 Mặt nạ đẳ ng hướ ng:



 Toán tử 4 lân cận:

" Một vài nhận xét:
1. Toán tử Prewitt có thể tách sườn đứ ng tốt hơn toán tử Sobel, trong
khi đó toán tử Sobel tách các sườn trên các điể m ở đường chéo tốt hơn.
Mặt khác, các toán tử Robert và toán tử 4-lân cận có nhược điểm là
nhạy với nhiễu. Các toán tử Gradient và Sobel giảm nhiễu do tác dụng
của lọc trung bình các điểm lân cận. Như vậy, để đ ạt được kết quả
mong muốn các toán tử Gradient thường được dùng trước dể làm sạch
nhiễu.
2. Các mặt nạ của các toán tử trên có kích thước 2x2 hoặc 3x3 chiều.
Các mặt nạ có số chiều lớn hơn cũng được sử dụng.
3. Các toán tử kể trên đểu sử dụng các mặt nạ theo hai chiều (x,y) tức là
bốn hướng (-x, y; -y, y). Với mục đích cho kết quả tinh và chính xác
hơn (khi mà tốc độ và bộ nhớ máy tính tốt).
4. Các kỹ thuật sử dụng phương pháp Gradient khá tốt khi độ sáng có

tốc độ thay đổi nhanh, khá đơn giản trên cơ sở các mặt nạ theo các
hướng. Nhược điểm của các kỹ thuật Gradient là nhạy cảm với nhiễu
và tạo các biên kép làm chất lượng biên thu được không cao.

1.6 Phương pháp Laplace:
1.6.1 Định nghĩa:
Để khắc phục hạn chế và nhược điểm của phương pháp Gradient, trong
đó sử dụng đạo hàm riêng bậc nhất người ta nghĩ đến việc sử dụng đạo
hàm riêng bậc hai hay toán tử Laplace. Phương pháp dò biên theo toán
tử Laplace hiệu quả hơn phương pháp toán tử Gradient trong trường
hợp mức xám biến đổi chậm, miền chuyể n đổi mức xám có độ trải rộng.
Toán tử Laplace được đĩnh nghĩa như sau:


Toán tử Laplace dùng một số kiểu mặt nạ khác nhau nhằm tính gần
đúng đạo hàm riêng bậc hai. Các dạng mặt na theo toán tử Laplace bậc
3x3 có thể:


Ghi chú: Mặt nạ H1 còn cải biên bằng việc lấy giá trị ở tâm bằng 8 thay
vì giá trị 4. Đ ể thấy rõ việc xấp xỉ đạo hàm riêng bậc hai trong không
gian hai chiều với mặt nạ H1 làm ví dụ, ta có thể tính gần đúng như
sau:

Do đó:

" Tóm lại: Kỹ thuật theo toán tử Laplace tạo đường biên mảnh (có
độ rộng 1 pixel). Nhược điểm của kỹ thuật này rất nhạy với
nhiễu, do vậy đường biên thu được thường kém ổn định.
1.7 Bộ lọc Canny:

Gồm 5 bước:
Bước 1: Sử dụng bộ lọ c Gauss để lọc nhiễu.
Bước 2: Tính gradianet:
- Lọc Sobel.
- Tính: | G | = |Gx | + |Gy |
Bước 3: Tính góc của gradient:
θ = arctan (Gy / Gx)
- Tính góc theo bội 45
o
.
Bước 4: Xóa các pixel không phải là cạnh:
- Nếu pixel nào nhỏ hơn pixel khác theo chiều gradient thì
giá trị pixel đó bằng 0.
Bước 5: Xét ngưỡng.
- IF độ lớn (x,y) < Sb, thì chuyển pixel bằng 0.
- IF độ lớn (x,y) > Sh, thì đó là cạnh.

- IF Sb ≤ độ lớn (x,y) ≤ Sh, đó là cạnh nếu nó liên thông
với các phần tử khác.
1.8 Biến đổi Hough:
" Một cách tiếp cận tổng quát để tìm ra cạnh.

 Đầu tiên ta lọc ra điểm thuộc biên.
 Tiếp theo với đường biên ta thiết lập công thức y = ax + b
 Ta chuyển công thức trên sang hệ tọa độ cực.
 Khi đó mỗi điểm trong hệ tọa độ mới ứng với 1 đưởng thảng có
thể là biên.
 Điểm trong hệ tọ a độ cực ứng với đường thẳng đi qua nhiều
điểm biên nhất là đường biên.
" Vấn đề với không gian: Đường thẳng đứng kéo dài vô tận:

# Xác định bàng cặp (,θ)
 ="x"cos" +"y"sin"
!



2. Tìm hiểu về phân vùng

2.1 Một số khái niệm.
!
2.1.1 Phân vùng là gì?
Phân vùng là kỹ thuật phân chia bức ảnh thành các khu vực
tương ứng với các đối tượng khác nhau hoặc các phần của các đối
tượng. Tại đó, các pixel trong cùng 1 phân vùng có các giá trị mức
xám gần tương tự nhau và tạo thành 1 khu vực kết nối. Các pixel lân
cận thuộc phân vùng khác nhau sẽ có giá trị mức xám khác biệt.

2.1.2 Một vài phương pháp phân vùng

Có 3 cách phân vùng cơ bản là phân vùng theo ngưỡng, phân
vùng dựa trên phương pháp phát hiện cạnh và phân cùng dựa trên
khu vực.
2.2 Các phương pháp phân vùng ảnh.
2.1.3 Thresholding.
Đây là 1 phương pháp đơn giản được để xuất đê phân vùng ảnh.
Cho trước 1 ngưỡng t, nếu giá trị mức xám ở điểm A(i,j) có giá trị
mức xám k. Nếu k<t thì điểm A thuộc loại 1 còn nếu không sẽ
thuộc loại 2. Việc lựa chọn ngưỡ ng có thể được chọn bằng tay hoặc
tự động và có thể có nhiều ngưỡng được chọn tùy thuộc vào số
phân vùng có thể có trong ảnh.

2.1.4 Histogram-based thresholding.
Đây là phương pháp đơn giản để chọn ra 1 ngưỡng.Tư
tưởng cơ bản của thuật toán chọn ngưỡng với Histogram-based
là:
- Ban đầu chọn 1 ngưỡng t là giá trị trung bình của
mức xám trên histogram của ảnh.

- Từ đó chia mức xám thành 2 phần. Tương ứng với
mỗi phần tính toán giá trị trung bình tương ứng với
mỗi phần.

- Tính toán lại giá trị t dựa trên giá trị trung bình vừa
tính được.

- Hai bước trên được lập đi lập lại tới khi giá trị t
không đổi.
$
2.3 Edge-based segmentation.
Sau khi phát hiện được cạnh, tư tưởng cơ bản của thuật toán
phân vùng dựa trên phát hiện canh như sau:
Ta thực hiện duyệt từng điểm ảnh theo thứ tự từ trái sang phải và
từ trên xuống dưới. Với mỗi điểm ảnh được viếng thăm, tiến hành
check các hàng xóm của nó. Nếu hàng xóm (i-1,j) và (i,j-1) trong

trường hợp xét 4 liên thông hoặc (i-1,j-1) và (i-1,j+1) trong trường
hợp xét 8 liên thông là cạnh thì nó là 1 loại và ta thực hiện gán nhãn
cho nó. Nếu tất cả đều không phải là cạnh thì ta gán nhãn cho nó
chính là nhãn của các hàng xóm. Nếu các hàng xóm thuộc 2 hoặc
nhiều loại được gán nhãn khác nhau, ta thực hiện so sánh giá trị
mức xám của nó với các hàng xóm, nhãn sẽ được gán giống với

hàng xóm có mức xám bằng hoặc gần nhất với nó. Với trường hợp
nó là cạnh thì ta không phải làm gì thêm. Kết thúc việc gán nhãn ta
có thể loại bỏ tất cả các cạnh và thu về được các vùng đã được gán
nhãn.
2.4 Region-based segmentation.
Tư tưởng cơ bản của thuật toán là nhóm các đ iểm ảnh có cùng
giá trị và chia các nhóm điểm ảnh không đồng nhất giá trị. Việc
chọn điểm ảnh đại diện có thể thực hiện bằng tay bằng cách chọn ra
các điểm đại diện cho một phân vùng hoặc chọn 1 cách tự động
bằng thuật toán watershed algorithm. Thuật toán watershed
algorithm sử dụng 1 bộ lọc để tìm ra các cực tiểu địa phương. Với
mỗi cực tiểu địa phương được chọ n ta thực hiện nhóm các điểm ảnh
có cùng giá trị hoặc trong cùng 1 khoảng phương sai nhất định.
Ngoài ra ta còn có thuật toán split-and-merge algorithm được đề
xuất bởi Horowitz and Pavlidis gồm 2 pha:
1. Kiểm tra tiêu chuẩn đồng nhấ t.
a) Nếu không thỏa mãn tiêu chuẩn đồng nhất và số điểm trong
một vùng nhiều hơn 1, tách vùng ảnh làm 4 miền (trên, dưới, phải,
trái) bằng cách đệ quy. Nếu kết quả tách xong và không tách được
nữa chuyển sang bước 2.
b) Nếu tiêu chuẩn đồng nhất thỏa mãn thì tiến hành hợp vùng và
cập nhật lại giá trị trung bình của vùng cho vùng này.
2. Hợp vùng
Kiểm tra 4 lân cận như đã nêu trên. Có thể có nhiều vùng thỏa
mãn. Khi đó, chọn vùng tối ưu nhất rồi tiến hành hợp.
III. HOG, SIFT, SURF

1. HOG
1.1 Histogram of Gradient
- HOG được đặc trưng cho nhiều lĩnh vực phát hiện đối tượng

- Đề xuất bởi Bill Triggs và Navel Dalal vào năm 2005 tại viện
nghiên cứu InRia [1]
- Ý tưởng: Hình dạng và trạng thái xuất hiện (appearance) của vật có
thể được đặc trưng bằng sự phân bố về gradient và hướng của
cạnh(edge direction)

I. Phương Pháp tổng quan để tính toán đặc trưng HOG trên một
cửa sổ (window) bấ t kì
1 Phân chia cửa sổ window cần tính HOG thành nhiều khối(block).
Mỗi khối gồm nhiều ô (cell). Các ô phải có kích thước bằng nhau,
số lượng ô trong mỗi khối là bằng nhau

Mỗi khối (block) gồm nhiều ô (cell). Ví dụ trong hình trên ta thấy
một khối gồm 9 ô[1]
2 Đặt chồng các khối lên nhau, khoảng cách giữa các khối con liên
tiếp phải là 1 hằng số

Các khối được xếp chồng lên nhau[1]
3 Rút trích đặc trưng
A Chuẩ n hóa ảnh

Nguồn: Wei Jiang, "Human Feature Extraction in VS image Using
HOG Algorithm"[2]

- Cân bằng Histogram: mục tiêu làm giảm ảnh hưởng của ánh sang
(làm giảm sự khác biệt giữa sáng và tối, những vùng bị ánh sáng
chiếu vào, chỗ có histogram màu sáng tăng nhiều. Do vậy ta cần
cân bằng cho nó không còn quá nhiều pixel màu sáng nữa)
- Làm giảm đi ảnh hưởng của sự thay đổi ánh sáng và shadowing

B Tình Gradient
Lấy gradient theo chiều x:



!
Ảnh X-Gradient


Lấy gradient theo chiều y:
!
Ảnh Y-Gradient
!
!
!
"
#
$
$
$
%
&
−
1
0
1

Sau khi đã có được các giá trị gradient. Tại mỗi pixel ta tính
toán 2 đại lượng là : hướng và biên độ

C Tính Histogram cho từng cell



Sau khi đã tính toán xong cho từng pixel ta sẽ tiến hành việc thống
kê gradient histogram cho từng ô. Gradient histogram ở đây ta chia
theo 9 bin. Mỗi bin là 20 do
0!
1!
2!
3!
4!
5!
6!
0?20!
21?40!
41?60!
61?80!
81?100!
101?120!
121?140!
141?160!
161?180!
Biên!Độ!
Hướng!


D Tính vector đặc trưng cho từng Block

Sau khi đã có được đặc trưng của từng ô. Ta tiến hành tính đặc
trưng cho từng khối. Như trên hình ta thấy: một khối gồm nhiều ô,
vd ở đây gồm 9 ô. Đặc trưng của khối được tính bằng cách ghép
đặc trưng của từng ô lại với nhau
E Thu thập đặc trưng cho từng cửa sổ
• Đặc trưng của một cửa sổ sẽ được tính bằng cách ghép từng
đặc trưng của từng block tạo nên cửa sổ đó.
• Một cửa sổ được tạo bởi các khối xếp chồng lắp lên nhau như
trong hình. Đặc trưng của cửa sổ được tính bằng cách ghép
đặc trưng của từng block lại với nhau
• Lưu ý : các block được lắp ghép trùng lắp nhau








2. SIFT

2.1 Định nghĩa – Tính chất
$ Là các đặc trưng bất biến:
 Thay đổi tỷ lệ ảnh
 Quay ảnh
 Thay đổi góc nhìn
 Thêm nhiễu ảnh
 Thay đổi cường độ chiếu sáng ảnh.
$ Các đặc trưng cục bộ bất biến được trích rút từ các điểm hấp dẫn
trên ảnh.

$ Các bước phát hiện và xử lý các điểm hấp dẫn [4],[5]:
 Phát hiện các điểm cực trị
 Định vị các điểm hấp dẫn
 Xác định hướng cho các điểm hấp dẫn
 Mô tả các điểm hấp dẫn
2.2 Các bước thực hiện:
!
1) Bước 1: Phát hiện điểm cực trị. [4],[5]
2.1 Định vị các vùng ảnh: tìm những khu vực chứa những tính chất
giống nhau khi nhìn ảnh dưới các góc nhìn khác nhau
% Hàm không gian- tỷ lệ:
2.1.1.1 Tìm khu vực có khả năng bất biến với sự thay
đổi tỷ lệ ảnh


: Ảnh truy vấn
: Biến tỷ lệ Gaussian
: Hàm không gian tỷ lệ của ả nh I!


2.2 Xem xét sự khác nhau của hàm không gian tỷ lệ giữa 2 tỷ lệ sai
lệch nhau k lần
% Bộ lọc DoG:




% Xấp xỉ hàm DOG:

% Xác định điểm hấp dẫn tiềm năng:
So sánh mỗi điểm ảnh được xác định bởi hàm DoG với:
• 8 điểm ảnh xung quanh ở cùng tỷ lệ
• 9 điểm ảnh xung quanh ở các tỷ lệ liền trước
• 9 điểm ảnh xung quanh ở tỷ lệ liền sau.


# Chọn là điểm hấp dẫn tiềm năng nếu nó đạt giá trị lớn nhất, hoặc nhỏ
nhất.
# Các điểm cực tiểu này phải tương đối ổn định ở các lớp khác nhau.
2) Bước 2: Định vị điểm hấp dẫn. [4],[5]
2.3 Phân tích điểm hấp dẫn tiềm năng: lấy các thông tin về:
% Vị trí ,
% Tỷ lệ,
% Tỷ lệ độ cong cơ sở (pricipal curvature).
" Loại bỏ điểm cực trị không phù hợp:
% Điểm có độ tương phản thấp(không ổn định khi ảnh bị
nhiễu),
% Điểm ở những vị trí không thuận lợi dọc theo các cạnh.
" Phương pháp:
% Lấy mẫu: sử dụng các phương pháp lấy mẫu thích hợp để
quyết định những điểm làm mẫu cho việc phân tích
% Khai triển Taylor cho bộ lọc DoG tại các điểm mẫu:


: Độ dịch so với các điểm lân cận của điểm
lấy mẫu.

% Vùng chứa điểm hấp dẫn được xác định qua :

% Nếu! >!0.5!:!điểm!hấp!dẫn!nằm!ở!gần!điểm!lấy!mẫu!
khác.!
% Thực!hiện!tiếp!tục!với!các!điểm!lấy!mẫu!khác.!
% Những!điểm!có! thỏa!mãn!(<!0.5)!được!thêm!vào!tập!
hợp!mẫu!tốt!nhất,!tiếp!tục!phân!tích !tiếp.!
% Dùng! để!loại!những!điểm!cực!trị!không!ổn!định!(độ!
tương!phản!thấp).!
% Thay!! !vào! !ta!được:!
!
Nếu! <!0.03!thì!điểm!lấy!mẫu!đó!sẽ!bị!loại.!



Trước Sau
3) Bước 3: Xác định hướng cho các điểm hấp dẫn. [4],[5]
" Dựa vào hướng của điểm hấp dẫn, biết được điểm hấp dẫn bất
biến với sự quay ảnh.
" Tại mỗi điểm hấp dẫn, trích xuất một ảnh Gaussian (khung
Gaussian) chứa các điểm lân cận điểm hấp dẫn đó.

Trích ảnh Gaussian
" Tính toán hướng và độ lớn cho điểm hấp dẫn: