Ứng dụng xử lý ảnh trong theo dõi đối tượng chuyển động (2014)

TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2
KHOA CÔNG NGHỆ THÔNG TIN
======***======

I V N THẮNG

ỨNG DỤNG XỬ LÝ ẢNH TRONG
TH O

I Đ I TƯ NG CHU

N ĐỘNG

KHÓA LUẬN T T NGHIỆP ĐẠI HỌC
Chuyên ngành: Tin học

HÀ NỘI – 2014


TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2
KHOA CÔNG NGHỆ THÔNG TIN
======***======

I V N THẮNG

ỨNG DỤNG XỬ LÝ ẢNH TRONG
TH O

I Đ I TƯ NG CHU

N ĐỘNG

KHÓA LUẬN T T NGHIỆP ĐẠI HỌC
Chuyên ngành: Tin học

Người hướng dẫn khoa học:
Th S ƯU TH

HÀ NỘI – 2014

CH HƯ NG


ỜI CẢM

N

Trong suốt quá trình học tập và làm khóa luận, em nhận đƣợc sự giúp
đỡ, tạo điều kiện của các thầy, cô giáo khoa Công nghệ thông tin. Bên cạnh
đó là sự giúp đỡ rất nhiều của ngƣời thân, bạn bè để em có đƣợc kết quả ngày
hôm nay.
Trƣớc hết em xin tỏ lòng kính trọng cảm ơn cô Th.S Lƣu Thị Bích
Hƣơng đã tận tình chỉ bảo, hƣớng dẫn cho em hoàn thành đƣợc bản khóa luận
này.
Xin cảm ơn các thầy, cô giáo trong khoa Công nghệ thông tin – trƣờng
Đại học Sƣ phạm Hà Nội 2, các bạn trong lớp K36 – CN Tin đã tận tình giúp
đỡ, giới thiệu tài liệu, sách tham khảo để khóa luận đƣợc hoàn thành đúng
thời hạn.
Cuối cùng là lòng biết ơn đến sự quan tâm, chăm sóc và tạo điều kiện
của gia đình để con tập trung vào việc học tập và hoàn thành bản khóa luận
này.

Do thời gian thực hiện không nhiều nên khóa luận không tránh khỏi
những thiếu sót. Rất mong nhận đƣợc sự đóng góp của thầy cô giáo và các
bạn để khóa luận đƣợc hoàn thiện hơn.
Em xin chân thành cảm ơn!
Hà Nội, tháng 05 năm 2014
Sinh viên

BÙI VĂN THẮNG

i


ỜI CAM ĐOAN
Tên em là: BÙI VĂN THẮNG
Sinh viên lớp: K36 – CN Tin học, khoa công nghệ thông tin
Trƣờng Đại học Sƣ phạm Hà Nội 2.
Em xin cam đoan:
1. Đề tài: “Ứng dụng xử lý ảnh trong theo dõi đối tƣợng chuyển động”
là sự nghiên cứu của riêng em, dƣới sự hƣớng dẫn của cô ThS. Lƣu Thị Bích
Hƣơng.
2. Khóa luận hoàn toàn không sao chép của tác giả nào khác.
Nếu sai em xin hoàn toàn chịu trách nhiệm.
Hà Nội, tháng 05 năm 2014
Ngƣời cam đoan

BÙI VĂN THẮNG

ii

MỤC ỤC
LỜI CẢM ƠN........................................................................................................................ i
LỜI CAM ĐOAN ................................................................................................................ ii
MỤC LỤC ...........................................................................................................................iii
DANH MỤC HÌNH VẼ ...................................................................................................... v
MỞ ĐẦU .............................................................................................................................. 1
CHƢƠNG 1: CƠ SỞ LÝ THUYẾT ................................................................................... 4
1.1 Xử lý ảnh ........................................................................................................... 4
1.2 Các vấn đề cơ bản trong xử lý ảnh .................................................................... 5
1.2.1 Một số khái niệm ........................................................................................ 5
1.2.2 Thu nhận ảnh .............................................................................................. 6
1.2.3 Biểu diễn ảnh.............................................................................................. 6
1.2.4 Khử nhiễu ................................................................................................... 7
1.2.5 Nắn chỉnh biến dạng................................................................................... 8
1.2.6 Chỉnh mức xám .......................................................................................... 8
1.2.7 Phân tích ảnh .............................................................................................. 8
1.2.8 Nhận dạng .................................................................................................. 9
1.2.9 Nén ảnh .................................................................................................... 10
1.3 Các phép biến đổi ảnh ..................................................................................... 11
1.3.1 Biến đổi Fourier ....................................................................................... 13
1.3.2 Biến đổi Hotelling .................................................................................... 14
1.4 Toán tử xử lý điểm ảnh ................................................................................... 18
1.4.1 Xử lí điểm ảnh bằng ánh xạ biến đổi ....................................................... 18
1.4.2 Lƣợc đồ mức xám (histogram)................................................................. 19
1.4.3 Biến đổi lƣợc đồ xám ............................................................................... 20
CHƢƠNG 2: XỬ LÝ ẢNH TRONG THEO DÕI ĐỐI TƢỢNG CHUYỂN ĐỘNG.. 21
2.1 Khái niệm ........................................................................................................ 21
2.2 Video ............................................................................................................... 22
2.2.1 Color ......................................................................................................... 23
2.2.2 Texture ..................................................................................................... 23

2.2.3 Shape ........................................................................................................ 24

iii


2.2.4 Chuyển động (Motion) ............................................................................. 24
2.3 Theo dõi đối tƣợng .......................................................................................... 24
2.3.1 Chính xác hoá đối tƣợng tƣơng ứng (Object matching) .......................... 25
2.3.2 Xử lý nhập nhằng – Occlusion ................................................................. 26
2.3.3 Dự đoán chuyển động .............................................................................. 27
2.4 Bài toán theo dõi đối tƣợng chuyển động ....................................................... 29
2.4.1 Bài toán .................................................................................................... 29
2.4.2 Giải quyết bài toán ................................................................................... 31
2.4.3.1 Khối chính xác hoá đối tƣợng tƣơng ứng ......................................... 33
2.4.3.2 Khối xử lý nhập nhằng giữa các đối tƣợng ....................................... 35
2.4.3.3 Khối dự đoán chuyển động của đối tƣợng ........................................ 36
CHƢƠNG 3: CHƢƠNG TRÌNH THỬ NGHIỆM.......................................................... 42
3.1 Phát biểu bài toán ............................................................................................ 42
3.2 Xây dựng chƣơng trình và thực nghiệm ......................................................... 43
3.2.1 Xây dựng chƣơng trình ............................................................................ 43
3.2.2 Thiết kế chƣơng trình ............................................................................... 44
3.2.3 Thực nghiệm ............................................................................................ 45
KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN ....................................................................... 50
TÀI LIỆU THAM KHẢO ................................................................................................. 52

iv


DANH MỤC HÌNH VẼ
Hình 1.1: Quá trình xử lý ảnh .....................................................................................4

Hình 1.2: Các bƣớc cơ bản trong một hệ thống xử lý ảnh ..........................................5
Hình 1.3: Hệ tọa độ màu RGB ....................................................................................6
Hình 1.4: Điểm 8 láng giềng và 4 láng giềng .............................................................7
Hình 1.5: Ảnh thu nhận và ảnh mong muốn ...............................................................8
Hình 1.6: Phép biến đổi ảnh ......................................................................................11
Hình 1.7: Lƣợc đồ mức xám của ảnh ........................................................................20
Hình 2.1: Sơ đồ mô tả các tiến trình xử lý của hệ thống...........................................21
Hình 2.2: Cấu trúc phân cấp của video .....................................................................22
Hình 2.3: Minh họa việc chuyển đổi giữa các lia .....................................................23
Hình 2.4: Bốn khung hình khác nhau song có cùng một biểu đồ màu .....................23
Hình 2.5: Tổng quan các khối xử lý trong bài toán theo vết đối tƣợng ....................25
Hình 2.6: Minh hoạ sự chính xác hoá đối tƣợng.......................................................26
Hình 2.7: Ví dụ theo vết có sự nhập nhằng ............................................................... 27
Hình 2.8: Theo vết đối tƣợng ứng dụng trong hệ thống giám sát .............................28
Hình 2.9: Mô hình các bài toán cần giải quyết trong theo dõi đối tƣợng .................29
Hình 2.10: Mô hình Module chính xác hoá đối tƣợng và xử lý nhập nhằng ............32
Hình 2.11: Mô hình module xử lý dự đoán chuyển động của đối tƣợng ..................33
Hình 2.12: Mô hình hoá thuật toán chính xác hoá đối tƣợng tƣơng ứng ..................34
Hình 2.13: Mô hình các đối tƣợng kết hợp với nhau ................................................35
Hình 2.14: Dự đoán chuyển động của đối tƣợng dựa vào mô hình SSD - MS ........37
Hình 3.1: Form giao diện chính của hệ thống ...........................................................44
Hình 3.2: Form giao diện thực nghiệm của chƣơng trình .........................................44
Hình 3.3: Thực hiện xử lý đƣa ra vết chuyển động của đối tƣợng ...........................45
Hình 3.4: Thực hiện xử lý bao khít đối tƣợng chuyển động .....................................46
Hình 3.5: Thực hiện xử lý bao đối tƣợng bằng các khối chữ nhật nhỏ.....................47
Hình 3.6: Thực hiện xử lý bao đối tƣợng bằng một hộp chữ nhật lớn, và thực hiện
đếm số đối tƣợng chuyển động .................................................................................48

v

MỞ ĐẦU
1. Lý do chọn đề tài
Ngày nay, thuật ngữ hệ thống giám sát bằng camera đã ngày càng trở
nên phổ biến và dần trở thành quen thuộc với chúng ta, những ngƣời đang
sống trong thời đại mới, thời đại của nền kinh tế tri thức, trong đó những
thành tựu rực rỡ của công nghệ thông tin đóng vai trò chủ đạo.
Ra đời từ những năm 1960 qua quá trình hoàn thiện và phát triển, ngày
nay một hệ thống giám sát tự động là một trong những hệ thống trợ giúp đắc
lực nhất cho con ngƣời thực hiện theo dõi, giám sát. Với một bài toán giám
sát giao thông, một hệ thống giám sát có thể cho chúng ta biết đƣợc số lƣợng
phƣơng tiện lƣu thông qua đoạn đƣờng, đƣa ra thông tin về tốc độ chuyển
động, đƣờng đi của đối tƣợng đƣợc theo dõi. Một hệ thống giám sát có thể
phát hiện một đám cháy, tự động cảnh báo cháy ở nơi đƣợc quan sát và theo
dõi.
Trong thời đại phát triển cao của công nghệ tự động, nhu cầu về các hệ
thống giám sát theo dõi ngày càng trở nên cấp thiết đặc biệt trong các lĩnh vực
an ninh, quân sự. Chính bởi vậy việc nghiên cứu và xây dựng một hệ thống
giám sát bằng hình ảnh với hiệu quả và tính tin cậy cao đang là mục tiêu của
nhiều nhà khoa học.
Ý thức đƣợc những lợi ích mà hệ thống giám sát thông minh mang lại,
em chọn đề tài khóa luận là: “Ứng dụng xử lý ảnh trong theo dõi đối tượng
chuyển động” để từ đó có thể áp dụng giải quyết bài toán theo dõi giám sát
giao thông – một vấn đề bức bách hiện nay.
2. Mục đích, đối tượng nghiên cứu
Mục đích nghiên cứu: Tìm hiểu, khảo sát thực nghiệm và ứng dụng của hệ
thống giám sát, theo dõi đối tƣợng chuyển động. Dựa trên một số thực nghiệm
về việc sử dụng camera quan sát để phát hiện, theo dõi đối tƣợng chuyển
động và xây dựng chƣơng trình minh họa.

1


Đối tượng nghiên cứu: Đối tƣợng chuyển động đƣợc ghi lại bằng camera
theo dõi trong phòng kín ít nhiễu và trong điều kiện ngoài trời có nhiều nhiễu.
3. Nhiệm vụ, yêu cầu
Đề tài của khóa luận: “Ứng dụng xử lý ảnh trong theo dõi đối tƣợng
chuyển động” đƣợc đặt ra với nhiệm vụ, yêu cầu:
- Nghiên cứu tổng quan về bài toán theo dõi đối tƣợng chuyển động và các
vấn đề đặt ra trong hệ thống giám sát.
- Trình bày một số kỹ thuật giải quyết vấn đề trên cơ sở vận dụng và hoàn
thiện các phƣơng pháp đã có cho vấn đề đặt ra.
- Cài đặt và thực nghiệm giải quyết bài toán theo dõi đối tƣợng chuyển
động.
4. Phương pháp nghiên cứu
a. Nghiên cứu qua việc đọc sách, báo và các tài liệu liên quan nhằm xây
dựng cơ sở lý thuyết của đề tài và các biện pháp cần thiết để giải quyết
các vấn đề của đề tài.
b. Tham khảo các ý kiến của các chuyên gia để có thể thiết kế chƣơng trình
phù hợp với thực tiễn.
c. Thông qua quan sát thực tế, yêu cầu cơ sở của lý luận đƣợc nghiên cứu
và các kết quả đạt đƣợc qua những phƣơng pháp trên.
5. Ý nghĩa khoa học thực tiễn của đề tài
Theo dõi tự động là một hƣớng đi mới đƣợc nghiên cứu và phát triển
trong lĩnh vực nhận dạng và xử lý ảnh, tạo cách tiếp cận cho phần mềm thiết
kế chuyên dụng cho các thiết bị theo dõi tự động. Nó mang lại rất nhiều tiện
ích và hiệu quả cho ngƣời sử dụng, đặc biệt là hiệu quả về kinh tế, tiết kiệm
đƣợc rất nhiều thời gian và công sức trong việc theo dõi các đối tƣợng chuyển
động.
6. Cấu trúc của khóa luận

Ngoài các phần mở đầu và kết luận, khóa luận bao gồm các chƣơng
sau:

2


Chƣơng 1: Cơ sở lý thuyết
Nêu các vấn đề cơ bản của xử lý ảnh và các phép toán ứng dụng trong
bài toán theo dõi đối tƣợng chuyển động.
Chƣơng 2: Xử lý ảnh trong theo dõi đối tƣợng chuyển động
Trình bày các vấn đề cần giải quyết trong hệ thống theo dõi, giới thiệu
bài toán theo dõi đối tƣợng chuyển động. Sau đó trình bày một số kỹ thuật
giải quyết vấn đề theo dõi đối tƣợng chuyển động, từ đó đề xuất các phƣơng
pháp và giải quyết giải quyết bài toán.
Chƣơng 3: Chƣơng trình thử nghiệm
Trình bày về việc cài đặt chƣơng trình, xây dựng dữ liệu thực nghiệm,
các quá trình thực nghiệm, kết quả thực nghiệm và các kết quả đánh giá, nhận
xét các xử lý từ thực nghiệm.

3


CHƯ NG 1: C

SỞ Ý THU ẾT

1.1 Xử lý ảnh
Con ngƣời thu nhận thông tin qua các giác quan, trong đó thị giác
đóng vai trò quan trọng nhất. Những năm trở lại đây với sự phát triển của
phần cứng máy tính, xử lý ảnh và đồ hoạ đó phát triển một cách mạnh mẽ và

có nhiều ứng dụng trong cuộc sống. Xử lý ảnh và đồ hoạ đóng một vai trò
quan trọng trong tƣơng tác ngƣời máy.
Quá trình xử lý ảnh đƣợc xem nhƣ là quá trình thao tác ảnh đầu vào
nhằm cho ra kết quả mong muốn. Kết quả đầu ra của một quá trình xử lý ảnh
có thể là một ảnh “tốt hơn” hoặc một kết luận.
Ảnh

Xử lý ảnh

Ảnh “tốt”
hơn”
Kết luận

Hình 1.1: Quá trình xử lý ảnh
Ảnh có thể xem là tập hợp các điểm ảnh và mỗi điểm ảnh đƣợc xem
nhƣ là đặc trƣng cƣờng độ sáng hay một dấu hiệu tại một vị trí nào đó của
đối tƣợng trong không gian và nó có thể xem nhƣ một hàm n biến P(c1,
c2,..., cn). Do đó, ảnh trong xử lý ảnh có thể xem nhƣ ảnh n chiều.
Sơ đồ tổng quát của một hệ thống xử lý ảnh:

4


Hệ quyết
định
Trích
Thu nhận ảnh

Tiền

chọn

Hậu xử

Đối sách rút

xử lý

đặc

lý

ra kết luận

điểm
Hậu xử lý

Hình 1.2: Các bước cơ bản trong một hệ thống xử lý ảnh
1 2 Các vấn đề cơ bản trong xử lý ảnh
1.2.1 Một số khái niệm
 Pixel (Picture Element): Phần tử ảnh
Ảnh trong thực tế là một ảnh liên tục về không gian và về giá trị độ
sáng. Để có thể xử lý ảnh bằng máy tính cần phải tiến hành số hoá ảnh. Trong
quá trình số hoá, ngƣời ta biến đổi tín hiệu liên tục sang tín hiệu rời rạc thông
qua quá trình lấy mẫu (rời rạc hoá về không gian) và lƣợng hoá thành phần
giá trị (rời rạc hoá biên độ giá trị) mà về nguyên tắc bằng mắt thƣờng không
thể phân biệt hai mức kề nhau. Trong quá trình này, ngƣời ta sử dụng khái
niệm Picture Element mà ta quen gọi hay viết tắt là pixel - phần tử ảnh. Ở đây
cũng cần phân biệt khái niệm pixel hay đề cập đến trong hệ thống đồ hoạ máy
tính. Để tránh nhầm lẫn ta tạm gọi pixel này là pixel thiết bị. Khái niệm pixel

thiết bị có thể xem xét nhƣ sau: Khi ta quan sát màn hình (trong chế độ đồ
hoạ), màn hình không liên tục mà gồm nhiều điểm nhỏ, gọi là pixel. Mỗi
pixel gồm một cặp toạ độ (x,y) và màu.
Nhƣ vậy, một ảnh là tập hợp các điểm ảnh. Khi đƣợc số hoá, nó thƣờng
đƣợc biểu diễn bởi mảng hai chiều I(n,p): n dòng và p cột. Ta nói ảnh gồm n x
p pixels. Ngƣời ta thƣờng kí hiệu I(x,y) để chỉ một pixel. Một pixel có thể lƣu
trữ trên 1, 4, 8 hay 24 bit.

5


 Gray level: Mức xám
Mức xám là kết quả sự mã hoá cƣờng độ sáng của mỗi điểm ảnh tƣơng
ứng với một giá trị số - kết quả của quá trình lƣợng hoá. Cách mã hoá kinh
điển thƣờng dùng 16, 32 hay 64 mức. Mã hoá 256 mức là phổ dụng nhất vì lý
do kĩ thuật.
Vì 2 8 = 256 (0, 1, 2,…, 256), nên với 256 mức, mỗi pixel sẽ đƣợc mã
hoá bởi 8 bit.
1 2 2 Thu nhận ảnh
Nhƣ ta đã biết, ảnh trong thực tế là ảnh liên tục cả về không gian lẫn
giá trị độ sáng. Muốn xử lý ảnh trên máy tính ta cần phải số hóa ảnh, tức là
đƣa ảnh từ thực tế vào máy tính. Để đƣa ảnh vào trong máy tính chúng ta
có thể dùng các thiết bị thu nhận nhƣ: camera cộng với bộ chuyển đổi
tƣơng tự số AD (Analog to Digital) hoặc máy quét chuyên dụng.
Các thiết bị thu nhận có thể cho ảnh trắng đen B/W với mật độ từ 400
đến 600 dpi. Với ảnh B/W mức màu z là 0 hoặc 1. Với ảnh đa cấp xám, mức
xám biến thiên từ 0 đến 255.
1.2.3 Biểu diễn ảnh
Sau quá trình số hóa ta sẽ thu đƣợc một ma trận tƣơng ứng với ảnh cần
xét, mỗi phần tử của ma trận tƣơng ứng với một điểm ảnh. Các điểm này

thƣờng đƣợc đặc trƣng bởi tọa độ màu RGB tƣơng ứng với nó trong hệ tọa
độ màu cơ bản sau:

Hình 1.3: Hệ tọa độ màu RGB

6


Về mặt toán học ta có thể xem ảnh nhƣ là một hàm hai biến f(x,y)
với x,y là các biến tọa độ. Giá trị số tại điểm (x,y) tƣơng ứng với giá trị xám
hoặc độ sáng của ảnh. ảnh có thể đƣợc biểu diễn theo một trong hai mô hình
sau đây:
 Mô hình Raster: là mô hình biểu diễn ảnh phổ biến nhất hiện nay. ảnh
đƣợc biểu diễn dƣới dạng ma trận các điểm ảnh. Tùy theo nhu cầu
thực tế mà mỗi điểm ảnh có thể đƣợc biểu diễn bởi một hay nhiều
bit. Mô hình Raster phù hợp cho việc thu nhận và hiển thị ảnh.
 Mô hình vector: bên cạnh mục đích tiết kiệm không gian lƣu trữ, dễ
dàng hiển thị và in ấn, các ảnh biểu diễn theo mô hình vector còn có
ƣu điểm cho phép dễ dàng lựa trọn, sao chép, di chuyển, tìm kiếm,
v.v… Trong mô hình này ngƣời ta sử dụng hƣớng vectot của các điểm
ảnh lân cận để mã hóa và tái tạo ảnh ban đầu. Các ảnh vector đƣợc thu
nhậnh trực tiếp từ các thiết bị số hóa nhƣ Digitalize hoặc chuyển đổi
từ các ảnh Raster thông qua các chƣơng trình vector hóa.
Khi xử lý các ảnh Raster chúng ta có thể quan tâm đến mối quan hệ
trong vùng lân cận của các điểm ảnh. Các điểm ảnh có thể xếp hàng trên
một lƣới hình vuông, hoặc lƣới lục giác hoặc theo một cách hoàn toàn ngẫu
nhiên với nhau. Cách sắp xếp theo lƣới hình vuông đƣợc quan tâm nhiều
nhất và có hai khái niệm sau: điểm 4 – láng giềng và điểm 8 – láng giềng.
Hình vẽ 1.4 dƣới đây mô tả các khái niệm này:

8 láng giềng

4 láng giềng

Hình 1.4: Điểm 8 láng giềng và 4 láng giềng
1.2 4 Khử nhiễu
Có 2 loại nhiễu cơ bản trong quá trình thu nhận ảnh:

7


- Nhiễu hệ thống: Là nhiễu có quy luật có thể khử bằng các phép toán
biến đổi.
- Nhiễu ngẫu nhiên: Vết bẩn không rõ nguyên nhân, để khắc phục ta có
thể sử dụng các phép lọc.
1.2.5 Nắn chỉnh biến dạng
Ảnh thu nhận thƣờng bị biến dạng do các thiết bị quang học và điện tử.

Ảnh thu nhận Pi

Ảnh mong muốn Pi’

f(Pi)

Hình 1.5: Ảnh thu nhận và ảnh mong muốn
Để khắc phục ngƣời ta sử dụng các phép chiếu, các phép chiếu
thƣờng đƣợc xây dựng trên tập các điểm điều khiển.
1.2.6 Chỉnh mức xám
Nhằm khắc phục tính không đồng đều của hệ thống gây ra. Thông
thƣờng có 2 hƣớng tiếp cận:

 Giảm số mức xám: Thực hiện bằng cách nhóm các mức xám gần
nhau thành một bó. Trƣờng hợp chỉ có 2 mức xám thì chính là
chuyển về ảnh đen trắng. Ứng dụng: In ảnh màu ra máy in đen trắng.
 Tăng số mức xám: Thực hiện nội suy ra các mức xám trung gian
bằng kỹ thuật nội suy. Kỹ thuật này nhằm tăng cƣờng độ mịn cho ảnh.
1.2.7 Phân tích ảnh
Là khâu quan trọng trong quá trình xử lý ảnh để tiến tới hiểu ảnh.
Trong phân tích ảnh việc trích chọn đặc điểm là một bƣớc quan trọng. Các
đặc điểm của đối tƣợng đƣợc trích chọn tuỳ theo mục đích nhận dạng trong
quá trình xử lý ảnh. Có thể nêu ra một số đặc điểm của ảnh sau đây:
Đặc điểm không gian: Phân bố mức xám, phân bố xác suất, biên độ,
điểm uốn v.v...

8


Đặc điểm biến đổi: Các đặc điểm loại này đƣợc trích chọn bằng việc
thực hiện lọc vùng (zonal filtering). Các bộ vùng đƣợc gọi là “mặt nạ đặc
điểm” (feature mask) thƣờng là các khe hẹp với hình dạng khác nhau (chữ
nhật, tam giác, cung tròn v.v...)
Đặc điểm biên và đường biên: Đặc trƣng cho đƣờng biên của đối
tƣợng và do vậy rất hữu ích trong việc trích trọn các thuộc tính bất biến đƣợc
dùng khi nhận dạng đối tƣợng. Các đặc điểm này đƣợc trích chọn nhờ toán
tử gradient, toán tử la bàn, toán tử Laplace, toán tử “chéo không” (zero
crossing) v.v..
Việc trích chọn hiệu quả các đặc điểm giúp cho việc nhận dạng các
đối tƣợng chính xác, với tốc độ tính toán cao và dung lƣợng lƣu trữ giảm
xuống.
1.2.8 Nhận dạng
Nhận dạng tự động (automatic recognition), mô tả đối tƣợng, phân

loại và phân nhóm các mẫu là những vấn đề quan trọng trong thị giác máy,
đƣợc ứng dụng trong nhiều ngành khoa học khác nhau. Tuy nhiên, một câu
hỏi đặt ra là: Mẫu (pattern) là gì? Watanabe, một trong những ngƣời đi đầu
trong lĩnh vực này đã định nghĩa: “Ngƣợc lại với hỗn loạn (chaos), mẫu là
một thực thể (entity), đƣợc xác định một cách ang áng (vaguely defined)
và có thể gán cho nó một tên gọi nào đó”. Ví dụ mẫu có thể là ảnh của vân
tay, ảnh của một vật nào đó đƣợc chụp, một chữ viết, khuôn mặt ngƣời hoặc
một ký đồ tín hiệu tiếng nói. Khi biết một mẫu nào đó, để nhận dạng hoặc
phân loại mẫu đó có thể:
Hoặc phân loại có mẫu (supervised classification), chẳng hạn phân
tích phân biệt (discriminant analyis), trong đó mẫu đầu vào đƣợc định danh
nhƣ một thành phần của một lớp đã xác định.
Hoặc phân loại không có mẫu (unsupervised classification hay
clustering) trong đó các mẫu đƣợc gán vào các lớp khác nhau dựa trên một
tiêu chuẩn đồng dạng nào đó. Các lớp này cho đến thời điểm phân loại vẫn

9


chƣa biết hay chƣa đƣợc định danh.
Hệ thống nhận dạng tự động bao gồm ba khâu tƣơng ứng với ba giai
đoạn chủ yếu sau đây:
+ Thu nhận dữ liệu và tiền xử lý.
+ Biểu diễn dữ liệu.
+ Nhận dạng, ra quyết định.
Bốn cách tiếp cận khác nhau trong lý thuyết nhận dạng là:
+ Đối sánh mẫu dựa trên các đặc trƣng đƣợc trích chọn.
+ Phân loại thống kê.
+ Đối sánh cấu trúc.
+ Phân loại dựa trên mạng nơ-ron nhân tạo.

Trong các ứng dụng rõ ràng là không thể chỉ dùng có một cách tiếp
cận đơn lẻ để phân loại “tối ƣu” do vậy cần sử dụng cùng một lúc nhiều
phƣơng pháp và cách tiếp cận khác nhau. Do vậy, các phƣơng thức phân loại
tổ hợp hay đƣợc sử dụng khi nhận dạng và nay đã có những kết quả có
triển vọng dựa trên thiết kế các hệ thống lai (hybrid system) bao gồm
nhiều mô hình kết hợp.
Việc giải quyết bài toán nhận dạng trong những ứng dụng mới nảy
sinh trong cuộc sống không chỉ tạo ra những thách thức về thuật giải, mà
còn đặt ra những yêu cầu về tốc độ tính toán. Đặc điểm chung của tất cả
những ứng dụng đó là những đặc điểm đặc trƣng cần thiết là nhiều, không
thể do chuyên gia đề xuất, mà phải đƣợc trích chọn dựa trên các thủ tục phân
tích dữ liệu.
1.2.9 Nén ảnh
Nhằm giảm thiểu không gian lƣu trữ. Thƣờng đƣợc tiến hành theo
cả hai cách khuynh hƣớng là nén bảo toàn và không bảo toàn thông tin. Nén
không bảo toàn thì thƣờng có khả năng nén cao hơn nhƣng khả năng phục
hồi thì kém hơn. Trên cơ sở hai khuynh hƣớng, có 4 cách tiếp cận cơ bản
trong nén ảnh:

10


 Nén ảnh thống kê: Kỹ thuật nén này dựa vào việc thống kê tần xuất
xuất hiện của giá trị các điểm ảnh, trên cơ sở đó mà có chiến lƣợc mã
hóa thích hợp. Một ví dụ điển hình cho kỹ thuật mã hóa này là *.TIF
 Nén ảnh sử dụng phép biến đổi: Đây là kỹ thuật tiếp cận theo hƣớng
nén không bảo toàn và do vậy, kỹ thuật thƣớng nến hiệu quả hơn.
*.JPG chính là tiếp cận theo kỹ thuật nén này
 Nén ảnh Fractal: Sử dụng tính chất Fractal của các đối tƣợng ảnh, thể
hiện sự lặp lại của các chi tiết. Kỹ thuật nén sẽ tính toán để chỉ cần

lƣu trữ phần gốc ảnh và quy luật sinh ra ảnh theo nguyên lý Fractal
1.3 Các phép biến đổi ảnh
Các phép biến đổi là cách tiếp cận thứ hai đƣợc áp dụng trong tín hiệu
số nói chung và trong xử lý ảnh số nói riêng. Phép biến đổi (transform) là
thuật ngữ dùng để chỉ việc chuyển đổi sự biểu diễn của một đối tƣợng từ
không gian này sang một không gian khác. Thí dụ, X là một đối tƣợng trong
không gian X, phép biến đổi T biểu diễn bởi ma trận A sẽ chuyển biểu diễn X
sang Y trong không gian Y nhƣ sau:
Y = AX
T

X

Không gian X

Y

Không gian Y

Hình 1.6: Phép biến đổi ảnh
Nhƣ vậy, biến đổi ảnh (Image Transform) nhằm chuyển đổi sự biểu
diễn ảnh từ một không gian ban đầu sang một không gian khác sao cho việc
xử lý đƣợc tiện lợi hơn.
Để theo dõi một cách có hệ thống, trƣớc tiên ta xem xét khái niệm
chung về biến đổi ảnh trong ngữ cảnh của xử lý ảnh. Ta nói khai triển chuỗi
trực giao tổng quát của một ảnh số u(m,n), kích thƣớc NxN là một cặp biến
đổi có dạng:

11

N 1 N 1

v(k,l) =



u(m,n) ak,l(m,n) với k,l = 0, 1,..., N-1

m 0 n  0

N 1 N 1

u(m,n) =



v(k,l) a*k,l(m,n) với m,n = 0, 1,..., N-1

k 0 l 0

Trong đó {ak,l (m,n)} gọi là một biến đổi ảnh. Đó chính là tập các hàm
cơ sở (trong xử lý ảnh gọi là các ảnh cơ sở) .
Theo định nghĩa, một biến đổi tƣơng ứng với A là unita và tách đƣợc
(separable unitary transforms) nếu:
AA*T = ATA* = I với A là ma trận biến đổi; A*T là ma trận chuyển vị của A.
Nhìn chung, trong xử lý ảnh số, ta hay dùng biến đổi đơn vị trực giao
và tách đƣợc. Trong ngữ cảnh này, viết dƣới dạng ma trận ta có:
N 1 N 1

v(k,l) =



m 0 n  0

a(k,m).u(m,n).a(l,n)  V = A.U.AT

N 1 N 1

u(m,n) =


k 0 l 0

a*(k,m).v(k,l).a*(l,n)  U = A*T.V.A*

Ví dụ: Cho A là ma trận của biến đổi trực giao và U là một ảnh:
A=

1 1 1 


2 1 1

1 2 
U= 

3 4 

Theo công thức trên ta có:
V = A.U.AT =

1 1 1  1 2  1 1 1   5 1
.

.

 = 

2 1 1 3 4  2 1 1  2 0 

U = A*T.V.A* =

1 2 
1 1 1   5 1 1 1 1 
.
.
=
3 4 




 
2 1 1  2 0  2 1 1



Có rất nhiều phép biến đổi đƣợc dùng trong xử lý ảnh nhƣ biến đổi

Fourrier, biến đổi Cosin, Karhuman - Loeve,.... Tuy nhiên, trong phần dƣới
đây ta chỉ xét 2 biến đổi quan trọng là biến đổi Fourrier TF (Fourrier
Transform) và biến đổi Hotelling (Karhuman - Loeve).

12


1.3 1 iến đổi Fourier
Biến đổi Fourrier cho một tín hiệu có thể hình dung nhƣ sau:
FT
x(t)

X(f)

Miền thời gian

Miền tần số

Vì tín hiệu ảnh là tín hiệu hai chiều, do đó trong phần này ta chỉ xét các
biến đổi Fourier hai chiều.
a) Biến đổi Fourier liên tục
Cho f(x,y) hàm biểu diễn ảnh liên tục trong không gian 2 chiều, cặp
biến đổi Fourier cho f(x,y) đƣợc định nghĩa:
 

- Biến đổi thuận F(u,v) =

  f ( x , y )e

2 i ( xu  yv )

dxdy

 

u,v biểu diễn tần số không gian.
 

- Biến đổi ngƣợc f(x,y) =

  F ( u, v ) e

2 i ( xu  yv )

dudv



b) Biến đổi Fourrier rời rạc – DFT
Biến đổi DFT đƣợc phát triển dựa trên biến đổi Fourrier cho ảnh số. Ở
đây, ta dùng tổng thay cho tích phân. Biến đổi DFT tính các giá trị của biến
đổi Fourrier cho một tập các giá trị trong không gian tần số đƣợc cách đều.
DFT hai chiều của một ảnh M x N: {u(m,n)} là một biến đổi tách đƣợc
và đƣợc định nghĩa :
N 1 N 1

v(k,l) =

  u(m, n)

m 0 n  0

WN km WN ln với 0  l, k  N-1

và biến đổi ngƣợc:
u(m,n) =

1
N

N 1 N 1

2

  v( k , l )

WN -km WN -ln với 0  m, n  N-1

k 0 l 0

Cặp DFT đơn vị hai chiều đƣợc định nghĩa:
v(k,l) =

1
N

N 1 N 1

  u(m, n) WN km WN ln với 0  l, k  N-1

m 0 n  0

13


u(m,n) =

1
N

N 1 N 1

  v( k , l ) WN -km WN -ln với 0  m, n  N-1
k 0 l 0

Viết lại công thức trên ta có:
v(k,l) =
u(m,n) =

1
N
1
N

N 1 N 1

  u(m, n) WN (km + ln) với 0  l, k  N-1

m 0 n  0

N 1 N 1

  v( k , l)

WN -(km + ln) với 0  m, n  N-1

k 0 l 0

Ở đây, WN(km+ln) là ma trận ảnh cơ sở, ej = cos() + jsin()
Do vậy:
WN(km+ln) = e-j2(km+ln)/N = cos(2(km+ln)/N) - j sin(2(km+ln)/N)
c) Biến đổi nhanh – FFT (Fast Fourrier Transform)
Do DFT 2 chiều là tách đƣợc nên, ta có:
1
v(k,l) =
N

N 1

N 1

m 0

n0

 WN km  u(m, n) WNln

1.3 2 iến đổi Hotelling
Biến đổi Hotelling có nguồn gốc từ khai triển chuỗi của các quá trình
ngẫu nhiên liên tục. Biến đổi Hotelling cũng còn đƣợc gọi là biến đổi

Hotelling hay phƣơng pháp thành phần chính.
Một số khái niệm và định nghĩa:
X là một biến véc tơ ngẫu nhiên gồm n thành phần xi, i = 1, 2,…, n.
Mỗi thành phần xi là giá trị ngẫu nhiên. Ngƣời ta định nghĩa:


 Kì vọng toán học (Trung bình số học) E[x] =

 xP( x)dx

với P(x) là



hàm mật độ xác suất và x là biến ngẫu nhiên liên tục.
 Mô men toán học:


mk =

 xP( x)dx

= E[xk] với mk gọi là mô men bậc k của x.



 Tính tƣơng quan: Một tín hiệu phụ thuộc vào thời gian
 Hàm tự tƣơng quan của 1 tín hiệu x[t] đƣợc định nghĩa:
ψx = E[x(t).x(t+δ)]

14


 Hàm tƣơng quan của 2 tín hiệu:
ψxy = E[x(t).y(t+δ)]
 Cho tập các đối tƣợng X, ma trận tƣơng quan của tập các đối tƣợng ký
hiệu là R và đƣợc định nghĩa R = E[X XT] = <X XT>. Viết dƣới dạng
ma trận ta có:

 E[ x11 ]

 E[ x21 ]
R =  ....

 E[ xn1 ]

E[ x13 ] 

E[ x22 ] E[ x23 ] 

....
....

E[ xn 2 ] E[xn 3 ] 
E[ x12 ]

 Ma trận hiệp biến, ký hiệu A = E[(X – M)(X - MT)] = <(X – M)(X –
M)T>
Trong một số trƣờng hợp A = <X XT> - <M MT>. Nếu đối tƣợng không
tƣơng quan (độc lập) lúc đó ma trận A là ma trận đƣờng chéo. Có nghĩa là:

ai,i = xi2 - mi2 ≠ 0 còn ai,j = 0 với i ≠ j.
a) Cơ sở lý thuyết của biến đổi Hotelling
Đây là phép biến đổi không gian n chiều thành không gian m chiều, với
mbiến đổi đƣợc từ không gian n chiều về không gian m chiều, nhƣ vậy ta sẽ làm
giảm đƣợc thông tin dƣ thừa (theo thuật ngữ trong xử lý ảnh hay nhận dạng
gọi là giảm thứ nguyên).
Mục đích của biến đổi Hotelling là chuyển từ không gian n chiều sang
không gian trực giao m chiều sao cho sai số bình phƣơng là nhỏ nhất. Gọi U
là tập các véctơ cơ sở trong không gian trực giao U = {u1, u2, . . ., un},

u1 j

u 2 j
uj = 

u n j

ik
0
nếu
ik
1

với j = 0, 1, 2,…, n và ui . uk = 

15


Mọi véc tơ y trong không gian trực giao có thể viết:

y = 1u1 + 2u2 + . . . + nun = U với  = 1, 2, . . ., n
  = UTy.
Gọi X là kết quả thu đƣợc trong không gian m chiều và X = 1u1 + 2u2 + . .
. + mum  X. Sai số trong phép biến đổi  = X - X
n

=

m



iui -

i 1


i 1

n

iui =



i  m 1

iui

Sai số trung bình bình phƣơng  = E[2] = E[( X -X)T( X -X)]

= <( X -X)T( X -X)>
n

= <



i  m 1

 i2 >

n

=



i  m 1

<  i2 >
n

n

mà  = UTX, do đó  =



i  m 1

(uiTX)(uiX)T =



i  m 1

uiT<XXT>ui

Theo định nghĩa của R, phƣơng trình trên trở thành:
n

=



i  m 1

uiTRui

n

 đạt min khi



i  m 1

uiTRui đạt min.
n

Đặt  =  +



i  m 1

i(1 - uiTui).

Để tìm min của  ta dùng phƣơng pháp đạo hàm và dẫn đến việc giải
phƣơng trình:

(R - i)ui = 0

Phƣơng trình trên gọi là phƣơng trình đặc trƣng của R với i là các trị
riêng và ui là các véc tơ riêng tƣơng ứng. Đây chính là cơ sở lý thuyết của
biến đổi Hotelling.

16


b) Biến đổi Hotelling
Khái niệm biến đổi Hotelling:
Cho u là một véc tơ các số thực ngẫu nhiên; véctơ cơ sở của biến đổi
Hotelling là các véc tơ riêng trực giao của ma trận hiệp biến R cho bởi
phƣơng trình:
R k = k k ; 0  k N-1
N 1

Biến đổi Hotelling của u là v = * u và biến đổi ngƣợc u = v =
T


k 0

v(k)k

u là véc tơ cột, v là véctơ hàng và k là cột thứ k của ma trận .
Biến đổi  đƣa R về dạng đƣờng chéo :

*TR =  =

1






2







N 

Biến đổi Hotelling của ảnh:
Nếu một ảnh u(m,n) NxN đƣợc biểu diễn bởi trƣờng ngẫu nhiên, ma trận

A cho bởi:
E[u(m,n)u(m',n')] = r(m,n;m',n') với 0  m,m',n,n'  N-1
thì ảnh cơ sở của biến đổi Hotelling là các hàm riêng, chuẩn và trực giao k,l
là lời giải của phƣơng trình:
N 1 N 1



r(m,n;m',n') k,l = k,l k,l

m 0 n  0

Theo ký pháp ma trận ta có: Ri = i i với i = 0, 1, ..., N2-1
với i là véc tơ N2 x 1 biểu diễn của k,l và R là ma trận N2 x N2 ánh xạ vào
véc tơ u, R = E[uu].
Nếu R là tách đƣợc thì ma trận  N2 x N2 mà các cột là i sẽ tách đƣợc:
k,l(m,n) = 1  2 hay R = R1  R2
Biến đổi Hotelling của U là V = *Tu = 1*T  2*T
và biến đổi ngƣợc U = 1 V 2

17


1.4 Toán tử xử lý điểm ảnh
Ảnh thô có cấu trúc đơn giản, song lại rất phức tạp về nội dung. Nhƣ
chúng ta biết, ảnh là một tập hợp các điểm ảnh, chứa một lƣợng thông tin khá
lớn. Thƣờng để xử lý ảnh, ngƣời ta hay biểu diễn ảnh dƣới một dạng khác để
có thể làm rõ một số tính chất của chúng. Xử lý điểm ảnh thực chất là dùng
các ánh xạ nhằm biến đổi giá trị của một điểm chỉ dựa vào giá trị của chính nó
mà không quan tâm tới các giá trị của các điểm ảnh khác. Một cách toán học,

ánh xạ đó đƣợc định nghĩa nhƣ sau: v(m,n) = f(u(m,n))
Trong đó: - u(m,n) thể hiện giá trị cƣờng độ sáng tại toạ độ (m,n)
- v(m,n) là giá trị cƣờng độ sáng thu đƣợc sau phép biến đổi
- f là hàm biến đổi. Nó có thể là hàm liên tục hay hàm rời rạc
Xử lý điểm ảnh là một trong các phép xử lý cơ bản và đơn giản. Có 2
cách tiếp cận trong cách xử lý này: dùng một hàm thích hợp tuỳ theo mục
đích cải thiện ảnh để biến đổi giá trị của điểm ảnh (mức xám) sang một giá trị
khác (mức xám mới). Cách thứ hai là dựa vào kỹ thuật biến đổi lƣợc đồ xám
(histogram).
1.4.1 Xử lí điểm ảnh bằng ánh xạ biến đổi
Bản chất của xử lý điểm ảnh nhƣ đã nói trên là nhằm biến đổi giá trị
của một điểm ảnh bằng một hàm tuyến tính hay phi tuyến (hàm mũ, hàm
lôgarít). Các phép xử lý này là cơ sở cho biến đổi độ tƣơng phản của ảnh: co
giãn, tăng giảm và biến đổi độ tƣơng phản vì độ tƣơng phản trên một ảnh chỉ
phụ thuộc vào độ sáng của mỗi điểm ảnh. Giả sử ta dùng một hàm phi tuyến
dạng f = alog():
Y[m,n] = alog(X[m,n]).
Nếu ảnh có kích thƣớc 512 x 512 ta cần 5122 phép biến đổi. Một cách
tổng quát, nếu ảnh có kích thƣớc NxN thì phép biến đổi sẽ có độ phức tạp tính
toán là O(N2). Nếu chú ý rằng ảnh gồm NxN điểm song chỉ có L mức xám (L
rất nhỏ so với N2) và phép biến đổi chỉ nhằm biến đổi một mức xám l  L

18