Phát triển kỹ thuật dò biên, phát hiện biên và ứng dụng

BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN KHOA HỌC & CÔNG NGHỆ VIỆT NAM
VIỆN CÔNG NGHỆ THÔNG TIN




PHẠM VIỆT BÌNH



PHÁT TRIỂN KỸ THUẬT DÒ BIÊN, PHÁT HIỆN
BIÊN VÀ ỨNG DỤNG



Chuyên ngành : BẢO ĐẢM TOÁN HỌC CHO MÁY TÍNH
& HỆ THỐNG TÍNH TOÁN
Mã số : 62.46.35.01


TÓM TẮT LUẬN ÁN TIẾN SĨ TOÁN HỌC

Hà Nội - 2006
1
Phần mở đầu

1. Tính cấp thiết của đề tài
Một trong những vấn đề trọng tâm nghiên cứu của lĩnh vực thị giác máy là biên
và các thao tác trên nó vì các kỹ thuật phân đoạn ảnh chủ yếu dựa vào biên. Nhìn
chung về mặt toán học, người ta coi điểm biên của ảnh là điểm có sự thay đổi đột
ngột về độ xám. Tập hợp các điểm biên tạo thành biên hay đường bao của ảnh. Ví dụ,
trong một ảnh nhị phân, một đi
ểm có thể gọi là biên nếu đó là điểm đen và có ít nhất
một điểm trắng bên cạnh.
Việc nhận dạng đối tượng phụ thuộc nhiều vào các đặc trưng trích chọn và các
đặc trưng này chủ yếu được trích chọn từ biên. Đây là một đề tài vẫn đang được quan
tâm và phát triển. Nhất là, ở Việt Nam hiện nay, chưa có nhiều nghiên cứu về vấn đề
nhận dạng các đối tượng ảnh, mặc dù những ứng dụng thực tế đang đòi hỏi có những
cách giải quyết cụ thể, chẳng hạn như phần mềm nhận dạng các đối tượng địa lý, các
biểu tượng trên bản đồ, phần mềm phát hiện và đếm các đối tượng chuyển động.
Vì những lý do trên đây luận án lựa đã chọn đề tài "Phát tri
ển kỹ thuật dò
biên, phát hiện biên và ứng dụng".
2. Mục đích và phương pháp nghiên cứu của luận án
Xu hướng nghiên cứu biên và các phương pháp xử lý trên nó đã được nhiều tác
giả nghiên cứu và tiếp tục được nghiên cứu cả về mặt lý thuyết lẫn ứng dụng thực tế.
Các sản phẩm kết hợp giữa biên và trung vị hiện nay là các sản phẩm nhập liệu tự
động như MapScan for Windows (phần mềm nhập dữ liệu bản đồ tự động) có kết hợp
biên với xươ
ng trong véc tơ hoá bản đồ, MarkRead 1.0 (phần mềm nhập phiếu điều
tra dạng đánh dấu) dùng biên để tách các đối tượng chứa dấu, WinGIS, VectMap véc
tơ hoá bản đồ dựa trên việc trích chọn xương ảnh. Biên và xương đã và đang tạo ra

các kết quả thực tế rất phong phú và đa dạng.
Xuất phát từ thực tế đó, phương pháp nghiên cứu chính của luận án là tiếp tục
tiế
p thu các kết quả trên và cải tiến chúng nhằm ứng dụng trong nhận dạng đối tượng
ảnh. Với mục tiêu của đề tài được đặt ra như sau:
• Tìm hiểu các kỹ thuật xử lý biên trong xử lý ảnh và đồ họa nhằm kế thừa các
kết quả trên và cải tiến chúng.
• Nghiên cứu các kỹ thuật phát hiện biên trực tiếp và gián tiếp. Dựa trên các
nghiên cứu này đề xuất một s
ố phương pháp phát hiện biên mới cho một số
lớp bài toán.
2
• Đề xuất một số bài toán ứng dụng thực tế có sử dụng các phương pháp trên
và cài đặt.
3. Những đóng góp mới của luận án
Luận án đã đề xuất được:
9 Một cải tiến cho thuật toán dò biên đã được phát triển của các tác giả Viện
Công nghệ thông tin nhằm khắc phục một số ngoại lệ của thuật toán cũ.
9 Hai thuật toán phát hiện biên mới dựa vào trung bình cục bộ và các phép toán
hình thái. Trên cơ sở đưa ra công thức mới về phép toán giãn nở nhằm chứng
minh một cách lý thuyết một loạt tính chấ
t của phép toán hình thái.
Đã đưa ra một số ứng dụng của các kỹ thuật phát hiện biên, cụ thể:
9 Ứng dụng quá trình dò biên để tính toán kích thước chủ đạo của các đối
tượng ảnh trong văn bản thông qua kỹ thuật tính biểu đồ tần xuất kích thước
hình chữ nhật nhỏ nhất bao quanh đối tượng ảnh. Trên cơ sở đó đề xuất thuật
toán phát hiện góc nghiêng văn bả
n.
9 Ứng dụng tính chất của đường biên và vị trí tương hỗ giữa chúng trong việc
cắt chữ Việt in dính.

9 Ứng dụng kỹ thuật trừ ảnh và kỹ thuật phát hiện biên để giải quyết bài toán
phát hiện đối tượng chuyển động.
4. Bố cục luận án
Luận án gồm phần mở đầu, 3 chương nội dung, phần kết luận và tài liệu tham
khảo được cấu trúc như sau:
Chương 1: Trình bày tổng quan về xử lý ảnh và biên, các bước cơ bản của một
hệ thống nhận dạng xử lý ảnh tổng quát. Sau đó nêu lên vai trò của xử lý biên trong
trích chọn các đặc trưng của ảnh, khâu quan trọng trong quá trình nhận dạng ảnh.
Chương 2: Trình bày các khái niệ
m về biên và các phương pháp phát hiện biên
cơ bản. Trên cơ sở đó đề xuất một thuật toán dò biên cải tiến, một cách tiếp cận mới
cho phát hiện biên dựa vào trung bình cục bộ. Chương này cũng đưa ra mối liên hệ
mới giữa các phép toán hình thái và chứng minh một cách chặt chẽ về mặt toán học
cho các tính chất của chúng. Cuối cùng đề xuất một thuật toán phát hiện biên mới dựa
vào các phép toán hình thái.
Chương 3:
Trình bày một số ứng dụng của biên và xử lý biên: Tìm xương dựa
trên làm mảnh. Phát hiện góc nghiêng văn bản tự động một cách thông minh. Đề xuất
một thuật toán cắt chữ in dính dựa vào biên và đưa ra phương pháp phát hiện đối
tượng chuyển động dựa vào biên.
3
XỬ LÝ ẢNH
Ảnh
Ảnh
“Tốt hơn”
Kết luận
Chương 1: Tổng quan về xử lý ảnh và biên
1.1. TỔNG QUAN VỀ XỬ LÝ ẢNH
Quá trình xử lý nhận dạng ảnh được xem như là quá trình thao tác ảnh đầu vào
nhằm cho ra kết quả mong muốn. Kết quả đầu ra của một quá trình xử lý ảnh có thể

là một ảnh “tốt hơn” hoặc một kết luận.





Hình 1.1. Quá trình xử lý ảnh
Ảnh trong xử lý ảnh có thể xem như ảnh n chiều. Bởi vì, ảnh có thể xem là tập
hợp các điểm ảnh. Trong đó, mỗi điểm ảnh được xem như là đặc trưng cường độ sáng
hay một dấu hiệu nào đó tại một vị trí nào đó của đối tượng trong không gian và do
đó nó có thể xem như một hàm n biến P(c1, c2, , cn).
Sơ đồ tổng quát của một hệ thống x
ử lý ảnh:





Hình 1.2. Các bước cơ bản trong một hệ thống xử lý ảnh
1.1.1. Tiền xử lý
Tiền xử lý là giai đoạn đầu tiên trong xử lý ảnh số. Tuỳ thuộc vào quá trình xử
lý tiếp theo trong giai đoạn này sẽ thực hiện các công đoạn khác nhau như: nâng cấp,
khôi phục ảnh, nắn chỉnh hình học, khử nhiễu v.v
1.1.2. Trích chọn đặc điểm
Các đặc điểm của đối tượng được trích chọn tuỳ theo mục đích nhận dạng trong
quá trình xử lý ảnh. Trích chọn hiệu quả các đặc điểm giúp cho việc nhận dạng các
đối tượng ảnh chính xác, với tốc độ tính toán cao và dung lượng nhớ lưu trữ giảm.
1.1.3. Đối sánh, nhận dạng
Nhận dạng tự động, mô tả đối tượng, phân loại và phân nhóm các mẫu là những
vấn đề quan trọng trong thị giác máy. Khi biết một mẫu nào đó, để nhận dạng hoặc

phân loại mẫu đó.
1.2. BIÊN VÀ VAI TRÒ TRONG NHẬN DẠNG
Lưu t
r
ữ
Thu nhận ảnh
(Scanner,
Camera,Sensor)

Tiền xử lý
(xóa nhiễu,
lọc, quay…)
Trích chọn
đặc điểm

Hệ quyết định
Đối sánh rút ra
kết luận

Hậu
xử lý

4
1.2.1. Biên và các phương pháp phát hiện biên cơ bản
Điểm biên là điểm có sự thay đổi đột ngột về mức xám. Ta thường sử dụng hai
phương pháp phát hiện biên cơ bản:
Phát hiện biên trực tiếp: Phương pháp này làm nổi biên dựa vào sự biến thiên
mức xám của ảnh. Kỹ thuật chủ yếu dùng để phát hiện biên ở đây là dựa vào sự biến
đổi theo hướng. Nếu lấy đạo hàm bậc nhất của ảnh ta có kỹ
thuật Gradient, nếu lấy

đạo hàm bậc hai của ảnh ta có kỹ thuật Laplace.
Phát hiện biên gián tiếp: Nếu bằng cách nào đó ta phân được ảnh thành các
vùng thì ranh giới giữa các vùng đó gọi là biên. Kỹ thuật dò biên và phân vùng ảnh là
hai bài toán đối ngẫu nhau vì dò biên để thực hiện phân lớp đối tượng mà khi đã phân
lớp xong nghĩa là đã phân vùng được ảnh và ngược lại, khi đã phân vùng ảnh đã được
phân lớp thành các đối tượng, do đó có th
ể phát hiện được biên.
1.2.1.1. Phương pháp phát hiện biên trực tiếp
a) Kỹ thuật phát hiện biên Gradient
Theo định nghĩa gradient là một véctơ có các thành phần biểu thị tốc độ thay đổi
giá trị của điểm ảnh.
b) Kỹ thuật phát hiện biên Laplace
Các phương pháp đánh giá gradient ở trên làm việc khá tốt khi mà độ sáng thay
đổi rõ nét. Khi mức xám thay đổi chậm, miền chuyển tiếp trải rộng, phương pháp cho
hiệu quả hơn
đó là phương pháp sử dụng đạo hàm bậc hai Laplace.
1.2.1.2. Phương pháp phát hiện biên gián tiếp
a) Một số khái niệm cơ bản
*Ảnh và điểm ảnh
Ảnh là một mảng số thực 2 chiều (I
ij
) có kích thước (m×n), trong đó mỗi phần tử
I
ij
(i = 1, ,m; j = 1, ,n) biểu thị mức xám của ảnh tại (i,j) tương ứng.
*Các điểm 4 và 8-láng giềng
Giả sử (i,j) là một điểm ảnh, các điểm 4 và 8 láng giềng là:
N4= {(i’,j’) : |i-i’|+|j-j’| = 1}, N8 = {(i’,j’) : max(|i-i’|,|j-j’|) =1}.
b) Chu tuyến của một đối tượng ảnh
Định nghĩa 1

: [Chu tuyến]
Chu tuyến của một đối tượng ảnh là dãy các điểm của đối tượng ảnh P1,…,Pn
sao cho Pi và Pi+1 là các 8-láng giềng của nhau (i=1, ,n-1) và P1 là 8-láng giềng của
Pn, ∀i ∃Q không thuộc đối tượng ảnh và Q là 4-láng giềng của Pi (hay nói cách khác
∀i thì Pi là biên 4). Kí hiệu <P1P2 Pn>.Hình 1.2 biểu diễn chu tuyến của ảnh, P là
điểm khởi đầu chu tuyến.


5




Hình 1.3. Ví dụ về chu tuyến của đối tượng ảnh
Định nghĩa 2: [Chu tuyến đối ngẫu]
Hai chu tuyến C= <P
1
P
2
P
n
> và C
⊥
= <Q
1
Q
2
Q
m
> được gọi là đối ngẫu của nhau

nếu và chỉ nếu ∀i ∃j sao cho:
1. Pi và Qj là 4-láng giềng của nhau.
2. Các điểm Pi là vùng thì Qj là nền và ngược lại.
Định nghĩa 3: [Chu tuyến ngoài]
Chu tuyến C được gọi là chu tuyến ngoài nếu và chỉ nếu:
1. Chu tuyến đối ngẫu C
⊥
là chu tuyến của các điểm nền
2. Độ dài của C nhỏ hơn độ dài C
⊥

Định nghĩa 4:
[Chu tuyến trong]
Chu tuyến C được gọi là chu tuyến trong nếu và chỉ nếu:
1. Chu tuyến đối ngẫu C
⊥
là chu tuyến của các điểm nền
2. Độ dài của C lớn hơn độ dài C
⊥

c) Thuật toán dò biên tổng quát
Về cơ bản, các thuật toán dò biên trên một vùng đều bao gồm các bước sau:
• Xác định điểm biên xuất phát
• Dự báo và xác định điểm biên tiếp theo
• Lặp bước 2 cho đến khi gặp điểm xuất phát
Thuật toán dò biên tổng quát
Bước 1: Xác định cặp nền-vùng xuất phát
Bước 2: Xác định cặp nền-vùng tiếp theo
Bước 3: Lựa chọn điể
m biên

Bước 4: Nếu gặp lại cặp xuất phát thì dừng, nếu không quay lại bước 2
1.2.2. Vai trò của biên trong nhận dạng
Như đã đề cập tới ở phần tổng quan về một hệ thống nhận dạng và xử lý ảnh,
quá trình nhận dạng có hai giai đoạn cần thực hiện:
Giai đoạn học: Các đặc điểm của đối tượng mẫu được lưu trữ (gọi là học mẫu)
và tập các phần tử mẫu được chia thành các lớp.
P
6
Giai đoạn nhận dạng: Khi có đối tượng cần nhận dạng, các đặc điểm của đối
tượng sẽ được trích chọn và sử dụng hàm quyết định để xác định đối tượng cần nhận
dạng thuộc lớp nào.
1.3. KẾT LUẬN VÀ VẤN ĐỀ NGHIÊN CỨU
Chương này đã trình bày tổng quan về xử lý ảnh và biên, gồm các nội dung
chính sau:
Hệ thống nhận dạng xử lý ảnh gồm các bước quan trọng như tiền xử lý, trích
chọn đặc điểm, đối sánh, nhận dạng, tầm quan trọng của biên trong nhận dạng.
Các phương pháp phát hiện biên trực tiếp dựa vào sự biến thiên của mức xám
hay các phương pháp phát hiện biên gián tiếp thông qua kỹ thuật dò biên.
Chương này c
ũng nêu rõ mục tiêu cơ bản của luận án là nghiên cứu một số
phương pháp phát hiện biên nói riêng và xử lý biên nói chung và ứng dụng của nó
trong nhận dạng và xử lý ảnh.


Chương 2: Một số phương pháp phát hiện biên

Biên là vấn đề chủ yếu trong phân tích ảnh vì các đặc điểm trích chọn trong quá
trình phân tích để tiến tới hiểu ảnh chủ yếu dựa vào biên. Các phương pháp phát hiện
biên truyền thống chia làm hai loại phát hiện biên: trực tiếp và gián tiếp.
Chương này sẽ trình bày một cải tiến cho thuật toán dò biên và tiếp sau đó là các

cách tiếp cận mới cho việc phát hiện biên dựa vào hình thái và dựa vào trung bình
cục bộ. Cách tiếp cận này mang cả khuynh hướ
ng trực tiếp và gián tiếp.
2.1. THUẬT TOÁN DÒ BIÊN CẢI TIẾN VỚI 4 CẶP NỀN VÙNG
XUẤT PHÁT
Mục này đề cập đến việc khắc phục một số ngoại lệ trong thuật toán dò biên,
trên cơ sở đó đề xuất thuật toán dò biên cải tiến.
2.1.1. Đặt vấn đề
Như đã trình bày trong mục 1.2.1.2, thuật toán dò biên tổng quát bao gồm các
bước sau:
Bước 1: Xác định cặp (nền ,vùng) xuất phát
Bước 2: Xác định cặp (nền, vùng ) tiếp theo
Bước 3: Lựa chọn các điểm biên
Bước 4: Nếu gặp lại cặp xuất phát thì dừng nếu không quay lại bước 2.
Việc xác định cặp (nền, vùng) xuất phát được xác định bằng cách duyệt ảnh từ
trên xuống dướ
i, từ trái qua phải, điểm vùng đầu tiên đạt được và điểm trắng trước đó
hoặc bên cạnh sẽ tạo thành cặp nền vùng xuất phát.
7
Thuật toán dò biên nhằm tìm ra các chu tuyến trong và chu tuyến ngoài của đối
tượng ảnh. Trong trường hợp các đối tượng ảnh có các đường mảnh, thuật toán
thường gặp một số ngoại lệ không tìm hết biên trong:
a) Ảnh gốc b) Ảnh biên
Hình 2.1. Ngoại lệ trong thuật toán dò biên sử dụng cặp nền vùng xuất phát
2.1.2. Cải tiến thuật toán dò biên
2.1.2.1. Khắc phục ngoại lệ đối với biên trong
Ngoại lệ thiếu biên trong là do chúng ta đã đánh dấu các điểm trong quá trình dò
biên nhằm tránh việc trùng lặp trong xử lý. Để khắc phục ngoại lệ này, chúng ta vẫn
giữ nguyên thuật toán cũ nhưng trước mỗi lần dò biên cho một điểm thỏa mãn cặp
(nền, vùng) xuất phát – tạm gọi là điểm hiện thời thì chúng ta phải kiểm tra:

Nếu cặ
p nền vùng này chưa được dò (chưa được đánh dấu) thì dò như
bình thường. Ngược lại chúng ta phải kiểm tra thêm một số bước (tuỳ chọn – thường
là một hoặc hai). Nếu điểm đến bước này chưa được đánh dấu thì điểm hiện thời là
một điểm thuộc chu tuyến chưa xét, chúng ta vẫn dò biên với điểm hiện thời, nếu
ngược l
ại có nghĩa là điểm hiện thời nếu xét sẽ không cho chu tuyến mới nào. Hình
2.2 cho ta minh hoạ về thuật toán có cải tiến như nhận xét trên.




Rõ ràng sau bước 2 thì điểm này thỏa mãn là điểm biên chưa được dò. Như vậy
chúng ta có thể xử lý được ngoại lệ vừa nêu.
Một điểm ảnh có ít nhất một trong 4-láng giềng là điểm nền trong khi nó là điểm
vùng thì nó là điểm biên. Do đ
ó, chúng ta cải tiến thuật toán tổng quát thay vì một
cặp (nền, vùng) xuất phát thành 4 cặp (nền, vùng) xuất phát.
Hình 2.2. Cải tiến tìm biên trong
Độ rộng 1
pixel
Điểm được xét
Bước 1
Bước 2
[ Biên thiếu ]
8
a) Ảnh gốc b) Ảnh biên
Hình 2.3. Ngoại lệ thiếu biên trong khi số bước dò không biết trước
2.1.2.2. Thuật toán dò biên cải tiến
Duyệt từ trên xuống dưới, từ trái qua phải. Đối với mỗi điểm vùng P, gọi P

o
, P
2
,
P
4
, P
6
là các điểm kề phải, trên, trái, dưới của P, ta sẽ kiểm tra các trường hợp sau :
- Nếu P
4
là điểm nền, thì cặp (nền, vùng) xuất phát sẽ là (P,P
4
).
- Ngược lại nếu P
0
là điểm nền, thì cặp xuất phát sẽ là (P,P
o
).
- Ngược lại nếu P
2
là điểm nền, thì cặp xuất phát sẽ là (P,P
2
).
- Ngược lại nếu P
6
là điểm nền, thì cặp xuất phát sẽ là (P,P
6
).
Ta có thuật toán dò biên cải tiến bao gồm các bước cơ bản sau:

Bước 1: Xác định tập các cặp (nền, vùng) xuất phát theo tiêu chuẩn cặp
(nền, vùng) xuất phát cải tiến.
Bước 2: Nếu còn cặp (nền, vùng) trong tập các cặp (nền, vùng) xuất phát tìm
được trong bước 1 thì lấy ra một cặp, nếu không thuật toán kết thúc.
Bước 3: Xác định cặp (nền, vùng) tiếp theo.
Bước 4: Lựa chọn điểm biên vùng
Bước 5: Nếu gặp lại cặp (nền, vùng) xuất phát thì quay lại thực hiện bước 2.
Nếu không thì quay lại thực hiện bước 3.


a) Ảnh gốc b) Ảnh biên bị thiếu do ngoại lệ c) Ảnh biên kết quả đã khắc
phục được ngoại lệ
Hình 2.1. Thuật toán cải tiến khắc phục được các ngoại lệ


[ Biên thiếu ]
9
2.2. PHÁT HIỆN BIÊN DỰA VÀO TRUNG BÌNH CỤC BỘ
Phần này đề cập đến kỹ thuật mới dựa vào trung bình cục bộ trên cơ sở đánh giá
độ chênh lệch về giá trị mức xám của điểm ảnh so với các điểm lân cận do đó kết hợp
được ưu điểm của cả 2 khuynh hướng phát hiện biên trực tiếp và gián tiếp.
Ý tưởng chính của thuật toán được đề xuất là xác định tất cả các đ
iểm nằm trên
biên không theo hướng tìm kiếm và sử dụng các ma trận lọc mà sẽ thông qua việc so
sánh độ chênh lệch về mức xám của nó so với mức xám chung của các điểm ảnh lân
cận (mức xám nền). Trước hết tính giá trị xám trung bình của các điểm ảnh nằm
trong phạm vi của ma trận 3×3 hoặc 5×5 có tâm là điểm ảnh đang xét. Nếu như độ
chênh lệch mức xám giữa điể
m đang xét với giá trị xám trung bình thỏa mãn lớn hơn
một mức tối thiểu δ

1
nào đó (P
TB
+ δ
1
< P) thì chúng ta sẽ coi nó là điểm biên và ghi
nhận lại, còn các điểm không thỏa mãn điều kiện trên sẽ được coi là điểm nền.




Hình 2.5. Ma trận điểm ảnh trước và sau lọc
Ảnh biên thu được với δ
1
= 25 Ảnh biên thu được với δ
1
= 250
Hình 2.6. Các ảnh biên kết quả thu được theo thuật toán đề xuất
*Nhận xét:
Thuật toán dò biên sử dụng trong chương trình tuy đã hạn chế được nhiều nhiễu
so với việc sử dụng các bộ lọc và làm nổi rõ các đường biên nhưng vẫn không loại bỏ
được hầu hết các nhiễu. Khi áp dụng thuật toán trên chúng ta vẫn có thể làm giảm bớt
nhiễu đi nhiều hơn nữa bằng cách tăng giá trị của hệ số delta lên. Nhưng khi đó các
đường biên thu được cũng bị
đứt đoạn và mờ đi nhiều.
2.3. PHÁT HIỆN BIÊN DỰA VÀO CÁC PHÉP TOÁN HÌNH THÁI
2.3.1. Các phép toán hình thái và tính chất
2.3.1.1. Các phép toán hình thái cơ bản
Các phép toán này được định nghĩa như sau: Giả thiết ta có đối tượng X và phần
tử cấu trúc (mẫu) B trong không gian Euclide hai chiều. Kí hiệu B

x
là dịch chuyển
của B tới vị trí x.
Định nghĩa 2.1: (DILATION)
Phép "giãn nở" của X theo mẫu B là tập hợp của tất cả các điểm x sao cho B
x

chạm tới X: X ⊕ B = {x : B
x
∩ X ≠ Φ}
N=5
δ
1
10
Định nghĩa 2.1’ (DILATION)
Phép "giãn nở" của X theo mẫu B là hợp của tất cả các B
x
với x thuộc X. Ta có:
X ⊕ B =
U
Xx
x
B
∈

Định nghĩa 2.2: (EROSION)
Phép "co" của X theo B là tập hợp tất cả các điểm x sao cho B
x
nằm trong X:
X \ B = {x : B

x
⊆ X}
Ví dụ: Ta có tập X như sau: X =
⎟
⎟
⎟
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎜
⎜
⎜
⎝
⎛
00
000
000
00
00
xxx
xx
xx
xxx
xxx

X ⊕ B =
⎟
⎟
⎟
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎜
⎜
⎜
⎝
⎛
xxxx
xxxx
xxx
xxxxx
xxxx
0
0
00
0
và X\B =
⎟
⎟
⎟

⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎜
⎜
⎜
⎝
⎛
000
00000
0000
0000
0000
xx
x
x
x

Định nghĩa 2.3: (OPEN)
Phép toán mở (OPEN) của X theo cấu trúc B là tập hợp các điểm của ảnh X sau
khi đã co và giãn nở liên liếp theo B.
OPEN(X,B) = (X \ B) ⊕ B
Ví dụ: Với tập X và B trong ví dụ trên ta có
OPEN(X,B) =
(X\B) ⊕ B =

⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎝
⎛
0xxx0
00000
00xx0
0xx00
xx000

Định nghĩa 2.4: (CLOSE)
Phép toán đóng (CLOSE) của X theo cấu trúc B là tập hợp các điểm của ảnh X
sau khi đã giãn nở và co liên tiếp theo B.
CLOSE(X,B) = (X ⊕ B) \ B
Theo ví dụ trên ta có:
CLOSE(X,B) = (X ⊕ B) \ B =

⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎝
⎛
0xxx0
0xxx0
00xx0
xxxxx
xxxx0

B =
8
x

11
2.3.1.2. Một số tính chất của phép toán hình thái

* Mệnh đề 2.1: (Tính gia tăng)

(i) X ⊆ X’ ⇒ X \ B ⊆ X’ \ B ∀B
X
⊕ B ⊆ X’ ⊕ B ∀B
(ii) B
⊆ B
'
=> X \ B ⊇ X

\ B
'
∀X
X
⊕ B ⊆ X ⊕ B’ ∀X
*Mệnh đề 2.2: (Tính phân phối với phép
∪
)
(i) X ⊕ (B ∪ B') = (X ⊕ B) ∪ (X ⊕ B')
(ii) X
\ (B ∪ B') = (X \ B) ∩ (X \B')
* Ý nghĩa: Ta có thể phân tích các mẫu phức tạp trở thành các mẫu đơn giản thuận
tiện cho việc cài đặt.

* Mệnh đề 2.3: (Tính phân phối với phép
∩
)
(X ∩ Y) \ B = (X \ B) ∩ (Y \ B)
* Mệnh đề 2.4: (Tính kết hợp)
(i) (X ⊕ B) ⊕ B' = X ⊕ (B ⊕ B')

(ii) (X
\ B) \ B' = X \ (B ⊕ B')
* Định lý 2.1
Giả sử, X là một đối tượng ảnh, B là mẫu. Khi đó, X sẽ bị chặn trên bởi tập
CLOSE của X theo B và bị chặn dưới bởi tập CLOSE của X theo B.
Ta có, (X
⊕ B) \ B ⊇ X ⊇ (X \ B) ⊕ B
Chứng minh:
Ta có: ∀ x ∈ X ⇒ B
x

⊆
X ⊕ B (Vì X ⊕ B =
U
Xx
x
B
∈
)
⇒ x ∈ (X ⊕ B) \ B (theo định nghĩa phép co)
⇒ (X ⊕ B) \ B ⊇ X (1)
Mặt khác,
∀ y ∈ (X \ B) ⊕ B, suy ra:
∃ x ∈ X \ B sao cho y ∈ B
x
(Vì (X\B) ⊕ B =
U
BΘ∈Xx
x
B )

⇒ B
x
⊆ X ⇒ y ∈ X
Suy ra: X
⊇ (X \B) ⊕ B (2)
Từ (1) và (2) Ta có: (X
⊕ B) \ B ⊇ X ⊇ (X \B) ⊕ B.
*Hệ quả 2.1: (Tính bất biến)
(i) ((X ⊕ B) \B) ⊕ B = X ⊕ B
(ii) ((X
\ B) ⊕ B) \ B = X\B
Thật vậy, từ định lý 2.1 ta có X
⊆
(X ⊕ B) \ B
⇒ X ⊕ B
⊆
((X ⊕ B) \B) ⊕ B (do tính chất gia tăng) (3)
Mặt khác, cũng từ định lý 2.1 ta có (X
\ B) ⊕ B ⊆ X ∀X
Do đó, thay X bởi X
⊕ B ta có, ((X ⊕ B) \B) ⊕ B ⊆ X ⊕ B (4)
12
Từ (3) và (4) Ta có: ((X ⊕ B) \B) ⊕ B = X ⊕ B
Tương tự ta có, ((X
\ B) ⊕ B) \ B = X\B
2.3.2. Phát hiện biên dựa vào phép toán hình thái
Biên (hay đường biên) có thể hiểu đơn giản là các đường bao của các đối tượng
trong ảnh chính là ranh giới giữa đối tượng và nền. Việc xem ranh giới là phần được
tạo lập bởi các điểm thuộc đối tượng và thuộc nền cho phép ta xác định biên dựa trên
các phép toán hình thái.

Theo định lý 2.1 ta có, (X
⊕B)\B ⊇ X ∀B
Như vậy, có thể xem CLOSE(X,B) như là xấp xỉ trên của tập X theo mẫu B

Hình 2.7. Xấp xỉ trên và dưới theo mẫu B của X
Cũng theo định lý 2.1 ta có, (X\B)⊕B ⊆ X ∀B
Do vậy, tập
OPEN(X,B) = (X\B)⊕B có thể được xem như là xấp xỉ dưới của
tập X theo mẫu B.

Từ đó, tập CLOSE(X,B)\ OPEN(X,B) có thể được xem như là xấp xỉ biên của
tập X theo mẫu và quá trình xấp xỉ biên của X theo mẫu B kí hiệu là X
© B.
Để tăng độ chính xác, người ta thường xem B là dãy các phần tử cấu trúc.
{B} = {B
i
, 1≤ i ≤ n }
Và xấp xỉ biên của X theo tập cấu trúc B được xác định:
X©B

Thuật toán phát hiện biên dựa vào phép toán hình thái:
Vào
: Ảnh X và dãy mẫu B= {B
i
, 1≤ i ≤ n };
Ra : Biên của đối tượng theo mẫu B
Phương pháp:
Bước 1: Tính X © B
i
∀i=1,n

Bước 2: Tính

Trong phần này đã được đặc tả thuật toán phát hiện biên dựa vào các phép toán
hình thái bằng ngôn ngữ RAISE.

CLOSE(X,B)= (X
⊕
B)\B
XÊp xØ trªn cña X (chøa X)
OPEN(X,B)= ((X\B)⊕B)
XÊp xØ d−íi cña X (thuéc X)
X© B = CLOSE(X,B)\ OPEN(X,B)

XÊp xØ biªn cña X theo mÉu B
(
)
U
n
1i
i
BX
=
©=
()
U
n
1i
i
BX
=

©
13
2.3.3. Thực nghiệm
Chúng tôi đã cài đặt thuật toán đề xuất đối với các mẫu tách biên B
i
là:




Trong hình 2.5a dưới đây là ảnh gốc với 256 mức xám, Hình 2.5b là ảnh biên
thu được qua phát hiện biên bằng Sobel, Hình 2.5c là ảnh biên thu được qua Laplace.
Hình 2.5d là ảnh biên kết quả thực hiện bởi thuật toán phát hiện biên bằng các phép
toán hình thái trên với ngưỡng tách
θ = 128

a) Ảnh gốc đa cấp xám b)Ảnh biên thu được qua Sobel

c)Ảnh biên thu được qua Laplace d) Ảnh kết quả dựa vào phép toán hình thái

Hình 2. 8. Phát hiện biên bởi thuật toán dựa vào phép toán hình thái
2.4. KẾT LUẬN VÀ VẤN ĐỀ NGHIÊN CỨU
Chương này tập trung nghiên cứu cải tiến phương pháp dò biên đã có và đề xuất
một số cách tiếp cận phát hiện biên mới dựa vào trung bình cục bộ và đề xuất một
phương pháp phát hiện biên mới dựa vào phép toán hình thái:
• Đề xuất một cải tiến cho thuật toán dò biên trên cơ sở nghiên cứu các ngoại lệ và
tìm cách khắc phục. Thuật toán đề xuất thay thế cặp điểm nền vùng xuất phát bởi 4
cặp nền vùng xuất phát từ đó khắc phục được nhược điểm của thuật toán gốc là bỏ
sót các đường biên trong với trường hợp đối tượng có nhiều đường biên.
• Đề xuất một thuật toán phát hiện biên dựa vào trung bình cục bộ có cả tính chất của

thuật toán phát hiện biên gián tiếp lẫn tính chất của phát hiện biên trực tiếp.
• Đưa ra mối liên hệ mới của phép toán giãn nở trên cơ sở đó chứng minh một cách
chặt chẽ về mặt toán học các tính chất của các phép toán hình thái. Trên cơ sở đó đề
xuất một thuật toán phát hiện biên mới.

B
1
=
×
8
×


×

B
3
=

8


×


×
B
4
=

8


×


×

B
2
=

8


×
14
Chương 3: Ứng dụng

3.1. TÌM XƯƠNG DỰA TRÊN LÀM MẢNH
Thực chất của quá trình làm mảnh là việc xoá dần các biên theo một thứ tự và
một điều kiện xoá nào đó để thu được xương của đối tượng.


Thuật toán làm mảnh tổng quát bao gồm các bước cơ bản sau:
Bước 1: Dò biên theo thuật toán dò biên cải tiến trên.
Bước 2: Với mỗi đường biên. Kiểm tra điểm biên nếu thỏa mãn điều kiện xoá
thì xóa đi.
Bước 3: Nếu không còn điểm biên nào được đánh dấu xoá thì dừng, ngược lại
thì quay lại bước 1.

a) Ảnh gốc b) Ảnh xương (sau làm mảnh)
Hình 3.2: Một số đặc tính không mong muốn của xương

Sự khác biệt của thuật toán chính là điều kiện xóa, với điều kiện xóa khác nhau
sẽ cho ta các thuật toán làm mảnh khác nhau. Hình 3.2 minh họa ảnh xương khá tốt
nhưng vẫn có một số đặc điểm không mong muốn khi sử dụng một thuật toán cụ thể.
Trên cơ sở nghiên cứu một số ngoại lệ của các thuật toán làm mảnh với mục
đích sử dụng được nhữ
ng ưu điểm của thuật toán làm mảnh cụ thể nào đó và khắc
phục những nhược điểm của nó. Chúng tôi đề nghị bổ sung thêm phần thông tin khai
báo trước cho mỗi thuật toán cần đảm bảo và bổ sung thêm điều kiện xóa cho thuật
toán khi cài đặt. Thuật toán làm mảnh gồm các bước sau:
Bước 1: Dò biên theo thuật toán dò biên đã được cải tiến trong mục 2.1 nhằm
phát hiện tất cả các đường biên của đối tượng.
Bước 2: Với mỗi đường biên. Kiểm tra tính thỏa mãn của điểm biên theo các
Hình 3.1: Minh hoạ quá trình làm mảnh
15
thông tin khai báo trước và kiểm tra điều kiện xoá của thuật toán nếu thỏa mãn thì
điểm biên được xóa đi.
Bước 3: Nếu không còn điểm biên nào được đánh dấu xoá thì dừng, ngược lại
thì quay lại Bước 1.
*Một số thông tin khai báo trước cơ bản
a) Điều kiện đảm bảo tính liên thông
Ta đã biết một điểm ảnh là điểm liên thông khi ít nhất 2 điểm nền không gần
nhau trong 8-láng giềng.

Hình 3.3: Điểm đảm bảo liên thông
Thuật toán gặp phải một ngoại lệ đó là khi độ dầy của đối tượng là 2 trên một
đường biên. Khi đó, điều kiện liên thông bị phá vỡ, 2 điểm biên sẽ bị xoá, làm cho
đối tượng không còn liên thông nữa. Để giải quyết ngoại lệ này cần kiểm tra khi nào
đối tượng có độ dầy 2 thì xoá luôn điểm đang xét.


a) Độ dầy 2 phải-trái b) Độ dầy 2 trên-dưới
Hình 3.4: Độ đầy 2 của đối tượng
b) Điều kiện đảm bảo xương có dạng mảnh
Một điểm biên được gọi là điểm xương dạng mảnh nếu thoả mãn:
• Điểm cuối góc là điểm cuối và chỉ có 1 láng giềng 8.

• Điểm cô lập là điểm không có láng giềng nào.
;
• Điểm cuối của đường thẳng là điểm cuối và chỉ có 1 láng giềng 4.

• Điểm liên kết là điểm mà khi ta bỏ nó đi thì mất tính liên thông.

Áp dụng tiêu chuẩn này kết hợp với thuật toán tìm xương dựa trên làm mảnh
theo điều kiện xoá của các thuật toán đã biết để thu được xương có dạng mảnh mà
16
vẫn đảm bảo tính liên thông. Kết quả thực nghiệm cho thấy chất lượng làm mảnh tốt,
đặc biệt là không bỏ đi những đối tượng có kính thước đều, thông thường sẽ bị làm
mảnh thành một điểm và bị xóa đi.

a) Ảnh gốc

b) Làm mảnh không có thông tin khai báo trước c) Làm mảnh với thông tin khai báo trước
Hình 3.5: Xương dạng mảnh đảm bảo một số tiêu chuẩn đề ra
Hình 3.5a là ảnh gốc. Hình 3.5b là ảnh làm mảnh thông thường, các đường
chấm nét bị làm mảnh thành một điểm và bị xóa đi. Hình 3.5c là ảnh kết quả thực
hiện việc làm mảnh với thông tin khai báo ràng buộc trước, các đường nét chấm được
làm mảnh và vẫn giữ được các chấm điểm.
3.2. PHÁT HIỆN GÓC NGHIÊNG VĂN BẢN DỰA VÀO CHU TUYẾN
Hệ thống xử lý ảnh văn bản thường phải giải quyết bài toán phát hiện góc
nghiêng như một bước đầu tiên và tất yếu. Dựa vào tính chất mỗi đối tượng ảnh có
duy nhất một chu tuyến ngoài và quan niệm con người nhận ra độ nghiêng của văn
bản dựa vào cỡ chữ chiếm chủ đạo trong văn bản. Việc xác định góc nghiêng văn bản
được xác định nhờ phép biế
n đổi Hough cho những điểm giữa đáy của hình chữ nhật
nhỏ nhất bao quanh đối tượng ảnh cho các đối tượng ảnh có kích thước chủ đạo.
3.2.1. Tính toán kích thước chủ đạo của các đối tượng ảnh
Áp dụng biến đổi Hough cho những điểm giữa đáy của các hình chữ nhật ngoại
tiếp các đối tượng có kích thước chủ đạo trong ảnh. Xác định được các hình chữ nhật
ngoại tiếp các đối tượng hay nói cách khác là xác định biên các đối tượng.

17
y
x.cos
ϕ
+y.sin
ϕ
= r
1

ϕ

Hough[
ϕ
][r
1
] = 3
x
0

x.cos
ϕ
+y.sin
ϕ
= r
2

Hough[
ϕ
][r
1
] = 4

Hình 3.6: Các hình chữ nhật ngoại tiếp đối tượng ảnh
Ở đây, ta dùng thuật toán dò biên đã được cải tiến trong chương 2 để xác định
biên cho các đối tượng trong ảnh văn bản. Hình chữ nhật ngoại tiếp đối tượng sẽ
được xác định ngay sau khi dò được biên cho đối tượng đó.
Dùng biến đổi Hough áp dụng lên đáy của các hình chữ nhật ngoại tiếp các đối
tượng này và ước lượng góc nghiêng cho văn bản sau khi đã loại bớt đi một số

đối
tượng bằng các ngưỡng kích thước.




3.2.2. Biến đổi Hough và phát hiện góc nghiêng văn bản
3.2.2.1. Đường thẳng Hough trong tọa độ cực
Trong tọa độ cực, mỗi điểm (x,y) trong mặt phẳng được biểu diễn bởi cặp (r,ϕ),
và mỗi đường thẳng trong mặt phẳng cách gốc tọa độ r và tạo với hoành độ góc
ϕ
được đặc trưng bởi một cặp (r,
ϕ).



Hình 3.8: Đường thẳng Hough trong toạ độ cực

3.2.2.2. Áp dụng biến đổi Hough trong phát hiện góc nghiêng văn bản
Áp dụng biến đổi Hough trong phát hiện góc nghiêng văn bản bằng cách dùng
một mảng tích luỹ đếm số điểm ảnh nằm trên một đường thẳng trong không gian ảnh.
Sau đó tính tổng số điểm ảnh nằm trên những đường thẳng song song nhau theo các
góc lệch thay đổi. Góc nghiêng văn bản tương ứng với góc có tổng giá trị mảng tích
luỹ cực đại.




Hình 3.9. Biến đổi Hough phát hiện góc nghiêng
3.2.2.3. Thuật toán phát hiện và hiệu chỉnh góc nghiêng văn bản

ϕ

y
0
H
x
x.cos
ϕ
+
y
.sin
ϕ
=r
r

Hình 3.7:
Ví dụ về một ảnh văn bản
nghiêng với nhiều loại đối
tượng
18
a) Xử lý ngoại lệ
Sau giai đoạn tiền xử lý ảnh ta thu được ảnh trung gian TempImage. Thuật toán
phát hiện góc nghiêng sẽ làm việc với ảnh trung gian này để tìm ra góc nghiêng cho
văn bản và sau đó dùng thuật toán quay ảnh để quay ảnh ban đầu với góc nghiêng
vừa tìm được.
Ảnh có quá ít ký tự

Hình 3.10: Ví dụ về một ảnh nghiêng có ít ký tự chữ cái
Các đối tượng bao nhau
Phải nhận ra được sự bao hàm giữa các đối tượng và tách, lấy được các đối
tượng ký tự bị bao bởi các đối tượng lớn hơn.






b) Thuật toán phát hiện góc nghiêng văn bản dựa vào biên
Giả sử ảnh đầu vào là ảnh màu Image. Thuật toán phát hiện và chỉnh sửa góc
nghiêng văn bản được thực hiện theo các bước chính sau:
Bước 1: Tiền xử lý ảnh màu Image được ảnh trung gian TempImage
Bước 2: Xác định chu tuyến ngoài cho các đối tượng:
Bước 3: Dùng mảng Rec[N] xác định các giá trị ngưỡng trung bình WidAvr,
HeiAvr và PrmAvr.
Bước 4: Ápdụng biến đổi Hough
Bước 5: Dùng mảng kết quả Hough[360][Dis] ước lượng góc nghiêng ϕ.
Bước 6: Quay lại ảnh Image với góc lệch ϕ vừa xác định được từ bước 5.
Kết quả thử nghiệm đã chứng minh tính chính xác của thuật toán và khả năng
làm việc với nhiều loại văn bản khác nhau có các góc lệch khác nhau.
Hình 3.11: Ví dụ về văn bản nghiêng có các đối tượng chứa nhau
19

3.3. MỘT THUẬT TOÁN CẮT CHỮ IN DÍNH Ở MỨC TỪ DỰA VÀO
CHU TUYẾN

3.3.1. Đặt vấn đề
Điểm mấu chốt của vấn đề nhận dạng chữ in nói chung và chữ Việt in nói riêng
là phải cô lập được chúng. Việc cô lập các chữ được tiến hành sau khi tiến hành phân
tích trang để tách các khối, từ các khối tách ra các dòng, từ các dòng tách ra các từ và
các từ tách ra các ký tự.






Hình trên là một số ví dụ về kí tự chữ Việt in bị dính và bị chèn mà phần mềm
VnDOCR
(*)
phiên bản 2.0 sử dụng phép cắt theo VPP nên phép cắt không chính xác.
Nguyên do, vì đối với những chữ chất lượng xấu như thế này, những chỗ dính có diện
tích tiếp xúc còn lớn hơn cả diện tích tiếp xúc của các phần của một chữ.
Xuất phát từ hoàn cảnh đó trong mục này trình bày một kỹ thuật cắt chữ Việt in
dính nhờ việc sử dụng các tính chất của chu tuyến và vị trí tương h
ỗ giữa chúng với
đối tượng trực tiếp là các chữ in dính mà phần mềm VnDOCR2.0 sau khi sử dụng
phương pháp cắt chữ VPP không cắt được.
3.3.2. Một số khái niệm cơ bản
Cặp điểm thắt:
Là cặp điểm nằm trên chu tuyến ngoài của một từ hay một cụm
chữ dính mà khoảng cách giữa chúng nhỏ hơn nhiều so với khoảng cách dọc theo chu

tuyến giữa chúng.

(
*
)
Phần mềm đoạt giải nhất “Sáng tạo khoa học kỹ thuật Việt Nam” (giải VIFOTECH trước đây) năm 1999.
Hình 3.13: Ví dụ về chữ Việt in bị dính và bị chèn
a) Một ảnh văn bản nhiều màu và có góc
nghiêng và ảnh kết quả sau khi sửa nghiêng
b) Một ảnh bản đồ có ít ký tự nghiêng góc
và ảnh kết quả sau khi sửa nghiêng
Hình 3.12: Một số loại ảnh màu mà thuật toán thực hiện hiệu chỉnh
20
Ngưỡng thắt (L): Là tỷ số khoảng cách tối đa giữa 2 điểm dọc theo chu tuyến
và khoảng cách giữa chúng trong cặp điểm thuộc chu tuyến đang xét coi là cặp
điểm thắt.
Ngưỡng quét (S): Là số điểm cách điểm đang xét về hai phía trên đường đi
đang xét
.
Mật độ cắt (M):
Là khoảng cách tương đối giữa 2 cặp điểm thắt liền nhau về 2
phía. Trong một từ có thể có nhiều điểm thắt và các điểm thắt đó có thể rất gần nhau
(cách nhau khoảng 1,2,3,5,6 pixel) điều này làm cho nét cắt sẽ không mảnh vì vậy
cần phải có khoảng cách giữa các điểm thắt. Ví dụ: Khi M = 0 thì chương trình sẽ
nhận ra 1 loạt các điểm thắt và đưa ra các quyết
định cắt như trong hình 3.14.b Khi
M= 5 thì chương trình đưa ra quyết định cắt như trong hình 3.14.c

3.3.3. Thuật toán cắt chữ in dính dựa vào chu tuyến
3.3.3.1. Phân tích bài toán
Ý tưởng chính về việc cắt chữ in dính là “gần nhà, xa ngõ”, dựa vào các đặc
điểm của các cặp điểm thắt để ra quyết định cắt.
Với mỗi một từ hay một cụm chữ dính, trước tiên ta tiến hành tách ra các chu
tuyến, sau đó dựa vào chu tuyến ngoài, để tìm ra các cặp điểm thắt. Trong các nghiên
cứu trước các tác giả đã chỉ ra rằng mỗi đối tượng ảnh, ở đây là một từ hay một cụm
chữ dính, t
ồn tại duy nhất một chu tuyến ngoài.


Chữ trước khi dò biên

Chữ sau khi dò biên
Chu tuyến trong
Chu tuyến ngoài
Quá trình tìm cặp điểm thắt
Điểm đang xét
Điểm phân nửa trên và nửa dưới
chu tuyến ngoài
Hình 3. 15. Quá trình tìm chu tuyến và cặp điểm xét duyệt


a) Cụm chữ dính b) Các cặp điểm thắt tìm được c) Các cặp điểm cắt sau khi tính tới vị trí
tương hỗ của chu tuyến trong
Hình 3.16. Thực hiện cắt chữ in dính có tính đến vị trí tương hỗ của chu tuyến trong
Hình 3.14: Ví dụ về đường cắt và mật độ cắt

c)
Đường cắt Tập đường cắt
M=0
M=5
b)
a)
Nửa chu tuyến dưới
Nửa chu tuyến trên
21
3.3.3.2. Thuật toán cắt chữ dính dựa vào chu tuyến
Thuật toán cắt chữ in dính dựa vào chu tuyến được đặc tả bằng ngôn ngữ
RAISE.
Trong số gần 90 cụm từ mà VnDOCR không cắt được, chúng tôi đã cho áp dụng
kỹ thuật cắt chữ này và đã cắt được hơn 80 cụm chữ dính. Điều đó mở ra khả năng
tích hợp của kỹ thuật với các phương pháp VPP và VH truyền thống.
3.4. PHÁT HIỆN ĐỐI TƯỢNG CHUYỂN ĐỘNG
3.4.1. Phát hiện đối tượng chuyển động dựa theo hướng tiếp cận trừ khung
hình liên kề
Các khung hình được lấy từ tệp ảnh động video có dạng RGB 24 bit, và được
chuyển sang ảnh cấp sáng 256 màu (8 bit). Chúng ta gọi khung hình hiện thời là Ic,
khung hình liền trước Ip. Khung hình Igc, Igp cùng là ảnh xám 256 màu. Tiếp theo,
Igc, Igp được trừ theo từng điểm ảnh, và được so sánh với ngưỡng. Nếu giá trị tuyệt
đối nhỏ hơn giá trị ngưỡng thì coi là điểm giống nhau, ngược lại coi là khác nhau.
Iwb là ảnh đen trắng thể hiện vùng khác nhau giữa 2 khung hình, những đ
iểm
khác nhau sẽ có màu trắng, ngược lại có màu đen.
Các hình 3.17, hình 3.18, và hình 3.19 minh họa của kỹ thuật trừ ảnh liền kề với
ngưỡng được đặt là 20, với những khung hình sai khác nhau ít sẽ làm cho ảnh Iwb có
màu đen (Ic, Ip có độ giống nhau lớn), còn với những khung hình có độ khác nhau
đáng kể, thì ngoài những đối tượng chuyển động, còn có nhiễu (do sự tương phản,

thời tiết ). Vì vậy, với kỹ thuật trừ khung hình liề
n kề có thể làm cho quá trình bám
đối tượng chuyển động bị mất đi (vì có thể có 2 khung hình có độ khác nhau không
đáng kể). Với kỹ thuật trừ khung hình liền kề chúng ta có được nhận xét sau:
• Chưa tối ưu được quá trình xử lý, vì phải xử lý tất cả khung hình có trong
đoạn video mặc dù chúng không có sự thay đổi (các đối tượng không chuyển
động).
• Thu được những thay đổi nhỏ đối với những đối tượng có chuyển động chậm
và có thể là không phân biệt được vì thay đổi ít, vì vậy mà khó có thể lấy
được toàn bộ đối tượng chuyển động.
• Chứa nhiều nhiễu, do thời tiết, độ tương phản, độ bóng làm thay đổi giá trị
màu ở những vùng không chuyển động.
Vì vậy, chúng ta sẽ không thực hiện trừ khung hình liền kề để phát hiện đối
tượng. Dưới đây chúng ta sẽ xem xét một hướng tiếp cận kết hợp: kỹ thuật trừ khung
hình, đo độ thay đổi, xét vị trí và kỹ thuật dò biên ảnh đa cấp xám để nâng cao hi
ệu
quả phát hiện đối tượng chuyển động.
3.4.2. Phát hiện đối tượng chuyển động theo hướng tiếp cận kết hợp
Đây cũng là một hướng tiếp cận dựa trên kỹ thuật trừ ảnh, độ đo tương tự, xét vị
trí tương đối giữa các vùng thay đổi giá trị màu ở các khung hình, phát hiện biên ảnh
đa cấp xám.
22
Dưới đây là bước thực hiện của thuật toán phát hiện đối tượng chuyển động theo
hướng tiếp cận kết hợp.
Bước 1 : Trừ ảnh và đánh dấu Iwb
Bước 2 : Lọc nhiễu trên ảnh Iwb, phát hiện độ dịch chuyển
Bước 3 : Phát hiện biên Igc
Bước 4 : Kết hợp Igc với Iwb
3.4.2.1. Trừ ảnh và đánh dấu Iwb
Đây là bước phát hiện vùng khác biệt dựa trên kỹ thuật trừ điểm ảnh, giá trị

ngưỡng đặt bằng 20. Tiến hành trừ từng điểm ảnh của Igc với Igp.
3.4.2.2. Lọc nhiễu và phát hiện độ dịch chuyển
Đây là bước để hạn chế được các vùng đốm dựa theo cửa sổ lọc nhiễu được
chọn là 5x5, 3x3 và vị trí thay đổi của vùng ảnh. Một tập Iwb được xử lý để lấy được
vị trí của vùng sáng. Nếu vị trí của vùng sáng thay đổi nhỏ hơn một giá trị ngưỡng thì
được coi là nhiễu, và lập tức được dập tắt. Kết quả chúng ta có được ảnh đen trắng
Iwb
được lọc. Vùng sáng có độ lớn 1 điểm ảnh sẽ được dập tắt bởi cửa sổ 3x3.








3.4.2.3. Phát hiện biên ảnh cấp xám Igc
Trong quá trình này, ảnh Igc được phát hiện biên dựa theo kỹ thuật phát hiện
biên trình bày trong mục 2.2.










c) Ảnh chưa lọc nhiễu d) Ảnh đã lọc

ễ
a) I
p
b) I
c
Hình 3.20: a), b) là 2 khung hình có độ sai khác thỏa mãn ngưỡng,
c) Ảnh Iwb chưa lọc nhiễu, d) là ảnh Iwb sau khi lọc nhiễu
a) I
c
b) Ig
c
c) Ie
c


Hình 3.21: a) Ảnh gốc, b) Ảnh cấp
xám, c) Ảnh biên
23
3.4.2.4. Kết hợp ảnh Igc với Iwb
Ảnh sau khi đã được phát hiện biên Iec được xếp chồng với ảnh đen trắng Iwb.
Vùng đen trắng kết hợp với điểm biên sẽ cho ta được tập hợp các điểm bao quanh
vùng chuyển động. Những điểm biên của Iec gần với vùng trắng của Iwb được đánh
dấu lại trên Igc.
Những điểm được lưu lại sẽ được xử lý để lấ
y được hình bao quanh đối tượng
chuyển động đó. Và quá trình phát hiện được vùng biên của đối tượng chuyển động
kết thúc.
3.3.3. Thử nghiệm
Trong phần này, trình bày một số hình ảnh kết quả đạt theo hướng tiếp cận kết
hợp. Đoạn băng video có dạng avi, được quay tại ngã ba Bắc Nam thành phố Thái

Nguyên. Đoạn băng có độ lớn 14,01 MB. Dưới đây là một số hình ảnh thu được.










3.5. KẾT LUẬN VÀ VẤN ĐỀ NGHIÊN CỨU
Chương này đã trình bày một số ứng dụng cơ bản dựa trên các thuật toán phát
hiện biên được trình bày trong chương 2, cụ thể:
• Trình bày một cách tiếp cận trong việc cài đặt thuật toán làm mảnh dựa theo biên
thông qua việc bổ sung phần thông tin khai báo trước cho mỗi thuật toán. Nhờ đó
có thể phát huy được những ưu điểm của các thuật toán đã có và hạn chế được
những nhược điểm của nó.
• Đề xuất thuật toán phát hiện góc nghiêng văn bản một cách thông minh thông qua
việc tính toán kích thước chủ đạo của các đối tượng ảnh trong văn bản thông qua
kỹ thuật tính biểu đồ tần xuất kích thước hình chữ nhật nhỏ nhất bao quanh đối
tượng ảnh được xác định trong quá trình dò biên.
• Đề xuất một thuật toán cắt chữ Việt in dính nhờ việc sử dụng tính chất của đường
biên và vị trí tương hỗ giữa chúng. Việc sử dụng tính chất của chu tuyến, vị trí
tương hỗ giữa chúng và một số tính chất khác liên quan trong việc cắt chữ dính tỏ
ra khá hiệu quả đối lớp các chữ Việt in dính đã được áp dụng các phương pháp
truyền thống.
• Đưa ra hướng tiếp cận kết hợp dựa hai kỹ thuật chủ yếu là: kỹ thuật trừ ảnh và kỹ
thuật phát hiện biên để giải quyết bài toán phát hiện đối tượng chuyển động.
24

Phần kết luận

Luận án gồm 108 trang được viết dựa trên 9 bài báo đã tập trung nghiên cứu một
số phương pháp phát hiện biên, các kỹ thuật để nâng cao chất lượng biểu diễn biên và
ứng dụng của biên trong xử lý ảnh với các kết quả đạt được như sau:
1. Đề xuất một cải tiến cho thuật toán dò biên trên cơ sở nghiên cứu các ngoại lệ và
tìm cách khắc phục. Dựa vào cải tiến này, luận án đã trình một đề xuất xử lý các
thuật toán làm mảnh dựa vào biên.
2. Đưa ra một mối liên hệ mới của phép toán giãn nở trên cơ sở đó chứng minh một
cách chặt chẽ về mặt toán học cho các tính chất của các phép toán hình thái. Các
phép toán có nhiều ứng dụng trong nhận dạng và xử lý ảnh. Trên cơ sở đó đề xuất
một thuật toán phát hiện biên mới dựa vào các phép toán hình thái.
3. Đề xuất một thuật toán phát hiện biên dựa vào trung bình cục bộ. Thuật toán vừa
có tính chất của thuật toán phát hiện biên gián tiếp lại vừa có tính chất của phát
hiện biên trực tiếp. Do đó, về mặt nào đó đã phát huy được cả 2 ưu điểm của các
phương pháp phát hiện biên truyền thống.
4. Đề xuất thuật toán phát hiện góc nghiêng văn bản một cách thông minh thông qua
việc tính toán kích thước chủ đạo của các đối tượng ảnh trong văn bản thông qua
kỹ thuật tính biểu đồ tần xuất kích thước hình chữ nhật nhỏ nhất bao quanh đối
tượng ảnh được xác định trong quá trình dò biên.
5. Đề xuất một thuật toán cắt chữ Việt in dính nhờ việc sử dụng tính chất của đường
biên và vị trí tương hỗ giữa chúng. Việc sử dụng tính chất của chu tuyến, vị trí
tương hỗ giữa chúng và một số tính chất khác liên quan trong việc cắt chữ dính tỏ
ra khá hiệu quả hơn đối với lớp các chữ Việt in dính đã được áp dụng các phương
pháp truyền thố
ng.
6. Đưa ra hướng tiếp cận kết hợp dựa trên kỹ thuật trừ ảnh và kỹ thuật phát hiện biên
để giải quyết bài toán phát hiện đối tượng chuyển động.

Vấn đề có thể nghiên cứu tiếp tục:
•
Nghiên cứu sự chồng lấn giữa các đối tượng nhằm phát hiện ra các đường
biên bị che khuất hoặc tiếp giáp.
• Nghiên cứu phát hiện chuyển động của đối tượng dẫn đến hiểu hành vi của
đối tượng làm cơ sở trong bài toán giám sát tự động.
• Nghiên cứu ứng dụng xử lý biên trong y học như: đếm số hồng cầu trong
máu, phân loại ảnh X-quang v.v