Ứng dụng xử lý ảnh đếm các đối tượng có ảnh chạm nhau

Trang phụ bìa
ĐẠI HỌC THÁI NGUN
TRƯỜNG ĐẠI HỌC CƠNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

NGUYỄN THỊ THANH XUÂN

ỨNG DỤNG XỬ LÝ ẢNH
ĐẾM CÁC ĐỐI TƯỢNG CÓ ẢNH CHẠM NHAU

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Thái Nguyên năm 2020


i

LỜI CAM ĐOAN
Tên tôi là: Nguyễn Thị Thanh Xuân
Sinh ngày: 10/10/1977
Học viên lớp cao học CHK17A - Trường Đại học Công nghệ Thông tin và
Truyền thông - Đại học Thái Nguyên.
Hiện đang công tác tại: Trường THPT Đồng Hỷ - tỉnh Thái Nguyên.
Xin cam đoan: Đề tài “Ứng dụng xử lý ảnh đếm các đối tượng có ảnh chạm
nhau” do TS. Phạm Đức Long hướng dẫn là cơng trình nghiên cứu của riêng tôi.
Tất cả tài liệu tham khảo đều có nguồn gốc, xuất xứ rõ ràng.
Tác giả xin cam đoan tất cả những nội dung trong luận văn đúng như nội
dung trong đề cương và yêu cầu của thầy giáo hướng dẫn. Nếu sai tơi hồn tồn
chịu trách nhiệm trước hội đồng khoa học và trước pháp luật.
Thái Nguyên, ngày 01 tháng 10 năm 2020
Tác giả luận văn

Nguyễn Thị Thanh Xuân


ii

LỜI CẢM ƠN
Sau một thời gian nghiên cứu và làm việc nghiêm túc, được sự động viên,
giúp đỡ và hướng dẫn tận tình của Thầy giáo hướng dẫn TS. Phạm Đức Long, luận
văn với Đề tài “Ứng dụng xử lý ảnh đếm các đối tượng có ảnh chạm nhau”.
Tơi xin bày tỏ lòng biết ơn sâu sắc đến:
Thầy giáo hướng dẫn TS. Phạm Đức Long đã tận tình chỉ dẫn, giúp đỡ tơi
hồn thành luận văn này.
Phịng đào tạo Sau đại học Trường Đại học Công nghệ Thông tin và Truyền
thơng đã giúp đỡ tơi trong q trình học tập cũng như thực hiện luận văn.
Trường THPT Đồng Hỷ - tỉnh Thái Nguyên nơi tôi công tác đã tạo điều kiện
tối đa cho tơi thực hiện khóa học này.
Tơi xin chân thành cảm ơn bạn bè, đồng nghiệp và gia đình đã động viên,
khích lệ, tạo điều kiện giúp đỡ tơi trong suốt q trình học tập, thực hiện và hoàn
thành luận văn này.
Thái Nguyên, ngày 01 tháng 10 năm 2020
Tác giả luận văn

Nguyễn Thị Thanh Xuân

LỜI CAM ĐOAN .....................................................................................................
LỜI CẢM ƠN ..........................................................................................................
MỤC LỤC ...............................................................................................................
DANH MỤC CÁC BẢNG ......................................................................................
DANH MỤC CÁC HÌNH VẼ...................................................................................

DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT ..........................................
ĐẶT VẤN ĐỀ ............................................................

CHƯƠNG 1. TỔNG QUAN ĐẾM ĐỐI TƯỢNG VÀ NHU CẦU ĐẾM BẰNG
XỬ LÝ ẢNH..........................................................................................................2
1.1. Đếm đối tượng trong thực tế............................................................................2
1.1.1 Đếm thủ công bằng mắt..................................................................................2
1.1.2 Đếm qua thiết bị sensor..................................................................................3
1.1.3 Đếm qua ảnh..................................................................................................4
1.2 Đặc điểm đếm đối tượng qua ảnh......................................................................5
1.2.1 Ảnh số............................................................................................................5
1.2.2. Những thuận lợi khi áp dụng đếm bằng xử lý ảnh.........................................8
1.2.3 Khó khăn khi đếm đối tượng qua ảnh.............................................................8
KẾT LUẬN CHƯƠNG 1.................................................................................... 10
CHƯƠNG 2. CÁC PHƯƠNG PHÁP ĐẾM BẰNG XỬ LÝ ẢNH...................11
2.1 Đếm các đối tượng tách rời............................................................................. 11
2.1.1 Thuật toán kinh điểm đếm các đối tượng tách rời nhau................................11
2.1.2 Đếm sai khi có các đối tượng chạm nhau..................................................... 12
2.2 Đếm đối tượng có ảnh dính nhau dùng hình thái học kinh điển.............................14
2.2.1 Hình thái học kinh điển...................................................................................................... 14
2.2.2 Hạn chế khi đếm các đối tượng dính nhau.................................................... 16
2.3 Phối hợp Biến đổi Watershed và biến đổi khoảng cách................................... 17
2.3.1 Biến đổi khoảng cách (DT - Distance Transform)........................................ 17


iv

2.3.2 Phân vùng Watershed (WS-Watershed Segmentation).................................19
2.3.3 Phối hợp biến đổi Watershed và biến đổi khoảng cách.................................27

2.4 Sử dụng mạng nơ ron...................................................................................... 31
2.5 Đếm đối tượng có ảnh dính nhau dùng hình thái học định hướng...................35
2.5.1 Khảo sát Hình thái học gradients kinh điển.................................................. 35
2.5.2 Hình thái học có định hướng........................................................................ 37
2.6 Xây dựng thuật tốn đếm đối tượng có ảnh dính nhau dùng hình thái học định
hướng.................................................................................................................... 41
KẾT LUẬN CHƯƠNG 2.................................................................................... 42
CHƯƠNG 3. ỨNG DỤNG XỬ LÝ ẢNH ĐẾM CÂY THÉP QUA ẢNH ĐẦU
BĨ......................................................................................................................... 43
3.1 Cơ sở chọn thuật tốn và nhu cầu thực tế........................................................ 43
3.2 Đếm cây thép qua ảnh đầu bó.......................................................................... 51
3.3 Kết quả thực nghiệm....................................................................................... 52
3.4 Nhận xét và đánh giá, so sánh......................................................................... 55
KẾT LUẬN CHƯƠNG 3...................................................................................... 56
KẾT LUẬN........................................................................................................... 56
HƯỚNG PHÁT TRIỂN........................................................................................ 57
TÀI LIỆU THAM KHẢO..................................................................................... 58
PHỤ LỤC................................................................................................................I


viv

DANH MỤC CÁC BẢNG
Bảng 2.1 Một số ví dụ biến đổi khoảng cách......................................................... 18
Bảng 3.1 Quy cách thép cây cường lực (thép cây có vằn)..................................... 45
Bảng 3.2 Quy cách thép trịn trơn.......................................................................... 46
Bảng 3.3 Độ chính xác kết quả đếm qua ảnh đầu bó thép (%)..............................55


v

vi

DANH MỤC CÁC HÌNH VẼ
Hình 1.1 Đếm sơ khai và trừu tượng với con số......................................................2
Hình 1.2 Đếm thủ cơng đầu bó thép dùng sơn và mắt thường.................................2
Hình 1.3 Đếm bằng sensor......................................................................................3
Hình 1.4 Đếm quả để ước tính sản lượng................................................................................. 4
Hình 1.5 Đếm hồng cầu qua kính hiển vi................................................................4
Hình 1.6 Đếm ô tô trên đường cao tốc....................................................................4
Hình 1.7 Nguyên lý máy ảnh số..............................................................................5
Hình 1.8 Nguyên lý sensor CCD. Trong hình là 3 vi điểm ảnh...............................6
Hình 1.9 Sensor CCD và sensor CMOS..................................................................6
Hình 1.10 Sensor CMOS hiện tại............................................................................7
Hình 1.11 Ảnh thiếu sáng chất lượng kém, bị mất khơng tin..................................9
Hình 1.12 Ảnh hồng cầu bị chạm, chồng lên nhau.................................................9
Hình 1.13 Ảnh nhiễu và khơng nhiễu......................................................................9
Hình 2.1 Tạo các điểm ảnh biên cho ảnh I............................................................ 11
Hình 2.2 Minh họa phương pháp đếm kinh điển................................................... 12
Hình 2.3 a) ảnh nguyên bản b) ảnh nhị phân...................................................... 13
Hình 2.4 Thực hiện phép co và phép dãn nở ảnh nhị phân.................................... 13
Hình 2.5 a) Ảnh nguyên bản b) Sau khi dùng phép co c) Sau khi dùng phép dãn nở.
14
Hình 2.6 Ảnh nhị phân nguyên bản và sau khi thực hiện các phép hình thái học 15
Hình 2.7 Hình thái học trên ảnh xám..................................................................... 16
Hình 2.8 Thực hiện hình thái học trên ảnh xám..................................................... 16
Hình 2.9 Dùng phép co để tách các đối tượng....................................................... 17
Hình 2.10 Do phép co chưa đủ số lần thực hiện.................................................... 17
Hình 2.11 Tác dụng của ba kiểu biến đổi khoảng cách.......................................... 19
Hình 2.12 Nguyên lý biến đổi lưu vực sông (watershed transform) nơi các giá trị

cường độ xác định đồi và lưu vực. Đối với mục đích phân vùng, các lưu
vực có thể bị ngập để kết hợp các vùng tương ứng..............................19


vii

Hình 2.13 Địa hình khi chưa bị ngập nước........................................................... 20
Hình 2.14 Bắt đầu cho ngập các thung lũng.......................................................... 20
Hình 2.15 Vị trí của Watershed............................................................................. 20
Hình 2.16 Xây dựng bức tường ngăn cách tại vị trí Watershed.............................20
Hình 2.17 Tồn bộ địa hình bị nhấn chìm.............................................................. 21
Hình 2.18 Ví dụ phân vùng ảnh bằng Watershed................................................... 21
Hình 2.19 Watershed transform trên lưới ơ vng, cho các kết nối khác nhau.......26
Hình 2.20 Phân vùng quá mức do nhiễu khi áp dụng cho một lát cắt trục của hình
ảnh CT. Ảnh cuối: các lưu vực riêng lẻ (individual basins) được hợp nhất
để tạo thành các vùng lớn hơn liên tiếp................................................ 27
Hình 2.21 Thuật tốn phối hợp biến đổi Watershed và biến đổi khoảng cách.......29
Hình 2.22 Phân vùng các đồng xu dính nhau........................................................ 30
Hình 2.23 Tách các hạt cà phê dính nhau.............................................................. 31
Hình 2.24 Trước tiên, mạng CNN-DC thực hiện phát hiện các điểm tâm cây thép
bằng một mạng CNN (deep CNN), sau đó áp dụng thuật tốn Phân
cụm khoảng cách để có được thơng tin về số lượng thanh thép và các
vị trí tâm của các thanh thép................................................................. 32
Hình 2.25 Minh họa quá trình phân cụm khoảng cách: (1) Tính khoảng cách......33
Hình 2.26 Kiến trúc CNN............................................................................................................. 34
Hình 2.27 Quá trình sử dụng phương pháp dùng mạng nơ ron chập cuộn CNN cho
đêm và định tâm các cây thép.............................................................. 34
Hình 2.28 Ví dụ hình thái học gradient với ảnh một con đường............................ 36
Hình 2.29 Hình thái học gradient với tín hiệu 1D có tác dụng cải thiện tín hiệu cả
hai vùng trong và ngồi........................................................................ 36

Hình 2.30 Ví dụ hình thái học gradient với ảnh một tấm bản mạch......................37
Hình 2.31 Quy ước các hướng trong ảnh với thực hiện hình thái học có định hướng
................................................................................................................................................................. 37
Hình 2.32 Hình thái học có hướng........................................................................ 38
Hình 2.33 Các vị trí và hướng thực hiện Hình thái học định hướng......................39
Hình 2.34 Góc θ thay đổi qua các trục thể hiện các điểm lõm (a) và lồi (b) của biên.…39


viii

Hình 2.35 Điểm A đổi chiều gradient theo hướng Y-Y......................................... 40
Hình 2.36 Tìm tọa độ các điểm thực hiện hình thái học định hướng....................40
Hình 2.37 Các mặt nạ hình thái học theo hướng a) X-X, b) Y-Y c) Y-X d) X-Y .. 40

Hình 3.1 Thép xây dựng a) dạng cây b) dạng cuộn............................................... 44
Hình 3.2 Thép trịn trơn và thép vằn...................................................................... 45
Hình 3.3 Phơi thép cán.......................................................................................... 48
Hình 3.4 Đầu thép thanh trịn và thép thanh cường lực......................................... 48
Hình 3.5 Dây chuyền cán và cơ cấu đếm của DANIEL (Ytalia) tại nhà máy Thái
Trung – Thái Nguyên

49

Hình 3.6 Hệ thống đếm thép 2 Camera của của dây chuyền cán Thái Trung (Thái
Ngun) sử dụng cơng nghệ DANIEL

49

Hình 3.7 Dây chuyền cán NasteelVina sử dụng đếm thủ cơng..............................49
Hình 3.8 a) Hệ thống đếm từng cây thép trên băng tải của SINOM GROUP LTD

Sai số 0.7 %
[11].

b) ảnh trên chương trình xử lý
50

Hình 3.9 Đưa số đếm vào chương trình mã vạch để quản lý.................................50
Hình 3.10 Tách đối tượng dùng mẫu..................................................................... 52
Hình 3.11 Mẫu ảnh dùng trong thực nghiệm........................................................ 53
Hình 3.12 Các bước thực hiện tách đối tượng trong ảnh a) ảnh nguyên bản b) ảnh
xám c) ảnh nhị phân d), e), f) các bước trung gian g) tìm biên để xác
định hưởng thực hiện hình thái học h) kết quả tách các đối tượng.

54

Hình 3.13 Kết quả đếm số cây đầu bó................................................................... 55
Hình 3.14 Trường hợp đầu cây thép bị thụt vào.................................................... 55


vi
ix

DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT
AI- Artificial Intelligence

Trí tuệ nhân tạo

CNN - Convolutional Neural Networks

Mạng nơ ron chập cuộn

(phần mềm)

CNN- Cellular Neural Netwwork

Mạng nơ ron tế bào

(phần cứng)
Closing

Tốn tử đóng Closing

Dilation

Phép dãn nở

DT - Distance Transform

Biến đổi khoảng cách

Deep learning

Học sâu

Erosion

Phép co

Morphological Operator

Tốn tử hình thái học

Morphological Gradient

Hình thái học Gradient

Opening

Tốn tử mở Opening

OM - Oriented Morphology

Hình thái học định hướng

Sensor CCD (Charge Coupled Device)

Cảm biến CCD

Sensor Complementary Metal-Oxide-Semiconductor (CMOS)
Cảm biến bán dẫn ô xit kim loại

Watershed Segmentation

Biến đổi Watershed


1
MỞ ĐẦU
Đếm các đối tượng trong ảnh là một bài toán được đặt ra nhiều trong thực tế
như đếm các tế bào, đếm hồng cầu trong máu qua ảnh từ kính hiển vi điện tử, đếm
các sản phẩm cơng nghiệp qua các camera cơng nghiệp… Khó khăn lớn nhất với

việc đếm bằng xử lý ảnh là ảnh của các đối tượng cần đếm thường dính với nhau
gây ra kết quả sai khác so với thực tế. Cho đến nay đã có nhiều phương pháp làm
tăng độ chính xác của kết quả đếm bằng xử lý ảnh. Tuy nhiên kết quả của các
phương pháp đó vẫn chưa cho độ chính xác 100%. Trong bài báo này chúng tôi đề
xuất một phương pháp mới áp dụng hình thái học có định hướng để tách các đối
tượng bị dính nhau trong ảnh để đưa độ chính xác kết quả của các q trình đếm có
khả năng đạt đến độ chính xác tuyệt đối trong một số ứng dụng trong công nghiệp
hiện nay. Thực nghiệm được thực hiện trên ảnh của các bó thép cho số lượng cây
thép có trong bó có thể đạt độ chính xác tuyệt đối. Kết quả này có thể được ứng
dụng thay cho việc đếm bằng thủ công trong các nhà máy cán thép hiện nay.
Nhu cầu đếm các đối tượng có rất nhiều trong thực tiễn. Đếm thủ cơng bằng
mắt là một phương pháp tự nhiên, đã có lâu đời. Nhưng ngày nay việc đếm thủ công
đã không còn đáp ứng được nữa do tốc độ xuất hiện và tồn tại các đối tượng cần
đếm rất nhanh, do số lượng đối tượng cần đếm vô cùng lớn, do các đối tượng trong
nhóm dính hoặc chồng lấn lên nhau
Mục tiêu của luận văn là nghiên cứu Xây dựng thuật tốn đếm đối tượng có
ảnh dính nhau dùng hình thái học định hướng. Chúng ta thấy morphological
gradient chỉ có tác dụng nổi biên ở các phía trong và ngồi biên cũng như nổi biên
so với nền ảnh trong một số trường hợp và không tác dụng tách rời các đối tượng
dính nhau. Với mục tiêu tách đối tượng tách rời các đối tượng dính nhau chúng tơi
đưa ra một loại hình thái học mới thực hiện hình thái học dựa trên đặc điểm của
biên ảnh tại những vị trí có biểu hiện đặc điểm của hai đối tượng “dính nhau”. Từ
đó tiến hành xây dựng mơ hình thực nghiệm đếm ảnh sản phẩm trên phần mềm
Matlab. Do vậy em lựa chọn đề tài “Ứng dụng xử lý ảnh đếm các đối tượng có
ảnh chạm nhau” cho đề tài luận văn tốt nghiệp.


2

CHƯƠNG 1

TỔNG QUAN ĐẾM ĐỐI TƯỢNG VÀ NHU CẦU ĐẾM
BẰNG XỬ LÝ ẢNH
1.1. Đếm đối tượng trong thực tế
1.1.1 Đếm thủ công bằng mắt
Nhu cầu đếm là một nhu cầu tự nhiên của con người. Từ lúc đi săn bắn ở
rừng đã phải đếm xem bắt được/bắn được mấy con thú, hái được bao nhiêu quả
rừng. Khi chưa xuất hiện số đếm con người dùng các bộ phận thân thể để nhớ số
lượng, đánh dấu khi nhớ.

Hình 1.1 Đếm sơ khai và trừu tượng với con số
Số đếm ra đời cho phép con người đếm được nhiều hơn. Tuy nhiên với số
lượng lớn sự bao quát của mắt không thể đáp ứng được. Lúc đó phải có đánh dấu, ví
dụ đếm cây thép qua đầu bó thép mỗi cây thép đã đếm rồi thì phải bơi sơn vào để
khơng đếm nhầm lại nữa.

Hình 1.2 Đếm thủ cơng đầu bó thép dùng sơn và mắt thường


3
Tuy nhiên với các yêu cầu đếm nhanh, đếm tự động chính xác thì phải có
những phương pháp khác.
Đây mới chỉ đề cập đến đếm thuần túy và chưa kể đến đếm có kiểm tra ví dụ đếm
tiền bằng máy đếm.
1.1.2 Đếm qua thiết bị sensor

b) Đếm sản phẩm trên dây chuyền sản xuất

b) Đếm người ra-vào qua cửa

Hình 1.3 Đếm bằng sensor

Đây là phương pháp hay được sử dụng trong công nghiệp và một số không
gian công cộng (như bảo tàng, siêu thị, nhà ga):
+ Với lối ra vào hẹp chỉ đủ cho một người: Một (hoặc một số) sensor tiệm cận,

sensor hồng ngoại được bố trí để khi khơng có vật (hoặc người) qua thì giá trị tín
hiệu ra của sensor là “0” khi có tín hiệu của sản phẩm hoặc của người qua thì tín
hiệu bằng “1” và số đếm = số đếm +1.
+ Với lối ra vào rộng: Để tránh trường hợp có 2 hay nhiều hơn số người cùng đi qua

mà vẫn chỉ có một tín hiệu “1” thì các sensor cần bố trí theo dãy ngang từ trên
xuống.
Một số nhược điểm của dùng sensor là khi cường độ nhiễu của môi trường
với biên độ lớn đến hơn 100V làm bộ điều khiển bị “treo” hoặc sensor báo tín hiệu
sai. Đây là trường hợp dùng sensor đếm thép cây trên dây chuyền trong quá trình
sản xuất tại nhà máy cán thép.


4
1.1.3 Đếm qua ảnh
Khái niệm “ảnh” ở đây được hiểu không chỉ là ảnh quang học thu qua các camera
mà cả ảnh thu qua các mảng sensor (ví dụ ảnh trên thiết bị kiểm tra vị trí xe ơ tơ).

Trong thực tiễn để có kết quả đếm rất nhiều trường hợp không thể sử dụng
đếm bằng sensor và đếm bằng mắt thì khơng đếm xuể ví dụ đếm hồng cầu, đếm quả
trong vườn, [1], [2], [3].

Hình 1.4 Đếm quả để ước tính sản lượng

Hình 1.5 Đếm hồng cầu qua kính hiển vi

Hình 1.6 Đếm ơ tơ trên đường cao tốc


5
1.2 Đặc điểm đếm đối tượng qua ảnh
1.2.1 Ảnh số

Hình 1.7 Nguyên lý máy ảnh số
Các máy ảnh số hiện nay không phải thu và lưu trữ các ảnh thực như máy
ảnh chụp phim mà dùng các sensor quang thu và lưu giữ các điểm ảnh thực đã được
rời rạc hóa và chuyển sang giá trị số. Các máy ảnh đặc biệt chụp ban đêm hoặc y
học có thể dùng các cảm biến quang ở vùng phổ tia X, tia gamma. Hai loại sensor
quang được dùng trong các máy ảnh số thơng dụng là CCD (hoặc CMOS). Trong
hình 1.7 là nguyên lý của một máy ảnh số dùng sensor CCD. Cường độ sáng của đối
tượng qua hệ thống ống kính tác động lên mảng sensor sẽ cho ra ở đầu ra của mảng
sensor các điện áp khác nhau phụ thuộc độ sáng của mỗi điểm ảnh. Các gía trị điện
áp này sẽ được bộ xử lý và bộ ADC chuyển sang các mức điện áp tương ứng với các
giá trị số 0/1 (tức là mảng ảnh số). Để tích hợp ảnh màu cần có 3 mảng sensor để
chuyển đổi một mảng tín hiệu quang học thành 3 nhóm tín hiệu màu cơ bản; chẳng
hạn các nhóm RGB trong hệ màu Đỏ, Xanh lam, Xanh dương.
Cả hai loại sensor ảnh phổ biến CCD và CMOS đều được phát triển từ giai
đoạn cuối 1960-1970.
 Sensor CCD (Charge Coupled Device)

CCD bao gồm một mạng lưới các điểm bắt sáng (điểm ảnh, pixel). Các điểm này
lại được phủ các lớp lọc màu (thường là 1 trong 3 màu cơ bản: đỏ, xanh lam và
xanh dương (Red, Green, Blue) để mỗi điểm chỉ bắt một màu nhất định. Do các
điểm ảnh được phủ các lớp lọc màu khác nhau và được đặt xen kẽ nhau nên màu
nguyên thủy tại một điểm của hình ảnh thật sẽ được tái hiện bằng màu từ một điểm

6
ảnh chính kết hợp với các màu bù được bổ sung từ các điểm xung quanh bằng
phương pháp nội suy.

Hình 1.8 Nguyên lý sensor CCD. Trong hình là 3 vi điểm ảnh
Khi chụp ảnh, cửa chập mở ra (cửa đóng/mở hệ thống thấu kính của máy ảnh),
ánh sáng qua ống kính sẽ được lưu lại lại bề mặt chip thơng qua các điểm ảnh. Thông
tin về ánh sáng (độ sáng, màu) của mỗi điểm ảnh được chuyển đổi thành sự khác nhau
về điện áp và sẽ được chuyển lần lượt ra bộ phận đọc giá trị điện áp này. Sau đó các giá
trị này sẽ đi qua bộ khuyếch đại tín hiệu, rồi đến bộ chuyển đổi tín hiệu tương tự sang
tín hiệu số (A/D converter-bộ chuyển đổi tín hiệu tương tự analog thành tín hiệu số
digital), rồi tới bộ xử lý để tái hiện lại hình ảnh đã chụp được.

Việc phải đọc lần lượt thông tin là do tốc độ xử lý hoàn thiện một bức ảnh
khá chậm, ảnh ở một số vùng hoặc dễ bị thừa sáng hoặc thiếu sáng. Để xử lý vấn đề
này, một bộ đọc ảnh có kích cỡ bằng mạng lưới các hạt sáng được bổ sung xen kẽ
để làm tăng tốc độ xử lý ảnh mà không bị suy giảm chất lượng. Sự cải thiện này địi
hỏi phải có thêm khơng gian nhớ trên chip. Để sản xuất chip CCD cần có những
thiết bị, phòng lab chuyên dụng, khiến cho giá thành CCD đã đắt lại càng thêm đắt.

Hình 1.9 Sensor CCD và sensor CMOS


7
 Sensor CMOS (Complementary Metal-Oxide-Semiconductor)

Với sensor CMOS, cạnh mỗi một điểm bắt sáng trên cảm biến CMOS đều có
một mạch bổ trợ, do đó người ta có thể tích hợp các quy trình xử lý ảnh như bộ
chuyển đổi analog/digital, cân bằng trắng vào mạch bổ trợ này, giúp cho quá trình

xử lý bức ảnh được thực hiện rất nhanh nhờ được thực hiện ngay tại từng điểm ảnh
đơn lẻ. Các điểm ảnh đa chức năng này (vì thế ở CMOS thế hệ mới còn được gọi là
các điểm ảnh chủ động APS – active pixel sensor) đều có khả năng tự làm việc.
Cũng do khả năng này mà người ta có thể tương tác với một vùng pixel nhất định
của chip cảm biến (ví dụ như zoom số - phóng to/thu nhỏ chỉ một phần của ảnh),
điều khơng thể làm được đối với CCD vì CCD đã đọc là đọc hết tồn bộ bức ảnh.
Với khả năng tích hợp cao, bảng mạch chính sẽ khơng bị mất thêm khơng gian (vì
tất cả đã ở trên chip), khơng địi hỏi thêm các chip bổ trợ. CMOS cũng tiêu thụ rất ít
điện năng, việc sản xuất dễ dàng vì quy trình giống như quy trình sản xuất chip máy
tính thơng dụng ngày nay hay các chip trong các thiết bị điều khiển khác, khơng cần
phải đầu tư thêm phịng lab mới. Giá thành sản xuất theo đó sẽ được giảm đáng kể.
Tuy nhiên, do mỗi một điểm nhận ánh sáng trên CMOS lại có một mạch riêng
nên khó có thể đảm bảo tính đồng nhất của mỗi mạch khi khuyếch đại. Điều này làm
cho bức ảnh xuất ra ln có một độ nhiễu nhất định (không mịn). Nếu như ở CCD, mỗi
một điểm ảnh là một mặt bắt sáng khiến cho độ nhạy sáng của CCD cao hơn, dải màu
thể hiện được nhiều hơn, độ phân giải cao hơn, thì mỗi một điểm ảnh của CMOS (bao
gồm hạt bắt sáng và mạch khuyếch đại) khi bắt sáng sẽ có những phần ánh sáng rơi vào
vị trí của mạch vì thế sẽ không được tái hiện. Điều này làm cho ảnh bị mất thông tin tại
những vùng này dẫn đến độ phân giải của CMOS khơng cao.

Hình 1.10 Sensor CMOS hiện tại


8
Với công nghệ chế tạo chip cảm biến CMOS mới hiện tại, các vấn đề nhược
điểm của sensor CMOS đã được khắc phục. Để giải quyết vấn đề các mạch khuyếch
đại luôn tạo ra một độ nhiễu nhất định trên ảnh, người ta khắc phục bằng cách đọc
ảnh trên cảm biến CMOS hai lần, mỗi lần chỉ trong vòng khoảng 10/1.000 giây. Lần
1 đọc toàn bộ các giá trị bắt sáng của cảm biến, lần 2 chỉ đọc các giá trị của các
mạch bổ trợ tại mỗi chip (giá trị gây nhiễu, hạt). Lấy giá trị lần 1 trừ đi giá trị lần 2

sẽ được bức ảnh chất lượng cao, loại bỏ gần như hồn tồn độ nhiễu. Để khơng bị
mất phần thơng tin ánh sáng rơi vào vị trí của mạch, người ta đã thêm vào bên trên
của mạch một lớp chắn sáng, một vi thấu kính sẽ được phủ lên toàn bộ bề mặt của
hạt bắt sáng và của mạch, lái ánh sáng tại mọi vị trí của điểm ảnh rơi vào vị trí của
hạt bắt sáng.
Nhờ vào các ưu điểm và việc khắc phục các nhược điểm như trên của cảm
biến CMOS mà giờ đây cảm biến CMOS đang là lựa chọn của rất nhiều nhà sản
xuất máy chụp hình/quay phim nổi tiếng trên thế giới. Nhờ những đột phá về công
nghệ mới đã khiến cho chất lượng của CMOS hiện tại trở nên ngang bằng hoặc
thậm chí là vượt qua cả tiêu chuẩn của CCD. Với nhiều tính năng được tích hợp sẵn
hơn là CCD, cảm biến CMOS hoạt động hiệu quả hơn, cần ít điện năng hơn và chụp
ảnh tốc độ cao tốt hơn CCD.
1.2.2. Những thuận lợi khi áp dụng đếm bằng xử lý ảnh
+ Dễ dàng tin học hóa, tự động hóa,
+ Dùng được trong những trường hợp không thể dùng các phương pháp thủ

công và cũng không dùng được các phương pháp đếm bằng cơ cấu cơ khí, đếm
bằng sensor điện tử (ví dụ các trường hợp đếm thép cây trong nhà máy qua ảnh đầu
bó thép, đếm hồng cầu qua ảnh thu được trên kính hiển vi điện tử).
1.2.3 Khó khăn khi đếm đối tượng qua ảnh
Những khó khăn khi đếm đối tượng qua ảnh là:
+ Chất lượng ảnh phụ thuộc nhiều vào chất lượng ánh sáng khi tích hợp ảnh: Nếu

cường độ sáng chiếu vào đối tượng mà nhỏ quá thì các các sensor khơng tác động
hoặc cường độ điện áp ra thấp có nghĩa là ảnh khơng thấy gì hoặc chất lượng kém


9
làm ảnh hưởng đến các khâu xử lý ảnh. Ngược lại khi ảnh được chiếu sáng quá mức
hoặc bị ngược sáng thì cũng cho ảnh chất lượng xấu.

Hình 1.11 Ảnh thiếu sáng chất lượng kém, bị mất không tin
+ Ảnh của đối tượng bị dính (chạm) nhau hoặc chồng lên nhau.

Hình 1.12 Ảnh hồng cầu bị chạm, chồng lên nhau
+ Tác động của nhiễu khi tích hợp ảnh cũng là vấn đề lớn; nhất là các ảnh y học

siêu âm khi tích hợp thường xuất hiện nhiễu đốm là một loại nhiễu khó loại bỏ.
Trong hình 1.13. Với nhiệm vụ phát hiện, đếm ô tô nếu ta không khử được nhiễu thì
khơng thể thực hiện các bước nhận dạng ơ tơ và đếm.

Hình 1.13 Ảnh nhiễu và khơng nhiễu


10

KẾT LUẬN CHƯƠNG 1
Trong cuộc sống thực tiễn các nhu cầu đếm đối tượng có trong nhiều lĩnh
vực. Để có thể tự động hóa việc đếm có thể sử dụng các bộ cảm biến (sensor) hoặc
đếm qua xử lý ảnh. Rất nhiều trường hợp không thể sử dụng sensor do nhiễu hoặc
khơng lắp đặt được sensor, khi đó phương pháp đếm bằng xử lý ảnh là giải pháp
duy nhất. Tuy nhiên đếm bằng xử lý ảnh cũng có những khó khăn do bản chất của
phương pháp là phụ thuộc ánh sáng và có thể có sai số khi các đối tượng bị
dính/chạm nhau nếu chúng ta khơng có phương pháp loại trừ thích hợp.


11

CHƯƠNG 2
CÁC PHƯƠNG PHÁP ĐẾM BẰNG XỬ LÝ ẢNH

2.1 Đếm các đối tượng tách rời
2.1.1 Thuật toán kinh điểm đếm các đối tượng tách rời nhau
Như chương 1 đã đề cập: rất nhiều loại hình cơng việc đếm trong thực tiễn
phải dùng phương pháp đếm bằng xử lý ảnh. Đếm số đối tượng trong ảnh là một
trong các công việc cơ bản của xử lý ảnh. Trong đó bài tốn kinh điển đếm các đối
tượng tách rời nhau được mô tả qua thuật toán sau:
Thuật toán đếm kinh điển:
Input: Ảnh số nhị phân.
Output: Số đối tượng cần đếm trong ảnh
Thực hiện với ảnh gốc I có kích thước MxN
1. Tạo các điểm ảnh biên của ảnh I = 0;
/ sau khi tạo có ảnh mới I1 có kích thước (M+2) x (N+2)

Số đối tượng = 0;

Hình 2.1 Tạo các điểm ảnh biên cho ảnh
I 2. Tìm trong khoảng i = 1 → M-2; j = 1 → N-2
2.1 Bắt đầu từ điểm bất kỳ (chẳng hạn điểm top-left)
Xem điểm ảnh đó có phải điểm đen khơng?
+ Nếu điểm ảnh là điểm trắng khơng làm gì
+ Nếu điểm ảnh đó là điểm đen thì: gán nhãn cho điểm đó là "2" rồi


12
+ Kiểm tra xem 8 điểm ảnh xung quanh có là điểm đen không? Nếu điểm nào trong

số 8 điểm đó là đen thì gán chúng là "2". Nếu khơng thì chúng vẫn bằng "0". Cập
nhật vị trí các điểm "2". Cập nhật các vị trí đã kiểm tra (Đánh số từ "2" để không lẫn
với giá trị "1").
2.2 Loại trừ điểm đen đầu tiên (điểm "2" đầu tiên). làm tiếp với từng điểm

"2" lân cận với bước 2.1 để tìm các điểm "2" mới tức là tìm các điểm
ảnh mới liên kết với các điểm "2" cũ.
2.3 Khi không cịn có điểm "2" mới nào thì:
+ Số đối tượng = Số đối tượng + 1;
+ Tìm trong số tất cả các điểm ảnh cịn lại chưa kiểm tra có điểm

đen nào thì lại thực hiện 2.1, 2.2
3.

Tìm đến điểm ảnh cuối cùng của ảnh thì sẽ tìm được số đối tượng trong ảnh.

Số điểm ảnh có cùng nhãn "2", "3", ... sẽ là diện tích (độ lớn) của mỗi đối tượng.

a) Các nhóm điểm đen được gán nhãn

(hình b)

Hình 2.2 Minh họa phương pháp đếm kinh điển
Trên hình 2.2 các nhãn được đánh số từ 2 đến 7 và số đối tượng N là số thứ tự nhãn
lớn nhất -1 tức là N=7-1=6.
2.1.2 Đếm sai khi có các đối tượng chạm nhau
Theo cách thức của thuật toán đếm kinh điển chúng ta thấy dựa trên sự gán
nhãn các nhóm điểm ảnh liên thơng nhau. Mỗi nhóm điểm ảnh là một đối tượng.
Như vậy khi có hai đối tượng chạm nhau trong thực tế thì ảnh của chúng cũng có
các điểm liên thông như là cùng trong một đối tượng. Áp dụng thuật toán đếm kinh


13
điển trong trường hợp này mà khơng có xử lý tách hai (hoặc nhiều đối tượng dính
nhau ra) sẽ cho kết quả đếm sai.

Hình 2.3 a) ảnh nguyên bản

b) ảnh nhị phân

Trên hình 2.3 ngun bản có 5 đồng xu trong đó có hai nhóm đồng xu bị chồng lên
nhau. Trên ảnh nhị phân khi đếm dùng thuật toán đếm kinh điển chúng ta chỉ đếm
được 3 nhóm đối tượng (mà lẽ ra phải là 5).
2.2 Đếm đối tượng có ảnh dính nhau dùng hình thái học kinh điển
2.2.1 Hình thái học kinh điển
Thuật ngữ thực hiện phép tốn hình thái học bao gồm một lớp các thuật toán
xử lý ảnh biến đổi ảnh khi thực hiện biến đổi ảnh qua phần tử cấu trúc. Hình thái
học có thể được thực hiện với ảnh nhị phân và cả ảnh đa cấp xám. Nó được rất hữu
ích trong nhiều cơng việc xử lý ảnh như tìm xương ảnh, tìm biên, phục hồi và phân
tích kết cấu ảnh. Hai phép tốn hình thái học cơ bản là dilation và erotion.
Với ảnh nhị phân: Phép biến đổi erosion & dilation ảnh nhị phân thường được
dùng để biến đổi ảnh như sau:

Hình 2.4 Thực hiện phép co và phép dãn nở ảnh nhị phân
Ta có một ảnh P như hình 2.4 Thực hiện phép erosion và dilation ảnh bằng
cách tuỳ theo việc thực hiện phép xử lý nào mà tạo ra các tập phần tử có cấu trúc


14
(mặt nạ) tương ứng, sau đó rê mặt nạ đi khắp ảnh và tính giá trị điểm ảnh bởi các
điểm lân cận với motip của mặt nạ. Các phép thực hiện có thể là hội, tuyển hoặc liên
hợp.
Dilation: Rê mặt nạ S đi khắp ảnh và tại mỗi điểm kiểm tra nếu bít có giá trị 1 thì
thực hiện phép tuyển với bit mặt nạ quanh điểm ảnh đó. Kết quả được D(P,S).
Erosion: Rê mặt nạ S đi khắp ảnh và tại mỗi điểm kiểm tra nếu bít có giá trị 1 thì

thực hiện phép hội với bit mặt nạ quanh điểm ảnh đó. Kết quả được E(P,S);

a)

b)

Hình 2.5 a) Ảnh nguyên bản

b) Sau khi co ảnh

c)

c) Sau khi dãn ảnh

Khi kết hợp phép dãn ảnh và phép co ta có thêm các phép hình thái học, tốn tử
đóng (closing) và tốn tử mở (opening)
Closing: Tốn tử đóng của một ảnh A với một phần tử cấu trúc B được thực hiện
theo luật sau:
A•B=(A⊕B)ΘB

(2.1)

trong đó ⊕ và Θ ký hiệu của phép dilation và erosion.
Thuộc tính:
 Tính chắc chắn (Imdepotence): (A•B)•B=A•B

+ Tính tăng:

Nếu A ⊆ C thì A•B⊆ C•B

+ Tính mở rộng:

A⊆ A•B

 Closing thay đổi bất biến.

Opening: tốn tử mở của một ảnh A với một phần tử cấu trúc B được thực hiện theo
luật sau:
AοB=(AΘB)⊕B

(2.2)


15
trong đó ⊕ và Θ ký hiệu của phép dilation và erosion.
Thuộc tính:
 Tính chắc chắn (Imdepotence): (AοB)οB=AοB

+ Tính tăng:

Nếu A ⊆ C thì AοB ⊆ CοB

+ Chống mở rộng:

AοB ⊆ A

 Toán tử mở thay đổi bất biến.

+ Toán tử mở và tốn tử đóng đáp ứng tính nhị nguyên:

c

s c

A•B=(A οB ) .

Trong xử lý ảnh closing được dùng để loại bỏ các lỗ nhỏ và opening được dùng để
loại các đối tượng nhỏ của ảnh. Các kỹ thuật này cũng cịn được dùng để tìm các
hình dạng đặc tả trong ảnh.

Hình 2.6 Ảnh nhị phân nguyên bản và sau khi thực hiện các phép hình thái học
Hình thái học với ảnh đa cấp xám:
Phép co với ảnh xám được thực hiện bởi bộ lọc cực tiểu còn phép dãn nở thì
được thực hiện bởi bộ lọc cực đại. Trong một bộ lọc cực tiểu 3 x 3 = pixel trung tâm
thì được thay thế bởi giá trị nhỏ nhất của các pixel trong cửa sổ. Trong một bộ lọc
cực đại pixel trung tâm thì được thay thế bởi giá trị lớn nhất của các pixel trong cửa
sổ. Sự thực hiện của các bộ lọc cực tiểu và bộ lọc cực đại giống như sự thực hiện
của bộ lọc median.
Phép hình thái học dãn nở của ảnh xám