Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động

Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động
Nguyễn Văn An – ĐH CNTT & TT - 2011

MỤC LỤC
MỤC LỤC................................................................................................................................. 1
MỞ ĐẦU ................................................................................................................................... 4
CHƢƠNG 1 .............................................................................................................................. 6
TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ SO KHỚP ĐỐI TƢỢNG .............................................. 6
1.1. TỔNG QUAN VỀ XỬ LÝ ẢNH ..................................................................................... 6
1.1.1. Xử lý ảnh................................................................................................................... 6
1.1.2. Quá trình thu nhận ảnh ............................................................................................. 7
1.1.3. Biểu diễn và thể hiện ảnh ......................................................................................... 7
1.1.4. Histogram của ảnh .................................................................................................. 10
1.1.5. Độ phân giải của ảnh .............................................................................................. 11
1.1.6. Biên của ảnh ........................................................................................................... 12
1.1.6.1. Phương pháp phát hiện biên trực tiếp ................................................................... 13
1.1.6.2. Phương pháp phát hiện biên gián tiếp .................................................................. 16
1.1.7. Phân ngưỡng ảnh ................................................................................................... 19
1.1.8. Nhận dạng ảnh ........................................................................................................ 20
1.1.9. Cấu trúc phân cấp của video ................................................................................... 23
1.1.10. Một số thuộc tính đặc trưng của video ................................................................... 24
1.2. SO KHỚP ĐỐI TƢỢNG................................................................................................ 26
1.2.1. Khái niệm so khớp. .................................................................................................. 26
1.2.2. Khớp ảnh sử dụng phép đối sánh pixel-pixel ........................................................... 26
1.2.3. Khớp ảnh sử dụng tương quan chéo ........................................................................ 26
CHƢƠNG 2 ............................................................................................................................ 29
MỘT SỐ KỸ THUẬT TRONG BẮT BÁM VÀ SO KHỚP ĐỐI TƢỢNG CHUYỂN ĐỘNG ........ 29

2.1. GIỚI THIỆU.................................................................................................................. 29
2.2. KỸ THUẬT TRỪ ẢNH THEO KHUNG ẢNH ............................................................. 31
2.2.1. Trừ ảnh dựa vào điểm ảnh ...................................................................................... 33

2.2.2. Trừ ảnh phân khối ................................................................................................... 34
1
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động
Nguyễn Văn An – ĐH CNTT & TT - 2011

2.2.3. Phương pháp biểu đồ .............................................................................................. 35
2.2.4. Biểu đồ toàn cục...................................................................................................... 36
2.2.5. Biểu đồ cục bộ......................................................................................................... 37
2.3. KỸ THUẬT BẮT BÁN DỰA VÀO PHÉP TRỪ NỀN VÀ TRÍCH CHỌN ĐƢỜNG
VIỀN CỦA ĐỐI TƢỢNG CHUYỂN ĐỘNG................................................................... 38
2.3.1. Trừ nền ................................................................................................................... 38
2.3.2. Trích chọn đường viền và gán nhãn......................................................................... 40
2.3.3. Bám đối tượng......................................................................................................... 40
2.4. ĐẶC TRƢNG BIÊN TRONG SO KHỚP ĐỐI TƢỢNG ................................................ 44
2.4.1. Thuật toán phân vùng, phân cụm ............................................................................. 44
2.4.2. Thể hiện đường biên ................................................................................................ 45
2.4.2.1. Thuật toán nhị phân ảnh đầu vào ......................................................................... 46
2.4.2.2. Thuật toán tách cạnh, dò biên............................................................................... 47
2.4.3. Thể hiện đường biên bằng hàm bán kính - vectơ ...................................................... 49
2.4.4. Mô tả và trích chọn đặc trưng biên ảnh ................................................................... 51
CHƢƠNG 3 ............................................................................................................................ 55
CHƢƠNG TRÌNH THỬ NGHIỆM ....................................................................................... 55
3.1. BÀI TOÁN .................................................................................................................... 55
3.2. MÔ HÌNH HỆ THỐNG GIÁM SÁT GIAO THÔNG TỰ ĐỘNG BẰNG CAMERA .... 56
3.3. PHÂN LUỒNG GIAO THÔNG DỰA TRÊN NGUYÊN LÝ BÁM ĐỐI TƢỢNG ....... 57

3.3.1. Đặt vấn đề............................................................................................................... 57
3.3.2. Hoạt động của hệ thống phân luồng giao thông ...................................................... 59
3.3.3. Thuật toán bắt bám đối tượng ................................................................................. 61
3.3.4. Thuật toán tính vận tốc chuyển động của đối tượng ................................................. 62
3.3.5. Thuật toán phân loại phương tiện dựa trên kích thước ............................................ 63
3.3.6. Thuật toán tính toán mật độ làn đường .................................................................... 64
3.3.7. Thuật toán phát hiện phương tiện theo làn đường.................................................... 65
3.3.8. Thuật toán phát hiện chiều chuyển động của đối tượng ........................................... 66
3.3.9. Nhận dạng biển số xe .............................................................................................. 68
2
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động
Nguyễn Văn An – ĐH CNTT & TT - 2011

3.4. KẾT QUẢ CÀI ĐẶT ..................................................................................................... 71
KẾT LUẬN ............................................................................................................................. 75

3
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động
Nguyễn Văn An – ĐH CNTT & TT - 2011

MỞ ĐẦU
Trong những năm qua, lĩnh vực xử lý ảnh luôn thu hút đƣợc sự quan tâm của
nhiều nhà khoa học bởi khả năng ứng dụng và lợi ích to lớn của nó trong nhiều
lĩnh vực của xã hội nhƣ quốc phòng, giải trí, y học, viễn thám và giao thông.
Nhƣ chúng ta biết, thông tin hình ảnh đóng vai trò rất quan trọng trong trao
đổi thông tin, bởi phần lớn thông tin mà con ngƣời thu đƣợc thông qua thị giác.
Do vậy, vấn đề nhận dạng trong xử lý ảnh, đặc biệt là so khớp, phân loại, nhận
dạng đối tƣợng ảnh chuyển động đang đƣợc quan tâm của nhiều nhà nghiên cứu
bởi tính khoa học và ứng dụng đa dạng.
Đồng thời, với sự phát triển không ngừng của khoa học và tốc độ xử lý của
máy tính thì ứng dụng lĩnh vực thị giác máy tính và xử lý ảnh đang ngày càng
đƣợc phát triển và nghiên cứu mạnh mẽ.
Bên cạnh đó, các loại phƣơng tiện giao thông đƣờng bộ ở Việt Nam đã và
đang phát triển mạnh mẽ cả về số lƣợng và chủng loại. Bởi vậy, việc quản lý
phân luồng, phân loại, xử lý vi phạm trong giao thông đƣờng bộ đang trở thành
một chủ đề thu hút đƣợc sự quan tâm của nhiều nhà quản lý và khoa học nhằm
xây dựng đƣợc các hệ thống giám sát giao thông đƣờng bộ tự động.
Trên thế giới, hệ thống giám sát phƣơng tiện giao thông tự động đã đƣợc phát
triển và ứng dụng ở nhiều nƣớc trên thế giới. Những hệ thống này giúp chúng ta
quản lý đƣợc vấn đề nhƣ phân luồng xe, đánh giá lƣu lƣợng xe, phát hiện đƣợc
xe vi phạm Luật Giao thông nhằm tăng cƣờng giám sát, phát hiện và xử lý kịp
thời các vi phạm, hạn chế tai nạn và nâng cao ý thức chấp hành Luật Giao thông.
Từ đó, nhà quản lý có thể đƣa ra những giải pháp quản lý giao thông đƣờng bộ
phù hợp.

4
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động
Nguyễn Văn An – ĐH CNTT & TT - 2011

Chính vì vậy, em chọn đề tài “Nghiên cứu một số kỹ thuật so khớp và nhận
dạng ứng dụng vào hệ thống giám sát giao thông tự động” nhằm mục đích
nghiên cứu kỹ thuật so khớp, kết hợp nhận dạng biên để phát hiện những
phƣơng tiện giao thông vi phạm luồng giao thông đƣờng bộ. Luận văn đƣợc bố
cục nhƣ sau:
Chƣơng 1: Tổng quan về xử lý ảnh và so khớp đối tƣợng
Chƣơng 2: Một số kỹ thuật trong bắt bám và so khớp đối tƣợng
Chƣơng 3: Chƣơng trình thử nghiệm

5
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động
Nguyễn Văn An – ĐH CNTT & TT - 2011

CHƢƠNG 1
TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ SO KHỚP ĐỐI TƢỢNG
1.1. TỔNG QUAN VỀ XỬ LÝ ẢNH
1.1.1. Xử lý ảnh
Xử lý ảnh(Image processing) là đối tƣợng nghiên cứu của lĩnh vực thị giác
máy, là quá trình biến đổi từ một ảnh ban đầu sang một ảnh mới với các đặc tính
mà tuân theo ý muốn cuả việc xử lý. Xử lý ảnh có thể là quá trình phân tích,
phân lớp các đối tƣợng, làm tăng chất lƣợng, phân đoạn và tìm biên, gán nhãn

cho vùng hay quá trình biên dịch các thông tin hình ảnh của ảnh. Hình dƣới sẽ
minh họa các giai đoạn chính trong quá trình xử lý ảnh.

Hình 1.1. Các giai đoạn chính trong quá trình xử lý ảnh nhận dạng
Chúng ta có thể tóm lƣợc quá trình xử lý nhận dạng ảnh đƣợc xem nhƣ là quá
trình thao tác ảnh đầu vào nhằm cho ra kết quả mong muốn. Kết quả đầu ra của
một quá trình xử lý ảnh có thể là một ảnh “tốt hơn” hoặc đƣa ra đƣợc kết luận về
ảnh đó. Hình 1.2 mô tả vắn tắt quá trình này.

6
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động
Nguyễn Văn An – ĐH CNTT & TT - 2011

Ảnh tốt hơn
Ảnh

Xử lý ảnh
Kết luận

Hình 1.2. Các giai đoạn chính trong quá trình xử lý ảnh nhận dạng
1.1.2. Quá trình thu nhận ảnh
Ảnh tồn tại trong thực tế là một ảnh liên tục cả về không gian cũng nhƣ về giá
trị độ sáng, và việc thu nhận ảnh có thể dùng Scanner, camera... Muốn đƣa ảnh
liên tục trong thực tế vào máy tính để xử lý cần phải qua một khâu trung gian đó
là qúa trình số hoá. Số hoá là quá trình rời rạc hoá về không gian và lƣợng tử

hoá về giá trị.Quá trình rời rạc hoá về không gian là quá trình thu nhận những
điểm rời rạc từ một ảnh liên tục, nhƣng phải đảm bảo bằng mắt thƣờng không
phân biệt đƣợc hai điểm kề nhau. Quá trình này cũng chính là việc tìm cách biểu
diễn cả một ảnh lớn có vô số điểm, bởi một số hữu hạn điểm, sao cho không làm
mất đi hay thay đổi tính chất của ảnh, để việc lƣu trữ và xử lý ảnh đƣợc dễ dàng.
Còn quá trình lƣợng tử hoá về giá trị là quá trình rời rạc hoá về mặt giá trị để có
thể đơn giản hoá việc tính toán và đƣa vào máy để xử lý. Tuỳ theo từng loại ảnh,
độ chính xác yêu cầu và khả năng xử lý của máy tính mà ta có các mức lƣợng tử
thích hợp. Ví dụ với ảnh 256 cấp xám, ta phải dùng 256 mức lƣợng tử và biểu
diễn trong máy tính bằng 8 bits.
1.1.3. Biểu diễn và thể hiện ảnh
1.1.3.1. Ảnh chỉ số
Một ảnh chỉ số gồm 1 ma trận dữ liệu X và một ma trận bảng màu Map. Mỗi
hàng của Map xác định các thành phần đỏ, xanh lá cây, xanh da trời của một
màu đơn. Một ảnh chỉ số sử dụng “ánh xạ trực tiếp” các giá trị pixel lên các giá
7
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động
Nguyễn Văn An – ĐH CNTT & TT - 2011

trị bảng màu (colormap). Màu của mỗi pixel của ảnh đƣợc xác định bằng cách
sử dụng giá trị tƣơng ứng của X nhƣ là chỉ số vào trong Map. Giá trị 1 trỏ đến
hàng thứ nhất trong Map, giá trị 2 trỏ đến hàng thứ hai, v.v...
Một bảng màu thông thƣờng đƣợc chứa trong cùng một ảnh chỉ số. Tuy
nhiên, ta có thể sử dụng bất cứ bảng màu nào. Hình vẽ dƣới đây minh hoạ cấu
trúc của một ảnh chỉ số. Các pixel trong ảnh đƣợc thể hiện bằng các số nguyên

mà chúng trỏ đến các giá trị đƣợc lƣu trong bảng màu

Hình 1.3. Minh họa ảnh chỉ số
1.1.3.2. Ảnh cƣờng độ
Một ảnh cƣờng độ là một ma trận dữ liệu I mà các giá trị của nó thể hiện các
cƣờng độ sáng trong phạm vi một vài khoảng nào đó. Các phần tử trong ma trận
cƣờng độ thể hiện các cƣờng độ sáng khác nhau hoặc là các cấp xám, trong đó
cƣờng độ 0 thông thƣờng thể hiện màu đen và cƣờng độ 1, 255, hoặc 65535 thể
hiện cƣờng độ lớn nhất có thể hoặc màu trắng.

8
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động
Nguyễn Văn An – ĐH CNTT & TT - 2011

Hình 1.4. Minh họa ảnh cƣờng độ
1.1.3.3. Ảnh nhị phân
Trong một ảnh nhị phân, mỗi pixel chỉ nhận một trong hai giá trị rời rạc. Về
bản chất, hai giá trị này tƣơng ứng với on và off. Một ảnh nhị phân đƣợc lƣu trữ
nhƣ là một ma trận 2 chiều gồm các số 0 (pixels off) và các số 1 (pixels on). Một
ảnh nhị phân có thể đƣợc xem nhƣ là một dạng đặc biệt của ảnh cƣờng độ chỉ
chứa màu đen và trắng. Tuy nhiên cũng có thể có những cách giải thích khác, ta
cũng có thể coi ảnh nhị phân nhƣ là một ảnh chỉ số chỉ có 2 màu. Hình sau là
một ví dụ của ảnh nhị phân:

Hình 1.5. Minh họa ảnh nhị phân

1.1.3.4. Ảnh RGB
Một ảnh RGB, đôi khi còn đƣợc gọi là ảnh “true-color”, là một mảng dữ liệu
m*n*3 xác định các thành phần màu red, green, và blue cho mỗi pixel riêng biệt.
9
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động
Nguyễn Văn An – ĐH CNTT & TT - 2011

Các ảnh RGB không sử dụng bảng màu. Màu của mỗi pixel đƣợc xác định bởi
tổ hợp các cƣờng độ red, green và blue lƣu trong một mặt phẳng màu tại vị trí
của pixel. Các khuôn dạng file đồ hoạ lƣu các ảnh RGB nhƣ là các ảnh 24-bit,
trong đó mỗi thành phần red, green, blue là 1byte. Điều này cho phép có đến 16
triệu màu. Độ chính xác tái tạo đƣợc với ảnh thực tế dẫn đến tên hiệu là “ Ảnh
true color”.

Hình 1.6. Minh họa ảnh RGB
Để xác định màu của pixel tại vị trí (2,3), ta sẽ nhìn vào bộ 3 RGB lƣu
trong (2,3,1:3). Giả sử (2,3,1) chứa giá trị 0.5176, (2,3,2) chứa 0.1608, và (2,3,3)
chứa 0.0627. Khi đó màu của pixel (2,3) là: 0.5176 0.1608 0.0627.
1.1.4. Histogram của ảnh
Nhƣ ta đã biết, mỗi điểm có một giá trị độ sáng nào đó. Histogram của ảnh là
đồ thị cho biết tần suất hiện các điểm ảnh với các mức biến thiên độ sáng. Lƣợc
đồ histogram đƣợc biểu diễn trong một hệ toạ độ 2 chiều, trục hoành biểu diễn
các mức xám từ 0 đến N, với N là số mức xám. Trục tung biểu diễn số điểm ảnh
cho một mức xám (tức là số điểm ảnh có cùng mức xám), hoặc biểu diễn tỉ lệ số
điểm ảnh có cùng mức xám trên tổng số điểm ảnh.

Lƣợc đồ xám cung cấp rất nhiều thông tin về phân bố mức xám của ảnh. Theo
thuật ngữ của xử lí ảnh gọi là tính động của ảnh. Tính động cho phép phân tích
10
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




data error !!! can't not
read....


data error !!! can't not
read....


data error !!! can't not
read....


data error !!! can't not
read....


data error !!! can't not
read....



data error !!! can't not

read....


data error !!! can't not
read....


data error !!! can't not
read....


data error !!! can't not
read....


data error !!! can't not
read....


data error !!! can't not
read....

data error !!! can't not
read....


data error !!! can't not
read....

data error !!! can't not

read....


data error !!! can't not
read....

data error !!! can't not
read....