Xây dựng ứng dụng phân tích lưu lượng xe trong hệ thống giao thông thông minh

i

LỜI CAM ĐOAN
Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Các số liệu, kết quả
nêu trong luận văn là trung thực và chƣa từng đƣợc ai công bố trong bất kỳ công
trình nào khác.
TP. Hồ Chí Minh, ngày 20 tháng 6 năm 2016
Học viên thực hiện luận văn

Trƣơng Minh Trung


ii

LỜI CẢM ƠN
Để hoàn thành đƣợc luận văn này, ngoài sự nghiên cứu và những cố gắng
của bản thân, em xin gửi lời cảm ơn sâu sắc tới Tiến sĩ Ngô Quốc Việt, giáo viên
trực tiếp hƣớng dẫn, tận tình chỉ bảo và định hƣớng cho em trong suốt quá trình
nghiên cứu và thực hiện luận văn.
Em xin chân thành cảm ơn, Ban Giám đốc, Ban chủ nhiệm Khoa Sau Đại
học và Khoa Công nghệ Thông tin, cùng các Thầy, Cô đã giảng dạy và quản lý đào
tạo trong suốt 2 năm theo học tại Học viện Công nghệ Bƣu chính Viễn thông.
Cuối cùng, em xin gửi lời cảm ơn tới gia đình, bạn bè và những ngƣời đã
luôn ở bên cổ vũ tinh thần, tạo điều kiện thuận lợi để em có thể học tập tốt và hoàn
thiện luận văn.
Em xin chân thành cảm ơn!

TP. Hồ Chí Minh, ngày 20 tháng 6 năm 2016
Học viên thực hiện luận văn

Trƣơng Minh Trung

iii

MỤC LỤC
LỜI CAM ĐOAN ....................................................................................................... i
LỜI CẢM ƠN ............................................................................................................ ii
MỤC LỤC ................................................................................................................. iii
DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT .............................................. vi
DANH SÁCH BẢNG .............................................................................................. vii
DANH SÁCH HÌNH VẼ ........................................................................................ viii
MỞ ĐẦU .....................................................................................................................1
Chƣơng 1 - TỔNG QUAN NGHIÊN CỨU ................................................................3
1.1. Giới thiệu hệ thống giám sát thông minh .........................................................3
1.2. Một số hệ thống giám sát giao thông ứng dụng công nghệ xử lý ảnh trên thế
giới ...........................................................................................................................5
1.3. Một số hệ thống giám sát giao thông ứng dụng công nghệ xử lý ảnh ở Việt
Nam ..........................................................................................................................7
1.4. Giới thiệu bài toán phân tích lƣu lƣợng xe .......................................................8
1.5. Kết chƣơng......................................................................................................11
Chƣơng 2 - CƠ SỞ LÝ THUYẾT ............................................................................12
2.1. Các khái niệm cơ bản......................................................................................12
2.1.1. Video ........................................................................................................12
2.1.2. Xử lý ảnh và video ...................................................................................12
2.1.3. Bộ lọc hình thái (Morphology Filter) .......................................................14
2.2. Phát hiện và theo vết đối tƣợng chuyển động.................................................15
2.2.1. Phát hiện đối tƣợng chuyển động .............................................................16
2.2.2. Theo vết đối tƣợng chuyển động ..............................................................19

iv

2.3. Một số phƣơng pháp phát hiện đối tƣợng chuyển động .................................20
2.3.1. Phƣơng pháp trừ nền ................................................................................20
2.3.2. Phƣơng pháp Frame Difference ...............................................................21
2.3.3. Phƣơng pháp Temporal Median Filter .....................................................23
2.3.4. Phƣơng pháp Gaussian Mixture Model....................................................24
2.4. Giải quyết bài toán phát hiện các đối tƣợng chuyển động .............................29
2.5. Kết chƣơng......................................................................................................32
Chƣơng 3 - PHÂN TÍCH LƢU LƢỢNG XE ...........................................................33
3.1. Ƣớc lƣợng số lƣợng phƣơng tiện giao thông ..................................................33
3.1.1. Giới thiệu bài toán ....................................................................................33
3.1.2. Thuật toán đếm xe ....................................................................................35
3.2. Xác định vận tốc trung bình dòng xe ..............................................................35
3.2.1. Tính vận tốc xe .........................................................................................35
3.2.2. Tính vận tốc trung bình dòng xe ..............................................................37
3.2.3. Thuật toán tính vận tốc trung bình của dòng xe .......................................38
3.3. Xác định mật độ dòng xe ................................................................................38
3.3.1. Tính mật độ dòng xe.................................................................................38
3.3.2. Thuật toán đánh giá mật độ xe .................................................................40
3.4. Giải quyết bài toán nhận dạng và theo vết chuyển động của xe .....................40
3.4.1. Khái quát về bài toán nhận dạng và theo vết đối tƣợng ...........................41
3.4.2. Nhận dạng xe dựa trên kích thƣớc đƣờng bao của đối tƣợng ..................42
3.4.3. Theo vết chuyển động xe và tính lƣu lƣợng xe ........................................43
3.5. Kết chƣơng......................................................................................................46
Chƣơng 4 - THỰC NGHIỆM VÀ ĐÁNH GIÁ ........................................................47


v

4.1. Kết quả đạt đƣợc qua thực nghiệm .................................................................47
4.1.1. Môi trƣờng và dữ liệu thực nghiệm .........................................................47
4.1.2. Kết quả thực nghiệm đếm số lƣợng xe .....................................................48
4.1.3. Kết quả thực nghiệm tính vận tốc dòng xe...............................................50
4.1.4. Kết quả thực nghiệm tính mật độ dòng xe ...............................................53
4.2. Đánh giá kết quả .............................................................................................54
4.2.1. Đánh giá kết quả đếm số lƣợng xe ...........................................................54
4.2.2. Đánh giá kết quả tính vận tốc dòng xe .....................................................55
4.2.3. Đánh giá kết quả tính mật độ dòng xe ......................................................56
4.3. Kết chƣơng......................................................................................................56
KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN ................................................................57
1. Kết luận ..............................................................................................................57
2. Hƣớng phát triển ................................................................................................58
DANH MỤC TÀI LIỆU THAM KHẢO ..................................................................59


vi

DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT

Viết tắt

Tiếng Anh

Tiếng Việt

2D

2 Dimension

2 chiều

3D

2 Dimension

3 chiều

OpenCV Open Computer vision
WADS

TRIP

Wide Area Detection
System

Thƣ viện mã nguồn mở về thị giác máy tính
Hệ thống phát hiện phạm vi rộng

Traffic Research using

Hệ thống đánh giá giao thông bằng phƣơng

Image Processing

pháp xử lý ảnh


vii

DANH SÁCH BẢNG

Bảng 4.1: Bảng kết quả đếm số lƣợng xe trong video01 ....................................... 48
Bảng 4.2: Bảng kết quả đếm số lƣợng xe trong video02 ....................................... 49
Bảng 4.3: Bảng kết quả đếm số lƣợng xe trong video03 ....................................... 49
Bảng 4.4: So sánh ảnh hƣởng của mật độ đến kết quả đếm xe .............................. 50


viii

DANH SÁCH HÌNH VẼ

Hình 1.1: Hệ thống giám sát giao thông của hãng IBM ....................................... 5
Hình 1.2: Sơ đồ khối thiết kế hệ thống phân tích lƣu lƣợng xe ............................ 9
Hình 2.1: Cấu trúc một đoạn video ....................................................................... 12
Hình 2.2: Sơ đồ hệ thống xử lý ảnh và video tổng quát ........................................ 12
Hình 2.3: Hình minh hoạ hiệu ứng Dilation của thao tác Hit ............................... 14
Hình 2.4: Hình minh hoạ hiệu ứng Erosion của thao tác Fit ................................ 14
Hình 2.5: Sơ đồ khối Hệ thống theo vết đối tƣợng chuyển động ......................... 16
Hình 2.6: Tổng quan các khối xử lý trong bài toán phát hiện đối tƣợng .............. 16
Hình 2.7: Hình minh hoạ các bƣớc của phƣơng pháp trừ nền .............................. 21
Hình 2.8: Hình minh hoạ các bƣớc của phƣơng pháp sai khác ảnh ...................... 23
Hình 2.9: Ví dụ về mô hình nền Temporal Median Filter .................................... 24
Hình 2.10: Phát hiện đối tƣợng chuyển động trong mô hình hỗn hợp Gaussian .. 26
Hình 2.11: Phát hiện điểm ảnh thuộc về nền trong mô hình Gaussian ................. 27
Hình 2.12: Sơ đồ khối phƣơng pháp Gaussian Mixture Model ............................ 28
Hình 2.13: Hình minh hoạ kết quả của phát hiện đối tƣợng bằng phƣơng pháp
Gaussian Mixture Model ....................................................................................... 29
Hình 2.14: Sơ đồ phát hiện đối tƣợng chuyển động bằng phƣơng pháp Frame
Difference .............................................................................................................. 29

ix

Hình 2.15: Hình minh hoạ mặt nạ đối tƣợng chuyển động phát hiện bằng phƣơng
pháp Frame Difference .......................................................................................... 31
Hình 3.1: Sơ đồ phƣơng pháp đếm xe đề xuất ...................................................... 33
Hình 3.2: Mô tả vạch ảo(Counting line) đƣợc sử dụng để đếm xe ....................... 34
Hình 3.3: Mô tả vùng quan sát để tính tốc độ xe .................................................. 36
Hình 3.4: Mô tả kích thƣớc vạch kẻ đƣờng, đơn vị tính mét ................................ 36
Hình 3.5: Hình minh họa tính diện tích chiếm dụng mặt đƣờng của xe ............... 38
Hình 3.6: Sơ đồ thuật toán theo vết, tính lƣu lƣợng xe ......................................... 43
Hình 4.1: Các video đƣa vào thực nghiệm ............................................................ 47
Hình 4.2: Kết quả thực nghiệm đếm xe của chƣơng trình .................................... 48
Hình 4.3: Kết quả thực nghiệm tính vận tốc dòng xe của video01 ....................... 51
Hình 4.4: Kết quả thực nghiệm tính vận tốc dòng xe của video03 ....................... 52
Hình 4.5: Kết quả thực nghiệm tính mật độ dòng xe của video01 ....................... 53
Hình 4.6: Kết quả thực nghiệm tính mật độ dòng xe của video03 ....................... 54


1

MỞ ĐẦU
Trong những năm gần đây, cùng với sự phát triển kinh tế - xã hội, nhiều
công trình giao thông đã và đang đƣợc xây dựng trên khắp Việt Nam để phục vụ
nhu cầu đi lại của nhân dân, đồng thời đáp ứng sự gia tăng không ngừng số lƣợng
các phƣơng tiện tham gia giao thông. Chúng ta đang phải đối mặt với những vấn đề
cấp bách trong giao thông, đặc biệt là tai nạn giao thông, và ùn tắc giao thông tại
các thành phố lớn nhƣ Hà Nội và Thành phố Hồ Chí Minh. Để giải quyết vấn đề
này, chúng ta đang cố gắng từng bƣớc xây dựng một hệ thống giao thông đồng bộ

và ứng dụng khoa học kỹ thuật mới trong hệ thống điều khiển giao thông.
Hiện nay, trên thế giới các hệ thống giám sát thông minh bằng hình ảnh đã
đƣợc phát triển và chứng minh đƣợc hiệu quả nhất định trên một số lĩnh vực nhƣ
giám sát hoạt động con ngƣời, giám sát giao thông, ... Nhiều hệ thống đã đƣợc
nghiên cứu và phát triển, ví dụ nhƣ hệ thống giám sát giao thông có thể cho chúng
ta biết đƣợc số lƣợng phƣơng tiện lƣu thông qua đoạn đƣờng, các thông tin về tốc
độ, đƣờng đi của phƣơng tiện. Tuy nhiên, các hệ thống vẫn gặp phải một số khó
khăn nhƣ hiệu quả của việc quan sát luôn phụ thuộc vào điều kiện môi trƣờng quan
sát, kiểu chuyển động của đối tƣợng hay các lý do khách quan khác. Vì vậy, các hệ
thống này vẫn còn đang đƣợc nhiều nhà khoa học,trung tâm nghiên cứu trên thế giới
và Việt Nam quan tâm phát triển.
Xuất phát từ thực tế trên, việc nghiên cứu và đƣa ra các giải pháp phân tích
lƣu lƣợng, mật độ xe tại các giao lộ bằng hình ảnh thu đƣợc từ camera, hỗ trợ việc
điều khiển tín hiệu đèn giao thông là vô cùng thiết thực. Đƣợc sự hƣớng dẫn của
TS. Ngô Quốc Việt tôi đã tiến hành nghiên cứu đề tài “Xây dựng ứng dụng phân
tích lƣu lƣợng xe trong hệ thống giao thông thông minh”.
Việc lựa chọn đề tài với các mục đích sau:
Nghiên cứu các phƣơng pháp tiền xử lý và xử lý video nhằm xác định đối
tƣợng chuyển động, các kỹ thuật xử lý xác định lƣu lƣợng và mật độ, ƣớc lƣợng vận


2

tốc chuyển động phƣơng tiện giao thông, các tài liệu liên quan đến một số nghiên
cứu về xử lý ảnh số và video.
Sử dụng thƣ viện mã nguồn mở OpenCV(Open Computer vision) xây dựng
chƣơng trình thực nghiệm đếm số lƣợng từng loại xe, xác định vận tốc dòng xe, mật
độ dòng xe.
Luận văn sẽ đƣợc trình bày với 4 chƣơng chính với nội dung nhƣ sau:
Chƣơng 1 - TỔNG QUAN NGHIÊN CỨU

Chƣơng này trình bày tổng quan các nghiên cứu và các hệ thống giám sát
giao thông ứng dụng công nghệ xử lý ảnh trên thế giới, và ở trong nƣớc, giới thiệu
về bài toán phân tích lƣu lƣợng xe sẽ trình bày trong luận văn.
Chƣơng 2 - CƠ SỞ LÝ THUYẾT
Chƣơng này trình bày cơ sở lý thuyết về các khái niệm về xử lý ảnh và
video, các bộ lọc xử lý ảnh, các phƣơng pháp phát hiện, theo dõi đối tƣợng chuyển
động, giải quyết bài toán số 1: Phát hiện các đối tƣợng chuyển động.
Chƣơng 3 - PHÂN TÍCH LƢU LƢỢNG XE
Chƣơng này trình bày phƣơng pháp ƣớc lƣợng số lƣợng phƣơng tiện giao
thông, mật độ và vận tốc dòng xe, Giải quyết bài toán: Nhận dạng và theo vết
chuyển động nhằm ƣớc lƣợng số lƣợng xe, vận tốc dòng xe, mật độ dòng xe.
Chƣơng 4 - THỰC NGHIỆM VÀ ĐÁNH GIÁ
Chƣơng này trình bày môi trƣờng và các dữ diệu video trong thực nghiệm,
ngôn ngữ sử dụng xây dựng chƣơng trình thực nghiệm, tiến hành thực nghiệm so
sánh đánh giá kết quả thực nghiệm.


3

Chƣơng 1 - TỔNG QUAN NGHIÊN CỨU
1.1. Giới thiệu hệ thống giám sát thông minh
Ra đời từ những năm 1960 qua quá trình hoàn thiện và phát triển, ngày nay
hệ thống giám sát thông minh tự động là một trong những hệ thống hỗ trợ đắc lực
nhất cho con ngƣời thực hiện theo dõi giám sát. Từ các hình ảnh thu đƣợc từ những
nơi quan sát, ta có thể phát hiện đƣợc chuyển động của các đối tƣợng trong các
khung hình, có thể xác định đƣợc đối tƣợng đó là ngƣời, phƣơng tiện hay vật thể.
Minh họa rõ hơn, với một bài toán giám sát giao thông, hệ thống giám sát có thể
cho chúng ta biết đƣợc số lƣợng phƣơng tiện lƣu thông qua đoạn đƣờng đƣợc theo
dõi, đƣa ra thông tin về tốc độ di chuyển, mật độ phƣơng tiện.
Hiện nay, trên thế giới các hệ thống giám sát thông minh bằng hình ảnh đã

đƣợc phát triển và đã chứng minh đƣợc hiệu quả nhất định trên một số lĩnh vực nhƣ
giám sát hoạt động con ngƣời, giám sát giao thông,… đã có rất nhiều công bố về
việc nghiên cứu thông qua mô phỏng và thực nghiệm nhằm nhận dạng và theo dõi
phƣơng tiện giao thông với các nghiên cứu điển hình nhƣ:
Nhóm tác giả Chung-cheng chiu, Min-yu ku và Chun-yi wang với nghiên
cứu “Automatic Traffic Surveillance System for Vision Based Vehicle Recognition
and Tracking”[5], nội dung nghiên cứu của tác giả xây dựng hệ thống giám sát giao
thông tự động nhận dạng và theo dõi ô tô dựa trên thị giác trong đó tác giả đề xuất 1
phƣơng pháp nhận dạng phân loại xe dựa trên đặc trƣng chiều dài, chiều rộng ảnh
phƣơng tiện và kích thƣớc mui xe, kết quả nhận dạng ít bị ảnh hƣởng bởi điều kiện
môi trƣờng thời tiết và cho kết quả nhận dạng phân loại trung bình trên 92%.
Nhóm tác giả Guohui Zhang, Ryan P. Avery, Yinhai Wang, Ph.D với nghiên
cứu “A Video-based Vehicle Detection and Classification System for Real-time
Traffic Data Collection Using Uncalibrated Video Cameras”[14], nội dung nghiên
cứu là hệ thống phát hiện và phân loại xe nhằm thu thập dữ liệu các phƣơng tiện
trong thời giạn thực dựa trên video quay bởi camera không hiệu chỉnh, tích hợp một


4

số thuật toán để giảm bớt tác động tiêu cực từ bóng tối, rung máy ảnh nhẹ, và
phƣơng tiện bị che khuất theo chiều hƣớng ngang, phân loại phƣơng tiện bằng cách
sử dụng đặc trƣng chiều dài điểm ảnh phƣơng tiện(có thể khác với chiều dài vật lý
thực tế của phƣơng tiện) để phân loại.
Một số nghiên cứu trong nƣớc nhƣ:
Nhóm tác giả Ngô Quốc Tạo, Nguyễn Văn Căn, Huỳnh Văn Huy với công
trình nghiên cứu “Nghiên cứu phƣơng pháp đếm xe ô tô sử dụng mô hình Gaussion
và luồng quang học”[3], các tác giả đã nghiên cứu các kỹ thuật phát hiện theo dõi
đối tƣợng, cải tiến phƣơng pháp mô hình nền hỗn hợp Gaussian thích ứng tốt với
sự thay đổi ánh sáng và nền động, kết hợp phƣơng pháp phát hiện đối tƣợng chuyển

động bằng phƣơng pháp hỗn hợp Gaussian thích ứng, làm sạch khung hình bằng
phƣơng pháp loại bỏ bóng và theo dõi, đếm số lƣợng ô tô dựa trên luồng quang học.
Nhóm tác giả Nguyễn Văn Căn, Nguyễn Tiên Hƣng, Dƣơng Phú Thuần,
Nguyễn Đăng Tiến với công trình nghiên cứu “Phƣơng pháp phân loại nhanh
phƣơng tiện giao thông dựa trên đƣờng viền” [1], các tác giả đã đề xuất phƣơng
pháp phân loại dựa trên đƣờng viền có tốc độ nhanh có khả năng ứng dụng vào các
bài toán đối sánh ảnh đòi hỏi thời gian thực, đƣa ra một phƣơng pháp biểu diễn
đƣờng viền đối tƣợng bằng đƣờng viền vector trên trƣờng số phức, một số phép
toán xử lý trên đƣờng viền vector số phức, xấp xỉ đƣờng viền số phức bằng đa giác.
Sử dụng giải thuật phân tích đƣờng viền, tìm kiếm độ dài đƣờng viền để thực hiện
tìm kiếm và đối sánh hai đƣờng viền để phân loại phƣơng tiện.
Tác giả Phí Văn Lâm với công trình nghiên cứu “Ứng dụng phép xạ ảnh
trong việc xác định tốc độ của dòng giao thông tại Việt Nam” [15], tác giả sử dụng
phƣơng pháp Optical Flow để Theo dõi và xác định tốc độ chuyển động của dòng
xe, kết quả thử nghiệm trong điều kiện ánh sáng ban ngày cho kết quả khá tốt.
Song các nghiên cứu vẫn gặp phải một số khó khăn nhất định nhƣ hiệu quả
của việc quan sát luôn phụ thuộc vào điều kiện môi trƣờng quan sát, kiểu chuyển


5

động của đối tƣợng. Chính vì thế mà việc nghiên cứu và phát triển các giải pháp,
công nghệ mới vẫn đang đƣợc tiến hành nhằm đáp ứng đƣợc yêu cầu về một hệ
thống giám sát thông minh hoàn thiện nhất.

1.2. Một số hệ thống giám sát giao thông ứng dụng công nghệ xử lý ảnh
trên thế giới
Hệ thống giám sát giao thông của hãng IBM: là phần mềm giám sát giao
thông thời gian thực của hãng IBM đƣợc phát triển tại trung tâm nghiên cứu IBM
do Belle L. Tseng, Ching-Ịung Lin và John R. Smith chủ trì. Hệ thống thực hiện

việc đếm số lƣợng xe trên đƣờng cao tốc, bắt bám và phân lớp chúng.

Hình 1.1: Hệ thống giám sát giao thông của hãng IBM

Hệ thống TRIP – Anh: Hệ thống đánh giá giao thông bằng phƣơng pháp xử
lý ảnh (Traffic Research using Image Processing - TRIP) là sản phẩm hợp tác phát
triển giữa trƣờng đại học Manchester, Viện khoa học và công nghệ, và trƣờng đại
học Sheffield, vƣơng quốc Anh từ những năm 1980, đây là một trong những hệ
thống ứng dụng phƣơng pháp xử lý ảnh trong giám sát giao thông sớm nhất. Hệ


6

thống đƣợc thiết kế chủ yếu để đếm số phƣơng tiện giao thông đi trên đƣờng cao
tốc.
Hệ thống Sample Points - Nhật bản: đƣợc phát triển tại Nhât bản từ đầu
những năm 1980 có tên gọi là Sample Points. Mỗi điểm mẫu có khả năng phát hiện
một đối tƣợng xe và bằng cách đặt vị trí của một điểm mẫu trên mỗi làn đƣờng giao
thông, nó có thể thực hiện đƣợc việc đếm xe. Tốc độ của phƣơng tiện giao thông có
thể đƣợc đo bằng cách đặt hai điểm mẫu tại mỗi làn đƣờng giao thông và đo khoảng
thời gian giữa hai lần gây ra hiệu úng của điểm mẫu thứ nhất và điểm mẫu thứ hai
trong mỗi làn đƣờng. Các điểm mẫu thực hiện việc phát hiện xe bằng cách chỉ áp
dụng kĩ thuật trừ ảnh giữa hai ảnh liên tiếp cho các điểm ảnh trong điểm mẫu. Hệ
thống này đƣợc thử nghiệm với một đoạn video trong 40 phút với điều kiện ánh
sáng ban ngày tốt. Kết quả thu đƣợc tỉ lệ lỗi trong việc phát hiện đối tƣợng xe của
hệ thống nhỏ hơn 5% và tỉ lệ lỗi lớn nhất khi đo vận tốc xe là 10%.
Hệ thống WADS - Mỹ: Hệ thống phát hiện phạm vi rộng (WADS - Wide
Area Detection System), đƣợc phát triển tại phòng thí nghiệm Jet Propulsion, Mỹ,
hệ thống này có thể phát hiện, đếm và ƣớc lƣợng tốc độ của các đối tƣợng phƣơng
tiện giao thông chuyển động. Thuật toán phát hiện đối tƣợng giao thông đƣợc thực

hiện trong thời gian thực và do đó nó chỉ thực hiện tính toán trên một vùng nhỏ của
ảnh, ví dụ nhƣ chỉ xử lý trên một đƣờng ngang gồm 50 điểm ảnh, trên mỗi làn
đƣờng (nhiều nhất là 3 làn đƣờng). Việc xử lý sẽ đƣợc tính bằng cách khi có đối
tƣợng xe đi qua đƣờng ngang này, sẽ gây ra một sự sai khác, nếu sự sai khác vƣợt
quá một giá trị ngƣỡng, khi đó đối tƣợng xe sẽ đƣợc phát hiện.
Tốc độ xe cũng đƣợc tính bằng cách sử dụng khoảng 30 đƣờng ngang khác
mà đặt tại các vị trí khác nhau trên một đƣờng giao thông. Mỗi đƣờng ngang sẽ
thông báo có hay không có đối tƣợng xe đi ngang qua. Bằng cách kiểm tra trạng
thái của tất cả 30 đƣờng ngang trong một số ảnh của chuỗi ảnh, nó có thể bắt bám
đƣợc đối tƣợng xe khi chúng di chuyển dọc theo con đƣờng và do đó có thể tính
toán đƣợc vận tốc của xe.


7

Khi so sánh kết quả thử nghiệm của hệ thống với việc quan sát trực tiếp của
ngƣời, tì lệ lỗi thu đƣợc khi đếm xe là 4% trong điều kiện ánh sáng tốt và 10% trong
điều kiện mây, mƣa. Quá trình đo tốc độ của xe cũng đƣợc so sánh với phƣơng pháp
đo của thiết bị cảm ứng rađa và thu đƣợc tì lệ lỗi là 2% trong điều kiện thời tiết tốt.
Hệ thống IMPACTS – Anh: là một hệ thống giám sát giao thông đƣợc phát
triển bởi Hoose tại trƣờng đại học London. Nó thực hiện ở mức vĩ mô, tức là không
quan tâm đến việc xác định hay bắt bám từng đối tƣợng xe mà nó cung cấp một mô
tả về phân bố không gian giữa các vùng chuyển động và các vùng không chuyển
động trong ảnh giao thông. Hệ thống chia ảnh giao thông ra làm một số các ô, mỗi ô
có chiều rộng xấp xỉ chiều rộng của làn đƣờng giao thông và chiều dài bằng chiều
của ô tô. Mỗi ô sẽ có thể có một trong ba trạng thái: không có xe, xe đang đỗ hoặc
xe đang chuyển động. Các ô mà có cùng một trạng thái đƣợc nhóm lại với nhau
theo chiều dài của làn đƣờng để đƣa ra đối tƣợng xe. Trạng thái của các ô sẽ đƣợc
xác định bằng cách sử dụng hai thuật toán, một thuật toán để xác định đối tƣợng xe
và một thuật toán để xác định trạng thái chuyển động. Các đối tƣợng xe đƣợc phát

hiện bằng cách chỉ ra một số nhất định các đƣờng biên có trong ô. Việc chuyển
động đƣợc xác định bằng cách thực hiện trừ ảnh trên từng ô ở hai thời điểm khác
nhau.

1.3. Một số hệ thống giám sát giao thông ứng dụng công nghệ xử lý ảnh ở
Việt Nam
Sản phẩm nghiên cứu của Đề tài KC.03.21 “Nghiên cứu ứng dụng công
nghệ Thông tin và Tự động hoá trong quản lý điều hành giao thông đô thị” [2], hệ
thống giám sát giao thông tự động bằng công nghệ xử lý ảnh đƣợc phát triển với
mục đích thử nghiệm bƣớc đầu trong việc áp dụng công nghệ thông tin vào giám sát
giao thông.
Hệ thống đƣợc xây dựng bao gồm một số các bƣớc xử lý nhƣ tiền xử lý ảnh,
phát hiện đối tƣợng trong vùng quan sát của camera, tách đối tƣợng ra khỏi hình


8

nền, nhận dạng đối tƣợng và bắt bám đối tƣợng. Mô hình dòng tiến trình có thể
đƣợc minh hoạ nhƣ sau:
Thuật toán cơ bản của hệ thống này áp dụng kỹ thuật trừ ảnh, ảnh hiện tại và
ảnh nền, kết quả của phép trừ đƣợc lọc qua một giá trị ngƣỡng T nhằm loại bỏ các
yếu tố nhiễu do sự rung, dao động của camera hay các điều kiện môi trƣờng khác,
ảnh tham chiếu sau đó đƣợc cập nhật bằng cách gán các vùng không có đối tƣợng
xe trong ảnh hiện tại vào ảnh nền.
So sánh kết quả sau 20 phút thực hiện của chƣơng trình với kết quả đếm thủ
công cho thấy, số lƣợng xe ô tô và xe máy đƣợc bắt bám và đếm trong điều kiện ánh
sáng tốt là 90% đến 95%, tính vận tốc dòng xe là 93% đến 96%.
“Hệ thống giám sát, xử lý vi phạm TTATGT bằng hình ảnh” do Công ty
FPT triển khai trên cao tốc Nội Bài - Lào Cai [16]. Hệ thống đƣợc xây dựng và phát
triển dựa trên công nghệ xử lý hình ảnh bằng camera(Video Image Processing),

hình ảnh từ các camera giám sát giao thông đƣợc lắp đặt tại các địa điểm cố định
trên tuyến đƣờng đƣợc truyền về Trung tâm giám sát xử lý vi phạm TTATGT, tại
Trung tâm các hình ảnh video đƣợc hệ thống phần mềm gồm các thuật toán xử lý
phân tích ảnh, phân tích chuyển động... tự động nhận diện biển số của phƣơng tiện
theo thời gian thực cho phép tự động giám sát, phát hiện, ghi lại hình ảnh các hành
vi vi phạm quy định về TTATGT, Phát hiện phƣơng tiện trong diện kiểm soát đặc
biệt, thông qua việc nhận dạng biển số tự động với độ chính xác >90%.

1.4. Giới thiệu bài toán phân tích lƣu lƣợng xe
Bài toán phân tích lƣu lƣợng xe là tập hợp của các bài toán nhỏ có thể nhìn 1
cách tổng quát nhƣ sau:
-

Đầu vào của hệ thống sẽ là hình ảnh từ video thu đƣợc tại các điểm quan sát

-

Đầu ra của hệ thống sẽ là các thông tin về chuyển động, số lƣợng, mật độ,...
của các phƣơng tiện đƣợc giám sát.


9

video

input

output

Phân tích lƣu

lƣợng xe(Số
lƣợng, mật độ)
xe)

Tách frame

Nhận dạng và
theo vết đối
tƣợng

Phát hiện đối tƣợng
chuyển động

Tiền xử lý

Hình 1.2: Sơ đồ khối thiết kế hệ thống phân tích lƣu lƣợng xe

Trong sơ đồ, có ba khối xử lý chính, liên quan đến các phƣơng pháp phát
hiện, nhận dạng và theo vết.
- Phát hiện đối tƣợng chuyển động: hầu hết các nghiên cứu sử dụng phƣơng pháp
mô hình trừ nền để phát hiện các đối tƣợng xe chuyển động.
- Tiền Xử lý: bao gồm các phƣơng pháp loại bỏ nhiễu, phát hiện biên, loại bỏ bóng,
phân hoạch các khối chuyển động.
- Nhận dạng và theo vết đối tƣợng: sử dụng các đặc trƣng hình dáng, chuyển động
của đối tƣợng để nhận dạng phân loại ra các lớp đối tƣợng nhƣ: ngƣời, phƣơng


10

tiện, động vật,... Theo vết đối tƣợng đó là công việc đƣa ra một chuỗi các hành vi

của đối tƣợng chuyển động trong một thời gian từ các khung hình thu đƣợc
Tóm lại việc phân tích lƣu lƣợng xe bằng hình ảnh có thể hiểu là việc phân
tích và xử lý hình ảnh video qua việc giải quyết các bài toán sau:
 Bài toán phát hiện các đối tƣợng chuyển động
Phát hiện các đối tƣợng chuyển động là bƣớc cơ bản đầu tiên trong bài toán
phân tích hình ảnh video, cụ thể đó là việc tách các các đối tƣợng chuyển động từ
các hình ảnh nền của các đối tƣợng đó. Phƣơng pháp thƣờng đƣợc sử dụng trong bài
toán này đó là: phƣơng pháp trừ ảnh nền, các phƣơng pháp dựa trên thống kê,
phƣơng pháp chênh lệch tạm thời, và các phƣơng pháp dựa trên luồng thị giác,…
 Bài toán nhận dạng và theo vết chuyển động của xe
Yêu cầu đối với bài toán nhận dạng và theo dõi chuyển động của xe là xác
định các thông tin về dòng xe, bao gồm: số lƣợng từng loại xe đi vào vùng quan sát,
mật độ dòng xe, tốc độ chuyển động trung bình của dòng xe.
Nhận dạng xe là bƣớc so sánh các đối tƣợng chuyển động phát hiện đƣợc ở
bƣớc trƣớc với các mẫu trong cơ sở dữ liệu của chƣơng trình. Các đặc trƣng đƣợc
sử dụng trong phép so sánh là kích thƣớc đƣờng bao và tốc độ chuyển động của đối
tƣợng. Sau phép so sánh này, đối tƣợng chuyển động đƣợc phân vào các nhóm,
trong phạm vi giới hạn luận văn sẽ không phân loại chi tiết từng loại xe mà chỉ phân
loại xe theo 2 nhóm sau: xe lớn(xe tải, xe bus, xe ôtô con) và xe nhỏ(xe máy và xe
đạp). Nhƣ vậy, chức năng nhận dạng đã thực hiện nhiệm vụ thu thập thông tin về
thành phần, mật độ của dòng xe.
Theo vết đối tƣợng xe đó là công việc đƣa ra một chuỗi các hành vi của đối
tƣợng xe chuyển động trong một thời gian từ các khung hình thu đƣợc, việc theo vết
đối tƣợng trong bài toán này có mục đích: tính vận tốc xe và loại trừ khả năng một
xe bị đếm nhiều lần. Kết quả bài toán theo vết đối tƣợng cho ta các thông tin về vị


11

trí, số lƣợng, tốc độ chuyển động của từng xe trong vùng quan sát, thực hiện một số

phép toán thống kê đơn giản trên tập dữ liệu này ta sẽ có thông tin về tốc độ chuyển
động trung bình của dòng xe.

1.5. Kết chƣơng
Chƣơng này trình bày tổng quan các nghiên cứu và các hệ thống giám sát
giao thông ứng dụng công nghệ xử lý ảnh trên thế giới và trong nƣớc, giới thiệu bài
toán phân tích lƣu lƣợng xe sẽ trình bày trong luận văn.


12

Chƣơng 2 - CƠ SỞ LÝ THUYẾT
2.1. Các khái niệm cơ bản
2.1.1. Video
Video là một chuỗi hình ảnh cung cấp thông tin về không gian lẫn thời gian.
Một video có thể đƣợc biểu diễn nhƣ là một cấu trúc đa lớp có nhiều đoạn (scene),
mỗi đoạn có nhiều cảnh (shot) và mỗi cảnh có nhiều khung hình (frame) [12]. Số
khung hình xuất hiện trong thời gian một giây gọi là tỉ lệ khung hình trên giây
(frame rate). Tỉ lệ khung hình trên giây thông thƣờng là 24 fps (frame per second).
Khung hình (Frame)

Cảnh (Shot)

Cảnh (Shot)

Cảnh (Shot)

Đoạn (Scene)

Cảnh (Shot)

Đoạn (Scene)
VIDEO

Hình 2.1: Cấu trúc một đoạn video

2.1.2. Xử lý ảnh và video
Xử lý ảnh và video là quá trình tác động lên hình ảnh và video cung cấp ở
đầu vào để cho ra các hình ảnh và video thoả mãn các yêu cầu đặt ra hoặc để rút
trích ra các đặc trƣng từ các hình ảnh và video đó.
Thu nhận

Tiền

Phân

Biểu

Phân

ảnh

xử lý

đoạn

diễn

lớp

Hình 2.2: Sơ đồ hệ thống xử lý ảnh và video tổng quát


13

Sơ đồ của hệ thống xử lý ảnh và video tổng quát đƣợc giới thiệu trong hình
2.2 phù hợp với hầu hết các ứng dụng trong lĩnh vực này. Trong một số hệ thống
đặc biệt có thể bỏ bớt một số khối trong sơ đồ trên [10].
Thu nhận ảnh: các thao tác liên quan đến camera và các thao tác liên quan
đến thiết lập hệ thống để thu nhận đƣợc hình ảnh đối tƣợng từ thế giới thực thông
qua camera.
Tiền xử lý: các thao tác xử lý tác động lên hình ảnh và video để chúng trở
nên thích hợp hơn cho các thao tác xử lý chính. Ví dụ nhƣ các thao tác giảm nhiễu,
làm sắc nét, chuyển từ ảnh màu sang ảnh đa cấp xám, cắt xén vùng ảnh cần tập
trung xử lý…
Phân đoạn: các thông tin cần quan tâm trong ảnh và video sẽ đƣợc trích
xuất ra. Ví dụ nhƣ các vùng ảnh chuyển động trong video sẽ đƣợc phân đoạn bằng
cách thể hiện dƣới dạng ảnh nhị phân. Vùng ảnh chuyển động sẽ có màu trắng và
nền sẽ có màu đen.
Biểu diễn: các đối tƣợng đƣợc tách ra từ khối phân đoạn sẽ đƣợc biểu diễn
một cách chính xác với các đặc trƣng của từng đối tƣợng riêng biệt. Ví dụ nhƣ các
đối tƣợng chuyển động sẽ đƣợc biểu diễn bằng đƣờng bao quanh đối tƣợng và đƣợc
gán nhãn phân biệt cho từng đối tƣợng.
Phân lớp: xác định các đối tƣợng đƣợc tách ra từ các khối trƣớc đó có phải
là đối tƣợng cần quan tâm hay không. Ví dụ nhƣ xác định xem các đối tƣợng
chuyển động có phải là xe ô tô hoặc khách bộ hành hay không.
Tuỳ theo hệ thống mà một thao tác xử lý có thể thuộc về khối này hoặc khối
kia. Trong một số hệ thống mà khối phân đoạn cho ra kết quả là ảnh nhị phân với
màu trắng và đen thì khối biểu diễn và khối phân lớp đƣợc ghép thành khối phân
tích BLOB (Binary Large Object). BLOB là đối tƣợng nhị phân lớn. BLOB mang ý

14

nghĩa là chỉ quan tâm đến các nhóm điểm ảnh nhị phân lớn có kích thƣớc nhất định
và những nhóm điểm ảnh nhị phân nhỏ đƣợc xem nhƣ là nhiễu [10].

2.1.3. Bộ lọc hình thái (Morphology Filter)
Tƣơng tự bộ lọc trung vị, bộ lọc hình thái (Morphology Filter) quét qua từng
điểm ảnh, áp mặt nạ lọc sao cho tâm trùng điểm ảnh đang xử lý, dựa vào các điểm
ảnh tƣơng ứng với mặt nạ lọc để tính toán giá trị mới. Tuy nhiên bộ lọc hình thái
chủ yếu làm việc trên ảnh nhị phân với giá trị của điểm ảnh là 0 hoặc 1. Mặt nạ lọc
là một ma trận có kích thƣớc 3 x 3, 5 x 5, 7 x 7… Mặt nạ lọc đƣợc điền đầy các giá
trị 1 nếu cần bảo toàn độ sắc nét của các góc. Hoặc các giá trị 1 đƣợc điền thành
dạng hình đĩa nếu cần làm tròn các góc.
0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

1

0

0

0

1

0

0

1

1

0

1

1

0

0

1

0

0

0

0

0

0

1

1

1

1

1

0

0

1

1

1

0

0

0

0

1

1

1

1

0

0

0

1

0

1

0

0

0

0

1

1

1

1

1

0

0

1

1

1

1

1

0

0

1

1

1

1

1

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

Hình 2.3: Hình minh hoạ hiệu ứng Dilation của thao tác Hit

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

1

1

0

1

0

0

0

0

0

0

0

0

0

0

0

0

0

0

1

0

0

0

0

0

0

0

0

0

1

1

1

0

0

0

0

0

0

0

0

0

0

0

1

1

1

0

1

0

0

0

1

0

0

0

0

0

1

1

1

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

Hình 2.4: Hình minh hoạ hiệu ứng Erosion của thao tác Fit


15

Bộ lọc hình thái có hai thao tác cơ bản là Hit và Fit. Thao tác Hit sẽ trả về giá
trị 1 cho điểm ảnh đang xử lý nếu có ít nhất một điểm ảnh tƣơng ứng mang giá trị 1
trùng với giá trị 1 trên mặt nạ lọc. Thao tác Fit sẽ trả về giá trị 1 cho điểm ảnh đang
xử lý nếu tất cả các điểm ảnh tƣơng ứng đều mang giá trị 1 trùng với giá trị 1 trên
mặt nạ lọc. Thao tác Hit khi áp dụng lần lƣợt cho tất cả các điểm ảnh trên ảnh cần
xử lý sẽ tạo ra hiệu ứng giãn nở (Dilation). Thao tác Fit khi áp dụng lần lƣợt cho tất

cả các điểm ảnh trên ảnh cần xử lý sẽ tạo ra hiệu ứng xói mòn (Erosion) [10]. Hình
2.3 và hình 2.4 minh hoạ hiệu ứng Dilation của thao tác Hit và Fit.
Bộ lọc Closing là một kết hợp giữa hiệu ứng giãn nở (Dilation) và hiệu ứng
xói mòn (Erosion). Đầu tiên hiệu ứng giãn nở (Dilation) sẽ lấp đầy các lổ hổng nhỏ
trong vùng ảnh vì ảnh bị phình to lên. Sau đó hiệu ứng xói mòn (Erosion) sẽ co ảnh
trở về kích thƣớc ban đầu. Kết quả là bộ lọc Closing sẽ lấp đầy các lổ hổng nhỏ bên
trong đối tƣợng.
Bộ lọc Opening là một kết hợp giữa hiệu ứng Erosion và hiệu ứng Dilation.
Đầu tiên hiệu ứng xói mòn Erosion sẽ làm biến mất các nhiễu kích thƣớc nhỏ vì ảnh
bị co lại. Sau đó hiệu ứng Dilation sẽ phình to ảnh về kích thƣớc ban đầu. Kết quả là
bộ lọc Opening sẽ loại bỏ đƣợc các nhiễu có kích thƣớc nhỏ [10].

2.2. Phát hiện và theo vết đối tƣợng chuyển động
Theo vết đối tƣợng chuyển động là một tập các thao tác xử lý tác động lên
các khung hình của chuỗi video, giúp xác định đƣợc các đối tƣợng chuyển động
xuyên suốt qua các khung hình. Theo dõi đối tƣợng chuyển động trong chuỗi video
nhằm tách ra chính xác vùng ảnh có chứa đối tƣợng giúp rút trích các thông tin về
đối tƣợng dễ dàng và nhanh chóng. Hai bƣớc chính để theo dõi đối tƣợng chuyển
động là phát hiện chuyển động (Motion Detection) và theo vết đối tƣợng (Object
Tracking).


16

Đối tƣợng
Phát hiện

Theo vết

đƣợc giám

chuyển động

đối tƣợng

sát

Hình 2.5: Sơ đồ khối Hệ thống theo vết đối tƣợng chuyển động

Phần quan trọng nhất trong theo dõi đối tƣợng chuyển động là phát hiện
chuyển động. Nếu kết quả phát hiện chuyển động không tốt sẽ ảnh hƣởng đến tốc
độ và độ chính xác của cả hệ thống. Kết quả phát hiện chuyển động cũng phụ thuộc
phƣơng pháp phát hiện chuyển động đƣợc sử dụng. Các yếu tố thƣờng ảnh hƣởng
đến kết quả phát hiện chuyển động là ánh sáng, nhiễu, độ ổn định của khung nhìn,
màu đối tƣợng trùng màu nền,...

2.2.1. Phát hiện đối tượng chuyển động
Phát hiện đối tƣợng chuyển động là quá trình đƣa ra vết các đối tƣợng
chuyển động từ các khung hình video [6]. Quá trình này thực chất là quá trình xử lý
chuỗi ảnh liên tiếp trong một đoạn video để phát hiện ra các đối tƣợng chuyển động
trong một đoạn hình ảnh theo nhƣ hình 2.6.

Phát hiện các

Xử lý các vùng

Các đối tƣợng

vùng ảnh nổi

ảnh nổi

chuyển động

Hình 2.6: Tổng quan các khối xử lý trong bài toán phát hiện đối tƣợng

Phát hiện đối tƣợng chuyển động là một bƣớc rất quan trọng trong ứng dụng
giám sát video [9]. Hơn nữa, nó cũng là một chủ đề nghiên cứu quan trọng trong
lĩnh vực thị giác máy tính. Khó khăn chính trong việc phát hiện đối tƣợng chuyển
động là do những thay đổi trong các cảnh quay. Trong một số thuật toán, các đối