(Luận văn thạc sĩ hcmute) phân loại và đếm lưu lượng xe lưu thông

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT
THÀNH PHỐ HỒ CHÍ MINH

LUẬN VĂN THẠC SĨ
THIỀU ĐỒN QUANG HUY

PHÂN LOẠI VÀ ĐẾM LƯU LƯỢNG XE LƯU THÔNG

NGÀNH: KỸ THUẬT ĐIỆN TỬ - 8520203

S K C0 0 6 5 8 7

Tp. Hồ Chí Minh, tháng 5 - 2020

Luan van


BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT
THÀNH PHỐ HỒ CHÍ MINH

LUẬN VĂN THẠC SĨ
THIỀU ĐỒN QUANG HUY

PHÂN LOẠI VÀ ĐẾM LƯU LƯỢNG XE LƯU THÔNG

NGÀNH: KỸ THUẬT ĐIỆN TỬ - 8520203

Tp. Hồ Chí Minh, tháng 5/2020

Luan van


BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT
THÀNH PHỐ HỒ CHÍ MINH

LUẬN VĂN THẠC SĨ
THIỀU ĐỒN QUANG HUY

PHÂN LOẠI VÀ ĐẾM LƯU LƯỢNG XE LƯU THÔNG

NGÀNH: KỸ THUẬT ĐIỆN TỬ - 8520203
Hướng dẫn khoa học:
PGS.TS NGUYỄN THANH HẢI

Tp. Hồ Chí Minh, tháng 5/2020

Luan van


LÝ LỊCH KHOA HỌC
I. LÝ LỊCH SƠ LƯỢC
Họ & tên: Thiều Đồn Quang Huy

Giới tính: Nam

Ngày, tháng, năm sinh: 25/12/1994

Nơi sinh: Phú Yên

Quê quán: Phú Yên

Dân tộc: Kinh

Địa chỉ: 212/6, Lã Xuân Oai, Phường Tăng Nhơn Phú B, Quận 9, TPHCM
Điện thoại cơ quan:

Điện thoại: 0376708337

E-mail:

Fax:

II. QUÁ TRÌNH ĐÀO TẠO
Đại học
Hệ đào tạo: Đại học chính quy. Thời gian đào tạo từ 07/2016 đến 03/2018
Nơi học (trường, thành phố): Trường Đại Học Sư Phạm Kỹ Thuật TPHCM.
Ngành học: Kỹ thuật Điện Tử Truyền Thơng
III. Q TRÌNH CƠNG TÁC CHUN MÔN KỂ TỪ KHI TỐT NGHIỆP ĐẠI
HỌC:
Thời gian

Từ 04/2019
đến nay

Nơi công tác

Công việc đảm nhiệm

Công Ty TNHH Greystones Data Việt Nam

Trang i

Luan van

Kỹ Sư Điện Tử


LỜI CAM ĐOAN
Tơi cam đoan đây là cơng trình nghiên cứu của tôi.
Các số liệu, kết quả nêu trong luận văn là trung thực và chưa từng được ai công
bố trong bất kỳ cơng trình nào khác.
Tp. Hồ Chí Minh, ngày … tháng 05 năm 2020
(Ký tên và ghi rõ họ tên)

Thiều Đoàn Quang Huy

Trang ii

Luan van


LỜI CẢM ƠN
Luận văn này được thực hiện tại Trường Đại học Sư phạm kỹ thuật TP. Hồ Chí
Minh. Để hồn thành được luận văn này tơi đã nhận được rất nhiều sự động viên, giúp
đỡ của nhiều cá nhân và tập thể.
Trước hết, tơi xin bày tỏ lịng biết ơn sâu sắc đến Thầy PGS.TS Nguyễn Thanh
Hải đã hướng dẫn tơi thực hiện nghiên cứu của mình.
Xin cùng bày tỏ lịng biết ơn chân thành tới các thầy cơ giáo, người đã đem lại cho

tôi những kiến thức bổ trợ, vơ cùng có ích trong những năm học vừa qua.
Cũng xin gửi lời cám ơn chân thành tới Ban Giám hiệu, Phòng Đào tạo sau đại học,
Đại học Sư phạm kỹ thuật TP. Hồ Chí Minh đã tạo điều kiện cho tơi trong q trình học
tập.
Cuối cùng tơi xin gửi lời cám ơn đến gia đình, bạn bè, những người đã ln bên
tơi, động viên và khuyến khích tơi trong quá trình thực hiện luận văn của mình.

Trang iii

Luan van


TĨM TẮT
Ở Việt Nam, số lượng phương tiện giao thơng ở các thành phố lớn đang tăng lên
từng ngày, tắc nghẽn giao thơng xảy ra thường xun. Vì thế việc kiểm sốt mật độ xe
lưu thơng trên các tuyến đường là rất quan trọng, để giải quyết vấn đề này. Luận văn xây
dựng một hệ thống phân loại và đếm lưu lượng xe lưu thông trên đường dùng xử lý ảnh
với dữ liệu ngõ vào là các video thực tế thu được từ camera hoặc máy ảnh đặt trên đường.
Phương pháp thực hiện là trừ nền, xử lý hình thái, phát hiện và theo dõi xe, tính số xe và
phân loại xe lớn và xe nhỏ phát hiện được. Đầu tiên, sử dụng mơ hình Gaussian hỗn hợp
để trừ nền, chuyển ảnh màu sang ảnh nhị phân ở đó xe là các đốm trắng và nền đường là
màu đen. Sử dụng phép xử lý hình thái để lấp đầy khoảng trống trong xe, loại bỏ các
thành phần không mong muốn, kết quả thu được là ảnh nhị phân hoàn chỉnh. Cuối cùng,
Sử dụng Thuật toán dán nhãn để dán nhãn và đếm xe, áp dụng thuật toán phân loại xe
lớn và xe nhỏ dựa vào kích thước của hộp đánh dấu bao xung quanh xe. Kết quả xử lý
ảnh video, tách được xe ra khỏi nền đường, phát hiện và theo dõi xe, đếm và phân loại
được xe lớn, xe nhỏ từ camera giao thông.

Trang iv

Luan van


ABSTRACT
In Vietnam, the number of vehicles in big cities is increasing day by day, traffic
jams regularly occur. So controlling the density of vehicles on the roads is very
important, to solve this problem. In this paper has developed a system classification and
counting circulating traffic flow on the road by using image processing using with input
data is obtained from the video camera or cameras placed on the road. Implementation
method is background subtraction, morphological operation, vehicle detection and
vehicle tracking, count the number of vehicle and classification the number of large
vehicle and small vehicle detected. The first thing, using the Gaussian mixture model for
background subtraction, color pictures into a binary image in which vehicles are white
spots and roads are black. Using morphological operation to fill the white vehicle into
unified block and remove unwanted components. The result is a complete binary image.
Finally, using labeling algorithm for labeling and counting the number of vehicles. Using
the large and Small Vehicle Classification Algorithm based on the size of the box marked
around the vehicle. Video image processing results shows, isolated vehicle out of the
road. Vehicle detection and tracking, counting and classification large and small vehicle
from traffic cameras.

Trang v

Luan van


MỤC LỤC
Lý lịch cá nhân ..................................................................................................................i
Lời cam đoan ....................................................................................................................ii
Lời cảm ơn ..................................................................................................................... iii

Tóm tắt ............................................................................................................................iv
Abstract ............................................................................................................................ v
Mục lục ............................................................................................................................vi
Danh sách các bảng .........................................................................................................xi
Danh sách các hình.........................................................................................................xii
Các chữ viết tắt ............................................................................................................... xv
CHƯƠNG 1 ..................................................................................................................... 1
TỔNG QUAN .................................................................................................................. 1
1.1. Tổng quan về lĩnh vực nghiên cứu, các kết quả nghiên cứu trong và ngồi nước đã
cơng bố. ............................................................................................................................ 1
1.1.1. Tổng quan về lĩnh vực nghiên cứu ..................................................................... 1
1.1.2. Một số kết quả nghiên cứu đã công bố .............................................................. 4
1.2. Mục tiêu của luận văn ............................................................................................... 6
1.3. Nhiệm vụ và giới hạn của luận văn ........................................................................... 6
1.3.1. Nhiệm vụ: ............................................................................................................ 6
1.3.2. Giới hạn: .............................................................................................................. 7
1.4. Phương pháp nghiên cứu........................................................................................... 7
1.5. Tóm tắt các chương ................................................................................................... 7

Trang vi

Luan van


CHƯƠNG 2 ..................................................................................................................... 9
CƠ SỞ LÝ THUYẾT ....................................................................................................... 9
2.1. Xử lý ảnh ................................................................................................................... 9
2.2. Các giai đoạn xử lý ảnh ........................................................................................... 10
2.2.1. Thu nhận ảnh ..................................................................................................... 10
2.2.2. Tiền xử lý .......................................................................................................... 10

2.2.3. Phân đoạn ảnh ................................................................................................... 10
2.2.4. Biểu diễn ảnh..................................................................................................... 11
2.2.5. Nhận dạng và nội suy ảnh ................................................................................. 11
2.2.6. Cơ sở trí thức ..................................................................................................... 12
2.3. xử lý video và hiển thị đồ họa ................................................................................. 12
2.4. Một số ứng dụng phổ biến của xử lý ảnh trong giao thông .................................... 13
2.4.1. Nhận dạng biển số xe ........................................................................................ 13
2.4.2. Phát hiện, cảnh báo biển báo và đèn tín hiệu .................................................... 14
2.4.3. Phát hiện, cảnh báo vật cản và dự báo tắt đèn .................................................. 14
2.5. Thuật toán ứng dụng để phát hiện và theo dõi đối tượng ....................................... 15
2.5.1. Phương pháp trừ nền ......................................................................................... 15
2.5.2. Mơ hình hỗn hợp Gaussian trong xử lý ảnh ................................................... 17
2.5.2.1. Khái niệm mơ hình trừ nền hỗn hợp ........................................................ 17
2.5.2.2. Mơ hình trừ nền hỗn hợp đối với ảnh số .................................................. 17
2.5.3. Phương pháp xử lý hình thái, bộ lọc trung bình và bộ lọc trung vị để lọc nhiễu
ảnh .................................................................................................................................. 18

Trang vii

Luan van


2.5.3.1. Phép mở ảnh ............................................................................................ 18
2.5.3.2. Phép đóng ảnh ......................................................................................... 18
2.5.3.3. Phép giãn ảnh .......................................................................................... 18
2.5.3.4. Phép co ảnh ............................................................................................. 19
2.5.3.5. Bộ lọc trung vị để lọc ảnh ....................................................................... 19
2.5.3.6. Bộ lọc trung bình để lọc ảnh ................................................................... 19
2.5.4. Nhận diện đốm màu .......................................................................................... 20
2.5.5. Thuật toán dán nhãn .......................................................................................... 20

2.5.5.1 Ghi nhãn thành phần được kết nối ............................................................ 20
2.6. Đếm đối tượng......................................................................................................... 20
2.6.1. Phương pháp tách các xe chạy bị chồng lấp lên nhau trong quá trình đếm
xe .................................................................................................................................... 21
2.7. Phân loại đối tượng ................................................................................................. 21
2.8. Ước Lượng chuyển động ........................................................................................ 21
2.9. Theo dõi đối tượng .................................................................................................. 22
2.9.1. Thành phần trong xây dựng hệ thống theo dõi đối tượng ................................. 22
2.10. Hiển thị và đồ họa ................................................................................................. 23
2.10.1. Hiển thị ............................................................................................................ 23
2.10.2. Đồ họa ............................................................................................................. 24
CHƯƠNG 3 ................................................................................................................... 25
PHƯƠNG PHÁP TRỪ NỀN HỖN HỢP, SỬ DỤNG PHƯƠNG PHÁP HÌNH THÁI,
BỘ LỌC TRUNG BÌNH VÀ TRUNG VỊ ĐỂ LỌC ẢNH ............................................ 25

Trang viii

Luan van


3.1. Xử lý dữ liệu ........................................................................................................... 25
3.1.1 File video ngõ vào .............................................................................................. 26
3.1.2. Trích xuất khung hình ....................................................................................... 27
3.1.3. Sử dụng phương pháp trừ nền hỗn hợp để phát hiện nền ................................. 27
3.1.4. Sử dụng phương pháp hình thái, bộ lọc trung bình và bộ lọc trung vị để lọc
ảnh .................................................................................................................................. 30
3.1.4.1. Phép mở ảnh ............................................................................................. 31
3.1.4.2. Phép đóng ảnh .......................................................................................... 32
3.1.4.3. Phép giãn ảnh ........................................................................................... 33
3.1.4.4. Phép co ảnh .............................................................................................. 35

3.1.4.5. Sử dụng bộ lọc trung vị để lọc ảnh .......................................................... 37
3.1.4.6. Sử dụng bộ lọc trung bình để lọc ảnh ...................................................... 38
3.1.5. Các thao tác tô lấp khoảng trống trong ảnh nhị phân ....................................... 40
CHƯƠNG 4 ................................................................................................................... 44
PHƯƠNG PHÁP PHÂN VÙNG ĐỂ NHẬN DIỆN, PHÂN LOẠI VÀ ĐẾM ĐỐI
TƯỢNG .......................................................................................................................... 44
4.1. Phương pháp phân vùng ảnh để phát hiện và theo dõi đối tượng ........................... 44
4.2. Thuật toán đếm và phân loại xe .............................................................................. 44
4.2.1. Thuật toán đếm xe ............................................................................................. 45
4.2.1.1. Phương pháp tách các xe chạy bị chồng lấp lên nhau trong quá trình đếm
xe .................................................................................................................................... 48
4.2.2. Thuật toán phân loại xe ..................................................................................... 50
4.3. Phương pháp ước lượng tốc độ xe .......................................................................... 52

Trang ix

Luan van


4.4. Tăng cường các loại nhiễu muối tiêu, nhiễu trắng, nhiễu đốm vào video để đánh giá
thuật toán. ....................................................................................................................... 54
CHƯƠNG 5 ................................................................................................................... 56
KẾT QUẢ VÀ THẢO LUẬN ....................................................................................... 56
5.1. Qúa trình phát hiện, phân loại và đếm lưu lượng xe lớn và xe nhỏ lưu thông ...... 56
5.1.1. Video ngõ vào để phân loại và đếm lưu lượng xe lớn và xe nhỏ .................... 56
5.1.2. Thuật toán Gaussian hỗn hợp để trừ nền, phát hiện nền và tách xe ra khỏi
nền ................................................................................................................................ ..57
5.1.3. Lọc nhiễu .......................................................................................................... 59
5.1.4. Phát hiện xe ...................................................................................................... 66
5.1.5. Đếm, phân loại và ước lượng tốc độ của đối tượng ......................................... 68

5.1.6. Kết quả video ngõ vào khác nhau .................................................................... 83
CHƯƠNG 6 ................................................................................................................... 86
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ..................................................................... 86
6.1. Kết luận .................................................................................................................. 86
6.2. Hướng phát triển của đề tài .................................................................................... 86
TÀI LIỆU THAM KHẢO .............................................................................................. 87
PHỤ LỤC ....................................................................................................................... 89

Trang x

Luan van


DANH SÁCH CÁC BẢNG
BẢNG

TRANG

Bảng 2.1. Phân loại xe lớn và xe nhỏ. ............................................................................ 21
Bảng 3.1. Ảnh gốc trước khi lọc nhiễu. ......................................................................... 31
Bảng 3.2. Ảnh sau khi lọc nhiễu. ................................................................................... 32
Bảng 5.1. Bảng đánh giá kết quả thu được sau khi áp dụng thuật toán. ........................ 85

Trang xi

Luan van


DANH SÁCH CÁC HÌNH
HÌNH

TRANG

Hình 1.1: Trung tâm quản lý giao thơng ở Washington .................................................. 2
Hình 1.2: Hệ thống giám sát giao thơng bằng xử lý ảnh. ................................................ 2
Hình 2.1: Các giai đoạn xử lý ảnh.................................................................................... 9
Hình 2.2: Qúa trình thu nhận và số hóa ảnh thực. ......................................................... 10
Hình 2.3: Qúa trình phân đoạn khung ảnh từ video. ...................................................... 11
Hình 2.4: Xóa nhịe video trong matlab. ........................................................................ 12
Hình 2.5: Qúa trình hiển thị video khi xử lý. ................................................................. 13
Hình 2.6: Ứng dụng xử lý ảnh trong nhận diện bản số xe. ............................................ 14
Hình 2.7: Ứng dụng xử lý ảnh phát hiện biển báo ......................................................... 14
Hình 2.8: Ứng dụng xử lý ảnh dự báo tắt đường. .......................................................... 15
Hình 2.9: Trung tâm điều hành giao thơng tại TPHCM. ............................................... 22
Hình 2.10: Qúa trình hiển thị video khi xử lý. ............................................................... 23
Hình 2.11: Qúa trình thêm đồ họa vào video khi xử lý. ................................................ 24
Hình 3.1: Lưu đồ quy trình xử lý dữ liệu. ...................................................................... 25
Hình 3.2: Đọc định dạng video ngõ vào khác nhau. ...................................................... 26
Hình 3.3: Trích xuất các khung hình khác nhau trong các video. ................................. 27
Hình 3.4: Phương pháp Gaussian hỗn hợp phát hiện nền và trừ nền. ........................... 30
Hình 3.5: Kết quả thực hiện phép mở ảnh. .................................................................... 32
Hình 3.6: Thực hiện phép đóng ảnh. .............................................................................. 33
Hình 3.7: (a) ảnh A1 (b) phần tử cấu trúc B1 (c) A1 được dãn bởi B1. ........................ 34

Trang xii

Luan van


Hình 3.8: Kết quả phép giãn ảnh. ................................................................................... 35

Hình 3.9: Thực hiện phép co ảnh . ................................................................................. 36
Hình 3.10: Phân tử trung vị sau sắp xếp. ....................................................................... 37
Hình 3.11: Thực hiện bộ lọc trung vị lọc ảnh. ............................................................... 38
Hình 3.12: Phân tử trung bình trước sắp xếp. ................................................................ 39
Hình 3.13: Phân tử trung bình sau sắp xếp. ................................................................... 39
Hình 3.14: Thực hiện bộ lọc trung bình lọc ảnh. ........................................................... 40
Hình 3.15: Ma Trận kiểu các kiểu kết nối...................................................................... 41
Hình 3.16: Nền là kiểu 4 kết nối. ................................................................................... 42
Hình 3.17: Nền là kiểu 8 kết nối. ................................................................................... 42
Hình 3.18: Lấp đầy khoảng trống trong ảnh. ................................................................. 43
Hình 4.1: Ảnh minh họa liên kết 4 và liên kết 8 ............................................................ 45
Hình 4.2: Ảnh minh họa 4 điểm lân cận của X. ............................................................. 46
Hình 4.3: Thuật tốn đếm xe .......................................................................................... 47
Hình 4.4: Lưu đồ tính tốn tách 2 xe bị chồng lấp......................................................... 49
Hình 4.5: Thuật tốn phân loại xe. ................................................................................. 51
Hình 4.6: Lưu đồ thuật tốn ước lượng tốc độ xe. ........................................................ 53
Hình 5.1: Hình ảnh thu được từ các video. .................................................................... 56
Hình 5.2: Phát hiện nền ở các video đầu vào khác nhau................................................ 57
Hình 5.3: Trừ nền bằng mơ hình hỗn hợp với n khung nhau. ........................................ 59
Hình 5.4: Lọc nhiễu ảnh bằng phương pháp hình thái. .................................................. 60
Hình 5.5: Thực hiện phép co ảnh. .................................................................................. 61

Trang xiii

Luan van


Hình 5.6: Thực hiện phép dãn ảnh. ................................................................................ 61
Hình 5.7: Lọc nhiễu ảnh bằng bộ lọc trung bình ........................................................... 63
Hình 5.8: Lọc nhiễu ảnh bằng bộ lọc trung vị ............................................................... 64

Hình 5.9: Lọc nhiễu những đốm trắng cịn lại. .............................................................. 65
Hình 5.10: Lấp đầy lỗ hổng trong ảnh (a) và (b). .......................................................... 66
Hình 5.11: Phát hiện và theo dõi đối tượng ở video khác nhau. .................................... 67
Hình 5.12: Gía trị ngưỡng T để phát hiện đối tượng . ................................................... 68
Hình 5.13: Kết quả đếm xe trong các video. .................................................................. 69
Hình 5.14: Hai xe chạy gần nhau chỉ đếm được 1 xe. ................................................... 69
Hình 5.15: xe chạy với tốc độ cao khơng đếm được...................................................... 70
Hình 5.16: Các xe chạy tách rời nhau chưa bị chồng lấp. ............................................. 71
Hình 5.17: Kết quả số xe đếm được trước khi tách 2 xe chồng lấp. .............................. 71
Hình 5.18: Kết quả số xe đếm được sau khi tách 2 xe bị chồng lấp .............................. 72
Hình 5.19: Kết quả phân loại xe lớn và xe nhỏ .............................................................. 73
Hình 5.20: Kết quả ước lượng tốc độ trung bình xe chạy là 52 km/h............................ 74
Hình 5.21: Kết quả ước lượng tốc độ trung bình xe chạy là 23km/h............................. 74
Hình 5.22: Xe chạy nhanh khơng phát hiện được xe để tính tốc độ .............................. 75
Hình 5.23: Xe đi chiều ngược lại chưa ước lượng được tốc độ. .................................... 75
Hình 5.24: Kết quả tăng cường nhiễu muối tiêu ............................................................ 77
Hình 5.25: Kết quả trừ nền khi tăng cường nhiễu muối tiêu ......................................... 78
Hình 5.26: Kết quả trước và sau thêm nhiễu trắng ....................................................... 79
Hình 5.27: Kết quả trừ nền khi tăng cường nhiễu trắng ................................................ 80

Trang xiv

Luan van


Hình 5.28: Kết quả trước và sau thêm nhiễu đốm vào video1 ...................................... 81
Hình 5.29. Kết quả trừ nền trước và sau thêm nhiễu đốm ............................................. 82
Hình 5.30: Xe máy chạy tốc độ cao ............................................................................... 83
Hình 5.31: Mơ phỏng trên video đầu vào khác nhau lấy từ camera tĩnh ....................... 84
Hình 5.32: Mơ phỏng trên video đầu vào khác nhau lấy từ camera động ..................... 84

Trang xv

Luan van


DANH SÁCH CÁC CHỮ VIẾT TẮT
BG:

Background

FG:

Foreground

EM:

Expectation Maximization

GMM:

Gaussian Mixture Model

Trang xvi

Luan van


Luận Văn Thạc Sĩ: “Phân Loại Và Đếm Lưu Lượng Xe Lưu Thông”

CHƯƠNG 1
TỔNG QUAN
1.1. Tổng quan về lĩnh vực nghiên cứu, các kết quả nghiên cứu trong và ngoài nước
đã công bố.
1.1.1. Tổng quan về lĩnh vực nghiên cứu
Ở Việt Nam, với sự phát triển và tốc độ đô thị hóa nhanh, dân cư thành phố khơng
ngừng gia tăng do thu hút các nguồn lực lao động từ các vùng miền khác nhau đổ về các
khu công nghiệp lao động và sinh sống. Kinh tế phát triển, đời sống con người ngày càng
nâng cao, nhu cầu đi lại ngày càng tăng kéo theo số lượng phương tiện xe cá nhân ở
thành phố tăng nhanh đột biến. Mọi ngã đường đều bị chật cứng, hiện tượng ùn tắc xảy
ra liên tục, kéo dài hàng giờ, và những hệ lụy khác như: ơ nhiễm mơi trường vì khói thải
xe hay phải cần đến nhiều lực lượng chuyên trách để điều tiết giao thông.
Mật độ người tham gia giao thông quá đông nên những vụ tai nạn giao thông xảy
ra thường xuyên, làm thiệt hại lớn về người và của cải. Đồng thời, vấn đề điều khiển các
phương tiện giao thông khi xảy ra tắc nghẽn giao thơng gặp rất nhiều khó khăn và thường
phải nhờ vào sự điều hành của cảnh sát giao thông. Tuy nhiên số lượng cảnh sát giao
thông vẫn cịn rất hạn chế bên cạnh đó trang thiết bị kỹ thuật còn rất thiếu, trong những
giờ cao điểm thì q trình điều tiết giao thơng diễn ra khơng dễ dàng đây thực sự là một
thách thức đối với việc kiểm sốt giao thơng ở nước ta hiện nay.
Để giải quyết bài tốn đó lần lượt các hệ thống theo dõi được ứng dụng ngày một
rộng rãi hiện nay trong nhiều lĩnh vực của đời sống và xã hội. Một trong những hệ thống
theo dõi được sử dụng khá phổ biến hiện nay trên thế giới là hệ thống theo dõi camera
giao thơng. Hệ thống này có thể nhận về mật độ các phương tiện lưu thông trên một
tuyến đường từ đó hệ thống sẽ đưa ra các tín hiệu cảnh báo cho các tài xế. Điều này góp
HVTH: Thiều Đoàn Quang Huy

Trang 1

Luan van

GVHD: PGS.TS Nguyễn Thanh Hải


Luận Văn Thạc Sĩ: “Phân Loại Và Đếm Lưu Lượng Xe Lưu Thông”

phần không nhỏ trong việc điều tiết giao thơng, nhất là với tình hình giao thơng của nước
ta hiện nay.

Hình 1.1: Trung tâm quản lý giao thơng ở Washington [1]
Trong những năm gần đây dựa vào sự phát triển của cơng nghệ cảm biến và máy
tính bằng những lợi thế đó kĩ thuật mới được đề xuất đó là sử dụng kĩ thuật xử lý ảnh để
giám sát thơng tin giao thơng. Việc phát triển nhanh chóng kĩ thuật xử lý ảnh đã đã giúp
cho con người dễ dàng hơn trong việc triển khai các hệ thống theo dõi tự động thơng
minh hơn, điển hình như việc phát hiện đối tượng chuyển động, phân loại đối tượng,
theo dõi đối tượng chuyển động, dự đoán các hành vi của đối tượng, giám sát trạng thái
tắt đường và tai nạn [2].

Hình 1.2: Hệ thống giám sát giao thơng bằng xử lý ảnh [3]
Việc phát hiện đối tượng chuyển động không chỉ giúp ích trong việc theo dõi các
đối tượng chuyển động để phát hiện mật độ xe trên một hệ thống giám sát trực tiếp mà
còn mang lại nhiều ứng dụng trong cuộc sống. Các đối tượng được phát hiện nhờ những

HVTH: Thiều Đoàn Quang Huy

Trang 2

Luan van

GVHD: PGS.TS Nguyễn Thanh Hải

Luận Văn Thạc Sĩ: “Phân Loại Và Đếm Lưu Lượng Xe Lưu Thơng”

thơng tin trong một khung ảnh. Có rất nhiều hướng tiếp cận để giải quyết vấn đề trên sử
dụng nhiều thuật toán và phương pháp khác nhau. Đối với bài toán phát hiện đối tượng
một số tác giả sử dụng phương pháp phân ngưỡng. Đây là một thuật tốn đơn giản nhưng
khơng hiệu quả [4]. Một số khác sử dụng phương pháp đồng nhất đa lưới vùng quan tâm
(ROI) [5].
Ngồi ra cịn một số thuật tốn nổi tiếng khác cũng thường xuyên được sử dụng,
ví dụ như thuật tốn trừ nền (Background subtraction). Thuật tốn này có nhược điểm
là không phát hiện được đối tượng tĩnh và phải cập nhật ảnh nền một cách thường xuyên
do điều khiện ánh sáng và không gian thay đổi [6, 7]. Thuật tốn này sẽ sử dụng ảnh
tham chiếu khi khơng có phương tiện làm ảnh gốc và so sánh thời gian thực với ảnh thu
được. Sự khác biệt giữa chúng càng lớn thì mật độ giao thơng càng cao. Kỹ thuật
này đo mật độ giao thông bằng cách so sánh tương quan giữa hình ảnh trực tuyến và
ảnh tham chiếu. Như vậy có nhiều hướng tiếp cận để xử lý vấn đề phát hiện đối tượng.
Nhưng việc lựa chọn phương pháp áp dụng thì dựa vào tình huống cụ thể.
Đối với trường hợp có ảnh nền khơng thay đổi thì việc phát hiện đối tượng chuyển
động Có hàng trăm các nghiên cứu gần đây nhằm phát triển phương pháp trừ nền,
chia thành các nhánh khác nhau, tuy nhiên, trong số đó các hướng tiếp cận nhiều
nhất là phương pháp hỗn hợp Gaussian vì ưu điểm phù hợp với những ứng dụng
ngồi trời. Cách tốt nhất để thu nhận nền là lưu trữ ảnh nền khi khơng có bất kỳ đối
tượng chuyển động nào, nhưng trong mơi trường thực thì khó có thể như vậy. Hơn
nữa, dưới điều kiện thực tế nền cũng luôn thay đổi như thay đổi ánh sáng, các đối
tượng đến hoặc rời khỏi cảnh. Để giải quyết vấn đề này, nhiều phương pháp mơ
hình nền đã được phát triển [8, 9] và được phân loại thành các loại sau [10]:
Mơ hình nền cơ bản: Sử dụng giá trị trung bình hoặc bình qn hoặc phân
tích lược đồ xám cho tồn thời gian. Mơ hình nền mờ: sử dụng một giá trị trung bình mờ

HVTH: Thiều Đồn Quang Huy

Trang 3

Luan van

GVHD: PGS.TS Nguyễn Thanh Hải


Luận Văn Thạc Sĩ: “Phân Loại Và Đếm Lưu Lượng Xe Lưu Thông”

hoặc hỗn hợp mờ loại 2 của Gauss. Phát hiện tiền cảnh được sử dụng tích hợp Sugeno
hoặc tích hợp Choquet. Phát hiện tiền cảnh có thể thực hiện bằng logic mờ tham khảo
trong. Mơ hình nền mạng nơ ron: Mơ hình nền được biểu diễn bằng trị trung bình
của các hệ số của một mạng nơ ron được đào tạo trên N khung sạch. Mạng huấn
luyện như thế nào để phân loại mỗi điểm ảnh là nền hoặc tiền cảnh.
Mơ hình Gauss hỗn hợp: Stauffer [11] đã đưa ra phương pháp trộn các mơ
hình nền lại để giải quyết vấn đề ánh sáng thay đổi, các hành động lặp lại, sự lộn
xộn từ khung cảnh thực tế. Mục đích là chứng minh một mơ hình nền đơn thì khơng
thể xử lý được các khung hình liên tục trong một thời gian dài. Sử dụng phương
pháp pha trộn phân tán Gauss để biểu diễn mỗi điểm ảnh trên một mơ hình. Theo
luận điểm đó, thực hiện và tích hợp phương pháp này vào trong hệ thống giám sát.
Phương pháp tiếp cận trên mơ hình điểm ảnh bằng việc xem xét giá trị điểm ảnh
quan sát với vài mô hình Gauss đơn.
1.1.2. Một số kết quả nghiên cứu đã cơng bố
Năm 2012 G. SalviAn [12] dựa trên phân tích Blob để tính xe tự động trong hệ
thống giám sát giao thông. Phương pháp thực hiện là trừ nền, phát hiện Blob, phân tích
Blob dùng phương pháp k-means clustering, theo vết Blob và tính số phương tiện. Hệ
thống cho kết quả chính xác cao và đảm bảo tính thời gian thực. Tuy nhiên hạn chế của
hệ thống này là chưa phân loại được xe (xe máy, xe tải, xe ôtô ) di chuyển trên đường.
Năm 2012 Pejman Niksaz [13] đã nghiên cứu và thực thi hệ thống ước lượng mật

độ phương tiện trên đường cao tốc dùng xử lý ảnh. Phương pháp nghiên cứu là chuyển
ảnh RGB thành ảnh xám, tăng cường ảnh và xử lý hình thái. Phương pháp này được thực
thi trên phần mềm Matlab nên chi phí thấp nhưng vẫn cho kết quả chính xác ở tốc độ
cao. Ưu điểm của phương pháp này là không sử dụng cảm biến. Tuy nhiên nhược điểm
lớn nhất của nó là rất nhạy với ánh sáng.

HVTH: Thiều Đoàn Quang Huy

Trang 4

Luan van

GVHD: PGS.TS Nguyễn Thanh Hải


Luận Văn Thạc Sĩ: “Phân Loại Và Đếm Lưu Lượng Xe Lưu Thông”

Năm 2015 Mrs. Muth Sebastian, Anisha Ann Sam và một số cộng sự [14] cũng
đã thảo luận phương pháp để giảm được tần suất tai nạn ở những đoạn đường quanh co
bằng cách chỉ ra số lượng xe và tốc độ các xe đang đến gần trên màn hình. Phương pháp
được sử dụng là mơ hình Gaussian hỗn hợp (GMM), lọc nhiễu cho mơ hình GMM, phát
hiện Blob, phân tích Blob, tính số phương tiện và tốc độ của nó. Trong đó tốc độ được
giám sát bằng cách phát hiện vị trí của xe di chuyển và vị trí điểm tham chiếu, giá trị này
được so sánh với số khung đã biết trước.
Năm 2013 Dolley Shukla [15] cùng với cộng sự đã nghiên cứu và xây dựng hệ
thống xác định tốc độ di chuyển của các xe, phương pháp được sử dụng là thuật tốn
Lucas- Kanade, ước tính tốc độ di chuyển của xe từ các khung hình của video. Xe di
chuyển thì được phát hiện và được theo dõi theo tất cả các khung hình. Dựa vào quỹ tâm
của các xe sẽ xác định được khoảng cách di chuyển của xe trong tất cả các khung hình.
Khi đó tốc độ trung bình các xe sẽ được xác định từ các khung hình trước đó.

Năm 2015 Jyotsna Tripathi [16] cùng với cộng sự đã nghiên cứu xây dựng hệ
thống tự động đếm và phân loại các phương tiện giao thông trên các tuyến đường trong
thành phố và đường cao tốc hệ thống này có ý nghĩa quan trọng trong việc theo dõi và
quản lý giao thông. Phương pháp thực hiện phân đoạn, sử dụng bộ lọc, phương pháp
hình thái, Phát hiện blob. Số xe đươc đếm sẽ được hiển thị và được phân loại qua từng
ngày. Về phần cứng sử dụng các cảm biến để cảnh báo, tuy nhiên cảm biển bị ảnh hưởng
bởi điều kiện thời tiết.
Năm 2013 P. Srinivas và Y.L. Malathilatha [24] cũng đã đề xuất để thực thi một
hệ thống đèn giao thông thông minh trong thời gian thực dùng xử lý ảnh. Phương pháp
thực hiện là trừ nền, cập nhật nền, phương pháp phát hiện biên và tính số phương tiện
dùng thuật tốn Moore-neighborhood. Kết quả cho thấy phương pháp phát hiện biên

HVTH: Thiều Đoàn Quang Huy

Trang 5

Luan van

GVHD: PGS.TS Nguyễn Thanh Hải


Luận Văn Thạc Sĩ: “Phân Loại Và Đếm Lưu Lượng Xe Lưu Thông”

Canny cho kết quả tốt hơn so với hai phương pháp phát hiện biên khác là Boolean và
Marr-Hildreth.
Qua những nghiên cứu đã trình bày ở trên ta có thể nhận thấy rằng hầu hết các
bài báo đều phát hiện xe bằng phương pháp trừ nền. Phương pháp trừ nền được sử dụng
nhiều vì nền đường trong camera giao thông thường là nền tĩnh. Một số phương pháp trừ
nền đã được Massimo Piccardi [27] đã tổng hợp lại. Trong luận văn này ngoài việc dùng
những phương pháp lọc nhiễu ảnh, phát hiện theo dõi, đếm, phân loại xe lớn và xe nhỏ,

ước lượng tốc độ xe cho việc xử lý ảnh, thì phương pháp trừ nền được áp dụng và kết
quả là đã tách được các xe ra khỏi nền, loại bỏ được các thành phần không mong muốn
trong quá trình xử lý.
1.2. Mục tiêu của luận văn
Mục tiêu của luận văn là xây dựng một hệ thống có thể đếm số lượng xe lưu thông,
phân loại xe nhỏ và xe lớn thơng qua kích thước của xe. Áp dụng xử lý ảnh để xử lý
video cho việc đếm số lượng xe, phân loại xe lớn và xe nhỏ, trong đó phương pháp dán
nhãn để đếm xe. Sử dụng phương pháp đánh dấu xe để phân loại xe lớn và xe nhỏ. Ước
lượng tốc độ của xe được tính tốn dựa vào vị trí của xe trong mỗi khung hình.
1.3. Nhiệm vụ và giới hạn của luận văn
1.3.1. Nhiệm vụ:
-

Áp dụng các thuật toán trừ nền cơ bản, xây dựng mơ hình Gaussian hỗn hợp để
tách các xe di chuyển ra khỏi nền đường.

-

Xây dựng các phương pháp xử lý ảnh hình thái, bộ lọc trung bình và bộ lọc trung
vị để lọc nhiễu xe, áp dụng các thao tác lấp đầy khoảng trống các đối tượng được
phát hiện.

-

Áp dụng phương pháp phân vùng ảnh để phát hiện xe và theo dõi xe.

HVTH: Thiều Đoàn Quang Huy

Trang 6

Luan van

GVHD: PGS.TS Nguyễn Thanh Hải