Ứng dụng deep learning vào việc hỗ trợ phân luồng và giám sát giao thông

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT
THÀNH PHỐ HỒ CHÍ MINH

ĐỒ ÁN TỐT NGHIỆP
NGÀNH CƠNG NGHỆ KỸ THUẬT CƠ ĐIỆN TỬ

ỨNG DỤNG DEEP LEARNING VÀO VIỆC HỖ TRỢ
PHÂN LUỒNG VÀ GIÁM SÁT GIAO THÔNG

GVHD :
SVTH :

TS. BÙI HÀ ĐỨC
NGUYỄN HỨA GIA BẢO
NGUYỄN DUY TUẤN
TRẦN QUỐC TUẤN

SKL007258

Tp. Hồ Chí Minh, tháng 08/2020


TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ
MINH
KHOA ĐÀO TẠO CHẤT LƯỢNG
CAO

----------

ĐỒ ÁN TỐT

NGHIỆP
ỨNG DỤNG DEEP LEARNING VÀO VIỆC HỖ
TRỢ PHÂN LUỒNG VÀ GIÁM SÁT GIAO
THÔNG

TS. BÙI HÀ ĐỨC
NGUYỄN HỨA GIA BẢO 16146613
NGUYỄN DUY TUẤN
16146220
TRẦN QUỐC TUẤN
16146222
Khoá : 2016 - 2020
Ngành : CNKT CƠ ĐIỆN TỬ
GVHD:
SVTH :

Tp Hồ Chí Minh, tháng 08 năm 2020


TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HCM

CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM

Độc lập - Tự do – Hạnh phúc

KHOA ĐÀO TẠO CHẤT LƯỢNG CAO

NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP
Giảng viên hướng dẫn: ........................................................................
Sinh viên thực hiện: ...................................................................... MSSV: ..............................

..................................................................... MSSV: ..............................
..................................................................... MSSV: ..............................

1. Tên đề tài:
........................................................................................................................................
........................................................................................................................................
2. Các số liệu, tài liệu ban đầu:
........................................................................................................................................
........................................................................................................................................
........................................................................................................................................
3. Nội dung chính của đồ án:
........................................................................................................................................
........................................................................................................................................
........................................................................................................................................
........................................................................................................................................
........................................................................................................................................
........................................................................................................................................
4. Các sản phẩm dự kiến
........................................................................................................................................
........................................................................................................................................
........................................................................................................................................
5. Ngày giao đồ án:
6. Ngày nộp đồ án:
7. Ngơn ngữ trình bày:

Bản báo cáo:
Trình bày bảo vệ:

Tiếng Anh
Tiếng Anh




Tiếng Việt
Tiếng Việt




TRƯỞNG KHOA

TRƯỞNG BỘ MÔN

GIẢNG VIÊN HƯỚNG DẪN

(Ký, ghi rõ họ tên)

(Ký, ghi rõ họ tên)

(Ký, ghi rõ họ tên)

i


TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HCM

CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM

KHOA ĐÀO TẠO CHẤT LƯỢNG CAO

Độc lập - Tự do – Hạnh phúc

Bộ môn Cơ Điện Tử

PHIẾU NHẬN XÉT ĐỒ ÁN TỐT NGHIỆP
(Dành cho giảng viên hướng dẫn)
Họ và tên sinh viên…………………………………..MSSV:…………….. Hội đồng:…………
Họ và tên sinh viên…………………………………..MSSV:…………….. Hội đồng:…………
Họ và tên sinh viên…………………………………..MSSV:…………….. Hội đồng:…………
Họ và tên sinh viên…………………………………..MSSV:…………….. Hội đồng:…………
Tên đề tài: ...................................................................................................................................
...................................................................................................................................................
Ngành đào tạo: ...........................................................................................................................
Họ và tên GV hướng dẫn: ..........................................................................................................
Ý KIẾN NHẬN XÉT
1. Nhận xét về tinh thần, thái độ làm việc của sinh viên (không đánh máy)
...........................................................................................................................................................................
...........................................................................................................................................................................
...........................................................................................................................................................................
...........................................................................................................................................................................

2. Nhận xét về kết quả thực hiện của ĐATN(không đánh máy)
2.1.Kết cấu, cách thức trình bày ĐATN:
...........................................................................................................................................................................
...........................................................................................................................................................................
...........................................................................................................................................................................
...........................................................................................................................................................................
...........................................................................................................................................................................

2.2 Nội dung đồ án:
(Cơ sở lý luận, tính thực tiễn và khả năng ứng dụng của đồ án, các hướng nghiên cứu có thể tiếp tục phát triển)
...........................................................................................................................................................................
...........................................................................................................................................................................
...........................................................................................................................................................................
...........................................................................................................................................................................
...........................................................................................................................................................................

ii


2.3.Kết quả đạt được:
...........................................................................................................................................................................
...........................................................................................................................................................................
...........................................................................................................................................................................
...........................................................................................................................................................................
...........................................................................................................................................................................

2.4. Những tồn tại (nếu có):
...........................................................................................................................................................................
...........................................................................................................................................................................
...........................................................................................................................................................................
...........................................................................................................................................................................

3. Đánh giá:

1.

2.

Điểm tối
đa

Mục đánh giá

TT

Hình thức và kết cấu ĐATN

Điểm đạt
được

30

Đúng format với đầy đủ cả hình thức và nội dung của các mục

10

Mục tiêu, nhiệm vụ, tổng quan của đề tài

10

Tính cấp thiết của đề tài

10

Nội dung ĐATN

50

Khả năng ứng dụng kiến thức toán học, khoa học và kỹ thuật, khoa
học xã hội…

5

Khả năng thực hiện/phân tích/tổng hợp/đánh giá

10

Khả năng thiết kế chế tạo một hệ thống, thành phần, hoặc quy trình
đáp ứng yêu cầu đưa ra với những ràng buộc thực tế.

15

Khả năng cải tiến và phát triển

15

Khả năng sử dụng công cụ kỹ thuật, phần mềm chuyên ngành…

5

3.

Đánh giá về khả năng ứng dụng của đề tài

10

4.

Sản phẩm cụ thể của ĐATN

10
Tổng điểm

100

4. Kết luận:
 Được phép bảo vệ
 Không được phép bảo vệ
TP.HCM, ngày

tháng

năm 2020

Giảng viên hướng dẫn
(Ký, ghi rõ họ tên)

iii


TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HCM

CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM

KHOA ĐÀO TẠO CHẤT LƯỢNG CAO

Độc lập - Tự do – Hạnh phúc

Bộ môn Cơ Điện Tử

PHIẾU NHẬN XÉT ĐỒ ÁN TỐT NGHIỆP
(Dành cho giảng viên phản biện)
Họ và tên sinh viên ...................................................... MSSV: ………….Hội đồng…………
Họ và tên sinh viên ...................................................... MSSV: ………….Hội đồng…………
Họ và tên sinh viên ...................................................... MSSV: ………….Hội đồng…………
Họ và tên sinh viên ...................................................... MSSV: ………….Hội đồng…………
Tên đề tài: ...................................................................................................................................
...................................................................................................................................................
Ngành đào tạo: ...........................................................................................................................
Họ và tên GV phản biện: (Mã GV)..............................................................................................
Ý KIẾN NHẬN XÉT
1. Kết cấu, cách thức trình bày ĐATN:
...........................................................................................................................................................................
...........................................................................................................................................................................
...........................................................................................................................................................................

2. Nội dung đồ án:
(Cơ sở lý luận, tính thực tiễn và khả năng ứng dụng của đồ án, các hướng nghiên cứu có thể tiếp tục phát triển)
...........................................................................................................................................................................
...........................................................................................................................................................................
...........................................................................................................................................................................
...........................................................................................................................................................................

3. Kết quả đạt được:
...........................................................................................................................................................................
...........................................................................................................................................................................
...........................................................................................................................................................................
...........................................................................................................................................................................

4. Những thiếu sót và tồn tại của ĐATN:
...........................................................................................................................................................................
...........................................................................................................................................................................
...........................................................................................................................................................................
...........................................................................................................................................................................

iv


5. Câu hỏi:
..........................................................................................................................................................................
..........................................................................................................................................................................
..........................................................................................................................................................................
..........................................................................................................................................................................
..........................................................................................................................................................................
..........................................................................................................................................................................
..........................................................................................................................................................................
..........................................................................................................................................................................
..........................................................................................................................................................................
..........................................................................................................................................................................
..........................................................................................................................................................................

6. Đánh giá:

1.

2.

Điểm tối

đa

Mục đánh giá

TT

Hình thức và kết cấu ĐATN

Điểm đạt
được

30

Đúng format với đầy đủ cả hình thức và nội dung của các mục

10

Mục tiêu, nhiệm vụ, tổng quan của đề tài

10

Tính cấp thiết của đề tài

10

Nội dung ĐATN

50

Khả năng ứng dụng kiến thức toán học, khoa học và kỹ thuật, khoa

học xã hội…

5

Khả năng thực hiện/phân tích/tổng hợp/đánh giá

10

Khả năng thiết kế, chế tạo một hệ thống, thành phần, hoặc quy trình
đáp ứng yêu cầu đưa ra với những ràng buộc thực tế.

15

Khả năng cải tiến và phát triển

15

Khả năng sử dụng công cụ kỹ thuật, phần mềm chuyên ngành…

5

3.

Đánh giá về khả năng ứng dụng của đề tài

10

4.

Sản phẩm cụ thể của ĐATN

10
Tổng điểm

100

7. Kết luận:
 Được phép bảo vệ
 Không được phép bảo vệ
TP.HCM, ngày

tháng

năm 2020

Giảng viên phản biện
(Ký, ghi rõ họ tên)

v


LỜI CẢM ƠN
Để đạt được một số thành công và kết quả nhất định mà nhóm đang có hiện
nay, ngoài sự phấn đấu và nỗ lực của chính bản thân từng thành viên trong nhóm
không thể nào không nhắc đến sự chỉ bảo tận tình của quý thầy cô tại trường đại học
Sư phạm Kỹ thuật thành phố Hồ Chí Minh, sự động viên, cỗ vũ tinh thần đến từ phía
gia đình và sự hỗ trợ nhiệt tình của bạn bè cùng lớp.
Đầu tiên nhóm thực hiện nói chung và từng thành viên trong nhóm nói riêng
xin gửi lời cám ơn đến quý thầy cô của Khoa Đào tạo Chất lượng cao cũng như những
thầy cô công tác tại trường đại học Sư phạm Kỹ thuật thành phố Hồ Chí Minh về

những bài học và kiến thức bổ ích, quý báu trong suốt bốn năm học vừa qua, đây sẽ
là hành trang không thể thiếu đối với chúng tôi cho con đường vào đời mai sau. Đặc
biệt nhóm chúng tôi xin chân thành bày tỏ sự biết ơn sâu sắc đến với Thầy Bùi Hà
Đức. Không có từ ngữ nào có thể diễn tả hết sự biết ơn của chúng tôi dành cho thầy,
thầy không chỉ là giảng viên hướng dẫn của chúng tôi mà thầy còn như một người
cha, người chú trong gia đình luôn tận tâm chỉ bảo, nhiệt tình quan tâm, giúp đỡ cho
chúng tôi những lúc khó khăn trong suốt cả quá trình chúng tôi thực hiện đề tài.
Ngồi ra chúng tơi xin bày tỏ lòng biết ơn sâu sắc đến với những người cha,
người mẹ và người thân thương trong gia đình của chúng tôi khi đã luôn là một hậu
phương vững chắc, luôn giúp đỡ và hỗ trợ chúng tôi rất nhiều không chỉ về mặt tài
chính mà còn động viên và khích lệ chúng tôi về mặt tinh thần những lúc khi chúng
tôi tưởng chừng như đã nản chí.
Và cuối cùng chúng tôi cũng xin gửi lời cám ơn đến những người bạn cùng
nhóm, cùng lớp. đã luôn kề vai sát cánh, giúp đỡ cũng như động viên chúng tôi rất
nhiều trong suốt bốn năm học tại trường cũng như trong cả quá trình thực hiện đề tài.
Do những giới hạn nhất định về thời gian nghiên cứu cũng như lượng kiến
thức, thông tin thu thập, kinh nghiệm xử lý và giải quyết các thuật toán còn hạn chế
nên bài luận văn khó tránh khỏi những thiếu sót trong quá trình nghiên cứu và thực
hiện. Vì vậy, nhóm chúng tôi rất mong nhận được sự đánh giá và góp ý chân thành
của quý thầy cô và từ Hội đồng phản biện.

vi


Chúng tôi xin cảm ơn về những đánh giá, nhận xét thẳng thắn ấy vì đây chính
là kinh nghiệm và bài học quý báu giúp chúng tôi có thể cải thiện đề tài trong tương
lai. Từ đó giúp cho bài luận văn này có giá trị hơn về mặt lý luận và thực tiễn.
Xin chân thành cám ơn!
TP. Hồ Chí Minh, ngày 28 tháng 07 năm 2020
Sinh viên thực hiện đề tài:

Nguyễn Hứa Gia Bảo
Nguyễn Duy Tuấn
Trần Quốc Tuấn

vii


TĨM TẮT
Thực trạng giao thơng ở Việt Nam ln tồn tại nhiều vấn đề như: loại phương
rất đa dạng, số lượng phương tiện giao thông trên đường rất nhiều, ý thức tham gia
giao thông kém, quản lý giao thông lỏng lẻo. Nhưng Việt Nam lại là nước có tốc độ
phát triển kinh tế nhanh trong khu vực châu Á, dẫn đến số lượng phương tiện giao
thông tập trung tại các thành phố lớn ngày một tăng. Những vấn đề này dẫn đến tình
trạng ùn tắc nghiêm trọng tại Việt Nam cũng như các nước đang phát triển trên thế
giới.
Sau quá trình tìm hiểu, với hơn 600 camera giám sát được lắp đặt trên hầu hết
các tuyến đường thành phố Hồ Chí Minh và số lượng camera sẽ còn tăng trong tương
lai. Chính vì vậy chúng tơi chọn nghiên cứu đề tài: “Ứng dụng Deep Learning hỗ
trợ phân luồng và giám sát giao thông” để xử lý nguồn dữ liệu sau khi thu về từ
camera là một phương pháp hiệu quả và có tính khả thi giúp quản lý giám sát tình
trạng giao thông tốt hơn.
Trong nghiên cứu này, chúng tôi đề xuất một phương pháp nhận dạng và theo
dõi phương tiện để giải quyết vấn đề này. Quá trình thực hiện bao gồm hai bước
chính: nhận dạng và theo dõi các phương tiện giao thông. Bước đầu các phương tiện
giao thông được nhận dạng và phân loại thành các dạng (xe máy, xe ô tô, xe bus, xe
khách, xe tải) bằng thuật toán YOLOv3. Sau đó là bước theo dõi quá trình di chuyển
của các phương tiện bằng Deep Sort. Cuối cùng tất cả dữ liệu về phương tiện được
gửi đến phần phân tích và ước lượng phương tiện giao thông bằng việc đếm và phân
loại các phương tiện theo hướng di chuyển.
Tất cả quá trình điều được chạy trong thời gian thực với mạch nhúng Jetson

Nano. Thuật toán hoạt động ổn định, mạnh mẽ với độ chính xác trong quá trình nhận
dạng lên đến trên 90%.
Trong tương lai, chúng tôi mong muốn có thể tiếp tục được nghiên cứu, cải
tiến và phát triển đề tài này qua việc phát triển những ứng dụng được liên kết với
Server từ đó giúp việc giám sát tình trạng giao thông theo thời gian thực của các cơ
quan nhà nước được thực hiện dễ dàng hơn, đồng thời người dân và người tham gia
giao thông có thể sử dụng ứng dụng này để trực tiếp giám sát và chủ động đưa ra
những quyết định phù hợp cho lộ trình của chính mình.

viii


ABSTRACT
The reality of transportation in Vietnam has comprised existential issues such
as variety type of vehicle with large amount on the road, people’s traffic
consciousness is poor, loose of traffic management. But Vietnam is a country with
rapid economic development in Asia, leading to an increasing number of
transportation in big cities. These problems lead to serious congestion in Vietnam as
well as in developing countries around the world.
After the research process, with more than 600 trafic cameras have been
installed on most streets of Ho Chi Minh City and the number of cameras will increase
in the near future. Therefore, we choose to study the project: "Application of Deep
Learning to support traffic monitoring and distribution" to process the data which
is collected from cameras. This is an effective and feasible method to improve and
manage transportation in Vietnam.
In this project, detecting and tracking method is proposed to solve this
problem. The process consists of two main steps: detecting and tracking vehicles.
Initially, vehicles were identified and classified into different types (motorcycle, car,
bus, coach, truck) by the YOLOv3 algorithm. Next, vehicles are tracked by Deep
Sort. Finally vehicles data will be analysised and estimated by counting and

classifying vehicles according to the direction of movement.
The algorithm which is run in real time with the Jetson Nano board, is very
stable, powerful and have the recognition accuracy over 90%.
In the future, we’re look forward to continuing to research, improve, and
develop this project by developing applications that are linked to the Server so that
we can monitor traffic conditions in real-time. It is easier for government agencies to
make it, and citizens can use this application to directly monitor and proactively make
appropriate decisions for their own roadmap themself.

ix


MỤC LỤC

Nhiệm vụ đồ án tốt nghiệp ........................................................................................................ i
Trang nhận xét của giáo viên hướng dẫn .................................................................................. ii
Trang nhận xét của giáo viên phản biện .................................................................................. iv
Lời cảm ơn ............................................................................................................................. vi
Tóm tắt ................................................................................................................................. viii
Abstract .................................................................................................................................. ix
Mục lục ................................................................................................................................... x
Danh sách các từ viết tắt và thuật ngữ được sử dụng .............................................................. xii
Danh sách các bảng biểu ....................................................................................................... xiii
Danh sách các hình ảnh và biểu đồ ....................................................................................... xiv
CHƯƠNG 1: TỔNG QUAN VỀ ĐỀ TÀI ỨNG DỤNG DEEP-LEARNING TRONG
VIỆC HỖ TRỢ PHÂN LUỒNG VÀ GIÁM SÁT TÌNH TRẠNG GIAO THÔNG ............ 1
1.1 Lý do chọn đề tài. ........................................................................................................... 1
1.2 Mục tiêu và nhiệm vụ nghiên cứu ................................................................................. 3
1.3 Phạm vi đề tài ................................................................................................................ 4
1.4 Bố cục luận văn ............................................................................................................. 5

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT ...................................................................................... 6
2.1 Ùn tắc giao thông và phương pháp xử lý ...................................................................... 6
2.1.1 Thực trạng ................................................................................................................ 6
2.1.2 Các giải pháp ............................................................................................................ 6
2.1.2.1 Giải pháp giám sát tình trạng giao thông truyền thống ........................................ 6
2.1.2.2 Giải pháp giám sát tình trạng giao thông áp dụng công nghệ cao ........................ 8
2.2 Nhận dạng đối tượng với Deep Learning .................................................................... 15
2.2.1 Convolutional Neural Network (CNN) ................................................................... 15
2.2.1.1 Các khái niệm cơ bản ....................................................................................... 15
2.2.1.2 Các thành phần trong mạng CNN ..................................................................... 17
2.2.2 R-CNN, Fast R-CNN và Faster R-CNN.................................................................. 23
2.2.3 SSD (Single Shot Detector) .................................................................................... 24
x


2.2.4 YOLO (YOU ONLY LOOK ONCE) ..................................................................... 24
2.2.5 Intersection over Union (IoU) ................................................................................. 30
2.3 Theo dõi đối tượng....................................................................................................... 31
2.3.1 Kalman Filter ......................................................................................................... 31
2.3.2 Deep Sort ............................................................................................................... 32
2.4 Kết luận tổng quan ...................................................................................................... 33
CHƯƠNG 3: HỆ THỐNG THU THẬP DỮ LIỆU ............................................................ 34
3.1 Xây dựng Dataset......................................................................................................... 34
3.2 Phần cứng đề xuất ....................................................................................................... 36
CHƯƠNG 4: NHẬN DẠNG VÀ THEO DÕI ĐỐI TƯỢNG ............................................. 39
4.1 Nhận dạng đối tượng ................................................................................................... 39
4.2 Huấn luyện thuật toán ................................................................................................. 42
4.3 Kiểm tra trên tập dữ liệu test và đánh giá quá trình training ...................................... 43
4.4 Theo dõi phương tiện................................................................................................... 49
CHƯƠNG 5: KẾT QUẢ VÀ NHẬN XÉT .......................................................................... 51

5.1 Kết quả và nhận xét về thuật toán ............................................................................... 51
5.1.1 Kết quả và nhận xét khả năng nhận dạn phương tiện .............................................. 51
5.1.2 Kết quả và nhận xét khả năng theo dõi phương tiện ................................................ 54
5.2 Kết quả đạt và chưa đạt trong và sau quá trình thực hiện đề tài ................................. 55
CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .................................................... 57
6.1 Kết luận........................................................................................................................ 57
6.2 Hướng phát triển ......................................................................................................... 57
TÀI LIỆU THAM KHẢO ................................................................................................... 59

xi


DANH SÁCH CÁC TỪ VIẾT TẮT VÀ THUẬT NGỮ
ĐƯỢC SỬ DỤNG

Tên

Định nghĩa

Region
Proposal

Vùng đề xuất, là những vùng mà có khả năng chứa đối tượng hoặc
hình ảnh ở bên trong nó.

Bounding
box

Là hình chữ nhật được vẽ bao quanh đối tượng nhằm xác định đối
tượng.

Offsets

Là các tham số giúp xác định bounding box bao gồm tâm của bounding
box (x, y) và chiều dài, chiều rộng (w, h).

Anchor box

Là một bounding box cơ sở để xác định bounding box bao quanh vật
thể dựa trên các phép dịch tâm và scale kích thước chiều dài, rộng.

Feature

Các đặc trưng được tạo ra từ một mạng deep CNN chẳng hạn Alexnet
hoặc VGG16 giúp nhận diện nhãn của hình ảnh.

Pipeline

Là một tập hợp các bước xử lý liên tiếp nhận đầu vào là dữ liệu (ảnh,
âm thanh, các trường dữ liệu) và trả ra kết quả dự báo ở output

Ground
Truth Label

Đây là nhãn được gắn cho dữ liệu nhằm làm nổi bậc các đặc điểm để
hỗ trợ cho quá trình phân loại

xii

DANH SÁCH BẢNG BIỂU
Bảng 3.1: Số lượng hình ảnh phương tiện lưu thông trên đường nhóm đã thu thập được và số
lượng phương tiện đã nhận dạng được ............................................................................. 36
Bảng 3.2: Thông số kỹ thuật của Jetson Nano .................................................................. 37
Bảng 3.3: Các bộ phận của Jetson Nano........................................................................... 38
Bảng 5.1: Hiệu suất hoạt động và đưa ra kết quả của các thuật toán khác nhau với phần cứng
đã chọn lựa ...................................................................................................................... 55

xiii


DANH SÁCH HÌNH ẢNH VÀ BIỂU ĐỒ
Hình 1.1: Việt Nam là nước có tỉ lệ xảy ra tai nạn giao thông khá cao theo số liệu thống kê từ
Our World in Data ........................................................................................................... 1
Hình 2.1: Thiết bị giám sát hành trình .............................................................................. 8
Hình 2.2: Tình trạng giao thông được xem trên Google Maps .......................................... 9
Hình 2.3: Giao diện trang chủ Cổng thông tin giao thông ................................................ 10
Hình 2.4: Qui trình chung của công đoạn xử lý ảnh ......................................................... 11
Hình 2.5: Lưu đồ của phép tách nền ................................................................................. 13
Hình 2.6: Hoạt động của Neural Network ........................................................................ 13
Hình 2.7: Cấu trúc của hình ảnh trong không giam màu RGB .......................................... 16
Hình 2.8: Mặt nạ Kernel trên ma trận lớn (hình ảnh) ........................................................ 17
Hình 2.9: Quá trình mặt nạ Kernel quét ảnh xám ............................................................. 19
Hình 2.10: Quá trình mặt nạ Kernel quét ảnh RGB .......................................................... 19
Hình 2.11: Kết quả khi qua lớp Pooling với ma trận đầu vào có kích thước (5x5) ............ 21
Hình 2.12: Trái: Hai lớp của mạng neural được kết nới hồn tồn khơng có hiện tượng bỏ học.
Phải: Hai lớp giống nhau sau khi giảm 50% kết nối ......................................................... 22
Hình 2.13: Mơ tả tḥt tốn YOLO.................................................................................. 24
Hình 2.14: Ví dụ về Classification loss ............................................................................ 26
Hình 2.15: So sánh YOLO v3-Tiny với các tḥt tốn khác ............................................. 28

Hình 2.16: Cấu trúc của Darknet ...................................................................................... 29
Hình 2.17: Định nghĩa về IoU .......................................................................................... 30
Hình 2.18: Cách tính IoU ................................................................................................. 30
Hình 2.19: Cách thức hoạt động của Kalman Filter .......................................................... 32
Hình 3.1: Các camera giao thông trong khu vực TP.Hồ Chí Minh ................................... 34
Hình 3.2: Kết quả khi dán nhãn trên ảnh ban đêm ............................................................ 35
xiv


Hình 3.3: Kết quả khi dán nhãn trên ảnh ban ngày ........................................................... 35
Hình 3.4: Kết quả khi dán nhãn trên video ....................................................................... 35
Hình 3.5: Board Jetson Nano và các đặc điểm phần cứng ................................................ 37
Hình 4.1: Cấu trúc của YOLOv3 và YOLOv3-Tiny ......................................................... 40
Hình 4.2 Kích thước dữ liệu sau khi qua mỗi lớp ............................................................. 42
Hình 4.3: Sự hình thành của Google Colaboratory ........................................................... 44
Hình 4.4: Biểu đồ tỉ lệ phần trăm khả năng nhận diện của YOLOv3 ................................ 44
Hình 4.5: Biểu đồ so sánh khả năng nhận diện của thuật toán khi áp dụng YOLOv3 so với
Ground Truth ................................................................................................................... 45
Hình 4.6: Biểu đồ so sánh khả năng nhận diện của thuật toán khi áp dụng YOLOv3-Tiny so
với Ground Truth ............................................................................................................. 46
Hình 4.7: So sánh Ground Truth với kết quả nhận diện của tḥt tốn YOLOv3-Tiny sau
61.000 steps ..................................................................................................................... 47
Hình 4.8: So sánh Ground Truth với kết quả nhận diện của tḥt tốn YOLOv3-Tiny sau
90.000 steps ..................................................................................................................... 47
Hình 4.9: So sánh Ground Truth với kết quả nhận diện của thuật tốn YOLOv3-Tiny sau
157.000 steps ................................................................................................................... 48
Hình 4.10: So sánh Ground Truth với kết quả nhận diện của thuật toán YOLOv3-Tiny sau
202.000 steps ................................................................................................................... 48
Hình 4.11: Biểu đồ so sánh độ trùng khớp giữa khả năng nhận diện của thuật toán và Ground
Truth ................................................................................................................................ 48

Hình 4.12: Hình tracking bị sai trên video kiểm tra .......................................................... 49
Hình 5.1: Kết quả nhận dạng phương tiện ban ngày ......................................................... 52
Hình 5.2: Kết quả nhận dạng ban đêm ............................................................................. 53
Hình 5.3: Tracking trong video ........................................................................................ 54

xv


CHƯƠNG 1: TỔNG QUAN VỀ ĐỀ TÀI ỨNG DỤNG DEEP
LEARNING TRONG VIỆC HỖ TRỢ PHÂN LUỒNG VÀ
GIÁM SÁT TÌNH TRẠNG GIAO THÔNG
1.1 Lý do chọn đề tài.
Việt Nam là một nước có tốc độ phát triển kinh tế nhanh trong khu vực, nên
số người dân tập trung tập trung tại các thành phố lớn ngày càng nhiều. Tuy nhiên cơ
sở hạ tầng lại không thể đáp ứng kịp nhu cầu phát triển dẫn đến nhiều vấn nạn giao
thông thường xuyên xảy ra. Chính vì vậy mà hiện trạng giao thông hiện tại vẫn còn
gây nên những vấn đề khiến xã hội phải tranh luận. Không chỉ vì những thiệt hại về
mặt của cải, vật chất mà nó gây ra, mà còn bởi vì những tổn hại vô cùng to lớn về mặt
thể chất cũng như tinh thần đến người tham gia giao thông. Những vấn nạn này cướp
đi sinh mạng của rất nhiều người là những lực lượng lao động quý giá, những nhà trí
thức, những hiền tài và cả những mầm non tương lai.

Hình 1.1: Việt Nam là nước có tỉ lệ xảy ra tai nạn giao thông khá cao theo số liệu
thống kê từ Our World in Data

1


Theo thông tin thống kê được từ Bộ Công an [1], tính từ đầu năm 2009 đến
hết tháng 12 năm 2019, trên toàn đất nước đã xảy ra hơn 320.000 vụ tai nạn giao

thông đường bộ, làm chết hơn 95.000 người và làm bị thương gần 330.000 người.
Chỉ tính riêng năm 2019, trên địa bàn cả nước đã xảy ra 17.626 vụ tai nạn giao thông,
cướp đi sinh mạng của 7.624 người, làm 13.624 người bị thương. Có thể kể đến những
vụ tai nạn giao thông đặc biệt nghiêm trọng gây rúng động lòng người và xót xa cho
toàn xã hội như vụ xe container tông hàng loạt xe máy dừng đèn đỏ tại Long An, hay
vụ tai nạn thương tâm khi xe khách đâm vào đoàn người đi đưa đám ở Vĩnh Phúc
khiến tang thương bao trùm tang thương khắp cả một vùng quê. Như vậy, trong 10
năm qua trên địa bàn cả nước bình quân mỗi năm có gần 10.000 người chết vì tai nạn
giao thông, mỗi ngày xảy ra trên dưới 50 vụ tai nạn làm tử vong và bị thương rất
nhiều người. Trong đó đa số những vụ tai nạn thì người bị tai nạn đang trong độ tuổi
lao động, đây chính là nguồn lực không nhỏ để đất nước phát triển, điều này tạo ra
những hệ lụy khơng nhỏ cho xã hội.
Ngồi những vụ tai nạn giao thông thì ùn tắc giao thông cũng là một vấn nạn
cần phải giải quyết thật sự triệt để bằng các phương pháp thích hợp. Theo các số liệu
thống kê từ Bộ Giao thông Vận tải [2], thiệt hại của nạn ùn tắc giao thông gây ra cho
hai thành phố lớn nhất của nước ta là thành phố Hồ Chí Minh và Hà Nội là 1,3 tỉ
USD/năm và 1,2 tỉ USD/năm [3]. Thiệt hại về kinh tế, cơ sở vật chất là không thể
chối cãi không những thế mà nạn ùn tắc giao thông còn gây nên những hiểm họa khôn
lường đến chính sức khỏe của người tham gia giao thơng khi họ phải chờ hàng phút,
hàng giờ ngồi đường dưới cái nắng oi bức tiếp xúc với khói bụi độc hại thải ra từ
chính các phương tiện mà họ đang sử dụng, đồng thời cũng chính những khí thải này
là nguyên nhân trực tiếp gây nên tình trạng ô nhiểm không khí trầm trọng khiến cho
hiệu ứng nhà kính ngày càng biến đổi khó lường trước.
Đứng trước thực trạng về tình hình giao thơng khơng mấy tích cực và đáng lo
ngại như hiện nay, giảm thiểu số vụ tai nạn giao thông không chỉ còn là mục tiêu mà
đã trở thành một trong những nhiệm vụ hàng đầu mà đất nước ta cần thực hiện. Tuy
nhiên để thực hiện và hồn thành mục tiêu đã đề ra khơng chỉ còn dựa vào ý thức của
người tham gia giao thông mà còn cần phải có những bộ luật khắt khe và biện pháp
cứng rắn hơn. Một vài nước phát triển đã và đang bắt đầu sử dụng một số biện pháp
giám sát tình trạng giao thông như dùng cảm biến áp suất để đo áp lực mà xe tác động

lên mặt đường từ đó tính tốn được sớ lượng xe đang di chuyển trên mặt đường hoặc
một phương pháp khác chính là sử dụng bộ định vị GPS lắp đặt vào mỗi xe kết hợp
với các trạm thu phát sóng vô tuyến để xác định được vị trí của xe đang lưu thông từ
đó có thể giám sát chính xác tình trạng giao thông tại thời điểm đó. Tuy nhiên những
2


phương pháp trên lại khó có thể thực thi tại Việt Nam vì nhiều lý do khác nhau như
hệ thống đường bộ ở Việt Nam còn nhiếu bất cập và chưa đạt chất lượng hoặc giá
thành của một bộ định vị GPS cho một chiếc xe là còn khá cao chưa phù hợp với thu
nhập của đại đa số người dân tại Viêt Nam. Chính vì thế mà một phương pháp khác
đã và đang được Bộ Công an kết hợp với Sở Giao thông Vận tải tiến hành áp dụng
đó chính là lắp đặt hệ thống camera giám sát trên khắp các tuyến đường với các mục
tiêu chủ yếu là giám sát tình trạng giao thông, đồng thời hệ thống camera này còn có
thể áp dụng cho một số mục đích khác như nhận diện và định danh khuôn mặt, nhận
diện hành vi, quản lý đám đông, truy tìm - phân tích một đới tượng, nhận diện biển
sớ,... Với hệ thống camera giám sát được lắp đặt dày đặc này, ta có thể áp dụng các
công nghệ xử lý ảnh hay các thuật toán đang phát triển rất mạnh mẽ hiện nay như
Machine Learning, Deep Learning giúp hệ thống nhận biết và giám sát tình trạng giao
thông trên các đoạn đường.
Với mong muốn góp một phần nhỏ công sức của mình nhằm giảm thiểu tối đa
những vụ tai nạn thương tâm và điều tiết, giám sát tình trạng giao thông. Nhóm chúng
tôi đã nảy sinh một phương pháp có thể tận dụng được chính cơ sở vật chất và thiết
bị sẵn có - những chiếc camera đã được Bộ giao thông vận tải cùng với các ban ngành
đầu tư lắp đặt trên hầu hết các tuyến đường trong khu vực thành phố Hồ Chí Minh.
Chúng tôi kết hợp thêm những thuật toán và phần xử lý Deep Learning dựa trên các
hình ảnh được thu thập từ camera để nhận diện, giám sát các phương tiện lưu thông
trên đường. Từ đó đưa ra các quyết định nhận xét về tình hình giao thông hiện tại
cũng như phát hiện các phương tiện di chuyển sai phạm. Qua đề tài nghiên cứu này
chúng tôi mong muốn đóng góp một phần công sức của mình nhằm tác động, thay

đổi nhận thức, suy nghĩ và văn hóa tham gia giao thông của người Việt Nam qua đó
cải thiện và giải quyết được tình trạng ùn tắc giao thông và giảm thiểu số vụ tai nạn
giao thông gây ra nỗi ám ảnh không nhỏ trên các cung đường, mang lại những lợi ích
tích cực cho xã hội và đất nước.
1.2 Mục tiêu và nhiệm vụ nghiên cứu
Từ ý tưởng ban đầu là xử lý hình ảnh được thu về từ hệ thống camera giám sát
giao thông của thành phố Hồ Chí Minh kết hợp với việc sử dụng những thuật toán
Deep Learning. Mục tiêu chính của chúng tôi cần phải thực hiện là nhận diện được
các phương tiện giao thông và giám sát chúng để đưa ra các nhận xét về tình trạng
giao thông tại thời điểm hiện tại.

3


Nhiệm vụ chúng tôi cần thực hiện trong đề tài này gồm có:
 Thu thập dữ liệu hình ảnh và video từ các nguồn bên ngoài thực tế.
 Lựa chọn phương pháp phù hợp để nhận dạng phương tiện tham gia giao
thơng.
 H́n luyện tập dữ liệu trên tḥt tốn thích hợp đã được lựa chọn sao cho phù
hợp với yêu cầu và đáp ứng phần cứng.
 Kiểm tra độ chính xác của tḥt tốn thơng qua dữ tập dữ liệu thực tế. Để đưa
ra đề xuất hiệu chỉnh giúp cho tḥt tốn hoạt động tớt hơn phù hợp với yêu
cầu của đề tài.
 So sánh hiệu suất xử lý và nhận dạng của các phương pháp nhận dạng.
1.3 Phạm vi đề tài
Do những giới hạn nhất định về mặt trình độ và kinh nghiệm xử lý các thuật
toán Deep Learning vì vậy trong đề tài này chúng tôi đã thực hiện một số phần phù
hợp với khả năng của mình gồm các bước như tiến hành thu thập dữ liệu, nguồn thông
tin từ các camera đã được lắp sẵn trên các tuyến đường, sử dụng YOLOv3-Tiny để
tiến hành nhận dạng các phương tiện tham gia giao thông mà chưa thể áp dụng hồn

tồn các tḥt tốn nhận dạng khác như R-CNN, Fast R-CNN, Faster R-CNN để tiến
hành nhận dạng, phân tích dữ liệu và so sánh các thuật toán cũng như kết quả với
nhau. Bên cạnh đó giới hạn về mặt phần cứng của cũng là một lý do khiến chúng tơi
khơng thể áp dụng tḥt tốn YOLOv3 để nhận dạng phương tiện mà phải sử dụng
đến YOLOv3-Tiny. Tuy việc này khiến cho khả năng nhận diện phương tiện tham
gia giao thơng của tḥt tốn có giảm sút đi phần nào nhưng khơng q đáng kể,
ngồi ra chính nhờ việc sử dụng phiên bản thu gọn này mà từ đó tốc độ xứ lý của hệ
thống đã cải thiện được phần nào.
Bên cạnh việc nhận dạng, thì chúng tôi còn tracking phương tiện bằng Deep
Sort kết hợp với Kalman Filter tuy nhiên lại chưa ứng dụng những phương pháp khác
để tiến hành theo dõi và so sánh các kết quả giữa các phương pháp. Do đó không thể
lựa chọn ra một phương pháp theo dõi tối ưu và hiệu quả với nguồn dữ liệu hiện tại
cũng như chưa có được nhiều kết quả mong muốn để đối chiếu.
Cuối cùng, đề tài này nhằm mục đích hỗ trợ cho những phương pháp giải quyết
vấn đề ùn tắc giao thông ở thời điểm hiện tại kết hợp với một số ứng dụng của công
nghệ 4.0 nhưng chưa thể gọi là một cách giải quyết hoàn hảo được vấn đề ùn tắc giao
thông vì vấn đề này phụ thuộc vào rất nhiều lý do khác nhau.

4


1.4 Bố cục luận văn
Luận văn này bao gồm sáu chương. Trong từng chương, chúng tôi sẽ giới thiệu
và trình bày các phương pháp giải quyết vấn đề ùn tắc giao thơng bằng ứng dụng các
tḥt tốn Deep Learning kết hợp với các phương pháp xử lý ảnh.
Chương 1: Tổng quan đề tài
Trong chương 1 sẽ trình bày những vấn đề hiện hữu của tình hình giao thông
dẫn nhập lý do chọn đề tài, những mục tiêu đề ra cùng với những nhiệm vụ cần phải
giải quyết, giới hạn và bố cục đề tài.
Chương 2: Cơ sở lý thuyết

Chương này trình bày về các cơ sở lý thuyết của các giải pháp được áp dụng
vào trong đề tài như là phương pháp thu thập dữ liệu giám sát từ xa, xử lý dữ liệu
được thu thập về, nhận dạng và theo dõi phương tiện bằng nhiều cách thức và cuối
cùng là phân tích kết quả đạt được sau quá trình trên.
Chương 3: Hệ thống thu thập dữ liệu
Chi tiết quá trình để có được những nguồn data cần thiết và xử lý data để có
thể đưa vào sử dụng cho việc huấn luyện thuật toán sẽ được đề cập trong chương 3
Chương 4: Nhận dạng và theo dõi phương tiện
Đây là chương sẽ giải thích lý do chọn phương pháp nhận dạng và theo dõi và
đánh giá kết quả sau khi đã áp dụng thuật toán để giải quyết các vấn đề trên.
Chương 5: Đánh giá kết quả
Việc đánh giá tất cả những gì đã đạt được cũng như chưa đạt được cùng với lý
do vì sao chưa làm được đi kèm những biểu đồ minh họa cùng với số liệu về quá trình
thực hiện trong suốt thời gian thực hiện đề tài sẽ được nêu rõ trong chương 5.
Chương 6: Kết luận và hướng phát triển
Từ kết quả đã đạt được bên trên, chương này sẽ kết luận những gì đã và chưa đạt
được, từ đó sẽ đưa ra hướng phát triển về sau cho đề tài.

5


CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
2.1 Ùn tắc giao thông và phương pháp xử lý
2.1.1 Thực trạng
Tình trạng ùn tắc giao thông đang diễn ra một cách ngày càng tồi tệ hơn với
nhiều nước trên thế giới, trong đó có thể kể đến một số ví dụ điển hình của vấn nạn
này như là thành phố Bangkok tại Thái Lan - một thành phố Đông Nam Á đang có
tốc độ phát triển rất nhanh chóng nhưng cũng đang đứng đầu trong danh sách của nạn
ùn tắc giao thông như là một hệ lụy của sự phát triển kinh tế và sự bùng nổ về dân số,
theo sau đó có thể kể đến thành phố Moscow tại Nga với vụ ùn tắc kinh hoàng kéo

dài 200km và kéo dài đến ba ngày [4], Mỹ - quốc gia có hệ thống giao thông và cơ
sở hạ tầng hiện đại bậc nhất thế giới cũng là nạn nhân của tình trạng ùn tắc giao thông,
nạn ùn tắc đã gây thiệt hại ước tính đến 124 tỉ USD chỉ tính riêng năm 2013 và con
số này được dự tính sẽ tăng lên đến 186 tỉ USD trong năm 2030 gây thiệt hại đáng kể
đến nền kinh tế Mỹ [5].
Nước ta cũng không phải trường hợp ngoại lệ mặc dù đang trên đà phát triển
về mặt nền kinh tế và đời sống xã hội, tuy nhiên lĩnh vực giao thông đã không đáp
ứng kịp yêu cầu cho sự phát triển của xã hội mong muốn. Ùn tắc giao thông vẫn luôn
là một gánh nặng dẫn đến sự kéo lùi trì trệ về rất nhiều mặt. Hệ lụy của ùn tắc giao
thông gây có thể nói rằng ảnh hưởng không nhỏ và có phần tiêu cực tới nhiều mặt
của đời sống xã hội chẳng hạn như làm tăng thời gian đi lại, tăng chi phí đi lại, tăng
lượng khí thải và tiếng ồn, giảm chất lượng môi trường sống đô thị, kìm hãm sự phát
triển của khu vực,… Theo các số liệu thống kê từ Bộ Giao thông Vận tải, thiệt hại
của nạn ùn tắc giao thông gây ra cho hai thành phố lớn nhất của nước ta là thành phố
Hồ Chí Minh và Hà Nội là 1,3 tỉ USD/năm và 1,2 tỉ USD/năm.
2.1.2 Các giải pháp
2.1.2.1 Giải pháp giám sát tình trạng giao thông truyền thống [6]
Để giải quyết tình trạng ùn tắc giao thông như hiện nay cần phải có một hệ
thống giám sát tình trạng giao thông trên từng con đường với độ chính xác cao. Việc
này đòi hỏi một lượng lớn thông tin giao thông thực tế với chất lượng cao trong thời
gian thực. Với một nhu cầu về lượng dữ liệu đồ sộ cùng độ chính xác cao như vậy
chúng ta cần có một hoặc nhiều phương pháp thu thập dữ liệu giao thông sao cho
thích hợp đồng thời phải đáp ứng và đảm bảo được quá trị thu thập dữ liệu phải đạt
6


hiệu suất rất cao. Ở một số nước, họ đã phát triển và áp dụng một số phương pháp cụ
thể để lấy được được một lượng lớn dữ liệu đáng kể từ đó khiến việc truy cập thông
tin giao thông thời gian thực trở nên dễ dàng hơn. Có thể kể đến một số phương pháp
đã được các nước khác dùng để giám sát lưu lượng phương tiện giao thông như

+ Sử dụng ống nén khí: các ống này được đặt dọc lề đường để phát hiện sự
thay đổi áp suất bên trong ống mỗi khi phương tiện đi qua, sự thay đổi áp suất này
được ghi lại và xử lý bởi một bộ đếm nằm ở bên đường. Hạn chế chính của công nghệ
này là hiệu quả của nó phụ thuộc vào điều kiện thời tiết, nhiệt độ và cơ sở hạ tầng
giao thông.
+ Cảm biến điện áp: các cảm biến được đặt trong một rãnh dọc theo bề mặt
đường của làn đường được giám sát. Hệ thống này hoạt động dựa trên nguyên tắc làm
chuyển đổi năng lượng cơ học thành năng lượng điện. Khi phương tiện lưu thông trên
mặt đường, bánh xe cũng như mặt đường sẽ chịu lực và bị biến dạng một phần rất
nhỏ, biến dạng cơ học của vật liệu làm thay đổi mật độ điện tích bề mặt của vật liệu.
Và dòng điện này cũng sẽ được ghi lại và xử lý.
+ Vòng từ: các vòng từ hình vuông được đặt dưới các con đường tạo ra từ
trường và từ trường này sẽ thay đổi khi có phương tiện đi qua. Thông tin về các
phương tiện lưu thông được truyền đến một thiết bị đếm được đặt ở bên đường. Tuy
không bị ảnh hưởng bời thời tiết nhưng hạn chế của phương pháp này lại là t̉i thọ
ngắn vì dễ hỏng hóc bởi các phương tiện có trọng lượng lớn đi ngang dễ gây tăng chi
phí bảo trì và sửa chửa sau một thời gian sử dụng.
+ Cảm biến hồng ngoại: cảm biến này phát hiện được sự hiện diện của phương
tiện giao thông, tốc độ thông qua năng lượng hồng ngoại phát ra từ bộ phát hồng
ngoại của cảm biến. Hạn chế của phương án này là hiệu suất kém trong thời tiết xấu
và phạm vi hoạt động trên làn đường còn khá hạn chế.
+ Sóng siêu âm: các thiết bị này phát hiện các phương tiện lưu thông bằng
cách phát ra sóng âm thanh rồi đo thời gian để tín hiệu quay trở lại thiết bị. Hạn chế
của phương pháp này là các cảm biến siêu âm được đặt trên làn đường có thể bị ảnh
hưởng bởi nhiệt độ hoặc thời tiết xấu.

7


2.1.2.2 Giải pháp giám sát tình trạng giao thông áp dụng công nghệ cao

Áp dụng GPS trên thế giới
Tại Việt Nam, ngày 17/01/2020, Chính phủ ban hành Nghị định 10/2020/NĐCP quy định về kinh doanh và điều kiện kinh doanh vận tải bằng xe ô tô, có hiệu lực
thi hành từ ngày 01 tháng 4 năm 2020 [7].
Việc sử dụng các thiết bị giám sát mang lại hiệu quả to lớn trong việc giám sát
tình trạng giao thông. Ưu điểm lớn nhất của giải pháp này là tận dụng việc chia sẻ và
khai thác dữ liệu GPS của thiết bị giám sát hành trình hiện có. Vốn dữ liệu GPS chủ
yếu phục vụ quản lý và điều hành vận tải hành khách, nhưng nay được khai thác để
dự báo tình trạng giao thông, phục vụ điều hành giao thông đô thị. Giải pháp này còn
ứng dụng các công nghệ tiên tiến khác để đưa ra các dự báo có tính chính xác cao,
phù hợp với điều kiện giao thông thực tế [8].

Hình 2.1: Thiết bị giám sát hành trình
Tuy nhiên, việc áp dụng phương pháp này còn rất nhiều bất cập và hạn chế.
Khi điều kiện kinh tế còn nghèo nàn, mức sống của người dân chưa đủ cao thì việc
áp dụng thiết bị giám sát với một mức chi phí khá cao thì cũng là một vấn đề khó
khăn đối với người dân. Hiện nay chúng ta chỉ mới áp dụng thiết bị giám sát cho các
phương tiện có hành trình dài như xe khách, xe tải, xe bus,... Và xe máy là phương
tiện lưu thông nhiều nhất tại Việt Nam thì chưa sử dụng nhiều đối với phương pháp
này. Bên cạnh đó, một số chủ xe, hợp tác xã của hãng xe vẫn còn chưa thật sự chú
8