(LUẬN văn THẠC sĩ) nghiên cứu ứng dụng kỹ thuật máy học để phân tích hình ảnh và nhận dạng phương tiện về hành vi vi phạm luật giao thông đường bộ

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC BÀ RỊA - VŨNG TÀU

ĐỖ HỮU HIỀN
NGHIÊN CỨU ỨNG DỤNG KỸ THUẬT MÁY HỌC ĐỂ PHÂN
TÍCH HÌNH ẢNH VÀ NHẬN DẠNG PHƯƠNG TIỆN VỀ HÀNH
VI VI PHẠM LUẬT GIAO THÔNG ĐƯỜNG BỘ

LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN

Bà Rịa - Vũng Tàu, tháng 4 năm 2021

download by :


BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC BÀ RỊA - VŨNG TÀU

ĐỖ HỮU HIỀN

NGHIÊN CỨU ỨNG DỤNG KỸ THUẬT MÁY HỌC ĐỂ PHÂN
TÍCH HÌNH ẢNH VÀ NHẬN DẠNG PHƯƠNG TIỆN VỀ HÀNH
VI VI PHẠM LUẬT GIAO THÔNG ĐƯỜNG BỘ

LUẬN VĂN THẠC SỸ
Chuyên ngành: Công nghệ thông tin
Mã số ngành: 8480201
CÁN BỘ HƯỚNG DẪN KHOA HỌC
TS. PHAN NGỌC HOÀNG

Bà Rịa - Vũng Tàu, tháng 4 năm 2021

2

download by :


LỜI CAM ĐOAN
Tơi xin cam đoan đây là cơng trình nghiên cứu của riêng tôi dưới sự hướng dẫn
của TS. Phan Ngọc Hoàng. Các số liệu, kết quả nêu và trình bày trong Luận văn là
trung thực và chưa từng được ai cơng bố trong bất kỳ cơng trình nào khác.
Qua đây, tôi cũng xin cam đoan rằng trong thời gian hồn thành Luận văn tơi đã
được một vài đồng nghiệp hỗ trợ, giúp đỡ để hoàn thành đến thời điểm này và cũng đã
được tôi chân thành cảm ơn. Các thơng tin trích dẫn trong Luận văn đã được chỉ rõ
nguồn gốc.
Học viên thực hiện Luận văn

Đỗ Hữu Hiền

3

download by :


LỜI CẢM ƠN
Trước tiên, tôi xin chân thành gửi lời tri ân sâu sắc đến Ban giám hiệu Trường
Đại học Bà Rịa – Vũng Tàu, Ban lãnh đạo Viện Đào tạo Quốc tế và Sau đại học, cùng
quý thầy, quý cô thuộc khoa Công nghệ Thông tin – Trường Đại học Bà Rịa – Vũng
Tàu đã tận tình quan tâm hỗ trợ, khuyến khích, truyền đạt cho tơi nhiều kiến thức quý

báu và đã tạo mọi điều kiện thuận lợi trong suốt q trình học tập và nghiên cứu tại
Trường.
Tơi xin tỏ lòng biết ơn sâu sắc đến thầy TS. Phan Ngọc Hồng, người đã quan
tâm, trách nhiệm, tận tình giúp đỡ và truyền đạt nhiều kinh nghiệm để tôi sớm có thể
thực hiện và hồn thành được đề tài.
Xin chân thành ghi ơn người thân trong gia đình, đồng nghiệp trong cơ quan,
đơn vị và các bạn đã thông cảm, tận tình, giúp đỡ, hỗ trợ và động viên tơi rất nhiều
trong q trình thực hiện đề tài.
Một lần nữa, tôi thành thật xin chân thành cảm ơn!
Học viên thực hiện Luận văn

Đỗ Hữu Hiền

4

download by :


MỤC LỤC
LỜI CAM ĐOAN ....................................................................................................... 3
LỜI CẢM ƠN ............................................................................................................ 4
MỤC LỤC .................................................................................................................. 5
DANH MỤC CÁC TỪ VIẾT TẮT............................................................................ 9
DANH MỤC CÁC HÌNH ........................................................................................ 10
DANH MỤC BẢNG................................................................................................. 13
1. GIỚI THIỆU ........................................................................................................ 14
1.1. Đặt vấn đề:.......................................................................................................... 14
1.2. Tính cấp thiết của đề tài: ..................................................................................... 18
2. MỤC TIÊU, ĐỐI TƯỢNG, PHẠM VI, NỘI DUNG VÀ HƯỚNG NGHIÊN
CỨU.......................................................................................................................... 22

2.1. Mục tiêu của đề tài .............................................................................................. 22
2.2 Đối tượng............................................................................................................. 22
2.3 Phạm vi................................................................................................................ 23
2.4. Nội dung nghiên cứu ........................................................................................... 23
2.4.1. Về nội dung .............................................................................................. 23
2.4.2. Về mặt lý thuyết ....................................................................................... 23
2.4.3. Về mặt thực nghiệm ................................................................................. 24
2.5. Phương pháp luận và phương pháp nghiên cứu ................................................... 24
3. TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU .................................................. 25
3.1. Những hướng nghiên cứu đã được thực hiện ....................................................... 25
3.2. Những kết quả nghiên cứu đã áp dụng vào thực tế .............................................. 26
3.3. Những phương pháp nghiên cứu đã được áp dụng trên thế giới và Việt Nam ...... 28
3.4. Một số vấn đề còn hạn chế của những nghiên cứu trước và những vấn đề cần được
tiếp tục nghiên cứu hồn thiện ................................................................................... 30
3.4.1. Một số vấn đề cịn hạn chế của những nghiên cứu trước ........................... 30
3.4.2. Những vấn đề cần được tiếp tục nghiên cứu hoàn thiện ............................ 30
4. CẤU TRÚC LUẬN VĂN ..................................................................................... 31
5. NGHIÊN CỨU TỔNG QUAN VÀ PHÂN TÍCH BÀI TỐN............................ 33
Chương 1. Các khái niệm, tổng quan về trí tuệ nhân tạo, học máy, các giải thuật
về học máy và kỹ thuật áp dụng cho phát hiện, nhận dạng đối tượng ................... 33
5

download by :


1. Khái niệm chung [6-9, 16, 17, 31] ........................................................................ 33
1.1. Xử lý ảnh ............................................................................................................ 33
1.2. Trí tuệ nhận tạo (AI-Artificial Intelligence)......................................................... 33
1.3. Học máy (Machine Learning) ............................................................................. 33
1.4. Học sâu (Deep Learning) .................................................................................... 33

1.5. Mạng nơ-ron nhân tạo (Artificial Neural Network) ............................................. 33
2. Tổng quan về trí tuệ nhân tạo [6-9, 21] ............................................................... 33
2.1. Trí tuệ nhân tạo ................................................................................................... 33
2.2. Ứng dụng trí tuệ nhân tạo trong hiện tại và tương lai .......................................... 35
3. Tổng quan về máy học [6-9, 16-17, 21-23] ........................................................... 38
3.1. Học máy (Machine Learning) ............................................................................. 38
3.2. Ứng dụng học máy .............................................................................................. 38
3.3. Các phương thức về máy học .............................................................................. 38
4. Các giải thuật về máy học [16-17, 21-23] ............................................................. 41
4.1. Giải thuật Mạng nơ-ron nhân tạo (Artificial Neural Network - ANN) ................. 41
4.2. Giải thuật dựa vào thể thức (K-nearest neighbors - KNN) ................................... 42
4.3. Giải thuật cây quyết định (Decision tree) ............................................................ 43
4.4. Giải thuật Random forest (RF) ............................................................................ 45
4.5. Giải thuật máy hỗ trợ vector (Support vector machine - SVM) ........................... 46
4.6. Giải thuật Naive Bayes (NB)............................................................................... 47
4.7. Giải thuật phân cụm K-means clustering ............................................................. 48
5. Kỹ thuật áp dụng cho phát hiện, nhận dạng đối tượng [16-17, 21-23, 26-27] .... 49
5.1. Kỹ thuật phát hiện đối tượng kết hợp nhận dạng khuôn mặt (Viola Jones – Haar)
.................................................................................................................................. 49
5.2. Kỹ thuật biến đổi đặc trưng bất biến theo tỷ lệ (Scale-invariant feature transform SIFT) ......................................................................................................................... 52
5.3. Kỹ thuật biểu đồ độ dốc định hướng (Histogram of oriented gradients -HOG) ... 56
5.4. Kỹ thuật học sâu để nhận dạng và phân loại đối tượng [16-21] ........................... 60
5.4.1 Kỹ thuật mạng nơ-ron tích chập ................................................................ 60
5.4.2. Kỹ thuật tìm kiếm xác định vị trí vật thể trong ảnh sử dụng mạng CNN [3536] ..................................................................................................................... 65

6

download by :

5.4.3. Nhận xét, đánh giá và lựa chọn kỹ thuật áp dụng cho bài toán nhận dạng
phân loại đối tượng ............................................................................................ 75
Chương 2. Tổng quan về giao thông........................................................................ 78
1. Các khái niệm ....................................................................................................... 78
1.1. Giao thông .......................................................................................................... 78
1.2. Đối tượng tham gia giao thông ............................................................................ 78
2. Tổng quan về thực trạng giao thông.................................................................... 78
3. Phương pháp phát hiện, nhận dạng đối tượng tham gia giao thông [1, 29-30] .. 81
3.1. Nhận dạng phân loại đối tượng tham gia giao thông............................................ 81
3.2 Khái niệm về hệ thống nhận dạng biển số xe........................................................ 82
3.2.1 Khái niệm.................................................................................................. 82
3.2.2 Lịch sử và phát triển .................................................................................. 82
3.2.3. Cách thức hoạt động của hệ thống nhận dạng biển số xe .......................... 83
3.2.4. Phân loại các ứng dụng nhận dạng biển số xe ........................................... 84
3.2.5. Ứng dụng thực tiễn tại Việt Nam .............................................................. 85
3.2.6. Phân loại biển số xe.................................................................................. 85
3.3. Phương pháp nhận dạng biển số xe từ ảnh chụp của thiết bị ghi hình .................. 87
3.3.1. Phương pháp chuyển đổi Hough ............................................................... 88
3.3.2. Phương pháp hình thái học ....................................................................... 88
3.4. Phương pháp nhận dạng ký tự trong biển số xe ................................................... 89
3.5. Một số đặc điểm để nhận dạng biển số xe tại Việt Nam ...................................... 89
Chương 3. Áp dụng Yolov3 cho bài toán phát hiện, nhận dạng đối tượng tham gia
giao thông vi phạm luật giao thông đường bộ ......................................................... 92
1. Kỹ thuật đề xuất áp dụng cho bài toán................................................................ 92
1.1. Kỹ thuật áp dụng mạng nơ-ron tích chập (Faster R-CNN) .................................. 92
1.2. Kỹ thuật áp dụng nhìn một lần [32-34]................................................................ 92
3. Mơ hình và chức năng hệ thống đề xuất áp dụng cho bài tốn .......................... 97
3.1 Địa điểm áp dụng thử nghiệm mơ hình cho bài tốn............................................. 97
3.2. Thiết kế mơ hình lắp đặt hệ thống cho bài toán ................................................... 98
3.3. Thiết kế hệ thống trụ đỡ ...................................................................................... 98

3.4. Hệ thống Camera ................................................................................................ 98
7

download by :


3.5. Thiết kế mơ hình kết nối hệ thống xử lý bài toán................................................. 99
3.6. Sơ đồ tổng quan hệ thống áp dụng cho bài toán .................................................. 99
3.7. Hệ thống xử lý ảnh, phát hiện và nhận diện đối tượng ....................................... 101
3.7.1. Quy trình xử lý ảnh áp dụng cho bài tốn ............................................... 101
3.7.2. Quy trình phát hiện, nhận dạng và phân loại đối tượng ........................... 102
3.7.3. Quy trình phát hiện, nhận dạng biển số xe: ............................................. 104
Chương 4. Xây dựng chương trình thực nghiệm và đánh giá kết quả ................. 108
1. Xây dựng chương trình thực nghiệm ................................................................ 108
1.1. Cài đặt chương trình chạy [35] .......................................................................... 108
1.1.1 Cài đặt thư viện mã nguồn mở Opencv .................................................... 108
1.1.2. Cài đặt thư viện CUDA .......................................................................... 108
1.1.3. Cài đặt thư viện cuDNN ......................................................................... 108
1.1.4. Mô tả cài đặt thư viện ............................................................................. 108
1.2. Chạy chương trình ............................................................................................ 109
1.3. Quy trình huấn luyện và nhận dạng đối tượng vật thể........................................ 110
1.4. Quy trình huấn luyện và nhận dạng hành vi vi phạm chở quá số người quy định
................................................................................................................................ 117
1.5. Quy trình huấn luyện và nhận dạng hành vi vi phạm không đội mũ bảo hiểm ... 120
1.6. Quy trình huấn luyện và nhận diện biển số xe của đối tượng tham gia giao thông:
................................................................................................................................ 127
6. KẾT LUẬN VÀ KIẾN NGHỊ ............................................................................ 135
6.1. Kết luận ........................................................................................................... 135
6.2. Kiến nghị và hướng phát triển ........................................................................ 136
TÀI LIỆU THAM KHẢO: .................................................................................... 138

8

download by :


DANH MỤC CÁC TỪ VIẾT TẮT
STT

Từ viết tắt

Từ đầy đủ

1

AI

Artificial Intelligence

2

AR

Augmented Reality

3

ANN

Artificial Neural Network

4

BBF

Best Bin First

5

CNN

Convolutional Neural Network

6

CV

Cross Validation

7

ICT

Information and Communication Technology

8

ITS

Intelligent Transport Systems

9

KNN

K-Nearest Neighbors

10

MAE

Mean Absolute Error

11

MAP

Maximum A Posteriori

12

ML

Machine Learning

13

DL

Deep Learning

14

MLE

Maximum Likelihood Estimation

15

MSE

Mean Square Error

16

RF

Random Forest

17

RPN

Region Proposal Network

18

SMAC

Social, Mobile, Analytics & Cloud

19

SVM

Support Vector Machine

20

VR

Virtual Reality

21

YOLO

You Only Look Once

22

CNTT

Công nghệ thông tin

23

SXTN

Sản xuất thử nghiệm

9

download by :


DANH MỤC CÁC HÌNH
Hình 1: Mơ hình nút giao lộ (ngã tư) triển khai xây dựng mơ hình nghiên cứu ...... 22
Hình 2: Sơ đồ nhận dạng biển số xe ......................................................................... 25
Hình 3: Nhận dạng khn mặt người trong ảnh ...................................................... 26
Hình 4: Ứng dụng cơng nghệ trí tuệ nhân tạo với bộ nhớ hạn chế .......................... 35
Hình 5: Ứng dụng cơng nghệ trí tuệ nhân tạo tự nhận thức .................................... 35
Hình 6: Ứng dụng cơng nghệ trí tuệ nhân tạoxe tự lái ............................................. 36
Hình 7: Ứng dụng cơng nghệ trí tuệ nhân tạo cho thiết bị bay khơng người lái ...... 37
Hình 8: Ứng dụng cơng nghệ trí tuệ nhân tạo ROBOT trong day học ..................... 37
Hình 9: Phương thức học có giám sát ...................................................................... 39
Hình 10: Hình mơ tả chữ viết tay.............................................................................. 40
Hình 11: Phương thức học khơng giám sát về bài tốn phân cụm ........................... 40
Hình 12: Phương thức học bán giám sát .................................................................. 40
Hình 13: Minh họa mạng nơ-ron nhân tạo 3 lớp ..................................................... 41
Hình 14: Bản đồ 1NN ............................................................................................... 43
Hình 15: Quá trình phát triển cây (bên trái) và rừng ngẫu nhiên (bên phải) ........... 45
Hình 16: Bốn loại đặc trưng khu vực hình chữ nhật dùng trong kỹ thuật phát hiện
.................................................................................................................................. 51
Hình 17: Đặc trưng Haar tương ứng ảnh thực tế..................................................... 51
Hình 18: Kết quả của thuật tốn SIFT ..................................................................... 53
Hình 19: Các bước hiện thực giải thuật HOG .......................................................... 59
Hình 20: Kết quả phát hiện người thơng qua giải thuật HOG ................................. 60
Hình 21: Convolved feature khác nhau với ma trận lọc khác nhau ......................... 62
Hình 22: Cấu trúc của mạng CNN ........................................................................... 63

Hình 23: Trường tiếp nhận cục bộ ........................................................................... 63
Hình 24: Các bước tạo ra 1 hidden layer .................................................................. 65
Hình 25: Xây dựng lớp max pooling ......................................................................... 65
Hình 26: Xác định vị trí nhiều đối tượng trong ảnh ................................................. 65
10

download by :


Hình 27: Output sau khi thực hiện Graph Based Image Segmentation [1] .............. 66
Hình 28: Các bước của thuật tốn R-CNN [2] ......................................................... 66
Hình 29: Các bước của thuật tốn Fast R-CNN [3] ................................................. 67
Hình 30: Kiến trúc Faster R-CNN [4]....................................................................... 68
Hình 31: Hình chữ nhật region proposal ................................................................. 69
Hình 32: Hệ số IoU đánh giá bounding box dự đoán đối tượng khớp với ảnh thật.. 69
Hình 33: So sánh thời gian phát hiện đối tượng so với các kỹ thuật khác ................ 70
Hình 34: Mơ hình sử dụng mạng VGG16 ................................................................ 71
Hình 35: Kết quả mơ hình sử dụng mạng VGG16.................................................... 71
Hình 36: Sơ đồ số chiều của các feature maps ......................................................... 71
Hình 37: Sơ đồ áp dụng thuật tốn SSD ................................................................... 72
Hình 38: Chia ảnh thành ma trận ô vuông............................................................... 73
Hình 39: Sai số phân loại ......................................................................................... 75
Hình 40: Hình ảnh mơ tả phương tiện và người tham gia giao thơng ..................... 78
Hình 41: Hình ảnh mơ tả tình trạng khơng tn thủ Luật ....................................... 79
Hình 42: Ảnh xám và lược đồ xám của ảnh ............................................................. 80
Hình 43: Kiến trúc Darknet-53 ................................................................................. 94
Hình 44: Khung ranh giới xác định đối tượng chim ................................................ 95
Hình 45: Phát hiện, định vị và phân loại nhiều đối tượng........................................ 95
Hình 46: YOLO phiên bản 1 có những hạn chế đối với phát hiện đối tượng nhỏ .... 95
Hình 47: Kiến trúc Darknet-19 ................................................................................ 97

Hình 48: Bản vẽ thiết kế mơ hình lắp đặt hệ thống .................................................. 98
Hình 49: Mơ hình kết nối-truy xuất hệ thống ........................................................... 99
Hình 50: Cấu trúc phần cứng cho hệ thống ............................................................. 99
Hình 51: Cấu trúc phần mềm xử lý hệ thống ........................................................... 99
Hình 52: Phát hiện đối tượng áp dụng giải thuật YOLOv3 .................................... 104
Hình 53: Các bước dự đoán áp dụng theo giải thuật YOLOv3 ............................... 104
Hình 54: Sơ đồ mơ hình theo kến trúc áp dụng YOLOv3 theo tỷ lệ ........................ 105
Hình 55: Kết quả dự đốn áp dụng giải thuật YOLOv3 .......................................... 105
Hình 56: Bộ dữ liệu gồm 22 hình ảnh trích xuất từ bộ dữ liệu mẫu....................... 112
Hình 57: Kết quả nhận dạng đối tượng tham gia giao thông được gán nhãn
(tracking) .................................................................. 115Error! Bookmark not defined.
11

download by :


Hình 58: Bộ dữ liệu gồm 10 hình ảnh trích xuất từ bộ dữ liệu mẫu....................... 118
Hình 59: Kết quả nhận dạng đối tượng về hành vi vi phạm giao thơng được gán
nhãn (tracking)về chở q số người ....................................................................... 119
Hình 60: Bộ dữ liệu gồm 22 hình ảnh trích xuất từ bộ dữ liệu mẫu....................... 123
Hình 61: Kết quả nhận dạng đối tượng về hành vi vi phạm giao thông được gán
nhãn (tracking) về không đội mũ bảo hiểm ............................................................ 126

12

download by :


DANH MỤC BẢNG
Bảng 1: Kết quả nhận dạng các đối tượng, vật thể tham gia giao thông ................ 116

Bảng 2: Kết quả nhận dạng đối tượng tham gia giao thông về hành vi vi phạm chở
quá số người theo quy định ..................................................................................... 120
Bảng 3: Kết quả nhận dạng đối tượng tham gia giao thông về hành vi vi phạm chở
quá số người theo quy định ..................................................................................... 127

13

download by :


1. GIỚI THIỆU
1.1. Đặt vấn đề
Ngày nay, công nghệ thông tin là một trong những lĩnh vực quan trọng góp phần
thúc đẩy sự phát triển kinh tế của đất nước. Ứng dụng của công nghệ thông tin
(CNTT) xuất hiện ở rất nhiều lĩnh vực, là nền tảng của các nghiên cứu về công nghệ
cao như khoa học vũ trụ, công nghệ điện tử và tự động hóa, các hệ thống thơng
minh,... Khi Internet ra đời vào những năm 90, nó đã kết nối thơng tin trên tồn thế
giới lại với nhau. Chúng ta chỉ cần ngồi bất cứ nơi đâu với máy tính được kết nối
mạng là có thể truy nhập thơng tin về bất cứ lĩnh vực gì trên thế giới.
Tại Việt Nam, từ những năm 70 của thế kỷ 20 đã bắt đầu có các nghiên cứu về
máy tính cũng như những ứng dụng về CNTT. Hiện nay CNTT luôn được xác định là
lĩnh vực then chốt được đầu tư khơng những hiện đại hóa cơ sở hạ tầng mà còn là việc
ứng dụng sâu rộng vào các lĩnh vực khác của đời sống xã hội [1].
Nghị quyết số 36-NQ/TW ngày 01/7/2014 của Bộ Chính trị về đẩy mạnh ứng
dụng, phát triển CNTT đáp ứng yêu cầu phát triển bền vững và hội nhập quốc tế tiếp
tục khẳng định sự quan tâm chỉ đạo sát sao của Đảng đối với công tác ứng dụng, phát
triển CNTT, khẳng định vị trí, vai trị của CNTT trong sự nghiệp xây dựng và bảo vệ
Tổ quốc thời kỳ mới. Và là một văn bản rất quan trọng, là định hướng xuyên suốt cho
chiến lược ứng dụng và phát triển CNTT và truyền thông từ nay đến năm 2030, là tiền
đề quan trọng để CNTT Việt Nam phát triển mạnh mẽ, sâu rộng hơn, đề ra những định

hướng lớn cho sự phát triển ngành CNTT nước nhà trong khoảng 10 - 20 năm tới. Đến
năm 2030, đưa năng lực nghiên cứu, ứng dụng, phát triển, sản xuất và cung ứng sản
phẩm, dịch vụ CNTT đạt trình độ tiên tiến thế giới; Việt Nam trở thành quốc gia mạnh
về CNTT trong khu vực.
Ngày 27/09/2019 Bộ Chính trị ban hành Nghị quyết số 52-NQ/TW về một số
chủ trương, chính sách chủ động tham gia cuộc Cách mạng công nghiệp lần thứ tư
(CMCN 4.0) với quan điểm chủ động, tích cực tham gia cuộc Cách mạng công nghiệp
lần thứ tư là yêu cầu tất yếu khách quan; là nhiệm vụ có ý nghĩa chiến lược đặc biệt
quan trọng, vừa cấp bách vừa lâu dài của cả hệ thống chính trị và tồn xã hội, gắn chặt
với quá trình hội nhập quốc tế sâu rộng; đồng thời nhận thức đầy đủ, đúng đắn về nội
hàm, bản chất của cuộc Cách mạng công nghiệp lần thứ tư để quyết tâm đổi mới tư
14

download by :


duy và hành động, coi đó là giải pháp đột phá với bước đi và lộ trình phù hợp là cơ hội
để Việt Nam bứt phá trong phát triển kinh tế - xã hội. Xác định mục tiêu đến năm
2030, Việt Nam chúng ta duy trì xếp hạng về chỉ số Đổi mới sáng tạo tồn cầu (GII)
thuộc nhóm 40 nước dẫn đầu thế giới. Mạng di động 5G phủ sóng tồn quốc; mọi
người dân được truy cập Internet băng thơng rộng với chi phí thấp. Kinh tế số chiếm
trên 30% GDP; năng suất lao động tăng bình quân khoảng 7,5%/năm. Hồn thành xây
dựng Chính phủ số. Hình thành một số chuỗi đô thị thông minh tại các khu vực kinh tế
trọng điểm phía Bắc, phía Nam và miền Trung; từng bước kết nối với mạng lưới đô thị
thông minh trong khu vực và thế giới và tầm nhìn đến năm 2045, Việt Nam trở thành
một trong những trung tâm sản xuất và dịch vụ thông minh, trung tâm khởi nghiệp, đổi
mới sáng tạo thuộc nhóm dẫn đầu khu vực Châu Á; có năng suất lao động cao, có đủ
năng lực làm chủ và áp dụng công nghệ hiện đại trong tất cả các lĩnh vực kinh tế - xã
hội, mơi trường, quốc phịng, an ninh [2-3].
Bản chất của cuộc cách mạng công nghiệp lần thứ tư (CMCN 4.0) là cuộc cách

mạng thể chế. Với sự phát triển mạnh mẽ của cơng nghệ số tạo ra mơ hình mới, lực
lượng lao động mới, nhanh chóng, bùng nổ… khiến khn khổ thể chế truyền thống
khơng cịn phù hợp, mà nếu duy trì sẽ kìm hãm sự phát triển của đất nước và ngày
04/7/2017, Thủ tướng chính phủ Ban hành Chỉ thị số 16/CT-TTg về tăng cường năng
lực tiếp cận cuộc cách mạng cơng nghiệp lần thứ 4. Trên cở sở đó, ngày 03/12/2018
Bộ Khoa học và Công nghệ ban hành Quyết định số 3685/QĐ-BKHCN về danh mục
các công nghệ chủ chốt của cơng nghiệp 4.0 (Trí tuệ nhân tạo - Artificial Intelligence,
Chuỗi khối- Blockchain, Dữ liệu lớn - Big Data, Khai phá dữ liệu và Phân tích dữ liệu
- Data Mining and Data Analytics, Internet vạn vật- Internet of Things, Điện toán đám
mây- Cloud computing, Robot tự hành - Autonomous Robots, Robot cộng tác
Collaborative robotics, In 3D và chế tạo cộng - 3D printing and Additive
manufacturing, Thực tại ảo - Virtual Reality, Công nghệ chế tạo vật liệu nano - Nano
materials, Công nghệ vật liệu mới - New material technnology, Sinh học tổng hợp Synthetic biology, Mạng di động thế hệ 5 - 5th Generation Mobile Network, ...).
Đặc biệt, cuộc cách mạng cơng nghiệp lần thư 4 có nhiều tác động đến đời sống
kinh tế - xã hội trên nhiều lĩnh vực. Nền kinh tế toàn cầu đang đứng trước một giai
đoạn chuyển đổi không thể đảo ngược. Cuộc cách mạng này thơng qua các cơng nghệ
như trí tuệ nhân tạo (AI), Internet vạn vật (IoT), thực tế ảo (VR), tương tác thực tại ảo
15

download by :


(AR), mạng xã hội, điện toán đám mây, di động, phân tích dữ liệu lớn (SMAC)... để
chuyển hóa tồn bộ thế giới thực thành thế giới số.
Các công nghệ thông minh sẽ được tích hợp vào mọi khía cạnh của xã hội, xóa
bỏ các ranh giới cơng nghệ thơng thường, thay đổi hình dạng mạng lưới cơng nghệ và
sản xuất, thúc đẩy sự phát triển của thời đại. Những phát triển này hứa hẹn sẽ mở ra cơ
hội cho Chính phủ, vùng miền các quốc gia thúc đẩy nền kinh tế mở, linh hoạt, nâng
cao hiệu quả của nền kinh tế - xã hội và mang lại lợi thế “đi đầu” cho những quốc gia,
vùng miền tận dụng tốt các công nghệ mới nhất. Cách mạng công nghiệp lần thứ 4 dựa

trên nền tảng cơng nghệ số và tích hợp tất cả các công nghệ thông minh để tối ưu hóa
quy trình, phương thức sản xuất; với những cơng nghệ đang và sẽ có tác động lớn như
(Trí tuệ nhân tạo - Artificial Intelligence, Chuỗi khối- Blockchain, Dữ liệu lớn - Big
Data, Khai phá dữ liệu và Phân tích dữ liệu - Data Mining and Data Analytics, Internet
vạn vật- Internet of Things, Điện toán đám mây- Cloud computing, Robot tự hành Autonomous Robots,… Trong lĩnh vực sản xuất công nghiệp, viễn cảnh các nhà máy
thơng minh trong đó các máy móc được kết nối Internet và liên kết với nhau qua một
hệ thống có thể tự hình dung tồn bộ quy trình sản xuất rồi đưa ra quyết định sẽ khơng
cịn xa. Có thể thấy, Cách mạng cơng nghiệp lần thứ 4 tác động đến tất cả các lĩnh vực
kinh tế - xã hội như: công nghiệp, nông nghiệp, tài chính ngân hàng, lao động, việc
làm, giao thơng vận tải, dệt may, du lịch, y tế, giáo dục và đào tạo. Điều đó có nghĩa
nó sẽ ảnh hưởng trực tiếp đến các tổ chức, cá nhân và các địa phương trong cả nước
[4-5].
Theo các nhà nghiên cứu, ứng dụng trí tuệ nhân tạo được huấn luyện tốt có thể
thực hiện một số công việc với kỹ năng tương đương như con người. Tuy nhiên, trí tuệ
nhân tạo có lợi thế hơn con người nhờ khả năng mở rộng bằng việc học liên tục khơng
nghỉ, thậm chí là tự học mà khơng cần sự hướng dẫn của con người. Trí tuệ nhân tạo
có thể phát hiện ra mẫu trong những dữ liệu phức tạp đến mức các chuyên gia cũng
không nhận ra. Trong đó, đối với một số ứng dụng đặc thù như xử lý hình ảnh, trí tuệ
nhân tạo đã bằng hoặc vượt khả năng của con người. Chính vì lẽ đó, khi được ứng
dụng vào q trình điều tiết giao thơng, trí tuệ nhân tạo sẽ giúp giảm bớt nhân công
nhưng lại tăng cường khả năng xử lý dữ liệu của hệ thống.
Vì vậy có thể nói, trí tuệ nhân tạo (Artificial Intelligence - AI) là một hướng
nghiên cứu của lĩnh vực CNTT và Khoa học máy tính nhằm phát triển các hệ thống
16

download by :


thơng minh để giải quyết các bài tốn trong thực tế giống như hoạt động của bộ não
người. Trí tuệ nhân tạo được bắt đầu nghiên cứu từ những năm 50 của thế kỷ 20 và

trong khoảng 30 năm trở lại đây đã được cộng đồng các nhà khoa học quan tâm mạnh
mẽ. Rất nhiều các hội thảo lớn về lĩnh vực này được tổ chức hàng năm trên thế giới.
Các ứng dụng tiêu biểu của trí tuệ nhân tạo vào đời sống xã hội bào gồm: người máy,
robot, xử lý ngôn ngữ tự nhiên, nhận dạng, phát hiện dị thường, an ninh quốc phòng,
tin sinh học, khoa học vũ trụ và trái đất,…
Những năm gần đây, chúng ta đã chứng kiến được nhiều thành tựu vựợt bậc
trong lĩnh vực thị giác máy tính (Computer Vision). Các hệ thống xử lý ảnh lớn của
Facebook, Google hay Amazon đã đưa vào sản phẩm của mình những chức năng
thơng minh như nhận dạng khuôn mặt người dùng, phát triển xe hơi tự lái hay drone
giao hàng tự động.
Bên cạnh đó, sự phát triển của mạng nơ-ron đang dần hiện thực hoá khái niệm
chúng ta vẫn thường gọi là (Computer Vision) thị giác máy tính. Tuy nhiên, việc sử
dụng thuật tốn mạng nơ-ron vẫn cịn gặp nhiều khó khăn. Chẳng hạn như: Khi bạn
muốn phát hiện nhận dạng một đối tượng trong một bức ảnh và đánh nhãn cho đối
tượng đó thì các phương pháp lúc bấy giờ quá chậm để xử lý theo thời gian thực hoặc
là đòi hỏi cần phải đầu tư trang thiết bị rất mạnh dẫn đến chi phí rất tốn kém,....
Chính vì lẻ đó, cho đến khi giải thuật nhìn một lần (You Only Look Once YOLO) ra đời. You Only Look Once lần lượt có các phiên bản 1, 2 (YOLO Version
1, 2) và hiện nay là You Only Look Once phiên bản 3 (YOLO Version 3) có khả
năng gán nhãn cho tồn bộ đối tượng trong khung hình với chỉ duy nhất một hoạt
động. Có thể nói, You Only Look Once đã xây dựng một hướng tiếp cận đầu tiên
giúp đưa nhận dạng đối tượng theo thời gian thực (Real-Time Object Detection) thực
sự khả thi áp dụng thực tế trong cuộc sống.
Đối với mạng nơ-ron tích chập (Convolutional Neural Network - CNN) là
một trong những mô hình học sâu (Deep Learning) tiên tiến giúp cho chúng ta xây
dựng được những hệ thống thông minh với độ chính xác cao như hiện nay và cịn là
một mơ hình xử lý thơng tin phỏng theo cách thức xử lý thơng tin của các hệ nơ-ron
sinh học. Nó được tạo nên từ một số lượng lớn các phần tử (nơ-ron) kết nối với nhau
thông qua các liên kết (trọng số liên kết) làm việc như một thể thống nhất để giải quyết
một vấn đề cụ thể nào đó. Một mạng nơ-ron nhân tạo được cấu hình cho một ứng dụng
17

download by :


cụ thể (nhận dạng mẫu, phân loại dữ liệu,...) thông qua một quá trình học từ tập các
mẫu huấn luyện. Về bản chất học chính là q trình hiệu chỉnh trọng số liên kết giữa
các nơ-ron.
Trong khuôn khổ luận văn Thạc sỹ của cá nhân, qua việc được trang bị các mơn
học lý thuyết như thuật tốn, xử lý ảnh, trí tuệ nhân tạo, tìm kiếm,… tơi đã lựa chọn đề
tài “Nghiên cứu ứng dụng kỹ thuật máy học để phân tích hình ảnh và nhận dạng
phương tiện vi phạm Luật giao thông đường bộ”. Chủ đề phân lớp dữ liệu là một
nhánh quan trọng trong lĩnh vực máy học (machine learning) của trí tuệ nhân tạo.
Chúng ta có thể kể đến các ứng dụng của máy học trong thực tế như người máy, robot,
nhận dạng đối tượng, nhận dạng mặt người, nhận dạng tiếng nói và chữ viết,…Trong
đó, học sâu (Deep learning) với mơ hình mạng nơ-ron tích chập theo phương pháp
nhìn một lần (Convolutional Neural Network for You Only Look Once - CNNs for
YOLO Object Detection) là một trong những giải thuật của mơ hình hệ thống máy
học tiên tiến giúp cho chúng ta xây dựng đựợc những hệ thống thơng minh với độ
chính xác cao như hiện nay. Trong khuôn khổ luận văn cao học này, cá nhân tập trung
nghiên cứu về mạng nơ-ron (neural network) cũng như mạng tích chập (Convolution
network) theo giải thuật của mơ hình mạng nơ-ron tích chập (CNNs) nhằm phân tích
lớp ảnh (Image Classification) và áp dụng trong việc xây dựng hệ thống nhận dạng
phương tiện với phương pháp nhận dạng đối tượng (You Only Look Once) các hành
vi vi phạm Luật giao thơng đường bộ [6-9].

1.2. Tính cấp thiết của đề tài
Theo một báo cáo của Liên Hợp Quốc, hơn nửa dân số trái đất hôm nay đã là
dân đô thị, với 54,6% dân số thế giới tương đương 3,6 tỷ người đang sống ở các đô thị,
nghiên cứu cho thấy đến năm 2050, tỉ lệ dân cư thành thị sẽ chiếm hơn 70% dân số thế
giới, với 64,1% ở các nước đang phát triển và 85,9% ở các nước phát triển sẽ sống ở

các khu vực thành thị.
Sự tập trung dân số, tốc độ gia tăng của đơ thị hóa đã mang lại cho các thành
phố và quốc gia một số thách thức trong việc đáp ứng nhu cầu ngày càng tăng của
người dân, như: cơ sở hạ tầng, giao thông, các yêu cầu về nhà ở, năng lượng, an ninh,
y tế, giáo dục, mơi trường và ứng phó với biến đổi khí hậu, thiên tai cũng như các vấn
đề như truyền thơng và giải trí. Do đó việc phát triển đơ thị trong tương lai có ảnh
18

download by :


hưởng lớn tới môi trường, tới việc quản lý và cải thiện chất lượng đơ thị, điều này chỉ
có thể nắm bắt được thông qua việc thay đổi phương thức điều hành của chính quyền,
sự tham gia của người dân, cũng như sự tham gia của các bên liên quan chịu trách
nhiệm quản lý chung. Vì vậy, việc định hướng cho phát triển "đô thị truyền thống"
hiện nay thành “đô thị thông minh” hơn là một nhu cầu tất yếu mà trong đó bao gồm
các ứng dụng về chính quyền điện tử, giao thông thông minh, y tế thông minh, giáo
dục thông minh, du lịch thông minh, môi trường thông minh,…việc triển khai, áp dụng
các hệ thống tự động và kết hợp với Cuộc cách mạng công nghiệp lần thứ 4 (CMCN
4.0) bởi các công nghệ chủ chốt của công nghiệp 4.0 (Trí tuệ nhân tạo - Artificial
Intelligence, Chuỗi khối- Blockchain, Dữ liệu lớn - Big Data, Khai phá dữ liệu và
Phân tích dữ liệu - Data Mining and Data Analytics, Internet vạn vật- Internet of
Things, Điện toán đám mây- Cloud computing, ...) [10].
Xét một cách tổng quan, việc triển khai giao thơng thơng minh sẽ có 3 giai
đoạn. Trong đó bao gồm việc thu thập dữ liệu, xử lý dữ liệu và phân phối lại chúng
cho người tham gia giao thông. Để hoạt động của hệ thống được trơn tru, sẽ cần phải
có một trung tâm xử lý nhằm tổng hợp thông tin và tiến hành điều tiết. Ở giai đoạn ban
đầu, những trung tâm này được điều hành chủ yếu bởi con người. Tuy vậy, với các
tiến bộ của trí tuệ nhân tạo (AI) sẽ được ứng dụng nhằm thay thế con người trong
tương lai.

Hệ thống giao thông thông minh (Intelligent Transport Systems – ITS) không
phải là điều gì quá mới mẻ. Ý tưởng về hệ thống này đã được khởi xướng từ những
năm 60, 70 của thế kỷ trước tại Mỹ và các nước Châu Âu. Đến nay, mơ hình này đã
được áp dụng thành cơng tại nhiều thành phố lớn trên thế giới [11].
Tại các nước châu Á, Hàn Quốc chính là quốc gia đi tiên phong trong việc ứng
dụng công nghệ nhằm phát triển Hệ thống giao thông thông minh. Seoul (Hàn Quốc)
được nhận định là thành phố có hệ thống giao thơng thơng minh tốt nhất thế giới.
Tại thành phố Seoul – Hàn Quốc, chính phủ thiết lập một hệ thống vận hành
giao thơng có tên TOPIS. Khi truy nhập vào hệ thống này, người dân sẽ được cung cấp
các thông tin liên quan đến tình trạng giao thơng. Với những người đang chờ xe bt,
thơng tin này bao gồm cả vị trí cụ thể của chuyến xe đang tới, thời gian dự kiến sẽ tới
bến và lượng ghế còn trống trên xe là bao nhiêu.
19

download by :


Tại Việt Nam, cùng với các kinh nghiệm đã triển khai trên thực tế trong các
năm vừa qua của các địa phương trong cả nước như thành phố Hà Nội, thành phố Hồ
Chí Minh, Đồng Nai, Kiên Giang, Quảng Nam, Đà Nẵng, Thừa Thiên Huế, Quảng
Ninh… việc trang bị hệ thống Camera giám sát giao thông thông minh nhằm mục đích
nâng cao năng lực giám sát, kiểm sốt và xử lý các vi phạm trật tự an tồn giao thơng
đường bộ đã mang lại những hiệu quả tích cực. Bên cạnh việc giảm thiểu các tai nạn
giao thơng, tình hình an ninh trật tự được đảm bảo, ý thức tự giác chấp hành pháp luật
của người tham gia giao thông được nâng cao.
Tỉnh Bà Rịa – Vũng Tàu là một tỉnh ven biển thuộc vùng Đông Nam Bộ, nằm
trong vùng kinh tế trọng điểm phía Nam, có tổng diện tích tự nhiên là 1.980,98 km2,
dân số khoảng trên 1,3 triệu người, cũng nằm trong xu thế xây dựng đô thị hướng đến
thông minh đang được quan tâm và thúc đẩy. Có thể nói, đơ thị thơng minh được coi là
lựa chọn tất yếu, phù hợp với xu thế phát triển chung của thế giới cũng như khả năng

tiếp cận của Việt Nam. Bà Rịa – Vũng Tàu được đánh giá là một trong những địa
phương có hệ thống giao thơng đường biển, đường hàng không và đường bộ với kết
cấu hạ tầng giao thơng khá hiện đại. Trong đó, đường bộ là đầu mối giao thông quan
trọng với 3 tuyến quốc lộ chính gồm QL51, QL55, QL56. Quốc lộ 51 và là trục giao
thơng chính của vùng Kinh tế trọng điểm phía Nam, nối liền với phố TP. Hồ Chí
Minh, Tp. Biên Hòa và Tp. Vũng Tàu. Quốc lộ 55, chạy từ Tp. Bà Rịa đi Tp. Phan
Thiết nối với các tỉnh dun hải Đơng Nam Bộ, có giá trị giao thông liên vùng, nối
vùng Nam Trung Bộ với miền Đông. Quốc lộ 56 là trục đường giao thông nối Tp. Bà
Rịa tỉnh Bà Rịa – Vũng Tàu và vùng kinh tế trọng điểm phía Nam với Tây Nguyên. Từ
QL56 có thể đi thẳng qua TX. Long Khánh đi Tp. Đà Lạt (Lâm Đồng). Ngoài ra tỉnh
Bà Rịa – Vũng Tàu có rất nhiều tuyến đường tỉnh kết nối đi các huyện, thị xã và thành
phố.
Theo số liệu tổng hợp, đến cuối tháng 9/2020 trên địa bàn tỉnh đã xảy ra 285 vụ
tai nạn giao thông, hậu quả làm 120 người chết và 213 người bị thương. Trong đó có
28 vụ tai nạn giao thông tự gây, làm 31 người chết và 04 người bị thương. So với cùng
kỳ năm 2018, số vụ tai nạn giao thông giảm 02 vụ, số người chết giảm 06 người, số
người bị thương giảm 55 người. Tuy số vụ TNGT, số người chết và bị thương đều
giảm so với cùng kỳ nhưng con số thống kê cho thấy vẫn ở mức cao và tiềm ẩn diễn
biến phức tạp. Nguyên nhân chủ yếu là do một bộ phận người tham gia giao thông
20

download by :


chưa ý thức trong việc chấp hành pháp luật giao thơng đường bộ, cịn đối phó, chưa tự
giác, vi phạm về trật tự - an tồn giao thơng (TT-ATGT) vẫn còn phổ biến, đặc biệt là
các hành vi vi phạm như: điều khiển phương tiện tham gia giao thông không đúng tốc
độ quy định, điều khiển phương tiện tham gia giao thông không đúng phần làn/chiều
đướng theo quy định, không chấp hành hiệu lệnh của tín hiệu giao thơng, phương tiện
tham gia giao thông quá khổ - quá tải, phương tiện tham gia giao thông chở quá số

lượng người quy định [12-13].
Bên cạnh đó, giao thơng ln là một vấn đề được quan tâm nhiều nhất đối với
các đô thị lớn ở các nước nói chung và ở Việt Nam nói riêng. Trong những năm gần
đây tình trạng tắc đường, kẹt xe, tai nạn và vi phạm Luật giao thông đường bộ vẫn
luôn là vấn đề rất nghiêm trọng và cấp bách. Đây được xem là vấn đề bức xúc của toàn
xã hội, ảnh hưởng đến sự phát triển bền vững về kinh tế, văn hóa, xã hội và hình ảnh
của đất nước Việt Nam với bạn bè Quốc tế.
Hiện nay, mặc dù đã có những nghiên cứu, nhiều giải pháp, cũng như các ý
tưởng mới của các nhà khoa học, các chuyên gia hàng đầu trong nước và thế giới về
việc hỗ trợ, giảm thiểu tình trạng tắc đường, kẹt xe, tai nạn và các hành vi vi phạm
Luật giao thông đường bộ nhưng hiệu quả vẫn chưa cao và tình trạng vẫn diễn ra
thường xuyên trên các trục đường giao thông, đặc biệt là ở các khu đô thị.
Xuất phát từ nhu cầu thực tiễn, vì vậy tơi chọn vấn đề “Nghiên cứu ứng dụng
kỹ thuật máy học để phân tích hình ảnh và nhận dạng phương tiện vi phạm Luật
giao thông đường bộ” làm đề tài nghiên cứu nhằm phát hiện, nhận dạng và xử lý các
hành vi vi phạm trật tự an tồn giao thơng, góp phần giảm thiểu ùn tắc, tai nạn cho
người và phương tiện tham gia giao thông. Đồng thời giúp công tác tuần tra kiểm soát
trật tự, an ninh và phát hiện kịp thời, có chứng cứ pháp lý về hình ảnh nhằm cung cấp
cho lực lượng chức năng khi điều tra các vụ việc xảy ra trên đường góp phần đảm bảo
an ninh trật tự xã hội là cần thiết. Kết quả thực hiện đề tài dự kiến sẽ được đưa vào áp
dụng thực tế trên địa bàn tỉnh Bà Rịa – Vũng Tàu sau khi hoàn thành nghiên cứu luận
văn.
2. MỤC TIÊU, ĐỐI TƯỢNG, PHẠM VI, NỘI DUNG VÀ HƯỚNG NGHIÊN
CỨU
2.1. Mục tiêu của đề tài
21

download by :

- Mục tiêu tổng quát: Nghiên cứu ứng dụng kỹ thuật máy học để xây dựng mơ
hình phục vụ theo dõi, giám sát tình trạng giao thơng đường bộ, tự động phát hiện, ghi
nhận, phân tích hình ảnh đối tượng và nhận dạng phương tiện về các hành vi vi phạm
Luật giao thông đường bộ theo thời gian thực với độ chính xác cao tại một nút giao lộ,
từ đó có thể xử phạt nhằm nâng cao ý thức về an tồn giao thơng của người dân, đảm
bảo trật tự an toàn xã hội.
- Mục tiêu cụ thể: Theo dõi, giám sát tình trạng giao thơng đường bộ, tự động
phát hiện, ghi nhận, phân tích hình ảnh đối tượng và nhận dạng biển số phương tiện và
các hành vi vi phạm Luật giao thông đường bộ theo thời gian thực tại một nút giao lộ
cụ thể sau:
(1) Chở quá số người quy định khi tham gia giao thông.
(2) Không đội mũ bảo hiểm khi điều khiển xe mô tô, xe gắn máy.

Hình 1: Mơ hình nút giao lộ (ngã tư) triển khai xây dựng mơ hình nghiên cứu
2.2 Đối tượng
Đối tượng nghiên cứu chính là các loại phương tiện tham gia giao thông đường
bộ theo quy định của Luật giao thông đường bộ áp dụng đối với hành vi vi phạm theo
mục tiêu đề tài nghiên cứu đề ra đó là:
- Thu thập, xây dựng bộ dữ liệu ảnh các phương tiện giao thông đường bộ cho
hệ thống giám sát.
- Một số mơ hình mạng nơ-ron và nơ-ron tích chập đang được sử dụng phổ biến
trong lĩnh vực nhận dạng.

22

download by :


- Ứng dụng kỹ thuật máy học trong lĩnh vực trí tuệ nhân tạo để phát hiện, ghi
nhận và phân vùng đối tượng ảnh dựa trên các giải thuật học sâu để phân lớp đối tượng

quan tâm với các đối tượng ảnh cịn lại.
- Phương pháp trích xuất điểm đặc trưng đối tượng, phương tiện theo mơ hình
mạng nơ-ron tích chập theo phương pháp phát hiện đối tượng nhìn chỉ một lần.
2.3 Phạm vi
- Xây dựng bộ mẫu dữ liệu nghiên cứu, thử nghiệm với số lượng 500 mẫu là
ảnh các đối tượng vể phương tiện tham gia giao thông. Những ảnh này dùng để phát
hiện vùng chứa biển số theo cách tiếp cận của phương pháp hình thái học để phát hiện
vùng biển số cho các biển đăng ký xe của Việt Nam.
- Tập trung nghiên cứu kỹ thuật máy học trong lĩnh vực trí tuệ nhân tạo để phát
hiện, ghi nhận và phân vùng đối tượng ảnh dựa trên các giải thuật học sâu nhằm phân
lớp đối tượng quan tâm với các đối tượng ảnh còn lại, cụ thể hơn là công việc cần phải
giải quyết vấn đề phát hiện vùng chứa biển số xe và nhận dạng ký tự trong biển số với
mơ hình mạng nơ-ron tích chập để tiến hành nhận dạng biển số xe vi phạm Luật giao
thông đường bộ.
2.4. Nội dung nghiên cứu
2.4.1. Về nội dung
- Nghiên cứu xây dựng hệ thống phát hiện, ghi nhận và phân vùng đối tượng
ảnh dựa trên các bộ thư viện cài đặt cho mơ hình, giải thuật học sâu (deep learning).
- Sử dụng cơng cụ, mơ hình mạng nơ-ron tích chập (CNNs) nhằm phân tích lớp
ảnh (Image Classification) áp dụng trong việc xây dựng hệ thống tự động nhận dạng
phương tiện và các hành vi vi phạm Luật giao thông đường bộ theo thời gian thực.
- Huấn luyện và xây dựng nhận dạng đối tượng về các hành vi vi phạm Luật
giao thông đường bộ.
2.4.2. Về mặt lý thuyết
- Tìm hiểu tổng quan về hệ thống kỹ thuật máy học (machine learning) trong
lĩnh vực trí tuệ nhân tạo (AI) để phát hiện, ghi nhận và phân vùng đối tượng ảnh dựa
trên các giải thuật học sâu (deep learning) để phân lớp đối tượng quan tâm với các đối
tượng ảnh cịn lại.
- Tìm hiểu tổng quan về hệ thống mơ hình giải thuật mạng nơ-ron và mạng noron tích chập theo phương pháp phát hiện đối tượng nhìn chỉ một lần.
23

download by :


- Nghiên cứu tổng quan về phướng pháp, cách thức nhận dạng đối tượng,
phương tiện tham gia giao thông thông qua biển số xe trong đề tài nghiên cứu.
- Nghiên cứu áp dụng các kỹ thuật đã được tìm hiểu để tự động phát hiện, nhận
dạng phương tiện tham gia giao thông và các hành vi vi phạm Luật giao thông đường
bộ.
2.4.3. Về mặt thực nghiệm
- Tiến hành khảo sát lựa chọn địa điểm xây dựng mơ hình nghiên cứu triển khai
thử nghiệm.
- Thiết kế mơ hình và lựa chọn thiết bị trang thiết bị, giải pháp thi công lắp đặt
cho hệ thống.
- Xây dựng phần mềm ứng dụng điều khiển hệ thống thông minh kết hợp quản
lý và in ấn bằng chứng hình ảnh vi phạm chạy trên nền tảng website.
- Ứng dụng trí tuệ nhân tạo (AI) để tự động học và nhận diện các lỗi hành vi vi
phạm giao thông từ các dữ liệu vi phạm ban đầu và nhận dạng các lỗi vi phạm có độ
chính xác ngày càng cao hơn từ các dữ liệu vi phạm trước đó.
- Xây dựng quy trình vận hành khai thác, xây dựng các kịch bản nhằm tổ chức
triển khai thu thập bộ dữ liệu mẫu tại mơ hình thực tế.
- Xây dựng bộ cơ sở dữ liệu điện toán đám mây có khả năng lưu trữ dữ liệu lớn
về các hình ảnh bằng chứng vi phạm và thơng tin của các phương tiện tham gia giao
thông vi phạm.
- Nghiên cứu thực hiện thơng qua các hình ảnh thực nhằm xác định, đánh giá
kết quả cuối cùng và đưa ra các dự báo.
2.5. Phương pháp luận và phương pháp nghiên cứu
Để đảm bảo thực hiện xây dựng đầy đủ mô hình hệ thống tự động phát hiện, ghi
nhận, phân tích hình ảnh đối tượng và nhận dạng phương tiện và các hành vi vi phạm
Luật giao thông đường bộ theo thời gian thực. Đề tài nghiên cứu đề xuất thực hiện

theo hai bước cụ thể sau:
- Bước 1- Huấn luyện: Sử dụng bộ dữ liệu trên cơ sở các kịch bản, diễn tập,
huấn huyện và thu thập ảnh đối tượng động từ hệ thống camera lắp sẵn đưa vào huấn
luyện, thử nghiệm để đưa ra mơ hình nhận dạng và đánh giá kết quả.

24

download by :


- Bước 2 - Thử nghiệm: Sử dụng mơ hình vừa huấn luyện được ở trên thơng
qua hình ảnh giao thông để thực hiện các giải thuật phân lớp đối tượng trên dữ liệu
mới và đánh giá kết quả.
3. TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU
3.1. Những hướng nghiên cứu đã được thực hiện
Nghiên cứu xây dựng hệ thống giám sát ngã tư thông minh tại 01 điểm giao lộ
đường Huỳnh Minh Thạnh và 27/4 thuộc thị trấn Phước Bửu, huyện Xuyên Mộc, tỉnh
Bà Rịa – Vũng Tàu đây là dự án sản xuất thử nghiệm cấp tỉnh thực hiện nhiệm vụ
khoa học và công nghệ hàng năm do UBND tỉnh Bà Rịa – Vũng Tàu đặt hàng cho
Trung tâm Ứng dụng tiến bộ khoa học và công nghệ chủ trì thực hiện. Mục tiêu dự án
SXTN đã nêu trên với giải pháp là thiết kế lắp đặt trên nền tảng cơng nghệ sẵn có vi
xử lý AVR Atmel 8-bit, hoặc ARM Atmel 32-bit thông qua bản mạch Arduino và thực
thi chương trình được nạp sẵn cho bộ xử lý trung tâm đặt tại giao lộ cần quan sát, bộ
xử lý này tiếp nhận thông tin từ các camera được kết hợp với các cảm biến laser và
camera giám sát hình ảnh phương tiện tham gia giao thơng. Nhận dạng hành vi vi
phạm và lưu trữ thông tin trên hệ thống dữ liệu điện tốn đám mây thơng qua sóng 3G.
Thơng qua phần mềm ứng dụng có thể xây dựng kịch bản cho hệ thống tự động điều
khiển và xử lý thông tin tiếp nhận từ các thiết bị.
Hệ thống nhận dạng biển số xe: Bộ thư viện OpenCV – đây là bộ thư viện được
Intel và Itseez phát triển trong hơn 20 năm qua với hơn 2.500 thuật toán nhận dạng

khác nhau, sử dụng máy học (machine learning).

Hình 2: Sơ đồ nhận dạng biển số xe
25

download by :