Hệ thống phân loại và phát hiện phương tiện tham gia giao thông di chuyển sai làn đường trên quốc lộ thuộc tỉnh Tây Ninh bằng camera kỹ thuật số

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG
---------------------------------------

TRẦN QUỐC THẮNG

HỆ THỐNG PHÂN LOẠI VÀ PHÁT HIỆN PHƯƠNG TIỆN
THAM GIA GIAO THÔNG DI CHUYỂN SAI LÀN ĐƯỜNG
TRÊN QUỐC LỘ THUỘC TỈNH TÂY NINH
BẰNG CAMERA KỸ THUẬT SỐ

ĐỀ ÁN TỐT NGHIỆP THẠC SĨ KỸ THUẬT
(Theo định hướng ứng dụng)

THÀNH PHỐ HỒ CHÍ MINH – NĂM 2023


HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG
---------------------------------------

TRẦN QUỐC THẮNG

HỆ THỐNG PHÂN LOẠI VÀ PHÁT HIỆN PHƯƠNG TIỆN
THAM GIA GIAO THÔNG DI CHUYỂN SAI LÀN ĐƯỜNG
TRÊN QUỐC LỘ THUỘC TỈNH TÂY NINH
BẰNG CAMERA KỸ THUẬT SỐ
CHUYÊN NGÀNH:

HỆ THỐNG THÔNG TIN

MÃ SỐ:

8.48.01.04

ĐỀ ÁN TỐT NGHIỆP THẠC SĨ KỸ THUẬT
(Theo định hướng ứng dụng)
NGƯỜI HƯỚNG DẪN KHOA HỌC
PGS.TS. VŨ ĐỨC LUNG

THÀNH PHỐ HỒ CHÍ MINH – NĂM 2023


i

LỜI CAM ĐOAN
Tôi xin cam đoan đề án thạc sĩ công nghệ thông tin “Hệ thống phân loại và
phát hiện phương tiện tham gia giao thông di chuyển sai làn đường trên quốc lộ
thuộc tỉnh Tây Ninh bằng camera kỹ thuật số” là do tôi nghiên cứu, tổng hợp và
thực hiện.
Tồn bộ nội dung đề án, những điều được trình bày là của chính cá nhân tơi
hoặc là được tham khảo, tổng hợp đều được trích xuất với nguồn gốc rõ ràng. Các số
liệu, kết quả nêu trong đề án là trung thực và chưa từng được ai công bố trong bất kỳ
cơng trình nào khác.

Tp. HCM, ngày 18 tháng 08 năm 2023
Học viên thực hiện đề án

Trần Quốc Thắng


ii

LỜI CẢM ƠN
Lời đầu tiên, tơi xin bày tỏ lịng biết ơn sâu sắc đến PGS.TS Vũ Đức Lung,
người đã trực tiếp định hướng và hướng dẫn tận tình cho tơi trong suốt q trình thực
hiện đề án tốt nghiệp. Những kinh nghiệm và góp ý quý báu của thầy là tiền đề để
giúp tôi mở rộng kiến thức và hồn thành đề án tốt nghiệp.
Tơi cũng xin dành lời cảm ơn chân thành đến quý Thầy Cô Học viện Cơng
Nghệ Bưu Chính Viễn Thơng cơ sở tại TP.HCM. Q Thầy Cơ đã tận tình dạy bảo
và ln tạo điều kiện tốt nhất cho tơi trong suốt q trình tham gia lớp cao học.
Xin trân trọng cảm ơn Ban Giám Đốc Trung tâm Công nghệ Thông tin Viễn thông Tây Ninh, đã cho phép tôi sử dụng dữ liệu camera thông minh của VNPT
Tây Ninh. Cảm ơn các bạn đồng nghiệp, đã tạo điều kiện về thời gian và quan tâm
động viên tinh thần trong thời gian tôi học và hồn thành đề án.
Cuối cùng, xin cảm ơn gia đình và bạn bè đã luôn bên tôi, cổ vũ và động viên
tơi trong suốt q trình hồn thành đề án này.

Tp. HCM, ngày 18 tháng 08 năm 2023
Học viên thực hiện đề án

Trần Quốc Thắng


iii

MỤC LỤC
LỜI CAM ĐOAN ....................................................................................................... i
LỜI CẢM ƠN ............................................................................................................ ii
DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT .............................................. vi
DANH SÁCH BẢNG .............................................................................................. vii
DANH SÁCH HÌNH VẼ ........................................................................................ viii
MỞ ĐẦU .....................................................................................................................1
1.

Lý do chọn đề tài...................................................................................1

2.

Tổng quan về vấn đề nghiên cứu ..........................................................2

3.

Câu hỏi nghiên cứu ...............................................................................3

4.

Mục đích nghiên cứu.............................................................................3

5.

Đối tượng và phạm vi nghiên cứu ........................................................3

6.

Phương pháp nghiên cứu ......................................................................4

7.

Những đóng góp của đề tài ...................................................................4

CHƯƠNG 1: TỔNG QUAN NGHIÊN CỨU TRONG VÀ NGOÀI NƯỚC .......5
1.1.

Giới thiệu ...........................................................................................5

1.2.

Các nghiên cứu trong nước ...............................................................6

1.3.

Các nghiên cứu ngoài nước ...............................................................7

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT ......................................................................10
2.1.

Các kỹ thuật xử lý ảnh.....................................................................10

2.1.1 Tổng quan về một hệ thống xử lý ảnh..........................................10
2.1.2 Một số vấn đề cơ bản trong xử lý ảnh .........................................12
2.2.

Các phương pháp phát hiện và phân loại đối tượng........................18

2.2.1 R-CNN[30] ..................................................................................19
2.2.2 Fast R-CNN[30] ..........................................................................20
2.2.3 Faster R-CNN[31] .......................................................................21
2.2.4 Single Shot Detector (SSD)[29] ..................................................23
2.2.5 You Only Look Once (YOLO) ......................................................24


iv

2.3.

Các phương pháp phát hiện chuyển động .......................................26

2.3.1. Phát hiện đối tượng chuyển động là gì? .....................................26
2.3.2. Phát hiện các vùng ảnh nổi ........................................................27
2.3.3. Xử lý các vùng ảnh nổi ...............................................................28
2.3.4. Các kỹ thuật trừ ảnh ...................................................................28
2.3.5. Một số kỹ thuật trừ nền cơ bản ...................................................31
2.3.6. Kỹ thuật trừ nền nâng cao ..........................................................32
2.4.

Phương pháp theo vết đối tượng .....................................................35

2.4.1. Quy trình theo vết đối tượng .......................................................35
2.4.2. Các kỹ thuật theo vết đối tượng ..................................................36
2.4.3. Các phương pháp truy vết nhiều vật thể trong video .................37
2.5.

Giới thiệu về OpenCV .....................................................................41

2.5.1. Tổng quan về OpenCV ................................................................41
2.5.2. Cấu trúc OpenCV........................................................................41
2.5.3. Các ứng dụng OpenCV ...............................................................42
2.5.4. Chức năng OpenCV ....................................................................42
CHƯƠNG 3: PHÂN TÍCH THIẾT KẾ HỆ THỐNG .........................................44
3.1.

Hệ thống nhận dạng làn đường, phát hiện chuyển động, theo vết

phương tiện giao thông ..........................................................................................44
3.2.

Xây dựng chương trình ...................................................................50

3.3.

Cơng cụ thực hiện ...........................................................................52

3.4.

Giao diện chương trình....................................................................52

CHƯƠNG 4: THỬ NGHIỆM VÀ ĐÁNH GIÁ ....................................................54
4.1.

Thu thập và tiền xử lý dữ liệu .........................................................54

4.2.

Cài đặt và thử nghiệm .....................................................................54

4.2.1. Thiết lập cấu hình .......................................................................54
4.2.2. Dữ liệu thực nghiệm ...................................................................55
4.2.3. Quá trình và kết quả thực nghiệm ..............................................55
4.3.

Kết luận chương ..............................................................................66

v

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .............................................................67
DANH MỤC CÁC TÀI LIỆU THAM KHẢO .....................................................68


vi

DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT
Viết Tắt

Tiếng Anh

OpenCV

Open Source Computer Vision Library

CCD

Charge Coupled Device

CCIR

Consultive Committee for International Radio

CUDA

Compute Unified Device Architecture

GMM

General Method of Moments

LPR

License Plate Recognition

MOG

Mixture of Gaussians

R-CNN

Region with CNN feature

SSD

Single-Shot Multibox Detector

SPP-net

Spatial Pyramid Pooling net

YOLO

You Only Look Once


vii

DANH SÁCH BẢNG
Bảng 2.1: So sánh các mơ hình dựa trên R-CNN .....................................................22
Bảng 2.2: So sánh chỉ số AP giữa 2 thuật toán YOLO và SSD [9] ..........................25
Bảng 2.3: Các hướng tiếp cận phát hiện đối tượng [10] ...........................................27
Bảng 4.1: Thống kê các đối tượng gán nhãn.............................................................58
Bảng 4.2: Kết quả phát hiện nhận dạng phương tiện ................................................64
Bảng 4.3: Kết quả theo vết đối tượng .......................................................................64
Bảng 4.4: Kết quả phát hiện cảnh báo chạy sai làn đường .......................................65


viii

DANH SÁCH HÌNH VẼ
Hình 2.1: Các bước cơ bản trong một hệ thống xử lý ảnh ........................................10
Hình 2.2: Minh họa trực quan tách ngưỡng với ngưỡng bằng 127...........................13
Hình 2.3: Minh họa cho các phương pháp phân ngưỡng khác nhau ........................14
Hình 2.4: Kết quả Canny Edge Detection .................................................................15
Hình 2.5: Map từ khơng gian ảnh (A) sang khơng gian Hough (B) .........................16
Hình 2.6: Hình sin trong khơng gian Hough .............................................................16
Hình 2.7: Biểu diễn trong khơng gian Hough ...........................................................17
Hình 2.8: Biểu diễn 2 đường thẳng trong khơng gian Hough ...................................17
Hình 2.9: Kết quả áp dụng thuật tốn Hough Transform..........................................18
Hình 2.10: Mơ hình R-CNN......................................................................................19
Hình 2.11: Mơ hình SPP-net .....................................................................................20
Hình 2.12: Mơ hình mạng Fast R-CNN ....................................................................21
Hình 2.13: Mơ hình mạng Faster R-CNN .................................................................21
Hình 2.14: Mơ hình mạng SSD .................................................................................23
Hình 2.15: Các bounding box dự đốn .....................................................................24
Hình 2.16: Kiến trúc mạng YOLO v3.......................................................................25
Hình 2.17: Các quá trình phát hiện chuyển động ......................................................26

Hình 2.18: Phát hiện vùng ảnh nổi ............................................................................28
Hình 2.19: Quy trình theo vết đối tượng ...................................................................35
Hình 2.20: Nguyên Lý Hoạt Động của IoUTracker..................................................37
Hình 2.21: Sơ đồ phương pháp DEEPSORT ............................................................40
Hình 2.22: Sơ đồ phương pháp CenterTrack [26] ....................................................38
Hình 3.1: Mơ hình hệ thống nhận dạng làn đường, phát hiện chuyển động, theo vết
và phát hiện phương tiện chạy sai làn ................................................................44
Hình 3.2: Minh họa vị trí lắp camera giám sát giao thơng........................................45
Hình 3.3: Minh họa vị trí camera và làn đường ........................................................46
Hình 3.4: Kết quả áp dụng Canny Edge Detection ...................................................47


ix

Hình 3.5: Kết quả áp dụng Hough Transform ..........................................................47
Hình 3.6: Kết quả áp dụng K-mean lọc các đường nhiễu .........................................48
Hình 3.7: Lưu đồ hoạt động ......................................................................................50
Hình 3.8: Minh họa xác định đối tượng ....................................................................51
Hình 3.9: Cách xác định phương tiện di chuyển sai làn ...........................................51
Hình 3.10: Giao diện chương trình ...........................................................................53
Hình 4.1: Camera giám sát giao thơng ......................................................................54
Hình 4.2: Cấu trúc bbox gán nhãn YOLO v5 ...........................................................56
Hình 4.3: Cơng cụ hỗ trợ gán nhãn dữ liệu ...............................................................57
Hình 4.4: Kết quả gán nhãn.......................................................................................57
Hình 4.5: Kết quả huấn luyện mơ hình lần 1 ............................................................59
Hình 4.7: Kết quả huấn luyện mơ hình lần 3 ............................................................60
Hình 4.6: Kết quả huấn luyện mơ hình lần 2 ............................................................60
Hình 4.8: Phát hiện và theo vết đối tượng chuyển động trong frame hiện tại ..........61
Hình 4.9: Kết quả thử nghiệm phát hiện xe chạy sai làn ..........................................63

1

MỞ ĐẦU
1. Lý do chọn đề tài
Hiện nay, với xu thế chuyển đổi số các ngành các lĩnh vực trong cả nước đang
diễn ra rất mạnh mẽ, việc ứng dụng công nghệ thông tin, đặc biệt là các hệ thống
thông minh mang tính cấp thiết cao.
Trong bối cảnh hợp tác giữa VNPT Tây Ninh và Sở Giao Thông Vận Tải tỉnh
Tây Ninh nhằm xây dựng Đề án chuyển đổi số cho Ngành Giao Thông, việc đưa vào
hệ thống camera giao thông thông minh tại các tuyến đường giao thông trọng điểm
với nhiều giải pháp ứng dụng cấp thiết khai thác dữ liệu từ hệ thống này như tính tốn
mật độ lưu thông, đếm lưu lượng xe, nhận dạng biển số, nhận dạng làn đường, đo tốc
độ xe,... nhằm hỗ trợ cơ quan quản lý nhà nước nâng cao hiệu quả giám sát các phương
tiện tham gia giao thông, xử lý kịp thời các tình huống ùn tắc hay tai nạn giao thơng
cũng như việc chấp hành quy định an tồn giao thơng đơ thị, góp phần nâng cao nhận
thức của người dân tham gia giao thông là cần thiết.
Trong những năm gần đây trên địa bàn tỉnh phát hiện nhiều trường hợp vi
phạm trật tự an tồn giao thơng qua camera giám sát giao thông, nguyên nhân xuất
phát từ việc người điều khiển phương tiện vi phạm quy định về sử dụng phần đường,
làn đường luôn chiếm tỷ lệ cao, đứng đầu các nguyên nhân gây tai nạn.
Từ thực tiễn cho thấy, việc phương tiện giao thông không tuân thủ quy định
về sử dụng phần đường, làn đường trong tham gia giao thông không những ảnh hưởng
rất lớn đến xác suất xảy ra tai nạn cao mà còn ảnh hưởng đến mức độ nghiêm trọng
của mỗi vụ tai nạn. Do vậy cần thiết phải có một hệ thống quản lý và giám sát giao
thông thông minh phát hiện phương tiện lưu thông sai làn đường theo thời gian thực
nhằm hỗ trợ cơ quan quản lý nhà nước phát hiện cảnh báo sớm để có phương án xử
lý kịp thời tránh phát sinh tai nạn cũng như giảm thiệt hại về hạ tầng, tài sản và tính
mạng của người dân, và đó chính là lý do tơi chọn thực hiện đề tài này.

2

2. Tổng quan về vấn đề nghiên cứu
Hiện nay, trên thế giới cũng như ở nước ta có rất nhiều nghiên cứu về bài toán
nhận dạng làn đường, phát hiện và phân loại và theo vết phương tiện tham gia giao
thơng. Tuy nhiên các giải pháp hiện tại cịn riêng lẻ và chuyên biệt nên vẫn còn nhiều
vấn đề cần nghiên cứu đầy đủ thêm liên quan đến sự kết hợp các giải pháp, mật độ
dày đặc của phương tiện tham gia giao thông, đặc biệt là xe máy và xe ô tô.
Trong bối cảnh Việt Nam hiện nay, việc nghiên cứu và xây dựng hệ thống
phân loại và phát hiện phương tiện giao thông di chuyển sai phần đường, làn đường
tích hợp vào hệ thống giám sát giao thơng thơng minh là điều cần thiết có ý nghĩa cả
về mặt lý thuyết và thực tiễn.
Xây dựng hệ thống phân loại và phát hiện phương tiện giao thông di chuyển
sai phần đường, làn đường dựa trên video thời gian thực là xét xem tại một thời điểm,
trong vùng đang giám sát, có những loại phương tiện gì, số lượng tương ứng, các
phương tiện đó có đi đúng phần đường làn đường theo quy định luật giao thông đường
bộ hiện hành của Việt Nam hay khơng.
Hệ thống thuộc nhóm các ứng dụng liên quan đến lĩnh vực giao thông thông
minh và cũng được ứng dụng trong nhiều lĩnh vực như quản lý, giám sát giao thông
như cảnh báo xâm nhập, báo trộm, cảnh báo cháy, giám sát bảo vệ các khu vực quan
trọng.
Yêu cầu cơ bản của hệ thống là trích xuất được phương tiện giao thông vi
phạm di chuyển sai phần đường, làn đường dành riêng cho từng loại phương tiện.
Nhìn chung, điểm mới của đề tài là kết hợp giải pháp nhận dạng làn đường và
nhận dạng phương tiện, theo vết được các phương tiện từng làn đường, các dữ liệu
được thu thập và gán nhãn ở Tây Ninh. Các giải thuật không mới nhưng lần đầu được
áp dụng và thử nghiệm ở Tây Ninh.

3

3. Câu hỏi nghiên cứu
Xây dựng hệ thống Hệ thống phân loại và phát hiện phương tiện tham gia giao
thông di chuyển sai làn đường trên quốc lộ thuộc tỉnh Tây Ninh bằng camera kỹ thuật
số mang lại lợi ích gì cho các sở ban ngành?
Cần những dữ liệu nào phù hợp, để có thể quản lý và giám sát?
Sử dụng phương pháp nào để trích xuất làn đường, phát hiện, nhận diện đối
tượng chuyển động?
Ứng dụng phép toán nào để xác định phương tiện tham gia giao thông di
chuyển sai làn đường?

4. Mục đích nghiên cứu
Đề án tập trung nghiên cứu các lý thuyết liên quan đến vấn đề xử lý ảnh, bài
toán nhận dạng và phân loại đối tượng, phát hiện và truy vết đối tượng qua video.
Nghiên cứu các lý thuyết liên quan bài toán xác định phương tiện đi sai làn
đường.
Xây dựng thử nghiệm hệ thống phân loại và phát hiện phương tiện giao thông
di chuyển sai phần đường, làn đường.

5. Đối tượng và phạm vi nghiên cứu
Đối tượng nghiên cứu là hạ tầng giao thông đường bộ cụ thể là làn đường bộ,
các loại phương tiện tham gia giao thông trên đường qua camera kỹ thuật số giám sát
giao thông.
Các phương pháp nhận dạng đối tượng, theo vết đối tượng và bài toán xác định
đối tượng trong vùng quan sát.
Phạm vi của đề án này chỉ tập trung vào nhận dạng làn đường được phân làn
cố định: Đường giao thơng có 3 làn: làn ngồi cùng dành cho xe ô tô; làn giữa cho xe
tải, container; làn trong dành cho xe máy; nhận dạng một số loại xe: xe ô tô con, ô tô
khách, xe tải, xe container, xe máy.

Camera giám sát được đặt cố định tại các giao lộ trên tuyến quốc lộ thuộc địa
phận tỉnh Tây Ninh. Môi trường thử nghiệm trong điều kiện sáng và rõ, giám sát được
chuyển động của các phương tiện.


4

6. Phương pháp nghiên cứu
-

Thu thập và nghiên cứu các cơng trình nghiên cứu về lĩnh vực giám sát giao
thơng thơng minh qua video, hình ảnh trên thế giới và trong nước.

-

Thu thập các dữ liệu làn đường và phương tiện giao thông qua video giám sát
giao thông trên địa bàn tỉnh Tây Ninh.

-

Phân tích, lựa chọn giải pháp và hiện thực thử nghiệm.

-

Đánh giá kết quả và hiệu chỉnh nếu có.

7. Những đóng góp của đề tài
Vận dụng các thuật tốn trích xuất làn đường, phân loại, theo vết và phát hiện
phương tiện tham gia giao thông di chuyển sai làn đường trên quốc lộ thuộc tỉnh Tây
Ninh bằng camera kỹ thuật số.

Xây dựng hệ thống phân loại và phát hiện phương tiện tham gia giao thông di
chuyển sai làn đường.


5

CHƯƠNG 1: TỔNG QUAN NGHIÊN CỨU TRONG
VÀ NGOÀI NƯỚC
1.1.

Giới thiệu

Tại các nước phát triển, việc sử dụng camera giám sát khá phổ biến với rất
nhiều tính năng thơng minh như đo tốc độ, nhận dạng biển số, phân loại xe, phát hiện
ngược chiều, xe đi vào vùng cấm,… được bố trí kín đáo và mật độ dày đặc.
Đối với tình hình giao thơng phức tạp của Việt Nam hiện nay, việc xây dựng
hệ thống nhận dạng làn đường và phân loại phương tiện tham gia giao thơng vẫn cịn
nhiều thách thức như thành phần tham gia giao thông đa dạng và phức tạp đặc biệt là
xe máy, mật độ giao thông tăng nhanh ở một số thời điểm, điều kiện môi trường xấu
như cường độ sáng không đảm bảo, mưa, góc đặt thiết bị giám sát, v.v…
Hiện tại, để có thể phát hiện những trường hợp xe di chuyển sai làn đường quy
định, đòi hỏi cán bộ giám sát phải thiết lập cấu hình thủ cơng rất mất thời gian. Thiết
bị giám sát chun dụng có chi phí rất cao khơng khả thi cho việc trang bị số lượng
lớn. Vì vậy, giải pháp tận dụng các hình ảnh thu được từ video giám sát giao thông,
áp dụng các kỹ thuật xử lý ảnh, hay giải pháp máy học để phân tích nhận dạng làn
đường, nhận dạng phương tiện từ đó xác định phương tiện đang di chuyển trên làn
đường nào đang được nhiều nhà nghiên cứu quan tâm.
Tóm lại, hướng tiếp cận sử dụng các kỹ thuật xử lý ảnh, kỹ thuật học sâu để
phát hiện và phân loại phương tiện tham gia giao thông theo làn đường trong hệ thống
giám sát giao thông là phù hợp với hiện trạng camera đang được trang bị với số lượng

lớn trên khắp cả nước.


6

1.2.

Các nghiên cứu trong nước

Ở nước ta, các cơng trình nghiên cứu về bài toán phát hiện phương tiện di
chuyển sai làn đường qua camera còn rất hạn chế do tính phức tạp và ứng dụng vào
thực tế. Đa phần là các nghiên cứu liên quan đến kỹ thuật nhận dạng đối tượng, phát
hiện đối tượng chuyển động, theo vết đối tượng và dự đoán hướng di chuyển trong
video.
Năm 2016, nghiên cứu “Dự đoán hướng di chuyển và xác định tốc độ xe qua
camera giám sát” [3] của các tác giả Lâm Hữu Tuấn, Huỳnh Phụng Toàn, Trần Cao
Đệ, Nguyễn Thị Hồng Nhung sử dụng phương pháp một “khung đo” để xác định tốc
độ xe trong video giao thông, phát hiện đối tượng chuyển động bằng kỹ thuật trừ nền
và dự đốn hướng di chuyển, tính vận tốc của đối tượng bằng phép tốn trung bình
có trọng số. Từ thực nghiệm của các tác giả cho thấy kết quả khá chính xác, đo được
tốc độ nhiều phương tiện cùng lúc và có thể xử lý ảnh, video được thu bằng camera
thường.
Năm 2019, cơng trình của tác giả Bùi Trần Tiến “Nhận dạng phương tiện dựa
vào kỹ thuật học sâu” [7]. Tác giả sử dụng YOLOv4 trong việc nhận dạng phương
tiện giao thông. Với việc thay đổi cấu trúc của mô hình YOLOv4 so với các phiên
bản trước, có thể cải thiện tốc độ, độ chính xác của mơ hình. Trong thử nghiệm của
tác giả với các phương tiện giao thông như ô tô con và xe máy việc thay đổi số filter
tích chập (convolutional) đã cải thiện tốc độ dự đốn đáng kể mà khơng giảm đi độ
chính xác của hệ thống trong điều kiện ánh sáng tốt.
Tại hội nghị FAIR 2020, cơng trình “Khảo sát bài tốn nhận diện và đo tốc độ

phương tiện tham gia giao thông” [5] của tác giả Vũ Đức Lung và các cộng sự giới
thiệu đã khảo sát và phân loại các kỹ thuật và hướng tiếp cận phổ biến hiện nay đối
với hai bài toán phát hiện và đo tốc độ phương tiện tham gia giao thông vốn là cơ sở
cho nhiều hệ xử lý kế tiếp như theo vết, phân tích hành vi. Đồng thời các tác giả tổng
hợp và đề xuất một số bộ dữ liệu thường dùng để huấn luyện và đánh giá kết quả.
Năm 2022, cơng trình của tác giả Lý Băng, “Hệ Thống Đo Tốc Độ Phương
Tiện Giao Thông Trên Quốc Lộ Bằng Camera Kỹ Thuật Số” [13]. Tác giả sử dụng


7

SSD – Single Shot Detector và Optical flow để phát hiện phương tiện và xác định tốc
độ đối tượng. Từ kết quả thực nghiệm của tác giả cho thấy việc phát hiện và theo vết
phương tiện khá tốt tuy nhiên vẫn cịn một số ít phương tiện bị bỏ qua hoặc khơng
lấy được tốc độ do có một số phương tiện quá khổ thời gian vào và ra video không
được chính xác.

1.3.

Các nghiên cứu ngồi nước

Hiện nay, trên thế giới có rất nhiều cơng trình nghiên cứu về kỹ thuật xử lý
ảnh, kỹ thuật trừ nền, kỹ thuật học sâu để nhận dạng, theo vết đối tượng như làn
đường, các phương tiện giao thơng, đo tốc độ.
Năm 2014, cơng trình của các tác giả Jianqiang Ren, Yangzhou Chen, Le Xin,
Jianjun Shi, “Lane Detection in Video-Based Intelligent Transportation Monitoring
via Fast Extracting and Clustering of Vehicle Motion Trajectories” [19]. Bài báo này
đề xuất một phương pháp mới để phát hiện trung tâm làn đường thơng qua trích xuất
nhanh chóng và phân cụm quỹ đạo chuyển động của phương tiện với độ chính xác
cao. Đầu tiên, các tác giả sử dụng bản đồ hoạt động (activity map) để phát hiện tự

động trích xuất vùng đường, hiệu chỉnh camera động và thiết lập ba đường phát hiện
ảo. Kế đến, ba đường phát hiện ảo và một mơ hình nền cục bộ với phản hồi luồng
giao thơng được sử dụng để trích xuất và nhóm các điểm đặc trưng của phương tiện
trong một đơn vị phương tiện. Sau đó, các nhóm điểm đặc trưng được mơ tả chính
xác bằng biểu đồ động có trọng số cạnh và được sửa đổi bằng bộ lọc tương tự chuyển
động Kalman trong quá trình theo dõi điểm đặc trưng thưa thớt. Sau khi có được quỹ
đạo của phương tiện, một cụm gia tăng k-means thô với khoảng cách Hausdorff được
thiết kế để thực hiện việc trích xuất trung tâm làn đường trực tuyến nhanh chóng với
độ chính xác cao. Tuy nhiên với tình trạng giao thơng thưa thớt, khơng đồng đều
trong suốt thời gian giám sát thì việc nhận dạng tâm làn đường qua quỹ đạo di chuyển
của phương tiện lại giảm hiệu quả đáng kể.
Năm 2016, cơng trình của Dominik Zapletal và các cộng sự “Vehicle ReIdentification for Automatic Video Traffic Surveillance” [13], nhận diện phương tiện
sử dụng 3D bounding box, chỉ dùng mặt bên và mặt trước của vật thể (không dùng


8

hình ảnh từ đỉnh xe), sau đó ghép hai phần lại thành một ảnh đại diện cho vật thể đó
và trích xuất đặc trưng màu sắc từ ảnh đó dùng linear SVM classifier. Các đặc trưng
được sử dụng trong từng mơ hình riêng biệt để có được kết quả tốt nhất trong thời
gian tính tốn CPU ngắn nhất. Phương pháp được đề xuất hoạt động với độ chính xác
cao (60% true positives, 10% false positive trên một tập con của dữ liệu thử nghiệm)
trong 85ms thời gian tính tốn của CPU (Core i7) cho mỗi lần nhận dạng lại một
phương tiện. Các ứng dụng của nghiên cứu này bao gồm tìm kiếm các tham số quan
trọng như thời gian di chuyển, lưu lượng giao thông hoặc thông tin giao thông trong
hệ thống giám sát và giám sát giao thông phân tán.
Năm 2018, cơng trình của Zheng Tang, và các cộng sự “Single-camera and
inter-camera vehicle tracking and 3D speed estimation based on fusion of visual and
semantic features” [14] sử dụng hai phương pháp đơn camera 3D và đa camera để
xác định phân loại và ước lượng tốc độ phương tiện. Cụ thể, một mơ hình ngoại hình

thích ứng dựa trên biểu đồ tần suất được giới thiệu để học lịch sử lâu dài của các đặc
trưng hình ảnh cho từng phương tiện cụ thể. Ngồi ra, các tính năng ngữ nghĩa bao
gồm độ mượt của quỹ đạo di chuyển, thay đổi vận tốc và thơng tin thời gian được
tích hợp vào chiến lược phân cụm bottom-up để kết hợp dữ liệu trong mỗi chế độ
xem camera. Ngồi ra, tối ưu hóa tiến hóa được áp dụng cho hiệu chuẩn máy ảnh để
ước tính tốc độ 3D đáng tin cậy. Thuật tốn đạt được hiệu suất cao nhất trong cả ước
tính tốc độ 3D và nhận dạng lại phương tiện. Bài báo được top 1 cuộc thi NVIDIA
AI City 2018.
Năm 2018, công trình của các tác giả Ahmad Arinaldi, Jaka Arya Pradana,
Arlan Arventa Gurusinga “Detection and classification of vehicles for traffic video
analytics” [16]. Các tác giả trình bày một hệ thống phân tích video giao thơng dựa
trên kỹ thuật thị giác máy tính. Hệ thống này được thiết kế để tự động thu thập các số
liệu thống kê quan trọng theo cách tự động. Những số liệu thống kê này bao gồm đếm
phương tiện, phân loại loại phương tiện, ước tính tốc độ phương tiện từ video và giám
sát việc sử dụng làn đường. Phần chính của hệ thống là nhận dạng và phân loại
phương tiện trong video giao thông. Các tác giả áp dụng hai mơ hình là hệ thống


9

MoG + SVM và mơ hình dựa trên RCNN nhanh hơn. Qua thực nghiệm của các tác
giả cho thấy RCNN nhanh hơn vượt trội so với MoG trong việc phát hiện các phương
tiện tĩnh, chồng chéo hoặc trong điều kiện ban đêm. RCNN nhanh hơn cũng vượt trội
so với SVM trong việc phân loại các loại phương tiện dựa trên hình thức bên ngồi.
Năm 2020, cơng trình của các tác giả Zequn Qin, Huanyu Wang, and Xi Li
“Ultra Fast Structure-aware Deep Lane Detection”, các tác giả đưa ra hướng tiếp cận
mới trong việc nhận dạng làn đường. Các tác giả đề xuất phương pháp mơ hình hóa
cấu trúc của làn đường, xử lý việc nhận dạng làn dựa trên việc chọn các đặc trưng
chung theo từng dịng (tức chia mơ hình làn đường thành các row để xử lý). Kết quả
thực nghiệm đạt được hiệu suất tối ưu về cả tốc độ và độ chính xác. Một phiên bản

trọng lượng nhẹ thậm chí có thể đạt được hơn 300 khung hình mỗi giây với cùng độ
phân giải, nhanh hơn ít nhất 4 lần so với các phương pháp hiện đại trước đây.
Từ kết quả nghiên cứu tổng quan các công trình ở trên cho thấy các giải pháp
dùng học sâu hiện nay cho kết quả chính xác hơn nhiều và hiện được áp dụng sâu
rộng hơn do đó trong đề án này học viên sẽ áp dụng phương pháp học sâu để phát
hiện phương tiện cho giao thông Việt Nam.


10

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
Trong chương này sẽ trình bày các phương pháp liên quan đến xử lý ảnh và
phát hiện, nhận dạng đối tượng, theo vết đối tượng, xác định đối tượng giao nhau phổ
biến đang được áp dụng và những hạn chế của các phương pháp này.

Các kỹ thuật xử lý ảnh

2.1.

2.1.1 Tổng quan về một hệ thống xử lý ảnh
Quá trình xử lý ảnh [4] là q trình tác động lên ảnh mục đích là để tạo ra một
ảnh tốt hơn hay một kết luận về vấn đề nào đó.
Các bước cơ bản trong hệ thống xử lý ảnh như hình 2.1 sau:
Thu nhận

Tiền xử lý

Phân đoạn

Biểu diễn

Nhận dạng

ảnh

ảnh

ảnh

và mơ tả

và nội suy

Cơ sở tri thức

Hình 2.1: Các bước cơ bản trong một hệ thống xử lý ảnh
(Nguồn: Giáo trình xử lý ảnh [4])
Các thành phần trong sơ đồ hình 2.1 bao gồm:
1. Phần thu nhận ảnh (Image Acquisition)
Ảnh thu vào thông qua camera màu hoặc đen trắng. Chất lượng ảnh phụ thuộc
vào thiết bị camera, các điều kiện về môi trường như ánh sáng, phong cảnh, nhiệt
độ,…


11

2. Tiền xử lý (Image Processing)
Ảnh thu được ở giai đoạn 1 có thể bị nhiễu do tác nhân bên ngoài nên giai
đoạn tiền xử lý thực hiện lọc nhiễu và tăng độ tương phản của ảnh nhằm làm ảnh rõ
nét hơn, nâng cao chất lượng ảnh cung cấp cho công đoạn xử lý kế tiếp.

3. Phân đoạn (Segmentation) hay phân vùng ảnh
Công đoạn này tiến hành phân tách ảnh thành các vùng con để biểu diễn phân
tích và nhận dạng.
4. Biểu diễn ảnh (Image Representation)
Công đoạn này biểu diễn ảnh theo các đặc trưng như: biên và vùng ảnh (còn
gọi là boundary và region) bằng một số phương pháp thường dùng: mã chạy (runlength code), mã xích (chaine -code), mã tứ phân (quad-tree code).
5. Nhận dạng và nội suy ảnh (Image Recognition and Interpretation)
Nhận dạng ảnh là quá trình xác định ảnh, so sánh với mẫu chuẩn đã được học
từ trước với hai phương pháp cơ bản là phương pháp nhận dạng theo tham số và
phương pháp nhận dạng theo cấu trúc và nội suy ảnh là phán đoán theo ý nghĩa trên
cơ sở nhận dạng ảnh.
6. Cơ sở tri thức (Knowledge Base)
Đối tượng ảnh là một đối tượng khá phức tạp có nhiều yếu tố ảnh hưởng dễ
gây nhiễu ảnh dẫn đến khó khăn trong nhiều khâu xử lý và phân tích ảnh kế tiếp như
đường nét, độ sáng tối, dung lượng điểm ảnh, môi trường thu nhận ảnh. Hiện nay, có
nhiều kỹ thuật xử lý ảnh bằng phương pháp trí tuệ nhân tạo được áp dụng nhằm làm
loại bỏ ảnh hưởng để đạt được kết quả tốt hơn.


12

2.1.2 Một số vấn đề cơ bản trong xử lý ảnh
 Điểm ảnh hay phần tử ảnh (Picture Element)
Trong không gian 2 chiều, điểm ảnh hay còn gọi là pixel là một phần tử của
ảnh số tại toạ độ (x, y) với mức xám hay màu cụ thể. Mỗi phần tử trong ma trận được
gọi là một phần tử ảnh.[4]
 Độ phân giải ảnh (resolution)
Độ phân giải của ảnh là mật độ điểm ảnh trên ảnh số được biểu diễn bởi bảng
hai chiều I (n, p): n dòng và p cột. Vậy nên độ phân giải ảnh gồm n x p pixels. Thông
thường ký hiệu I (x, y) thể hiện một pixel và giá trị n = p = 256.



Mức xám (Gray level)

Mức xám là giá trị thể hiện cường độ sáng của mỗi điểm ảnh. Các mức mã hóa
thường là 16, 32 hay 64. Mức mã hóa 256 là phổ dụng.


Biểu diễn ảnh xám

Mức xám được mô tả tương ứng với mỗi điểm ảnh (x, y) trên cùng mặt phẳng
bằng một f (x, y). Trong đó, x là số hiệu cột, y là số hiệu dòng trên ảnh.
Với ảnh có bảng màu R, G, B thì f (x, y) =3 byte là số hiệu màu. Các giá trị
màu của điểm ảnh là thể hiện của Ảnh hơn 256 màu.


Phân ngưỡng ảnh (threshold)
-

Phân ngưỡng ảnh đơn giản

Giả sử ảnh I với kích thước là m x n, gồm Min, Max và ngưỡng θ khi đó:
Kỹ thuật tách ngưỡng thể hiện như sau:
for (i = 0; i < m; i + +)
for

(j = 0; j < n; j + +)

I[i, j] = I [i, j] > = θ? Max: Min;
Nếu ta cho Min = 0, Max = 1 đây là kỹ thuật chuyển một ảnh thành ảnh đen

trắng.


13

Việc tách các ngưỡng theo các cách khác nhau thể hiện như hình 2.2

Hình 2.2: Minh họa trực quan tách ngưỡng với ngưỡng bằng 127
-

Phân ngưỡng thích nghi (Adaptive Thresholding):

Trong một số trường hợp, ví dụ như ánh sáng khơng đồng đều trên ảnh, chúng
ta dùng phương thức phân ngưỡng thích nghi. Phương pháp này khơng lấy ngưỡng
cố định mà sử dụng phương thức tính giá trị trung bình của n điểm lân cận pixel đó
trừ cho C (với n thường là số lẻ, và C là một số nguyên bất kỳ). Hình 2.3 minh họa
các cách phân ngưỡng ảnh thích nghi:


14

Hình 2.3: Minh họa cho các phương pháp phân ngưỡng khác nhau
(Nguồn: docs.opencv.org [21])


Phát hiện cạnh bằng thuật toán Canny Edge Detection:

Tổng quan, thuật tốn Canny Edge Detection gồm có 4 bước:
1. Lấy đạo hàm của ảnh theo chiều ngang và dọc theo phân phối Gaussian
2. Tính cường độ và hướng của gradient

3. Non-maximum suppression những pixel thừa
4. Sử dụng threshold để tạo loại bỏ cạnh nhiễu, xác định cạnh thực sự (real
edge)