Hệ thống phát hiện và nhận diện biển báo giao thông trên kit friendly arm

ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH
TRƯỜNG ĐẠI HỌC BÁCH KHOA TP HCM

TRẦN QUANG HOÀNG GIANG

HỆ THỐNG PHÁT HIỆN VÀ NHẬN DIỆN BIỂN BÁO GIAO
THÔNG TRÊN KIT FRIENDLY ARM

Chuyên ngành: Kỹ Thuật Điện Tử
Mã số: 60 52 02 03

LUẬN VĂN THẠC SĨ

TP. Hồ Chí Minh, tháng 01 năm 2016


Cơng trình được hồn thành tại: Trường Đại học Bách Khoa –ĐHQG-HCM
Cán bộ hướng dẫn khoa học : TS Trương Quang Vinh .....................................
(Ghi rõ họ, tên, học hàm, học vị và chữ ký)
Cán bộ chấm nhận xét 1 : PGS.TS Lê Tiến Thường

......................................

(Ghi rõ họ, tên, học hàm, học vị và chữ ký)
Cán bộ chấm nhận xét 2 : TS. Bùi Trọng Tú

.....................................

(Ghi rõ họ, tên, học hàm, học vị và chữ ký)
Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG Tp.HCM
ngày 15. tháng 01 năm 2016

Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm:
(Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ luận văn thạc sĩ)
1. CTHĐ TS. Lê Chí Thơng
2. PB1: PGS.TS Lê Tiến Thường
3. PB2: TS. Bùi Trọng Tú
4. UV: TS Nguyễn Minh Sơn
5. CBHD: TS. Trương Quang Vinh
Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên
ngành sau khi luận văn đã được sửa chữa (nếu có).
CHỦ TỊCH HỘI ĐỒNG

TRƯỞNG KHOA ĐIỆN- ĐIỆN TỬ


ĐẠI HỌC QUỐC GIA TP.HCM

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

TRƯỜNG ĐẠI HỌC BÁCH KHOA

Độc lập – Tự do – Hạnh phúc

NHIỆM VỤ LUẬN VĂN THẠC SĨ
Họ tên học viên: TRẦN QUANG HOÀNG GIANG

MSSV: 13141117

Ngày, tháng, năm sinh: 25/09/2988

Nơi sinh: Quảng Ngãi

Chuyên ngành: Kỹ Thuật Điện Tử

Mã số: 60 52 02 03

I. TÊN ĐỀ TÀI: HỆ THỐNG PHÁT HIỆN VÀ NHẬN DIỆN BIỂN BÁO
GIAO THÔNG TRÊN KIT FRIENDLY ARM
NHIỆM VỤ VÀ NỘI DUNG:
Tìm hiểu, xây dựng giải thuật và thiết kế hệ thống phát hiện và nhận diện biển báo
giao thơng tại Việt Nam, thực hiện trên kít nhúng FriendlyARM.
II. NGÀY GIAO NHIỆM VỤ: 17/08/2015
III. NGÀY HOÀN THÀNH NHIỆM VỤ: 04/12/2015
IV. CÁN BỘ HƯỚNG DẪN: TS. TRƯƠNG QUANG VINH
Tp. HCM, ngày …… tháng …… năm 2016
CÁN BỘ HƯỚNG DẪN

CHỦ NHIỆM BỘ MÔN ĐÀO TẠO

(Họ tên và chữ ký)

(Họ tên và chữ ký)

TRƯỞNG KHOA ĐIỆN ĐIỆN TỬ
(Họ tên và chữ ký


LỜI CÁM ƠN
Em xin gởi đến TS. Trương Quang Vinh lời cảm ơn chân thành với sự trân
trọng và lòng biết ơn sâu sắc về sự hướng dẫn đầy chu đáo và nhiệt tình. Thầy đã
dẫn dắt, tạo cho em cách tư duy và làm việc một cách khoa học, hướng em đến đề

tài khoa học mới mẻ, tiếp cận với các công nghệ hiện đại.
Em xin chân thành cám ơn các thầy cô ngành Kỹ Thuật Điện Tử đã hết lòng
dạy dỗ và truyền đạt cho em những kiến thức q báu.
Con xin gởi đến cha mẹ lịng kính trọng và biết ơn sâu sắc nhất. Cha mẹ đã
nuôi nấng dạy dỗ con nên người và là chỗ dựa tinh thần vững chắc cho con trong
cuộc đời.
Tôi xin cảm ơn các bạn đã cùng học tập, giúp đỡ, động viên và cùng tôi bước
trên con đường nghiên cứu này.

Tp. Hồ Chí Minh, tháng 01 năm 2016
Học viên

TRẦN QUANG HỒNG GIANG

-i-


TĨM TẮT LUẬN VĂN
Luận văn trình bày hệ thống nhúng phát hiện và nhận dạng biển báo giao thông
hỗ trợ lái xe an toàn thuận tiện hơn. Hệ thống sử dụng bộ thư viện mã nguồn mở
OpenCV do Intel phát triển và được thực hiện trên kit Friendly Arm Tiny 4412 với
vi xử lý Samsung Exynos4412 ARM Cortex-A9 (Quad-Core) 1.5Ghz.
Hệ thống thu thập hình ảnh biển báo thơng qua camera được gắn trên xe từ đó
phát hiện, theo dõi và nhận dạng biển báo hiển thị lên màn hình cho tài xế biết được
loại biển báo. Quá trình phát hiện và nhận dạng trải qua ba giai đoạn chính: tiền xử
lý, phát hiện và nhận dạng.
Thuật toán dựa trên đặc trưng về màu sắc, hình dạng của từng loại biển báo để
phân đoạn màu sử dụng thuật toán HSV Achrom, phân đoạn hình học với phương
pháp Affine Moment Invariant sau đó phân loại biển báo trước khi đưa vào giai
đoạn nhận dạng.

Phương pháp nhận dạng sử dụng thuật toán phân lớp Support Vector Machines
(SVMs) có tốc độ phân lớp nhanh và độ chính xác cao.
Kết quả thực nghiệm cho thấy thuật toán đáp ứng được cho thời gian thực, mang
lại hiệu suất cao và có thể áp dụng vào thực tế.

- ii -


ABSTRACT
This thesis presents an embedded system to detect and recognize traffic signs
supporting driving more safety and convenient. The system uses the open source
OpenCV library developed by Intel and implemented on Friendly Arm development
kit named “Tiny 4412” with Samsung Exynos ARM Cortex-A9 (Quad-Core)
1.5Ghz micro-processor.
The system capture traffic signs through a camera mounted on moving vehicle,
then detect, tracking and recognize signs, display the result on the screen.
The system is based on three major stages: pre-processing, detection and
recognition.
The algorithm is based on the characteristics of color, shape. The color
segmentation using HSV Achrom algorithms, shape segmentation using Affine
Invariant Moment method before feed to classification stage.
Recognition method using Support Vector Machines (SVMs) classifier with fast
speed and high accuracy.
Experimental results show that the algorithm can be used for real-time
applications, providing high performance and can be applied in reality.

- iii -


LỜI CAM ĐOAN

Tôi xin cam đoan các kết quả đề tài thực hiện chưa từng công bố trong bất kỳ cơng
trình khoa học trước đây.
Người cam đoan

TRẦN QUANG HỒNG GIANG

- iv -


MỤC LỤC
1.

2.

CHƢƠNG 1: GIỚI THIỆU ...................................................................................... 1
1.1

Giới thiệu tổng quan ......................................................................................1

1.2

Mục tiêu đề tài ...............................................................................................1

1.3

Một số thách thức và giới hạn đề tài..............................................................1

1.3.1

Một số thách thức ...................................................................................2

1.3.2

Giới hạn đề tài .........................................................................................5

CHƢƠNG 2: TÌNH HÌNH NGHIÊN CỨU ............................................................ 9
2.1

Cơ bản về giải thuật nhận dạng biển báo giao thông ....................................9

2.2

Các công trình nghiên cứu liên quan .............................................................9

2.2.1

Các cơng trình nghiên cứu dựa trên thơng tin màu sắc, hình dạng ........9

2.2.2

Các cơng trình nghiên cứu sử dụng thuật tốn máy học.......................14

2.3

3.

Phân tích tổng quan lý thuyết ......................................................................16

2.3.1

Tiền xử lý ..............................................................................................17

2.3.2

Phát hiện biển báo .................................................................................20

2.3.3

Giới thiệu thư viện mã nguồn mở OpenCV..........................................38

CHƢƠNG 3: NỘI DUNG ....................................................................................... 40
3.1

Giải thuật đề nghị ........................................................................................40

3.1.1

Ảnh đầu vào ..........................................................................................40

3.1.2

Tiền xử lý ..............................................................................................40

3.1.3

Phát hiện biển........................................................................................43

3.1.4

Nhận dạng .............................................................................................57

3.1.5

Kết quả mô phỏng .................................................................................59

3.1.6

Một số phương pháp tối ưu ...................................................................59

-v-


3.2

4.

Thiết kế hệ thống nhúng phát hiện và nhận dạng biển báo. ........................66

3.2.1

Kit nhúng Tiny4412 ..............................................................................66

3.2.2

Cài đặt thư viện, hệ điều hành trên kit Tiny4412 .................................68

3.2.3

Các bước biên dịch cài đặt OpenCV.....................................................81

3.2.4

Porting ứng dụng lên kit nhúng ............................................................89

CHƢƠNG 4: THỬ NGHIỆM ĐÁNH GIÁ ........................................................... 94
4.1 Phương pháp thử nghiệm: ...............................................................................94
4.2 Đánh giá: .......................................................................................................109
4.3 Kết luận: ........................................................................................................109

TÀI LIỆU THAM KHẢO ............................................................................................ 110
PHỤ LỤC ....................................................................................................................... 112

- vi -


DANH SÁCH CÁC CHỮ VIẾT TẮT
VIẾT TẮT

VIẾT ĐẦY ĐỦ

GIẢI THÍCH

SVM

Support Vector Machine

Máy véc-tơ hỗ trợ

RGB

Red Green Blue

Hệ màu RGB

HSV

Hue Saturation Value

Hệ màu HSV

YCbCr

Luminance, Chroma: Blue,
Chroma: Red

- vii -

Green (Y), Blue (Cb), Red (Cr)


DANH SÁCH BẢNG
Bảng 1.1 Danh sách biển cấm được thử nghiệm.........................................................5
Bảng 1.2 Danh sách biển báo nguy hiểm được thử nghiệm .......................................6
Bảng 1.3 Danh sách các biển báo hiệu lệnh được thử nghiệm ...................................8
Bảng 2.1 Bảng giá trị thông thường của Hue và Saturation .....................................22
Bảng 3.1 Giá trị các ngưỡng trong phân đoạn màu ..................................................46
Bảng 3.2 Số lượng thread xử lý các contour .............................................................65
Bảng 3.3 Bảng so sánh các kit phát triển nhúng .......................................................66
Bảng 4.1 Kết quả thử nghiệm .................................................................................100

- viii -


DANH SÁCH HÌNH
Hình 1.1 Biển báo bị phai mờ .....................................................................................2
Hình 1.2 Biển báo bị sương mù bao phủ.....................................................................2
Hình 1.3 Biển báo bị che khuất ...................................................................................3
Hình 1.4 Biển báo thiếu sáng ......................................................................................3
Hình 1.5 Biển báo trùng màu nền (quảng cáo ) ..........................................................4
Hình 1.6 Quá nhiều biển báo cùng lúc ........................................................................4
Hình 2.1 Hệ thống nhận diện biển báo của Hoferlin, K. Zimmer .............................10
Hình 2.2 Giải thuật nhận diện biển báo của Yin, et. .................................................11
Hình 2.3 Hệ thống nhận diện biển báo của Bùi Minh Thành, et. .............................13
Hình 2.4 Các giai đoạn nhận diện biển báo ..............................................................13
Hình 2.5 Đặc trưng Haar-like....................................................................................15
Hình 2.6 Lưu đồ giải thuật nhận diện của Lê Thanh Tâm, et. ..................................16
Hình 2.7 Bài tốn phát hiện và nhận diện biển báo ..................................................17
Hình 2.8 Khơng gian màu HSV ................................................................................18
Hình 2.9 Biểu diễn màu sắc Hue ...............................................................................18
Hình 2.10 Khoảng cách Euclid của hai véc tơ ..........................................................21
Hình 2.11 H_out theo RED .......................................................................................22
Hình 2.12 H_out theo Green .....................................................................................23
Hình 2.13 H_out theo Blue .......................................................................................23
Hình 2.14 Lưu đồ giải thuật Shadow High Light Invariant ......................................25
Hình 2.15 HSV Achrom - HSV color space .............................................................26
Hình 2.16 Chromatic Zone của màu đỏ ....................................................................27
Hình 2.17 Phân đoạn bên trong của biến báo ...........................................................29
Hình 2.18 Lưu đồ thuật tốn Watershed [7] .............................................................30
Hình 2.19 Phát hiện vùng ứng cử dính liền bởi thuật tốn watershed ......................31
Hình 2.20 Kiến trúc tổng qt của Artificial Neural Network .................................32

Hình 2.21 Q trình xử lí của một ANN ...................................................................33
Hình 2.22 Ví dụ về hàm chuyển đổi đầu vào tìm kết quả .........................................34
Hình 2.23 Minh họa mẫu vector hỗ trợ (support vector) ..........................................37
- ix -


Hình 2.24 Tổng quan OpenCV .................................................................................39
Hình 3.1 Sơ đồ tổng quan hệ thống nhận dạng .........................................................40
Hình 3.2 Ví dụ tạo vùng mặt nạ ................................................................................41
Hình 3.3 Minh họa vùng ảnh cần xử lý .....................................................................41
Hình 3.4 Ảnh trước khi áp dụng bộ lọc Gaussian .....................................................42
Hình 3.5 Ảnh sau khi áp dụng bộ lọc Gaussian ........................................................43
Hình 3.6 Sơ đồ khối phát hiện biển báo ....................................................................43
Hình 3.7 Ngưỡng giá trị S và V đối với màu đỏ trong Chromatic Zone ..................44
Hình 3.8 Lưu đồ giải thuật phân đoạn màu ...............................................................46
Hình 3.9 Phát hiện biển báo ngược chiều .................................................................47
Hình 3.10 Ảnh gốc chuẩn bị phân đoạn màu ............................................................49
Hình 3.11 Ảnh sau khi phân đoạn màu .....................................................................49
Hình 3.12 Minh họa lấy tồn bộ đối tượng sau khi phân đoạn màu .........................50
Hình 3.13 Minh họa lấy phần bên trong để tách đối tượng ......................................50
Hình 3.14 Minh họa loại bỏ đối tượng dựa trên diện tích .........................................50
Hình 3.15 Minh họa biển báo hiệu lệnh ....................................................................51
Hình 3.16 Biển báo hiệu lệnh sau khi phân đoạn màu ..............................................52
Hình 3.17 Lấy phần bên trong sau khi phân đoạn màu.............................................52
Hình 3.18 Lấy toàn bộ phần bên trong và bên ngoài của đối tượng .........................53
Hình 3.19 Hình minh họa kết quả trích xuất đặc trưng.............................................57
Hình 3.20 Mơ phỏng giải thật với biển báo cấm ơ tơ rẽ phải. ..................................59
Hình 3.21 Ảnh gốc và ảnh phân đoạn màu bị đứt cạnh ............................................61
Hình 3.22 Ảnh gốc và ảnh phân đoạn màu sau giãn nở ............................................62
Hình 3.23 Minh họa thread và process .....................................................................63

Hình 3.24 Kít nhúng FriendlyARM Tiny 4412 ........................................................67
Hình 3.25 Bo mạch Tiny4412 ...................................................................................68
Hình 3.26 Chạy SD-Flasher.exe................................................................................69
Hình 3.27 SD-Flasher chọn Mini4412/Tiny4412 .....................................................69
Hình 3.28 SD-Flasher relayout .................................................................................70
Hình 3.29 SD-Flasher Fuse .......................................................................................71
-x-


Hình 3.30 Chép các file boot image lên SD card ......................................................72
Hình 3.31 Cài đặt Qt Creator từ Ubuntu Software Center ........................................76
Hình 3.32 Giao diện của Qt Creator..........................................................................77
Hình 3.33 Thêm Tool chains vào QT Creator ..........................................................80
Hình 3.34 Thêm qmake của Qt Everywhere vào Qt Creator ....................................80
Hình 3.35 Build configuration cho kit ARM ............................................................81
Hình 3.36 Cmake Opencv Desktop Use default compiler ........................................82
Hình 3.37 Cmake Opencv Desktop Configure .........................................................83
Hình 3.38 Cmake Opencv Desktop Generate ...........................................................84
Hình 3.39 Cmake Opencv ARM tùy chọn cross compiler .......................................85
Hình 3.40 Cmake Opencv ARM đường dẫn tới cross compiler ...............................86
Hình 3.41 Cmake Opencv kit configure ...................................................................87
Hình 3.42 Cmake Opencv kit generating ..................................................................88
Hình 3.43 Copy thư viện opencv lên kit ...................................................................89
Hình 3.44 Copy thư viện qte lên kit ..........................................................................90
Hình 3.45 Chỉnh sửa đường dẫn thư viện build cho kit ............................................91
Hình 3.46 Copy ứng dụng xuống kit .........................................................................91
Hình 3.47 Chỉnh sửa file rcS .....................................................................................92
Hình 3.48 Chỉnh sửa file appscript ...........................................................................93
Hình 4.1 Nhận diện biển báo bị chói nắng ................................................................95
Hình 4.2 Nhận diện biển báo có màu sơn mờ, bong tróc ..........................................95

Hình 4.3 Nhận diện biển báo lúc trời tối, sơn phai màu ...........................................96
Hình 4.4 Nhận diện biển báo có viền trùng màu nền ................................................96
Hình 4.5 Nhận diện biển báo ánh sáng khơng đồng đều, bóng râm .........................97
Hình 4.6 Nhận diện biển báo mờ, blur do di chuyển ................................................97
Hình 4.7 Nhận diện biển báo bị blur 1 ......................................................................98
Hình 4.8 Nhận diện biển báo bị blur 2 ......................................................................98
Hình 4.9 Nhận diện biển báo bị blur 3 ......................................................................99
Hình 4.10 Nhận diện biển báo bị cong, méo .............................................................99
Hình 4.11 Thử nghiệm giải thuật trên kit ................................................................104
- xi -


Hình 4.12 Nhận diện biển báo giao thơng trên kit 1 ...............................................105
Hình 4.13 Nhận diện biển báo giao thơng trên kit 2 ...............................................105
Hình 4.14 Thời gian nhận diện biển báo 124a – 23ms ...........................................106
Hình 4.15 Thời gian nhận diện biển báo 128 ~24ms .............................................107
Hình 4.16 Thời gian nhận diện biển báo 131b – 21ms ...........................................107
Hình 4.17 Thời gian nhận diện biển báo 201a – 20ms ...........................................108
Hình 4.18 Thời gian nhận diện biển báo 208 – 20ms .............................................108

- xii -


1. CHƢƠNG 1: GIỚI THIỆU
1.1 Giới thiệu tổng quan
Vấn đề về an tồn giao thơng ln là một chủ đề nóng được cộng đồng và nhà
nước quan tâm. Mỗi ngày số người chết vì tai nạn giao thơng khơng ngừng tăng lên,
nguyên nhân chủ yếu là do ý thức người tham gia giao thơng, ngồi ra cịn phải kể
tới cơ sở hạ tầng giao thông. Tuy nhiên cũng không thể đổ lỗi hồn tồn cho người
tham gia giao thơng, một phần các tài xế lưu thông trên đường luôn phải xử lí rất

nhiều tình huống liên tục do đó sự thiếu sót là khơng tránh khỏi, một phần khơng
nhỏ đó là ý thức tham gia giao thông.
Để giảm bớt thiếu sót trong xử lý tình huống của tài xế cũng như giảm bớt tai nạn
giao thông, việc giúp tài xế phát hiện và nhận diện biển báo giao thơng có thể giảm
bớt phần nào tai nạn giao thông. Phát hiện và nhận diện biển báo giao thơng là một
phần chính của hệ thống hỗ trợ lái xe DAS (Driver Assistant Systems). Nó có thể
cung cấp thơng tin như đưa ra các cảnh báo cho tài xế, hoặc hỗ trợ cho việc lái xe tự
động. Trong phạm vi luận văn này em sẽ từng bước xây dựng ra hệ thống này dựa
trên bộ thư viện xử lý ảnh OpenCV, chạy trên Kit nhúng FriendlyARM Tiny4412.
1.2 Mục tiêu đề tài
-

Phát triển giải thuật phát hiện và nhận dạng biển báo giao thông tại Việt
Nam.

-

Mô phỏng giải thuật trên PC

-

Xây dựng hệ thống phát hiện và nhận diện biển báo giao thông ở Việt Nam,
sử dụng kit FriendlyArm Tiny 4412

-

Xây dựng cơ sở dữ liệu hình ảnh và video về biển báo giao thông Việt Nam.

1.3 Một số thách thức và giới hạn đề tài
Biển báo giao thơng đường bộ 2015 hay cịn gọi là hệ thống báo hiệu đường bộ

là hệ thống các biển báo được đặt ven đường giao thông, biển báo giao thông cung
cấp các thông tin cụ thể đến người tham gia giao thơng. Được chia thành 6 nhóm
sau: biển báo cấm, biển báo nguy hiểm, biển hiệu lệnh, biển chỉ dẫn, biển phụ, vạch
-1-


kẻ đường. Trong mỗi nhóm biển báo có số lượng biển báo rất đa dạng nhiều hình
dạng màu sắc khác nhau.
1.3.1 Một số thách thức
Do sự phức tạp của biển báo và môi trường xung quanh chúng, việc phát hiện và
nhận diện biển báo sẽ gặp nhiều khó khăn như:
- Màu sắc biển báo bị phai mờ theo thời gian do sự tiếp xúc với ánh mặt trời và
phản ứng của lớp sơn với khơng khí.

Hình 1.1 Biển báo bị phai mờ

- Tầm nhìn hạn chế do điều kiện thời tiết như sương mù, mưa, mây hoặc tuyết rơi.

Hình 1.2 Biển báo bị sương mù bao phủ

- Độ sáng thay đổi theo thời gian trong ngày, bị che khuất bởi các vật thể khác.

-2-


Hình 1.3 Biển báo bị che khuất

- Đặc biệt thơng tin màu sắc rất nhạy cảm với các điều kiện ánh sáng như bóng tối,
đám mây, mặt trời, có thể bị ảnh hưởng sự chiếu sáng do góc nhìn.

Hình 1.4 Biển báo thiếu sáng

- Nhiễu do các vật thể cùng màu sắc như các biển quảng cáo, băng rôn.

-3-


Hình 1.5 Biển báo trùng màu nền (quảng cáo )

- Biển báo bị hư hỏng, mất góc.
- Có quá nhiều biển báo hiện diện cùng lúc.

Hình 1.6 Quá nhiều biển báo cùng lúc

- Thơng thường hình ảnh được lấy từ camera trên xe do đó sẽ khơng tránh khỏi bị
mờ do chuyển động, rung.
- Sự hiện diện của các chướng ngại như cây cối, nhà cửa, xe cộ và người đi bộ.
- Hiện nay biển báo giao thông ở Việt Nam do nhiều cơng ty thi cơng và khơng có
quy chuẩn nhất định.
- Thiếu một cơ sở dữ liệu tiêu chuẩn để đánh giá các phương pháp phân loại hiện
có.
-4-


1.3.2 Giới hạn đề tài
Phạm vi nghiên cứu của đề tài dành cho 3 loại biển báo chính với số lượng như sau:
20 Biển báo cấm: Biển báo cấm để biểu thị các điều cấm. Người sử dụng đường
phải chấp hành những điều cấm mà biển đã báo. Nhóm biển báo cấm gồm có 39
kiểu được đánh số thứ tự từ biển số 101 đến biển số 139.
Đặc trƣng: thường hình trịn, viền đỏ, nền trắng, trừ một số biển đặc biệt như biển

102- cấm đi ngược chiều, biển cấm dừng, đậu xe có nền xanh viền đỏ như biển 130,
131a, 131b, 131c.
Bảng 1.1 Danh sách biển cấm được thử nghiệm

BIỂN BÁO CẤM
Hình ảnh

STT
1

Ký hiệu và tên biển
101 – Đường cấm

2

102 – Cấm đi ngược chiều

3

103a – Cấm ô tô

4

103b – Cấm ô tô rẽ phải

5

103c – Cấm ô tô rẽ trái

6

106a – Cấm ơ tơ tải (có trọng tải từ 1.5 tấn trở
lên)

7

123a – Cấm rẽ trái

8

123b – Cấm rẽ phải

9

124a – Cấm quay xe

10

125 – Cấm vượt

11

127a – Tốc độ tối đa cho phép 40km/h

-5-


12

127b – Tốc độ tối đa cho phép 60km/h

13

127c – Tốc độ tối đa cho phép 80km/h

14

127d – Tốc độ tối đa cho phép 50km/h

15

127e – Tốc độ tối đa cho phép 30km/h

16

128 – Cấm sử dụng còi

17

130 – Cấm dừng và đỗ xe

18

131a – Cấm đỗ xe

19

131b – Cấm đỗ xe ngày lẻ

20

131c – Cấm đỗ xe ngày chẵn

22 Biển báo nguy hiểm: cảnh báo các nguy hiểm thường gặp, được đánh số từ 201
đến 245.
Đặc trƣng: Có hình tam giác nền vàng, viền đỏ.
Bảng 1.2 Danh sách biển báo nguy hiểm được thử nghiệm

STT
1

BIỂN BÁO NGUY HIỂM
Ký hiệu và tên biển
201a – Chỗ ngoặc nguy hiểm

2

201b – Chỗ ngoặc nguy hiểm

3

202a – Nhiều chỗ ngoặc nguy hiểm liên tiếp

4

202b – Nhiều chỗ ngoặc nguy hiểm liên tiếp

5

203b – Đường bị hẹp bên trái

-6-

Hình ảnh


6

203c – Đường bị hẹp bên phải

7

205e – Đường giao nhau

8

205a – Đường giao nhau

9

205b – Đường giao nhau

10

205c – Đường giao nhau

11

208 – Giao nhau với đường ưu tiên

12

210 – Giao nhau với đường sắt có rào chắn

13

224 – Đường người đi bộ cắt ngang

14

225 – Trẻ em

15

223 – Nguy hiểm khác

16

227 – Công trường

17

239 – Đường cáp điện phía trên

18

245a – Đi chậm

19

246 – Chú ý chướng ngại vật

20

204 – Đường 2 chiều

21

202 – Chỗ ngoặc nguy hiểm liên tiếp

22

209 – Giao nhau có tín hiệu đèn

10 Biển hiệu lệnh: chỉ dẫn hiệu lệnh, được đanh số từ 301 đến 309.
Đặc trƣng: Hình trịn, nền xanh và khơng viền.
-7-


Bảng 1.3 Danh sách các biển báo hiệu lệnh được thử nghiệm

STT
1

BIỂN BÁO CHỈ DẪN
Ký hiệu và tên biển
301a – Hướng đi phải theo

2

301b – Hướng đi phải theo

3

301c – Hướng đi phải theo

4

301d – Chỉ được rẽ phải

5

301e – Chỉ được rẽ trái

6

301i – Chỉ được rẽ phải hoặc rẽ trái

7

302a – Hướng phải đi vòng chướng ngại vật

8

302b – Hướng phải đi vòng chướng ngại vật

9

303 – Nơi giao nhau chạy theo vòng xuyến

10

306 – Tốc độ tối thiểu cho phép

Hình ảnh

-

Đề tài được thực hiện trên kit nhúng Friendly Arm Tiny 4412

-

Camera thực hiện có độ phân giải 640x480

-

Xử lý thời gian thực ở tốc độ < 20 frames/s

-8-


2. CHƢƠNG 2: TÌNH HÌNH NGHIÊN CỨU
Phát hiện và nhận diện biển báo giao thông không phải là một vấn đề mới, nó đã
được các hãng xe hơi lớn trên thế giới áp dụng trong các mẫu xe hiện đại (BMW đã lắp
đặt bộ phát hiện biển báo giao thông cho một số dòng xe tuy nhiên chỉ với một số biển
quan trọng). Chủ đề nhận diện biển báo được xuất bản đầu tiên tại Nhật năm 1984, kể
từ đó chủ đề này nhanh chóng trở thành lĩnh vực nghiên cứu ứng dụng được hỗ trợ bởi
các công ty lớn trong ngành công nghiệp ô tô.
2.1 Cơ bản về giải thuật nhận dạng biển báo giao thơng
Q trình nhận diện biển báo giao thơng có thể chia ra làm 2 giai đoạn chính: phát

hiện và nhận diện. Trong đó giai đoạn phát hiện đóng vai trị quyết định về sau, chỉ có
phát hiện chính xác đối tượng nào là biển báo thì mới có thể đưa vào nhận diện được.
Chính vì vậy đây là giai đoạn cực kỳ quan trọng cần phải nghiên cứu kỹ lưỡng. Dựa
trên các phân tích về đặc trưng biển báo cho thấy màu sắc và hình dạng biển báo là hai
thơng tin quan trọng giúp phát hiện và phân loại biển báo do đó ta sẽ xem xét các bài
báo sử dụng các kỹ thuật phát hiện và nhận dạng dựa trên: thông tin màu sắc, thơng tin
hình dạng, dựa trên các thuật tốn máy học (machine learning).
2.2 Các cơng trình nghiên cứu liên quan
2.2.1 Các cơng trình nghiên cứu dựa trên thơng tin màu sắc, hình dạng
Một bài báo của Ghica năm 1995 [1] sử dụng ngưỡng để phân đoạn màu, đây là
kỹ thuật cơ bản nhất tính tốn sự sai khác giữa các pixel trong ảnh so với giá trị tham
khảo trên không gian RGB.
Fang [2] tính tốn giá trị Hue của khơng gian màu HSI trên mỗi pixel, so sánh sự
tương đồng của Hue với giá trị Hue tham khảo. Đối tượng được phát hiện nếu sự tương
đồng là lớn, kết quả sau đó đem đi phân tích xác định màu sắc của đối tượng so với
màu biển báo chuẩn để nhận diện.

-9-


Hoferlin, K. Zimmermann [3], đây là một bài báo phát hiện biển báo dựa trên hình
dạng đối tượng.

Hình 2.1 Hệ thống nhận diện biển báo của Hoferlin, K. Zimmer

Hình 2.1 là cấu trúc hệ thống nhận diện biển báo giao thông của Hoferlin, K Zimmer,
sử dụng các ứng dụng của SIFT và dựa trên hình dạng biển báo để phát hiện đối tượng
là biển báo. Hơn nữa nhóm tác giả bổ sung một kỹ thuật gọi là mật độ cong tương ứng
(contracting curve density – CCD) để tinh chỉnh vùng ứng cử được phát hiện là biển
báo, tăng hiệu suất cho quá trình phân loại kế tiếp. Cuối cùng nhận diện dựa trên SIFT

và SURF sử dụng mạng nơ rơn.
Yin S, Ouyang P, et al. [4] sử dụng phương pháp biến đổi Hough điển hình để phát
hiện vùng ảnh có khả năng là biển báo giao thơng sau đó họ dùng RIBP (Rotation
Invariant Binary Pattern) dựa trên không gian affine và Gaussian để rút ngắn thời gian
phát hiện biển báo hiệu quả trên những biển báo bị xoay, chói sáng, hoặc không đúng tỉ
lệ. Cuối cùng họ sử dụng mạng ANN (Artificial Neutral Network) dựa trên tính năng
giảm kích thước và phân loại để giảm thời gian nhận diện.

- 10 -