Thiết kế hệ thống nhúng cho máy phát hiện bảng hiệu giao thông
Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (2.29 MB, 90 trang )
ĐẠI HỌC QUỐC GIA TP. HCM
TRƢỜNG ĐẠI HỌC BÁCH KHOA
--------------------
NGUYỄN VIỆT TIẾN
THIẾT KẾ HỆ THỐNG NHÚNG CHO MÁY PHÁT HIỆN
BẢNG HIỆU GIAO THÔNG
Chuyên ngành: Kỹ Thuật Điện Tử
Mã số: 60 52 70
LUẬN VĂN THẠC SĨ
TP. HỒ CHÍ MINH, tháng 06 năm 2013
CƠNG TRÌNH ĐƢỢC HỒN THÀNH TẠI
TRƢỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM
Cán bộ hƣớng dẫn khoa học: TS. TRƢƠNG QUANG VINH.
(Ghi rõ họ, tên, học hàm, học vị và chữ ký)
Cán bộ chấm nhận xét 1: PGS. TS. LÊ TIẾN THƢỜNG.
(Ghi rõ họ, tên, học hàm, học vị và chữ ký)
Cán bộ chấm nhận xét 2: TS. CHẾ VIẾT NHẬT ANH.
(Ghi rõ họ, tên, học hàm, học vị và chữ ký)
Luận văn thạc sĩ đƣợc bảo vệ tại Trƣờng Đại học Bách Khoa, ĐHQG Tp.
HCM ngày 11 tháng 07 năm 2013.
Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm:
(Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ luận văn thạc sĩ)
1. PGS. TS. LÊ TIẾN THƢỜNG.
2. TS. TRƢƠNG QUANG VINH.
3. TS. HOÀNG TRANG.
4. TS. CHẾ VIẾT NHẬT ANH.
5. TS. VÕ NGUYỄN QUỐC BẢO.
Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trƣởng Khoa quản lý
chuyên ngành sau khi luận văn đã đƣợc sửa chữa (nếu có).
CHỦ TỊCH HỘI ĐỒNG
TRƢỞNG KHOA ĐIỆN-ĐIỆN TỬ
ĐẠI HỌC QUỐC GIA TP.HCM
TRƢỜNG ĐẠI HỌC BÁCH KHOA
CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT
NAM Độc lập - Tự do - Hạnh phúc
NHIỆM VỤ LUẬN VĂN THẠC SĨ
Họ tên học viên: NGUYỄN VIỆT TIẾN
MSHV: 11140064
Ngày, tháng, năm sinh: 11/07/1987
Nơi sinh: TP.HCM
Chuyên ngành: Kỹ Thuật Điện Tử
Mã số: 60 52 70
I. TÊN ĐỀ TÀI: Thiết kế hệ thống nhúng cho máy phát hiện bảng hiệu giao thông.
II. NHIỆM VỤ VÀ NỘI DUNG:
-
Thiết kế hệ thống nhúng cho máy phát hiện bảng hiệu giao thông.
Thực hiện trên kit Beagle Board.
III. NGÀY GIAO NHIỆM VỤ:
21/01/2013.
IV. NGÀY HOÀN THÀNH NHIỆM VỤ:
21/06/2013.
V. CÁN BỘ HƢỚNG DẪN:
TS. TRƢƠNG QUANG VINH.
Tp. HCM, ngày . . . . tháng .. . . năm 2013
CÁN BỘ HƢỚNG DẪN
(Họ tên và chữ ký)
CHỦ NHIỆM BỘ MÔN ĐÀO TẠO
(Họ tên và chữ ký)
TRƢỞNG KHOA ĐIỆN ĐIỆN TỬ
(Họ tên và chữ ký)
Lời cám ơn
GVHD: TS. Trƣơng Quang Vinh
LỜI CÁM ƠN
Em xin gởi đến TS.Trƣơng Quang Vinh lời cảm ơn chân thành với sự trân
trọng và lòng biết ơn sâu sắc về sự hƣớng dẫn đầy chu đáo và nhiệt tình. Thầy đã
dẫn dắt, tạo cho em cách tƣ duy và làm việc một cách khoa học, hƣớng em đến đề
tài khoa học mới mẻ, tiếp cận với các công nghệ hiện đại.
Em xin chân thành cám ơn các thầy cô ngành Kỹ Thuật Điện Tử đã hết lòng
dạy dỗ và truyền đạt cho em những kiến thức quí báu.
Con xin gởi đến cha mẹ lịng kính trọng và biết ơn sâu sắc nhất. Cha mẹ đã
nuôi nấng dạy dỗ con nên ngƣời và là chỗ dựa tinh thần vững chắc cho con trong
cuộc đời.
Tôi xin cảm ơn các bạn đã cùng học tập, giúp đỡ, động viên và cùng tôi bƣớc
trên con đƣờng nghiên cứu này.
Tp. Hồ Chí Minh, tháng 06 năm 2013
Học viên
Nguyễn Việt Tiến
HVTH: Nguyễn Việt Tiến
-i-
Tóm tắt luận văn
GVHD: TS. Trƣơng Quang Vinh
TĨM TẮT LUẬN VĂN
Hệ thống nhúng phát hiện và nhận dạng biển báo giao thông đƣợc dùng để phát hiện
ra các biển báo giao thông hỗ trợ cho ngƣời lái xe để nâng cao tính an tồn cũng
nhƣ giúp việc lƣu thơng đƣợc thuận lợi hơn. Đề tài thiết kế hệ thống nhúng cho máy
phát hiện và nhận dạng biển báo giao thông sử dụng thƣ viện OpenCV do Intel phát
triển, chƣơng trình Qt – Everywhere và đƣợc thực hiện trên kit Beagleboard xM là
hệ thống đƣợc tích hợp lõi Cortex A8 có hỗ trợ khá mạnh về các ứng dụng xử lý
ảnh.
Thuật tốn đƣợc trình bày trong đề tài này bao gồm ba bƣớc chính: phân đoạn, nhận
dạng và phân lớp.
Do đặc điểm của biển báo giao thông là các màu đỏ, màu vàng, màu xanh dƣơng và
hình dạng là hình trịn, hình tam giác nên phân đoạn gồm hai phần là phân đoạn
màu và phân đoạn hình học. Phân đoạn màu gồm các màu đỏ, màu vàng và màu
xanh dƣơng. Phân đoạn hình học áp dụng phƣơng pháp Affine Moment Invariant để
nhận dạng hình trịn và hình tam giác.
Nhận dạng là sự kết hợp của hai phân đoạn là phân đoạn màu sắc và phân đoạn hình
học.
Phƣơng pháp phân lớp sử dụng thuật tốn Support Vector Machines (SVMs) là
phƣơng pháp có tốc độ phân lớp nhanh và độ chính xác cao.
Kết quả thực nghiệm đã đánh giá đƣợc các thuật toán đƣợc đề xuất mang lại hiệu
quả cao và có thể ứng dụng vào thực tế.
HVTH: Nguyễn Việt Tiến
- ii -
GVHD: TS. Trƣơng Quang Vinh
Abstract
ABSTRACT
Embedded system for traffic sign detection and recognition are used to detect the
traffic sign and support the driver for safety as well as comfortable driving. This
embedded system uses OpenCV library developed by Intel, Qt - Everywhere
program and performed on Beagle Board xM kit integrated system Cortex A8 core
with strong support for image processing applications. The algorithm presented in
this subject consists of three main steps: segmentation, recognition and
classification.
Because the colors of traffic signs are red, yellow, blue and the shapes are circles
and triangles, traffic sign detection is based on color segmentation and geometry
segmentation. Color segmentation are applied on red, yellow, and blue. Geometric
segmentation uses method Affine Invariant Moment for identification of circles and
triangles.
Identification is a combination of the two segments, including color segmentation
and geometric segmentation.
Classification method uses Support Vector Machines algorithm (SVMs) that is
layered method with quick speed and high accuracy.
The experimental results show that the proposed algorithm is highly effective and
can be applied in practice.
HVTH: Nguyễn Việt Tiến
- iii -
Lời cam đoan
GVHD: TS. Trƣơng Quang Vinh
LỜI CAM ĐOAN
Tôi cam đoan các kết quả đề tài thực hiện chƣa từng cơng bố trong bất kỳ cơng trình
khoa học trƣớc đây.
Ngƣời cam đoan
Nguyễn Việt Tiến
HVTH: Nguyễn Việt Tiến
- iv -
GVHD: TS. Trƣơng Quang Vinh
Mục lục
MỤC LỤC
LỜI CÁM ƠN ............................................................................................................. i
TÓM TẮT LUẬN VĂN ............................................................................................ ii
ABSTRACT .............................................................................................................. iii
LỜI CAM ĐOAN ..................................................................................................... iv
MỤC LỤC ...................................................................................................................v
DANH SÁCH HÌNH VẼ ......................................................................................... vii
DANH SÁCH BẢNG BIỂU ..................................................................................... ix
CHƢƠNG I: MỞ ĐẦU ...............................................................................................1
1.1 Giới thiệu đề tài .................................................................................................1
1.2 Mục tiêu đề tài ...................................................................................................2
1.3 Các khó khăn trong việc nhận dạng ..................................................................2
1.4 Giới hạn của đề tài .............................................................................................4
1.5 Bố cục luận văn .................................................................................................4
CHƢƠNG II: KHÁI QUÁT HỆ THỐNG PHÁT HIỆN VÀ NHẬN DẠNG BIỂN
BÁO GIAO THÔNG ..................................................................................................6
2.2 Các chuẩn qui định của biển báo giao thông .....................................................7
2.2.1 Nhóm biển hiệu lệnh ...................................................................................7
2.2.2 Nhóm biển báo cấm ....................................................................................7
2.2.3 Nhóm biển báo nguy hiểm ..........................................................................7
2.3 Phƣơng pháp hoạt động chung của hệ thống nhúng phát hiện và nhận dạng
biển báo giao thông .................................................................................................8
2.3.1 Tiền xử lý ....................................................................................................8
2.3.2 Phát hiện biển .............................................................................................8
2.3.3 Nhận dạng biển ...........................................................................................9
2.4 Ứng dụng của hệ thống nhúng phát hiện biển báo giao thông ..........................9
CHƢƠNG III: CÁC CƠNG TRÌNH NGHIÊN CỨU THIẾT KẾ HỆ THỐNG
PHÁT HIỆN VÀ NHẬN DẠNG BIỂN BÁO GIAO THÔNG ................................11
3.1 Khảo sát các cơng trình nghiên cứu ................................................................11
3.1.1 Ảnh đầu vào ..............................................................................................12
3.1.2 Tiền xử lý ..................................................................................................12
3.1.3 Phát hiện biển ...........................................................................................13
HVTH: Nguyễn Việt Tiến
-v-
GVHD: TS. Trƣơng Quang Vinh
Mục lục
3.1.4 Nhận dạng biển .........................................................................................24
3.1.5 Phân lớp ....................................................................................................24
3.2 Phƣơng pháp nghiên cứu .................................................................................28
3.2.1 Hƣớng tiếp cận ..........................................................................................28
3.2.2 Phƣơng pháp .............................................................................................29
CHƢƠNG IV: THIẾT KẾ HỆ THỐNG NHÚNG CHO MÁY PHÁT HIỆN VÀ
NHẬN DẠNG BIỂN BÁO GIAO THÔNG .............................................................31
4.1 Tổng quan hệ thống .........................................................................................31
4.1.1 Hardware ...................................................................................................32
4.1.2 Software ....................................................................................................37
4.2 Giải thuật .........................................................................................................41
4.2.1 START & PREPROCESS ........................................................................43
4.2.2 COLOR SEGMENTATION ....................................................................45
4.2.3 GEOMETRY SEGMENTATION ............................................................47
4.2.4 FEATURE EXTRACTION ......................................................................50
4.2.5 RECOGNITION .......................................................................................53
4.2.6 END PROCESS ........................................................................................54
CHƢƠNG V: KẾT QUẢ THỰC NGHIỆM .............................................................56
5.1 Chƣơng trình phát hiện và nhận dạng biển báo giao thông .............................56
5.1.1 Giao diện chính của chƣơng trình.............................................................56
5.1.2 Các chế độ hoạt động của chƣơng trình ...................................................60
5.2 Kết quả đạt đƣợc ..............................................................................................66
5.2.1 Thuật tốn phân đoạn hình học .................................................................69
5.2.2 Áp dụng các phƣơng pháp chuyển sang ảnh binary .................................70
5.2.3 Thời gian xử lý cho một khung hình ........................................................73
CHƢƠNG VI: KẾT LUẬN VÀ KIẾN NGHỊ ..........................................................74
6.1 Kết luận ...........................................................................................................74
6.2 Kiến nghị .........................................................................................................74
TÀI LIỆU THAM KHẢO .........................................................................................76
HVTH: Nguyễn Việt Tiến
- vi -
GVHD: TS. Trƣơng Quang Vinh
Danh sách hình vẽ
DANH SÁCH HÌNH VẼ
Hình 1 Hình ảnh thể hiện sự khó khăn trong việc phát hiện và nhận dạng biển báo
giao thơng ....................................................................................................................3
Hình 2 Mơ hình chung được sử dụng rộng rãi ...........................................................8
Hình 3 Mơ hình chung được sử dụng rộng rãi .........................................................11
Hình 4 (a) Color Mode Image, (b) Black and White Mode Images, (c) Smooth image
using Gaussian filter, and (d) Binary result image after using Gaussian filter and
Canny edge detection techniques [4] ........................................................................12
Hình 5 Khơng gian màu HSV ....................................................................................14
Hình 6 Hình trịn biểu diễn màu sắc (Hue) ...............................................................15
Hình 7 Các bước để tách một vùng ảnh có thể chứa biển báo giao thơng trong ảnh
[13] ............................................................................................................................16
Hình 8 Phương pháp phân đoạn màu dùng YcbCr [10] ...........................................18
Hình 9 Ví dụ về phương pháp chuyển đổi màu. Cột bên trái: Hình ảnh gốc. Cột
giữa: chứa các kênh màu đỏ tương ứng của hình ảnh. Cột bên phải: hình ảnh được
chuyển bằng cách sử dụng màu đỏ và dữ liệu tham khảo cục bộ [12] .....................19
Hình 10 Phân đoạn hình học bên trong biển báo [3] ...............................................21
Hình 11 Lưu đồ áp dụng watershed [3] ....................................................................22
Hình 12 Generation of the candidate regions for mutually occluding traffic signs
using watershed segmentation [3] ............................................................................23
Hình 13 The TSC decision tree [9] ...........................................................................24
Hình 14 Kết quả nhận dạng ký tự sử dụng mạng Neural truyền thẳng nhiều lớp [7]
...................................................................................................................................26
Hình 15 Quá trình thực hiện đề tài ...........................................................................30
Hình 16 Sơ đồ tổng quan hệ thống............................................................................31
Hình 17 Sơ đồ phần cứng và phần mềm của hệ thống phát hiện và nhận dạng biển
báo giao thơng...........................................................................................................32
Hình 18 Camera Logitech HD C525 ........................................................................33
Hình 19 BeagleBoard xM..........................................................................................34
Hình 20 Beagleboard xM ..........................................................................................35
Hình 21 Sơ đồ khối hệ thống BBxM ..........................................................................37
Hình 22 Sơ đồ giải thuật chung cho hệ thống nhúng phát hiện và nhận dạng biển
báo giao thơng...........................................................................................................42
Hình 23 Sơ đồ giải thuật cho khối START & PREPROCESS ...................................43
Hình 24 Sơ đồ giải thuật cho khối COLOR SEGMENTATION ................................45
Hình 25 Sơ đồ giải thuật cho khối GEOMETRY SEGMENTATION ........................47
Hình 26 Sơ đồ giải thuật cho khối FEATURE EXTRACTION .................................50
Hình 27 Sơ đồ giải thuật cho khối RECOGNITION .................................................53
Hình 28 Sơ đồ giải thuật cho khối END PROCESS .................................................54
Hình 29 Giao diện chính của chương trình phát hiện và nhận dạng biển báo giao
thông ..........................................................................................................................56
HVTH: Nguyễn Việt Tiến
- vii -
GVHD: TS. Trƣơng Quang Vinh
Danh sách hình vẽ
Hình 30 Chọn chế độ hoạt động cho chương trình ...................................................57
Hình 31 Phần điều khiển chương trình .....................................................................58
Hình 32 Màn hình hiển thị của chương trình ...........................................................59
Hình 33 Phần hiển thị kết quả biển báo giao thơng phát hiện được ........................60
Hình 34 Camera ........................................................................................................61
Hình 35 Chương trình hoạt động ở chế độ Camera .................................................62
Hình 36 Video ...........................................................................................................63
Hình 37 Chương trình hoạt động ở chế độ Video .....................................................64
Hình 38 Picture .........................................................................................................65
Hình 39 Chương trình hoạt động ở chế độ Picture ..................................................66
HVTH: Nguyễn Việt Tiến
- viii -
GVHD: TS. Trƣơng Quang Vinh
Danh sách bảng biểu
DANH SÁCH BẢNG BIỂU
Bảng 1 Classification rates of sign rims and speed-limit signs using different
kernels and svm types when binary images are used [11] ........................................28
Bảng 2 Các đặc tính của BBxM ................................................................................36
Bảng 3 Bộ huấn luyện ...............................................................................................69
Bảng 4 Kết quả nhận dạng hình học .........................................................................70
Bảng 5 Kết quả nhận dạng biển báo giao thông khi áp dụng phương pháp
cvAdaptiveThreshold .................................................................................................71
Bảng 6 Kết quả nhận dạng biển báo giao thông khi áp dụng phương pháp OTSU .72
Bảng 7 Thời gian xử lý cho một khung hình .............................................................73
HVTH: Nguyễn Việt Tiến
- ix -
Chƣơng I: Mở đầu
GVHD: TS. Trƣơng Quang Vinh
CHƢƠNG I: MỞ ĐẦU
1.1 Giới thiệu đề tài
Các hệ thống hỗ trợ ngƣời điều khiển phƣơng tiện giao thông ngày càng trở nên
thông minh hơn nhằm nâng cao sự an toàn cho cho ngƣời tham gia giao thơng.
Ngƣời điểu khiển xe có thể bị xao lãng, không tập trung lái xe do ngủ gật, say rƣợu
… nên có thể gây ra tai nạn trong q trình lái xe. Do đó hệ thống hỗ trợ ngƣời điều
khiển phƣơng tiện giao thơng đóng vai trị rất quan trọng trong việc ngăn chặn các
tai nạn có thể xảy ra.
Hiện nay, hệ thống phát hiện biển báo giao thông đang trở nên phổ biến dƣới sự
phát triển của các công ty sản xuất xe hơi. Trọng tâm của vấn đề nằm ở khả năng
thiết kế một giải thuật hiệu quả để có thể nhận dạng đƣợc các biển báo giao thơng
dùng trong các camera hành trình và các thiết bị số khác.
Việc phát hiện biển báo giao thơng vẫn cịn là thách thức lớn cho các nhà nghiên
cứu. Việc nhận dạng gặp phải nhiều vấn đề nhƣ điều kiện thời tiết, ánh sáng, hiện
tƣợng biển báo bị che chắn làm cho hiệu quả nhận dạng chƣa cao. Thông tin về màu
sắc cũng rất quan trọng trong các điều kiện ánh sáng khác nhau nhƣ bóng râm, mây
và mặt trời. Tình trạng của các biển báo cũng là yếu tố quyết định đến việc nhận
dạng nhƣ biển báo bị móp méo, hƣ hại, bị nghiêng. Trong q trình camera ghi hình
thì hình ảnh nhận đƣợc có thể bị mờ do di chuyển hay bị rung … Các kết quả vẫn
còn nhiều hạn chế bởi các yếu tố khách quan nêu trên.
Cùng với sự phát triển công nghệ vi mạch, các hệ thống nhúng đã ngày càng đƣợc
ứng dụng rộng rãi. Các hệ thống này giúp cho việc xử lý công việc trở nên dễ dàng
và đơn giản hơn. Các lõi IP (IP core) đang đƣợc ứng dụng rộng rãi trong hầu hết các
thiết bị thông minh. Beagle board xM là hệ thống đƣợc tích hợp lõi Cortex A8 có hỗ
trợ khá mạnh về các ứng dụng xử lý ảnh.
HVTH: Nguyễn Việt Tiến
-1-
Chƣơng I: Mở đầu
GVHD: TS. Trƣơng Quang Vinh
Với các yếu tố trên, đề tài thiết kế hệ thống nhúng cho máy phát hiện và nhận dạng
biển báo giao thông thực hiện xây dựng một giải thuật “nhận dạng biển báo giao
thông” trên Beagle Board xM. Sử dụng và cải tiến các giải thuật đã và đang đƣợc
nghiên cứu trong đề tài này.
1.2 Mục tiêu đề tài
Thiết kế hệ thống nhúng nhận dạng biển báo giao thông bao gồm ba bƣớc chính:
phân đoạn, phát hiện và nhận dạng. Do đặc tính của biển báo giao thơng gồm có
màu sắc và hình dạng nên quá trình phân đoạn gồm phân đoạn màu sắc và phân
đoạn hình học. Sau khi các đối tƣợng đã đƣợc phân đoạn xong thì kết luận đối
tƣợng đó có thể phát hiện là biển báo giao thơng. Hình ảnh của đối tƣợng đƣợc tách
riêng ra và đƣợc đƣa vào bƣớc nhận dạng.
Màu sắc của các biển báo gồm có hai màu chính là màu đỏ và màu xanh dƣơng.
Các biển báo nhận dạng gồm có hai loại biển báo hình trịn và hình tam giác. Phân
tích các đặc trƣng này và từ đó đƣa ra các ngƣỡng phù hợp cho đề tài.
1.3 Các khó khăn trong việc nhận dạng
Một con đƣờng bình thƣờng giữa một thành phố tấp nập và đơng đúc đƣợc phân
tích nhƣ trong hình sau. Trong hình có nhiều ngƣời, các phƣơng tiện giao thơng với
nhiều màu sắc khác nhau, các biển báo bị che chắn. Chúng ta có thể nhận ra các
biển báo giao thơng dễ dàng nhƣng trong thị giác máy tính và bài tốn phát hiện
biển báo giao thơng thì rất khó để phát hiện đƣợc.
HVTH: Nguyễn Việt Tiến
-2-
Chƣơng I: Mở đầu
GVHD: TS. Trƣơng Quang Vinh
Hình 1 Hình ảnh thể hiện sự khó khăn trong việc phát hiện và nhận dạng biển báo
giao thơng
Trong thị giác máy tính (Computer Vision) thì việc nhận dạng gặp phải nhiều vấn
đề nhƣ sau:
Phân biệt màu sắc của các đối tƣợng trong hình.
Sự xuất hiện của các vật chắn hay nhiễu xuất hiện trong hình.
Số lƣợng các thơng tin trong hình q nhiều và cần phải có thời gian cho
việc phân tích và chọn lọc các thơng tin mong muốn.
Ngồi các mơi trƣờng phức tạp của những con đƣờng và những cảnh xung quanh
minh họa trong hình, bản thân biển báo hiệu còn bị hƣ hại theo thời gian, bị mờ, mất
phƣơng hƣớng … và do đó việc phát hiện và nhận dạng những biển báo này có thể
phải đối mặt với một hoặc nhiều khó khăn.
HVTH: Nguyễn Việt Tiến
-3-
Chƣơng I: Mở đầu
GVHD: TS. Trƣơng Quang Vinh
1.4 Giới hạn của đề tài
Nhận diện bảng hiệu giao thông là một lĩnh vực lớn với thông tin biển báo giao
thông đƣợc cập nhật liên tục. Tùy theo từng quốc gia mà biển báo sẽ có đặc trƣng
khác nhau làm cho cơ sở dữ liệu huấn luyện sẽ thay đổi theo, nên trong đề tài thực
hiện này em giới hạn thực hiện trong phạm vi nƣớc Việt Nam và áp dụng thực hiện
các biển báo phổ biến có thể làm đƣợc (đƣợc lấy tại các xa lộ ở thành phố Hồ Chí
Minh). Biển báo giao thông đƣợc sử dụng trong đề tài bao gồm các biển báo đƣờng
bộ. Đề tài “Thiết kế hệ thống nhúng cho máy phát hiện bảng hiệu giao thông” đƣợc
thực hiện với 20 loại biển báo thông dụng.
Các biển LED, biển chỉ đƣờng, hƣớng đi và thông tin tên cho các thành phố, quận
huyện, thị trấn và làng sẽ không áp dụng trong đề tài này.
Đề tài đƣợc thực hiện dựa trên phần cứng có sẵn tại phịng thí nghiệm IC Design
thuộc Bộ mơn Điện tử, Khoa Điện-Điện tử, trƣờng Đại học Bách Khoa TP HCM là
kit Beagleboard xM.
Camera thực hiện có độ phân giải giới hạn ở 640x480.
Xử lý thời gian thực ở tốc độ < 15 frames/s.
1.5 Bố cục luận văn
Nội dung trình bày trong luận văn đƣợc chia thành 6 chƣơng:
CHƢƠNG I: MỞ ĐẦU
Giới thiệu tổng quan đề tài và mục tiêu đề tài cũng nhƣ các giới hạn của đề
tài.
CHƢƠNG II: KHÁI QUÁT HỆ THỐNG PHÁT HIỆN VÀ NHẬN DẠNG BIỂN
BÁO GIAO THÔNG
HVTH: Nguyễn Việt Tiến
-4-
Chƣơng I: Mở đầu
GVHD: TS. Trƣơng Quang Vinh
Giới thiệu các đặc điểm của biển báo giao thơng từ đó hình thành cơ sở để
nhận dạng cho biển báo giao thông cho hệ thống nhúng và ứng dụng vào đề
tài.Trình bày các bƣớc cơ bản thực hiện cho việc nhận dạng và ứng dụng của hệ
thống nhúng cho máy phát hiện biển báo giao thơng.
CHƢƠNG III: CÁC CƠNG TRÌNH NGHIÊN CỨU THIẾT KẾ HỆ THỐNG
PHÁT HIỆN VÀ NHẬN DẠNG BIỂN BÁO GIAO THƠNG TRƢỚC ĐÂY
Khảo sát các cơng trình nghiên cứu trƣớc đây từ đó rút ra các thành tựu để có
thể ứng dụng vào đề tài. Các phƣơng pháp nghiên cứu và thực hiện cho đề tài.
CHƢƠNG IV: THIẾT KẾ HỆ THỐNG NHÚNG CHO MÁY PHÁT HIỆN VÀ
NHẬN DẠNG BIỂN BÁO GIAO THÔNG
Chƣơng này sẽ đi sâu vào sơ đồ giải thuật của đề tài. Giải thích chi tiết các
phƣơng pháp và thuật toán đã sử dụng trong đề tài.
CHƢƠNG V: KẾT QUẢ THỰC NGHIỆM
Giới thiệu về chƣơng trình phát hiện và nhận dạng biển báo giao thông. Đánh
giá kết quả đạt đƣợc của đề tài.
CHƢƠNG VI: KẾT LUẬN VÀ KIẾN NGHỊ
Kết luận và đƣa ra định hƣớng nghiên cứu và phát triển của đề tài.
HVTH: Nguyễn Việt Tiến
-5-
Chƣơng II: Khái quát HT phát hiện và nhận dạng BBGT GVHD: TS. Trƣơng Quang Vinh
CHƢƠNG II: KHÁI QUÁT HỆ THỐNG PHÁT
HIỆN VÀ NHẬN DẠNG BIỂN BÁO GIAO
THÔNG
2.1 Khái quát về đặc điểm của biển báo giao thông
Biển báo giao thông là những biển báo đƣợc dựng ven đƣờng giao thông để cung
cấp thông tin đến ngƣời tham gia giao thông. Từ những năm 1930, nhiều nƣớc đã áp
dụng các loại biển báo có hình ảnh, mặt khác, cũng đã tiêu chuẩn hóa và đơn giản
hóa biển báo của mình để giúp cho việc lƣu thông quốc tế dễ dàng hơn (giảm bớt
rào cản ngôn ngữ) cũng nhƣ giúp tăng cƣờng an tồn giao thơng.
Biển báo giao thơng đƣợc thiết kế để dễ dàng cho ngƣời lái xe nhận diện bởi chủ
yếu là do hình dạng và màu sắc của chúng có thể dễ dàng phân biệt với mơi trƣờng
xung quanh.
Ở Việt Nam, các biển báo giao thông phổ biến dùng hai màu cơ bản là màu đỏ và
màu xanh dƣơng. Do đó, các biển báo giao thơng có đặc trƣng để nhận diện là màu
sắc, dựa trên đặc trƣng này mà hệ thống có thể dị để phát hiện ra vùng ảnh có thể
chứa biển báo giao thơng.
Hình dạng phổ biến của biển báo giao thơng là hình trịn và hình tam giác. Sau khi
đã trích ra đƣợc vùng ảnh có thể chứa biển báo giao thơng, hệ thống sẽ dựa trên đặc
trƣng hình học này để nâng cao xác suất chứa biển báo giao thông trong vùng ảnh
này.
HVTH: Nguyễn Việt Tiến
-6-
Chƣơng II: Khái quát HT phát hiện và nhận dạng BBGT GVHD: TS. Trƣơng Quang Vinh
2.2 Các chuẩn qui định của biển báo giao thơng
2.2.1 Nhóm biển hiệu lệnh
Nhóm biển hiệu lệnh có dạng hình trịn, nền màu xanh lam, trên biển có hình vẽ
mầu trắng đặc trƣng cho hiệu lệnh nhằm báo cho ngƣời sử dụng đƣờng biết điều
lệnh phải thi hành.
Hiệu lực của các loại biển hiệu lệnh có thể có giá trị trên tất cả các làn đƣờng hoặc
chỉ có giá trị trên một hoặc một số làn của một chiều xe chạy. Các làn đƣờng phải
đƣợc đánh dấu riêng biệt bằng các vạch dọc liền trên mặt phần xe chạy.
2.2.2 Nhóm biển báo cấm
Nhóm biển báo cấm có dạng hình trịnnhằm báo điều cấm hoặc hạn chế mà ngƣời
sử dụng đƣờng phải tuyệt đối tuân theo. Hầu hết các biển đều có viền đỏ, nền mầu
trắng, trên nền có hình vẽ mầu đen đặc trƣng cho điều cấm hoặc hạn chế sự đi lại
của các phƣơng tiện cơ giới, thô sơ và ngƣời đi bộ.
Hiệu lực của các loại biển báo cấm có thể có giá trị trên tất cả các làn đƣờng hoặc
chỉ có giá trị trên một hoặc một số làn của một chiều xe chạy. Các làn đƣờng phải
đƣợc đánh dấu riêng biệt bằng các vạch dọc liền trên mặt phần xe chạy.
2.2.3 Nhóm biển báo nguy hiểm
Nhóm biển báo nguy hiểm: Có dạng hình tam giác đều, viền đỏ, nền mầu vàng, trên
có hình vẽ mầu đen mơ tả sự việc báo hiệu nhằm báo cho ngƣời sử dụng đƣờng biết
trƣớc tính chất của sự nguy hiểm trên đƣờng để có biện pháp phịng ngừa, xử trí.
Hiệu lực của các biển báo nguy hiểm có giá trị trên tất cả các làn đƣờng của một
chiều xe chạy.
HVTH: Nguyễn Việt Tiến
-7-
Chƣơng II: Khái quát HT phát hiện và nhận dạng BBGT GVHD: TS. Trƣơng Quang Vinh
2.3 Phƣơng pháp hoạt động chung của hệ thống nhúng phát hiện và nhận dạng
biển báo giao thơng
Trong các nghiên cứu, mơ hình chung cho bài tốn phát hiện biển báo giao thơng
thƣờng nhƣ sau:
TIỀN XỬ LÝ
PHÁT HIỆN BIỂN
NHẬN DẠNG BIỂN
Hình 2 Mơ hình chung được sử dụng rộng rãi
2.3.1 Tiền xử lý
Tiền xử lý là một trong những bƣớc quan trọng nhất của việc nhận dạng biển báo
giao thơng. Mục đích của tiền xử lý chủ yếu là làm cho chất lƣợng ảnh đƣợc tốt
hơn, từ đó nâng cao khả năng phát hiện đƣợc biển báo giao thông trong ảnh.
2.3.2 Phát hiện biển
Ở giai đoạn này hệ thống sẽ áp dụng các thuật toán để lọc hình của biển báo giao
thơng có trong ảnh và tách hình của biển báo ra cho việc nhận dạng.
HVTH: Nguyễn Việt Tiến
-8-
Chƣơng II: Khái quát HT phát hiện và nhận dạng BBGT GVHD: TS. Trƣơng Quang Vinh
Phƣơng pháp phân đoạn là phƣơng pháp chủ yếu đƣợc sử dụng trong phần này.
Dựa trên những đặc điểm màu sắc và hình dạng hình học của biển báo giao thông,
phân đoạn màu sắc và phân đoạn hình học là các phân đoạn phổ biến đƣợc áp dụng
để phát hiện biển báo giao thông.
2.3.3 Nhận dạng biển
Ảnh của biển báo đƣợc xử lý để rút đặc trƣng, từ đặc trƣng này hệ thống sẽ xác định
đƣợc biển báo giao thơng loại gì. Việc xác định biển báo giao thơng loại gì sẽ áp
dụng phƣơng pháp phân lớp. Hai phƣơng pháp phân lớp phổ biến là Neuron
Network và Support Vector Machines (SVMs).
2.4 Ứng dụng của hệ thống nhúng phát hiện biển báo giao thông
Hệ thống nhận dạng biển báo giao thông đƣợc sử dụng để phát hiện ra các biển báo
trên đƣờng đi, cảnh báo cho ngƣời lái xe và nâng cao sự an toàn cho ngƣời tham gia
lƣu thông.
Nhận dạng biển báo giao thông là một phần cơ bản của hệ thống giao thông thông
minh (Intelligent Transport Systems: ITS). Hệ thống ITS sẽ liên tục giám sát các
phƣơng tiện giao thông trên đƣờng và phát ra cảnh báo giúp cho ngƣời lái xe tránh
các nguy hiểm có thể xảy ra.
ITS tập trung vào các cơng nghệ đƣợc tích hợp vào cơ sở hạ tầng và phƣơng tiện
giao thông. Hệ thống này bao gồm các cảm biến, dịch vụ dẫn đƣờng cho xe, biển
thông tin điện tử, thiết bị giám sát và điều khiển giao thông. Mục đích của hệ thống
giao thơng thơng minh nhằm tăng tính an tồn, sự thuận lợi cho ngƣời lái xe với các
công nghệ tƣơng tác tiên tiến.
Kỹ thuật để phát hiện và nhận dạng biển báo giao thông đã đƣợc phát triển trong
một loạt các lĩnh vực ứng dụng. Chúng bao gồm:
HVTH: Nguyễn Việt Tiến
-9-
Chƣơng II: Khái quát HT phát hiện và nhận dạng BBGT GVHD: TS. Trƣơng Quang Vinh
Hệ thống hỗ trợ ngƣời lái xe (Driver Support System: DSS) có thể phát hiện và
nhận dạng theo thời gian thực. Điều này giúp cải thiện lƣu lƣợng giao thơng, đảm
bảo an tồn và tránh các điều kiện lái xe nguy hiểm, chẳng hạn nhƣ các vụ va chạm,
tơng xe …
Bảo trì đƣờng cao tốc: Điều này đƣợc dùng để kiểm tra sự hiện diện và tình trạng
của các biển báo. Thay vì một ngƣời giám sát phải luôn kiểm tra những biển báo để
phát hiện các biển báo nào bị hƣ hỏng, thì hệ thống phát hiệnvà nhận dạng biển báo
giao thơng có thể làm công việc này tự động cho những biển báo cịn tốt và cảnh
báo các nhà điều hành khi có các dấu hiệu hƣ hỏng.
Xe thông minh: đây là một một loại xe mới đƣợc phát triển gần đây. Xe chạy khơng
cần ngƣời lái và hồn tồn tự động nhờ vào sự trợ giúp của một loạt thiết bị công
nghệ cao nhƣ radar, cảm biến và máy quét laser. Ngoài tính an tồn khi lƣu thơng,
chiếc xe khơng ngƣời lái cịn có nhiều đặc tính khác: tiết kiệm năng lƣợng (lƣu
thông một cách hiệu quả hơn) và gia tăng năng suất làm việc (thời gian đi lại đƣợc
rút ngắn) và quan trọng hơn là tiết kiệm chi phí.
HVTH: Nguyễn Việt Tiến
- 10 -
Chƣơng III: Các CT nghiên cứu TK HT PH và ND BBGT GVHD: TS. Trƣơng Quang Vinh
CHƢƠNG III: CÁC CÔNG TRÌNH NGHIÊN
CỨU THIẾT KẾ HỆ THỐNG PHÁT HIỆN VÀ
NHẬN DẠNG BIỂN BÁO GIAO THƠNG
3.1 Khảo sát các cơng trình nghiên cứu
Đề tài phát hiện và nhận dạng biển báo giao thông đƣợc chia thành các bƣớc nhỏ
hơn để dễ dàng xử lý, mơ hình chung cho bài tốn phát hiện và nhận dạng biển báo
giao thông thƣờng nhƣ sau:
Ảnh đầu vào
Tiền xử lý
Phát hiện biển
Nhận dạng biển
Phân lớp
Hình 3 Mơ hình chung được sử dụng rộng rãi
HVTH: Nguyễn Việt Tiến
- 11 -
Chƣơng III: Các CT nghiên cứu TK HT PH và ND BBGT GVHD: TS. Trƣơng Quang Vinh
3.1.1 Ảnh đầu vào
Camera sẽ ghi lại hình ảnh trên đƣờng đi, hình ảnh đƣợc ghi lại theo thời gian
thực.Với video nhận đƣợc từ camera, hệ thống phát hiện biển báo giao thơng sẽ
trích ra hình ảnh để tạo ảnh đầu vào.
3.1.2 Tiền xử lý
Chất lƣợng ảnh từ quá trình ghi lại hình ảnh có thể khơng tốt do các yếu tố khách
quan, tiền xử lý để nâng cao chất lƣợng ảnh đầu vào nhằm mục đích giúp cho việc
phát hiện biển báo giao thông dễ dàng hơn và nâng cao hiệu suất cho việc phát hiện
và nhận dạng.
Hình 4 (a) Color Mode Image, (b) Black and White Mode Images, (c) Smooth image
using Gaussian filter, and (d) Binary result image after using Gaussian filter and
Canny edge detection techniques [4]
HVTH: Nguyễn Việt Tiến
- 12 -
Chƣơng III: Các CT nghiên cứu TK HT PH và ND BBGT GVHD: TS. Trƣơng Quang Vinh
Ảnh nhận đƣợc là ảnh màu (hình a). Ảnh màu này đƣợc chuyển sang ảnh xám (hình
b), sau đó áp dụng bộ lọc Gaussian làm cho ảnh đƣợc mịn (hình c), kỹ thuật phát
hiện cạnh Canny đƣợc sử dụng để phát hiện ra biển báo giao thơng (hình d) [4].
Bộ lọc Gaussian đơn giản, dễ dàng thực hiện vàthời gian thực hiện nhanh nên rút
ngắn cho quá trình xử lý, đáp ứng tốt cho quá trình xử lý theo thời gian thực. Nhƣng
bộ lọc này chỉ áp dụng đƣợc cho các hình đơn giản, nếu áp dụng cho các hình phức
tạp hơn thì hiệu suất chƣa cao.
3.1.3 Phát hiện biển
3.1.3.1 Phân đoạn màu sắc
Ở Việt Nam, các biển báo giao thông phổ biến dùng ba màu cơ bản là màu đỏ, màu
vàng và màu xanh dƣơng. Do đó, các biển báo giao thơng có đặc trƣng để nhận diện
là màu sắc, dựa trên đặc trƣng này mà hệ thống có thể dị để phát hiện ra vùng ảnh
có thể chứa biển báo giao thơng.
Một ảnh thu đƣợc từ camera thông thƣờng sử dụng không gian màu RGB. Mơ hình
màu RGB sử dụng mơ hình bổ sung trong đó ánh sáng đỏ, xanh lá cây và xanh lam
đƣợc tổ hợp với nhau theo nhiều phƣơng thức khác nhau để tạo thành các màu khác.
Từ viết tắt RGB trong tiếng Anh có nghĩa là đỏ (Red), xanh lá cây (Green) và xanh
lam (Blue), là ba màu gốc trong các mơ hình ánh sáng bổ sung.
Cũng lƣu ý rằng mơ hình màu RGB tự bản thân nó không định nghĩa thế nào là
"đỏ", "xanh lá cây" và "xanh lam" một cách chính xác, vì thế với cùng các giá trị
nhƣ nhau của RGB có thể mơ tả các màu tƣơng đối khác nhau trên các thiết bị khác
nhau có cùng một mơ hình màu. Trong khi chúng cùng chia sẻ một mơ hình màu
chung, khơng gian màu thực sự của chúng là dao động một cách đáng kể.
Do trong khơng gian màu RGB khó có thể nhận dạng màu sắc mong muốn một
cách chính xác, nên thơng thƣờng không gian màu RGB đƣợc chuyển sang một
HVTH: Nguyễn Việt Tiến
- 13 -
