xây dựng chƣơng trình phát hiện và nhận dạng một số biển báo giao thông đƣờng bộ nguy hiểm tại việt nam

TRƢỜNG ĐẠI HỌC LẠC HỒNG
KHOA CÔNG NGHỆ THÔNG TIN
----------

BÁO CÁO
NGHIÊN CỨU KHOA HỌC

ĐỀ TÀI:

XÂY DỰNG CHƢƠNG TRÌNH
PHÁT HIỆN VÀ NHẬN DẠNG
MỘT SỐ BIỂN BÁO GIAO
THÔNG ĐƢỜNG BỘ NGUY
HIỂM TẠI VIỆT NAM

LÊ CHÂN THIỆN TÂM
PHẠM HỒNG THÁI

BIÊN HÒA, THÁNG 11/2012


TRƢỜNG ĐẠI HỌC LẠC HỒNG
KHOA CÔNG NGHỆ THÔNG TIN
----------

BÁO CÁO
NGHIÊN CỨU KHOA HỌC

ĐỀ TÀI:

XÂY DỰNG CHƢƠNG TRÌNH

PHÁT HIỆN VÀ NHẬN DẠNG
MỘT SỐ BIỂN BÁO GIAO
THÔNG ĐƢỜNG BỘ NGUY
HIỂM TẠI VIỆT NAM
SVTH : LÊ CHÂN THIỆN TÂM
PHẠM HỒNG THÁI
GVHD : ThS. TRẦN TIẾN ĐỨC

BIÊN HÒA, THÁNG 11/2012


LỜI CÁM ƠN
Để hồn thành đề tài này và có kiến thức như ngày hôm nay, đầu tiên chúng
em xin gửi lời cảm ơn đến Ban Giám Hiệu cùng toàn thể Thầy Cô Khoa Công Nghệ
Thông Tin – Trường Đại Học Lạc Hồng đã tận tình giảng dạy, truyền đạt kiến thức
cũng như những kinh nghiệm quý báu cho chúng em trong suốt quá trình học tập tại
trường.
Chúng em xin gửi những lời tri ân sâu sắc nhất đến thầy Ths Trần Tiến Đức,
người thầy đã tận tình hướng dẫn và quan tâm, động viên chúng em trong suốt quá
trình thực hiện đề tài.
Chúng em xin chân thành cảm ơn sự đóng góp ý kiến để góp phần hồn thiện
đề tài các từ thầy Ths Huỳnh Cao Tuấn, thầy Ths Phan Mạnh Thường, thầy Ths
Nguyễn Phát Nhựt.
Chúng em cũng vô cùng cảm ơn sự nhiệt tình của các nhóm bạn đã hỗ trợ cho
nhóm nghiên cứu trong q trình khảo sát thực tế, lấy mẫu thực nghiệm, đánh giá kết
quả cũng như hỗ trợ các thiết bị cần thiết để nhóm có thể hồn thành đề tài.
Chúng em cũng bày tỏ lòng biết ơn đến những người thân trong gia đình đã
động viên và tạo mọi điều kiện giúp chúng em trong quá trình học tập cũng như
trong cuộc sống.
Mặc dù chúng em đã cố gắng hoàn thành tốt đề tài nhưng cũng khơng thể

tránh khỏi những sai sót nhất định, rất mong được sự thông cảm và chia sẻ cùng quý
Thầy Cô và bạn bè.
Chúng em xin gửi lời chúc sức khỏe và thành đạt tới tất cả quý thầy cơ cùng các
bạn.
Nhóm sinh viên thực hiện đề tài
Lê Chân Thiện Tâm – Phạm Hồng Thái
Biên Hòa, Tháng 11 - 2012


NHẬN XÉT CỦA GIÁO VIÊN HƢỚNG DẪNPHẢN BIỆN

..............................................................................................................
..............................................................................................................
..............................................................................................................
..............................................................................................................
..............................................................................................................
..............................................................................................................
..............................................................................................................
..............................................................................................................
..............................................................................................................
..............................................................................................................
..............................................................................................................
..............................................................................................................
..............................................................................................................
..............................................................................................................
..............................................................................................................
..............................................................................................................
Biên Hòa, Ngày … tháng … năm 201…
Kí tên

Formatted: Vietnamese


MỤC LỤC
---------Trang phụ bìa
Lời cám ơn
Mục lục
Danh mục viết tắt
Danh mục bảng và hình
PHẦN MỞ ĐẦU ............................................................................................................ 1
CHƢƠNG 1: TỔNG QUAN VỀ CÁC PHƢƠNG PHÁP PHÁT HIỆN BIỂN BÁO
GIAO THÔNG VÀ NỀN TẢNG OPENCV ................................................................ 9
1.1. Các phương pháp phát hiện biển báo giao thông. .................................................. 10
1.1.1, Phương pháp phát hiện dựa trên màu sắc ........................................................ 10
1.1.2, Phương pháp phát hiện dựa trên hình dạng...................................................... 11
1.1.3, Phương pháp phát hiện dựa trên máy học ........................................................ 14
1.2. Giới thiệu thư viện mã nguồn mở OpenCV ........................................................... 14
1.2.1, Lịch sử OpenCV............................................................................................... 15
1.2.2, Kiến trúc của OpenCV ..................................................................................... 16
1.3. Tiểu kết ................................................................................................................... 17
CHƢƠNG 2: GIỚI THIỆU PHƢƠNG PHÁP NHẬN DẠNG BIỂN BÁO GIAO
THÔNG ........................................................................................................................ 18
2.1. Khái quát phương pháp nhận dạng biển báo giao thông sử dụng trong đề tài. ...... 19
2.2. Xác định vùng đặc trưng chứa biển báo giao thông ............................................... 20
2.2.1, Đặc trưng Haar-like .......................................................................................... 20
2.2.2,

Thuật toán tăng tốc Adaboost ....................................................................... 22

2.2.2.1, Tiếp cận Boosting .................................................................................... 22

2.2.2.2, AdaBoost ...................................................................................................23
2.3. Giới thiệu phương pháp phân tích thành phần chính (Principle Component
Analysis_PCA). ............................................................................................................. 25
2.3.1, Giới thiệu.......................................................................................................... 25
2.3.2, Thuật toán PCA ................................................................................................ 27
2.4. Nhận dạng biển báo dùng bộ phân lớp Support Vector Machine (SVM) .............. 30
2.4.1, Phân lớp tuyến tính (Linear classifier) ............................................................. 30
2.4.2, Phân lớp phi tuyến (Nonlinear classifier) ........................................................ 34
2.5. Tiểu kết ................................................................................................................... 35
CHƢƠNG 3: THIẾT KẾ VÀ XÂY DỰNG CHƢƠNG TRÌNH ............................. 36
3.1. Chức năng của chương trình................................................................................... 37
3.2. Xây dựng chương trình ........................................................................................... 37
3.2.1, Xây dựng cơ sở dữ liệu ảnh biển báo............................................................... 37
3.2.1.1, Nguồn ảnh .................................................................................................37
3.2.1.2, Phân loại ảnh ............................................................................................. 38
3.2.2, Huấn luyện phát hiện biển báo trong ảnh ........................................................ 39
3.2.2.1, Chuẩn bị dữ liệu ........................................................................................ 39
3.2.2.2, Lấy mẫu dữ liệu huấn luyện ...................................................................... 40
3.2.2.3, Huấn luyện máy học (Machine Learning) ................................................ 42
3.2.3, Huấn luyện nhận dạng biển báo ....................................................................... 47
3.2.4, Chương trình nhận dạng. .............................................................................. 5251
3.2.4.1, Sơ đồ hoạt động của chương trình ........................................................ 5251
3.2.4.2, Giao diện và cách sử dụng .................................................................... 5453
3.3. Tiểu kết ............................................................................................................... 5655
CHƢƠNG 4: ĐÁNH GIÁ KẾT QUẢ CHƢƠNG TRÌNH ..................................5756


4.1. Đánh giá kết quả. ................................................................................................ 5857

4.1.1, Các môi trường thử nghiệm đánh giá........................................................... 5857
4.1.2, Đánh giá các sai số ....................................................................................... 6564
4.2. Ưu và nhược điểm của chương trình ..................................................................6665
4.2.1, Ưu điểm........................................................................................................ 6665
4.2.2, Nhược điểm ..................................................................................................6665
4.3. Tiểu kết ............................................................................................................... 6766
PHẦN KẾT LUẬN ..................................................................................................6867
TÀI LIỆU THAM KHẢO


DANH MỤC VIẾT TẮT
---------Từ viết tắt

Từ đầy đủ

AVI

Audio Video Interleave

BMP

Bitmap Portable

CPU

Central Processing Unit

GB

Gigabyte

HSI

Hue – Saturation – Intensity

IPP

Intergrated Performance Primitives

JPG

Joint Photographic Experts Group

MB

Megabyte

ML

Machine Learning

OpenCV

Open Computer Vision

ORC

Optical Character Recognition

PCA

Principle Components Analysis

PGM

Portable Graymap

RGB

Red – Green – Blue

SVM

Support Vector Machine


DANH MỤC BẢNG VÀ HÌNH
----------

DANH MỤC HÌNH
Hình 1. Mơ hình xử lý nhận dạng biển báo giao thông của bài báo “A Road Sign
Recognition System Based on Dynamic Visual Model” [10] . ........................................ 3
Hình 2. Mơ hình xử lý nhận dạng biển báo giao thông của bài báo “A System for
Traffic Sign Detection, Tracking, and Recognition Using Color, Shape, and Motion
Information” [8]. ............................................................................................................. 4
Hình 3. Mơ hình phát hiện biển báo giao thông của bài báo “Color-Based Road Sign
Detection and Tracking” [14]. ........................................................................................ 4
Hình 4. Mơ hình tác giả đề nghị [5]. ............................................................................... 5
Hình 5. Tổng quan thuật tốn [2]. ................................................................................... 6
Hình 1. 1. Các vị trí của một đề cử điểm ảnh cho tâm đối tượng [13]. ........................ 11

Hình 1. 2. Nhân các góc gradient của một tam giác cho 3. .......................................... 12
Hình 1. 3. Vùng kiểm sốt. ........................................................................................... 13
Hình 1. 4. Xây dựng ảnh biến đổi khoảng cách [9]. ..................................................... 14
Hình 1. 5. Lịch sử phát triển của OpenCV [12, Trang 7]. ............................................ 16
Hình 1. 6. Kiến trúc cơ bản của OpenCV [12, Trang 13]. ............................................ 17
Hình 2. 1. Đặc trưng theo cạnh ..................................................................................... 20
Hình 2. 2. Đặc trưng theo đường .................................................................................. 20
Hình 2. 3. Đặc trưng theo xung quanh tâm ...................................................................20
Hình 2. 4. Đặc trưng theo đường chéo.......................................................................... 20
Hình 2. 5. Cách tính Integral Image của ảnh ................................................................ 21
Hình 2. 6. Cách tính tổng giá trị pixel vùng cần tính. ................................................... 22


Hình 2. 7. Boosting[ 3, Trang 16 ]. ............................................................................... 23
Hình 2. 8. Phép chiếu lên các trục tọa độ khác nhau có thể cho cách nhìn khác nhau về
cùng một dữ liệu. ........................................................................................................... 26
Hình 2. 9. Tìm các trục tọa độ mới sao cho dữ liệu có độ biến thiên cao nhất............. 26
Hình 2. 10. Tách hai phân lớp tuyến tính với một mặt siêu phẳng. .............................. 31
Hình 2. 11. Tách hai phân lớp tuyến tính với hai mặt siêu phẳng ................................ 31
Hình 2. 12. Ví dụ minh họa về độ lớn của lề (margin) ................................................. 32
Hình 2. 13. Minh họa các mẫu được gọi là Support Vector. ........................................ 34
Hình 2. 14. Một mặt phân chia phi tuyến có thể trở thành một siêu phẳng trong không
gian lớn hơn ................................................................................................................... 34
Hình 3. 1. Tập ảnh Positive trong thư mục “rawdata” .................................................. 39
Hình 3. 2. Tập ảnh Negative trong thư mục “negative” ............................................... 40
Hình 3. 3. Nội dung file “inforfile.txt” sau khi chạy file “create_list.bat” ................... 40
Hình 3. 4. Chương trình ObjectMaker trong thư mục “positive”. ................................ 41
Hình 3. 5. Đánh dấu đối tượng trong trình ObjectMaker ............................................. 41
Hình 3. 6. Nội dung file “info.txt”. ............................................................................... 42
Hình 3. 7. Nội dung file “samples_creation.bat” .......................................................... 42

Hình 3. 8. Nội dung file “haarTraining.bat” .................................................................43
Hình 3. 9. Kết quả phân tầng ........................................................................................ 44
Hình 3. 10. Nội dung file “convert.bat” ........................................................................ 45
Hình 3. 11. Cấu trúc của một tập tin XML ...................................................................45
Hình 3. 12. Kết quả ảnh biển số 201a nhận được. ........................................................ 46
Hình 3. 13. Kết quả ảnh biển số 210 nhận được. .......................................................... 46
Hình 3. 16. Một phần nội dung file “psiTT.txt”. .......................................................... 50
Hình 3. 17. Một phần nội dung file “svmtrained.xml” ................................................. 50


Hình 3. 18.Giao diện chính của chương trình ........................................................... 5453
Hình 4. 1. Một số kết quả thử nghiệm trong môi trường chuẩn. .............................. 5857
Hình 4. 2. Một số kết quả thử nghiệm trong mơi trường ban đêm. .......................... 5958
Hình 4. 3. Một số kết quả thử nghiệm trong môi trường nhiều mây, yếu ánh sáng và có
mưa nhỏ ..................................................................................................................... 6059
Hình 4. 4. Kết quả thử nghiệm biển bị che khuất bởi cây ........................................ 6160
Hình 4. 5. Kết quả thử nghiệm với biển bị bong tróc sơn. ....................................... 6160
Hình 4. 6. Kết quả thử nghiệm với biển bị bẩn bởi sơn. ........................................... 6261
Hình 4. 7. Kết quả thử nghiệm với biển cũ bị phai màu ........................................... 6261
Hình 4. 8. Kết quả thử nghiệm với ảnh bị các tờ quảng cáo dán lên. ....................... 6362
Hình 4. 9. Kết quả thử nghiệm với biển báo nghiêng bên phải trên ảnh tĩnh. .......... 6362
Hình 4. 10. Kết quả thử nghiệm với biển báo bị nghiêng bên trái trên ảnh tĩnh. ..... 6463
Hình 4. 11. Khoảng cách từ lúc nhận dạng đến biển báo. ........................................ 6463

DANH MỤC SƠ ĐỒ
Sơ đồ 2. 1. Trình tự các bước trong phương pháp nhận dạng biển báo giao thông nguy
hiểm. .............................................................................................................................. 19
Sơ đồ 3. 1. Sơ đồ huấn luyện phát hiện biển báo trong ảnh. ......................................... 47
Sơ đồ 3. 2. Sơ đồ huấn luyện nhận dạng biển báo .................................................... 5251
Sơ đồ 3. 3. Sơ đồ hoạt động chương trình. ................................................................ 5352

DANH MỤC BẢNG
Bảng 3. 1. Một số biển báo giao thơng được bộ được nhóm nghiên cứu. .................... 38

Formatted: Space Before: 6 pt, After: 6 pt,
Line spacing: 1.5 lines

Bảng 4. 1. Kết quả nhận dạng biển báo giao thông .................................................. 6564

Formatted: Space Before: 6 pt, After: 6 pt,
Line spacing: 1.5 lines


Bảng 4. 1. Kết quả nhận dạng biển báo giao thông

64

Formatted: Default Paragraph Font, Font: No
Bold, Check spelling and grammar

Formatted: Normal, Justified, Tab stops: Not
15.98 cm


- 1-

Formatted: Font: 12 pt

Formatted: Font: Check spelling and gramm
Formatted: Font: 12 pt

PHẦN MỞ ĐẦU
Lý do chọn đề tài
Song hành cùng với sự phát triển của các thành tựu khoa học kỹ thuật hiện đại,
sự năng động trong cơ chế kinh tế thị trường, sự chăm chút bồi bổ nâng cao đời sống
văn hóa thì vấn đề về giao thơng cũng từng bước được cải thiện và phát triển mạnh mẽ
góp phần vào sự phát triển chung của tồn xã hội.
Giao thông Việt Nam luôn là một trong những vấn đề nóng của xã hội. Nóng từ
quy mơ phát triển đến chất lượng cơ sở hạ tầng và hơn hết chính tình hình tai nạn giao
thơng đường bộ. Theo số liệu mới nhất từ Ủy ban An tồn giao thơng quốc gia, chỉ
trong 8 tháng đầu năm 2012, Việt Nam có hơn 7000 vụ tai nạn giao thơng [20], dân số
mất đi hơn 6000 người. Đây là những mất mát q lớn xảy ra trong một đất nước hịa
bình đáng để mọi thành phần trong xã hội cùng quan tâm và suy xét.
Từ tình hình thực tế giao thơng tại Việt Nam, nguyên nhân phần lớn các vụ tai
nạn giao thông đường bộ là do tài xế lái xe không làm chủ tốc độ, không chấp hành
hiệu lệnh giao thông, không quan sát hoặc không kịp nhận ra các loại biển báo và tín
hiệu giao thơng có thể vì tài xế mệt mỏi, thiếu tập trung và chịu nhiều yếu tố tác động
khác.
Từ khảo sát thực tế của nhóm sinh viên nghiên cứu [Phụ lục 1] với các tài xế
mà thành phần chủ yếu là các tài xế taxi cho thấy sự mong muốn có một hệ thống có
khả năng cảnh báo được trang bị trên xe giúp họ ý thức hơn về những nguy hiểm tiềm
ẩn khi điều khiển phương tiện lưu thông.
Các hệ thống cảnh báo hỗ trợ tài xế hiện vẫn đang trong giai đoạn được các
trung tâm nghiên cứu của thế giới, các hãng xe ô tơ thử nghiệm, đánh giá và vẫn chưa
chính thức đưa vào sử dụng trong thực tế.
Hơn nữa việc ứng dụng công nghệ cao trong việc tạo ra các loại xe tự hành là
xu hướng thiết yếu của xã hội phát triển.
Từ những lý do trên, nhóm sinh viên nghiên cứu với mong muốn góp phần hạn
chế những tai nạn giao thơng và giảm thiểu hóa những hậu quả sau tai nạn. Sau quá

Formatted: Font: Times New Roman, 12 pt


- 2-

Formatted: Font: 12 pt

Formatted: Font: Check spelling and gramm

trình học tập và tìm hiểu những lợi ích từ những ứng dụng xử lý nhận dạng ảnh, nhóm
sinh viên chúng em lựa chọn đề tài: “Xây dựng chương trình phát hiện và nhận dạng
một số biển báo giao thông đường bộ nguy hiểm tại Việt Nam” làm đề tài tốt nghiệp.
Lịch sử nghiên cứu
Vấn đề xây dựng một hệ thống nhận dạng biển báo giao thông là một vấn đề
lớn và có nhiều hướng tiếp cận để giải quyết bài toán. Vấn đề này được các quốc gia
phát triển về ngành tự động hóa quan tâm từ sớm và cũng đã cho nhiều kết quả khả
quan. Tuy nhiên hiện tất cả vẫn đang được tiếp tục đầu tư nghiên cứu nhằm mục đích
xây dựng một sản phẩm tối ưu và hoàn chỉnh hơn.
Trên thế giới
Bài báo “A Road Sign Recognition System Based on Dynamic Visual Model”
(C. Y. Yang, C. S. Fuh, S. W. Chen, P. S. Yen, CVPR'03 Proceedings of the 2003
IEEE computer society conference on Computer vision and pattern recognition, Pages
750-755, 2003). Nhóm tác giả nghiên cứu mong muốn thúc đẩy, thay đổi nhận thức,
cung cấp những thông tin cần thiết để hỗ trợ người lái xe và nâng cao độ an tồn trong
giao thơng. Bài báo đề xuất một mơ hình, gọi là mơ hình trực quan động (Dynamic
Visual Model) để phát hiện và nhận dạng các biển báo giao thơng trên đường. Đồng
thời cũng trình bày những khó khăn trong việc nhận dạng biển báo như: Màu sắc của
biển báo bị phai mờ dưới ảnh hưởng của ánh nắng mặt trời, sơn biển báo bị bong tróc,
mất đi những thông tin cần thiết của biển báo. Không khí bị ơ nhiễm và các điều kiện
về thời tiết cũng làm giảm khả năng nhận dạng…

Formatted: Font: 12 pt
Formatted: Font: Times New Roman, 12 pt


- 3-

Formatted: Font: 12 pt

Formatted: Font: Check spelling and gramm
Formatted: Font: 12 pt
Formatted: Font: Times New Roman, 12 pt

Hình 1. Mơ hình xử lý nhận dạng biển báo giao thơng của bài báo “A Road Sign
Recognition System Based on Dynamic Visual Model” [10] .
Bài báo “A System for Traffic Sign Detectiona, Tracking, and Recognition Using
Color, Shape, and Motion Information”, (C. Bahlmann, Y. Zhu, V. Ramesh, M.
Pellkofer, T. Koehler Proceedings. IEEE Intelligent Vehicles Symposium, 2005). Bài
báo mô tả một hệ thống thị giác máy tính (Computer Vision) xử lý việc phát hiện, theo
vết và nhận dạng các biển báo giao thông dựa trên màu sắc, hình dạng và thơng tin
trong thời gian thực. Phương pháp tiếp cận được trình bày trong bài báo gồm hai thành
phần. Đầu tiên sử dụng các đặc trưng Haar kết hợp với bộ tăng tốc Adaboost để phát
hiện biển báo. Sau khi phát hiện và theo vết biển báo thì biển báo được phân loại bằng
mơ hình Bayes. Kết quả được thực nghiệm theo bài báo là có thể phát hiện và phân loại
được một số biển báo giao thơng với tỉ lệ chính xác cao trong điều kiện 10frames/1
giây.


- 4-

Formatted: Font: 12 pt

Formatted: Font: Check spelling and gramm
Formatted: Font: 12 pt
Formatted: Font: Times New Roman, 12 pt

Hình 2. Mơ hình xử lý nhận dạng biển báo giao thơng của bài báo “A System for
Traffic Sign Detection, Tracking, and Recognition Using Color, Shape, and Motion
Information” [8].
Bài báo “Color-Based Road Sign Detection and Tracking ” (Luis David Lopez
and Olac Fuentes,Computer Science Department University of Texas, El Paso 79902,
USA, 2007) bài báo trình bày một nền tảng chung cho việc nhận dạng và theo vết các
biển báo giao thông chỉ sử dụng duy nhất một thông tin màu sắc. Phương pháp tiếp cận
gồm hai thành phần. Phần đầu sử dụng một tập phân phối Gauss để phát hiện đường và
các biển báo giao thông. Phần thứ hai là theo vết đối tượng đã được xác định ở bước
trước đó. Kết quả thử nghiệm cho thấy rằng hệ thống đề xuất nhận dạng trung bình
97% trong thời gian thực với các đối tượng ở gần.

Hình 3. Mơ hình phát hiện biển báo giao thông của bài báo “Color-Based Road Sign
Detection and Tracking” [14].


- 5-

Formatted: Font: 12 pt

Formatted: Font: Check spelling and gramm
Formatted: Font: 12 pt

Trong nƣớc

Formatted: Font: Times New Roman, 12 pt

Đề tài “Phát hiện và phân loại biển báo giao thông dựa trên SVM trong thời
gian thực” (Lê Thanh Tâm, Trần Thái Sơn, Seichii Mita, Tuyển tập Cơng trình Nghiên
cứu Cơng nghệ Thông tin và Truyền thông, 2009). Đây là một module nằm trong dự
án hệ thống lái xe tự động của học viện Công Nghệ Toyota được tài trợ bởi tập đồn ơ
tơ Toyota. Cách tiếp cận được giới thiệu là sử dụng đặc trưng màu trên SVM (Support
Vector Machine) để phát hiện vùng ứng cử cho biển báo giao thơng trong thời gian
thực (xem hình 4).

Hình 4. Mơ hình tác giả đề nghị [5].
Đề tài “Phát hiện biển báo giao thông dùng đặc trưng cục bộ (local features)”
của tác giả Nguyễn Duy Khánh, Lê Đình Duy, Dương Anh Đức được báo cáo tại Hội
thảo Fair 2011 tại Trường đại học Lạc Hồng. Đề tài dùng đặc trưng cục bộ và bộ phân
lớp SVM (Support Vector Machine) để phát hiện biển báo giao thông. Tổng quan thuật


- 6-

Formatted: Font: 12 pt

Formatted: Font: Check spelling and gramm

toán được tác giả trình bày như theo hình 5. Kết quả của đề tài dừng lại ở việc xác
định biển báo và phân lớp chúng thành các nhóm biển cấm, nguy hiểm, chỉ dẫn.

Hình 5. Tổng quan thuật tốn [2].
Mục tiêu nghiên cứu
Xây dựng chương trình phát hiện và nhận dạng biển báo giao thông đường bộ

từ video thu về và hiển thị thơng tin cảnh báo dưới dạng hình ảnh và âm thanh.
Đối tƣợng nghiên cứu và phạm vi nghiên cứu
- Đối tượng nghiên cứu : Biển báo giao thông đường bộ ở Việt Nam
- Phạm vi nghiên cứu : Nghiên cứu bộ biển báo giao thông đường bộ nguy
hiểm tại Việt Nam.
Phƣơng pháp nghiên cứu
- Khảo sát, tìm hiểu và thu thập tài liệu, hình ảnh về biển báo giao thơng, đề tài
đã nghiên cứu trước đây.
- Tìm hiểu các bước phát hiện biển báo giao thông: gồm phương pháp máy học
dựa trên đặc trưng Haar-like kết hợp với bộ tăng tốc Adaboost.

- Tìm hiểu các bước nhận dạng biển báo giao thơng: Gồm q trình phân tích
thành phần chính Pricipal Components Analaysis (PCA), và huấn luyện Support
Vector Machine(SVM) để nhận dạng biển báo giao thông.

Formatted: Font: 12 pt
Formatted: Font: Times New Roman, 12 pt


- 7-

Formatted: Font: 12 pt

Formatted: Font: Check spelling and gramm

- Kế thừa những phương pháp đạt kết quả tốt và phù hợp với nội dung cần đạt
được của đề tài.
- Phát triển và cải tiến phương pháp đã có ở những đề tài trước để xây dựng
chương trình hướng tới kết quả tốt hơn.
- Tìm ra một hướng đi mới trong mỗi bước cần làm của đề tài, đặc biệt là trong

giải thuật nhận dạng.
Những đóng góp mới của đề tài - những vấn đề mà đề tài chƣa thực hiện đƣợc
- Đề tài đưa ra hướng mới là kết hợp phương pháp dựa trên đặc trưng Haar và
bộ tăng tốc Adaboost để nâng cao khả năng phát hiện đồng thời dùng thuật tốn phân
tích thành phần chính PCA để làm giảm bớt số chiều của ảnh xám làm số liệu đầu vào
cho bước sử dụng thuật toán SVM để nhận dạng.
- Tạo tiền đề cho việc xây dựng hệ thống nhận dạng biển báo giao thơng đầy đủ
và hồn chỉnh hơn.
- Đề tài dừng lại ở mức độ nghiên cứu nên số lượng biển báo nhận dạng được
rất hạn chế.
Kết cấu của đề tài
Báo cáo này được trình bày thành ba phần chính: Phần mở đầu, phần nội dung
và phần kết luận.
Phần mở đầu
Giới thiệu sơ lược về lý do chọn đề tài, lịch sử nghiên cứu, mục tiêu nghiên
cứu, đối tượng và phạm vi nghiên cứu, phương pháp nghiên cứu, những đóng góp và
những vấn đề tồn tại của đề tài để từ đó đem lại cho mọi người một cái nhìn tổng quan
nhất về đề tài.
Phần nội dung
Chƣơng 1: Tổng quan về các phương pháp phát hiện biển báo giao thông và
nền tảng opencv.

Formatted: Font: 12 pt
Formatted: Font: Times New Roman, 12 pt


- 8-

Formatted: Font: 12 pt

Formatted: Font: Check spelling and gramm

Trình bày các phương pháp phổ biến trong viện phát hiện và nhận dạng biển
báo giao thông như dựa trên màu sắc, dựa trên hình dạng, và dựa trên phương pháp
máy học.
Trình bày nền tảng của thư viện hỗ trợ xử lý ảnh OpenCV.
Chƣơng 2: Giới thiệu phương pháp nhận dạng biển báo giao thơng.
Trình bày nội dung về trình tự các bước trong quá trình phát hiện và nhận dạng
biển báo giao thơng.
Trình bày chi tiết các thuật tốn hỗ trợ trong việc phát hiện và nhận dạng gồm:
Đặc trưng Haar, bộ tăng tốc Adaboost, phân tích thành phần chính PCA, và bộ phân
lớp SVM.
Chƣơng 3: Thiết kế và xây dựng chương trình.
Trình bày các bước xây dựng chương trình phát hiện và nhận dạng biển báo
giao thông.
Chƣơng 4: Đánh giá kết quả chương trình.
Đánh giá độ chính xác của phương pháp.
Phần kết luận

Formatted: Font: 12 pt
Formatted: Font: Times New Roman, 12 pt


- 9-

Formatted: Font: 12 pt

Formatted: Font: Check spelling and gramm

CHƢƠNG 1: TỔNG QUAN VỀ CÁC PHƢƠNG PHÁP PHÁT

HIỆN BIỂN BÁO GIAO THƠNG VÀ NỀN TẢNG OPENCV

Nội dung chính

Formatted: Font: 12 pt
Formatted: Font: Times New Roman, 12 pt

Formatted: Font: Bold
Formatted: Centered

1.1 Các phƣơng pháp phát hiện biển báo giao thông.
1.2 Giới thiệu thƣ viện mã nguồn mở OpenCV.
1.3 Tiểu kết.


- 10 -

Formatted: Font: 12 pt

Formatted: Font: Check spelling and gramm

1.1. Các phƣơng pháp phát hiện biển báo giao thông.
Xác định một đối tượng chuyên biệt ví dụ như xác định người đi bộ, xe hơi, làn
đường, biển báo giao thông trong một quang cảnh giao thông đối với não và thị giác
của con người thì đây là một chuyện đơn giản. Tuy nhiên để xác định những đối tượng
đó có xuất hiện hay khơng trong những frame ảnh thu được thơng qua camera với sự
trợ giúp của máy tính thì đây là một vấn đề mà các nhà khoa học đánh giá là thật sự
khó khăn. Bởi lẽ hệ thống xử lý thơng tin ảnh khơng những địi hỏi tính chính xác mà
cịn phải đáp ứng một cách nhanh chóng trong thời gian thực và có thể hoạt động tốt
trong nhiều mơi trường và hồn cảnh tự nhiên khác nhau. Do vậy hai lĩnh vực xử lý

ảnh (Image Processing) và thị giác máy tính (Computer Vision) phải ln phát triển
song hành và bổ sung chặt chẽ cho nhau.
Có nhiều phương pháp và hướng tiếp cận của vấn đề xác định biển báo giao
thông. Nhưng các phương pháp phổ biến hiện nay được áp dụng là phương pháp dựa
trên màu sắc (color-based detection methods), phương pháp dựa trên hình dạng
(shape-based methods), và phương pháp dựa trên máy học (methods based on machine
learning).
1.1.1, Phƣơng pháp phát hiện dựa trên màu sắc
Cách tiếp cận phổ biến trong vấn đề xác định biển báo giao thơng dựa trên màu
sắc là tìm một vùng ảnh có chứa màu sắc đặc trưng, sử dụng phương pháp phân
ngưỡng đơn giản hoặc phân ngưỡng ảnh cao cấp. Kết quả của vùng ảnh sau đó sẽ ngay
lập tức được xem như là biển báo giao thông hoặc thông qua giai đoạn tiếp theo xem
như là vùng cần quan tâm.
Khuyết điểm chính của phương pháp này là trong thực tế màu sắc có xu hướng
khơng đáng tin cậy, mà phụ thuộc vào các thời điểm trong ngày, điều kiện thời tiết,
bóng râm…Khơng gian màu RGB được đánh giá là rất nhạy cảm với ánh sáng , do đó
nhiều nhà nghiên cứu đã chọn phân ngưỡng dựa trên màu sắc trong các không gian
màu khác như HSI.

Formatted: Font: 12 pt
Formatted: Font: Times New Roman, 12 pt


- 11 -

Formatted: Font: 12 pt

Formatted: Font: Check spelling and gramm

1.1.2, Phƣơng pháp phát hiện dựa trên hình dạng

Phát hiện biển báo giao thơng dựa trên hình dạng có nhiều cách tiếp cận đã
được công bố trong nhiều tài liệu hiện nay.Tuy nhiên có lẽ phương pháp dựa trên hình
dạng phổ biến nhất là sử dụng phép biến đổi Hough.
Phép biến đổi Hough là một kĩ thuật dùng để xác định một hình dạng ngẫu
nhiên trong ảnh.Ý tưởng cơ bản là sử dụng một cạnh của ảnh, mỗi điểm ảnh của cạnh
ảnh có khả năng là tâm của đối tượng nếu như điểm ảnh đó nằm trên biên. Kĩ thuật này
sớm ra đời trong lịch sử thị giác máy tính (computer vision). Nó đã được mở rộng và
thay đổi nhiều lần với nhiều biến thể khác nhau. Ở đây chúng ta chỉ trình bày về
nghiên cứu của Loy và Barnes, và nó được xem là phương pháp hiệu quả cho việc
nhận dạng biển báo giao thông. Loy và Barnes [13] đã đề xuất bộ phát hiện đa giác
đều tổng quát và chỉ sử dụng nó để phát hiện biển báo giao thông. Bộ phát hiện dựa
trên phép biến đổi đối xứng xuyên tâm nhanh, về mặt tổng quan nó tương tự như phép
biến đổi Hough. Đầu tiên ta tính đạo hàm cấp một của ảnh từ ảnh gốc. Ảnh đạo hàm
cấp một sau đó được phân ngưỡng để cho các điểm có biên độ thấp bị loại bỏ. Các
điểm ảnh cịn lại có khả năng là vị trí của tâm đa giác đều. Một điểm ảnh đóng vai trị
là điểm có khả năng được chọn trên nhiều vị trí được phân bổ dọc theo đường trực
giao với đạo hàm cấp một của điểm ảnh và có khoảng cách đến các điểm ảnh là tương
đương với các bán kính của đa giác đều (Xem hình 1.1). Lưu ý rằng thật sự có tới hai
đường thẳng có thể thỏa mãn yêu cầu này, một là cùng hướng với đạo hàm và một là
theo hướng ngược lại. Cả hai đều có thể sử dụng nếu chúng ta không thể biết trước liệu
biển báo này sáng hơn hay tối hơn so với quang cảnh nền.

Hình 1. 1. Các vị trí của một đề cử điểm ảnh cho tâm đối tượng [13].
Chiều dài của đường biểu quyết được bao bởi bán kính của đa giác đều. Các
điểm ảnh được chọn ở cuối đường thẳng có trọng số tiêu cực, để tối thiểu hóa ảnh

Formatted: Font: 12 pt
Formatted: Font: Times New Roman, 12 pt

Formatted: Font: 12 pt

- 12 -

Formatted: Font: Check spelling and gramm

hưởng của các đường thẳng trong ảnh mà dài quá để có thể xem như là một cạnh của
đa giác. Kết quả ảnh đề cử (vote image) được gán nhãn là

.

Ngoài ảnh đề cử (vote image) ra, một ảnh khác được gọi là ảnh đẳng giác
(equiangular image) được tạo. Thủ tục được đề xuất như sau: Nếu góc đạo hàm của
các điểm ảnh trên cạnh của một đa giác đều

mặt ( –sided) được nhân với , thì kết

quả các góc sẽ bằng nhau (Xem hình 1.2). Ví dụ, xét một tam giác đẳng giác và thử
một giá trị góc đạo hàm tại mỗi bên. Giả sử chúng ta có được các giá trị đạo hàm của
730, 1930, và 3130. Các đạo hàm được cách nhau một khoảng 3600/

= 1200. Sau đó

730 x 3 = 2190 và 1930 x 3 = 5790, 5790 – 3600 = 2190. Tương tự như vậy 3130 x 3 =
9390, 9390 – 2 x 3600 = 2190. Với từng điểm ảnh được chọn là tâm của đa giác, một
vector đơn vị được tạo ra. Độ dốc (slope) của vector đơn vị được cho bằng với góc đạo
hàm của điểm ảnh nhân với số mặt của đa gia đều. Các điểm ảnh sau đó một lần nữa
được chọn trên những vị trí được mơ tả bằng một đường thẳng đề cử, ngoại trừ đề cử
mang dạng của một vector đơn vị. Các điểm được chọn được biểu diễn trong một ảnh
mới gọi là ảnh đẳng giác. Từng điểm trong ảnh đại diện cho một vector là tổng của các

điểm được chọn đóng góp. Các điểm được chọn từ các cạnh của đa giác đẳng giác sẽ
có cùng độ dốc (slope), do đó độ lớn của các vector được chọn trong trọng tâm đa giác
đẳng giác sẽ là lớn nhất.

Hình 1. 2. Nhân các góc gradient của một tam giác cho 3.
Kết quả các góc sẽ bằng nhau.
Cuối cùng, ảnh đề cử và định mức của ảnh đẳng giác được kết hợp để tạo ra đáp
ứng tổng thể. Độ phức tạp của phương thức này là
của đường thẳng được chọn,
kính đang được xem xét.

, trong đó là độ dài cực đại

là số lượng điểm ảnh có trong ảnh và

là số lượng bán

Formatted: Font: 12 pt
Formatted: Font: Times New Roman, 12 pt


- 13 -

Formatted: Font: 12 pt

Formatted: Font: Check spelling and gramm

Khuyết điểm chính của hướng tiếp cận này là bán kính của đa giác phải được
biết trước, và đây khơng bao giờ là điều dễ thực hiện. Ở đây có thể được giải quyết
bằng cách thử nhiều bán kính nhưng nó tiêu tốn quá nhiều thời gian xử lý.

Một hướng tiếp cận khác là tìm hình dạng đặc trưng được sử dụng là bộ phát
hiện góc và sau đó giả thiết là vị trí của đa giác đều bằng cách quan sát quan sát mối
liên hệ giữa các góc. Paulo và Correia [9] xác định biển báo tam giác và tứ giác bằng
cách áp dụng bộ phát hiện góc Haaris để xác định vùng đặc trưng, và sau đó tìm kiếm
phần cịn lại của góc trong sáu khu vực kiểm sốt được định nghĩa trước đó của vùng
này. Hình dạng được xác định dựa trên hình của vùng kiểm sốt mà góc được tìm thấy.
Vùng kiểm sốt được biểu diễn như trong hình 1.3.

Hình 1. 3. Vùng kiểm sốt.
Gavrila [11] sử dụng biến đổi khoảng cách dựa trên mẫu phù hợp để xác định
hình dạng. Đầu tiên, các cạnh trong ảnh gốc được tìm thấy. Tiếp theo, một ảnh biến
đổi khoảng cách (Distance Transform _DT) được xây dựng (nhƣ hình 1.4). Ảnh DT là
ảnh mà điểm ảnh đại diện cho khoảng cách tới cạnh gần nhất. Để tìm thấy hình dạng
đặc trưng, một ý tưởng cơ bản là dựa trên một mẫu phù hợp (ví dụ là một tam giác
đều) so với ảnh DT. Để tìm ra mẫu phù hợp tối ưu, sử dụng các phép biến đổi cơ bản
như phép xoay, phép tỉ lệ, phép dời. Trong phần mở rộng của ý tưởng Gavrila, các
cạnh phải khác nhau theo hướng, để các ảnh DT riêng biệt được tính tốn cho các
hướng của cạnh riêng biệt và các mẫu được chia thành từng phần dựa trên hướng của
chúng. Biện pháp tổng thể phù hợp là tổng hợp các biện pháp kết hợp giữa ảnh DT và
các mẫu của hướng đặc biệt. Garvila cũng đã sử dụng một mẫu phân cấp với ý tưởng
là các mẫu tương đương nhau được nhóm với nhau thành một prototype, và một khi

Formatted: Font: 12 pt
Formatted: Font: Times New Roman, 12 pt