Nhận dạng biển báo giao thông đường bộ theo thời gian thực trên thiết bị di động

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

Phùng Duy Dũng

NHẬN DẠNG BIỂN BÁO GIAO THÔNG
ĐƯỜNG BỘ THEO THỜI GIAN THỰC
TRÊN THIẾT BỊ DI ĐỘNG

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

HÀ NỘI-2015


ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

Phùng Duy Dũng

NHẬN DẠNG BIỂN BÁO GIAO THÔNG
ĐƯỜNG BỘ THEO THỜI GIAN THỰC
TRÊN THIẾT BỊ DI ĐỘNG

Ngành: Công nghệ thông tin
Chuyên ngành: Kỹ thuật phần mềm
Mã số: 60480103

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS. NGUYỄN VIỆT HÀ

HÀ NỘI-2015


Lời cam kết
’Tôi xin cam đoan luận văn này là công trình nghiên cứu của riêng tôi.
Các số liệu, kết quả được trình bày trong luận văn là hoàn toàn trung thực và chưa
từng được công bố trong bất kỳ một công trình nào khác. Tôi đã trích dẫn đầy đủ
các tài liệu tham khảo, công trình nghiên cứu liên quan ở trong nước và quốc tế.
Ngoại trừ các tài liệu tham khảo này, luận văn hoàn toàn là công việc của riêng tôi.’

Hà Nội, Ngày ..... tháng ..... năm 2015
Chữ ký...............................................

i


Lời cảm ơn
Trước tiên, tôi muốn gửi lời cảm ơn sâu sắc nhất đến thầy giáo, PGS-TS.
Nguyễn Việt Hà, người đã tận tình chỉ bảo và hướng dẫn tôi trong suốt quá trình
học tập, nghiên cứu và thực hiện luận văn.
Tôi xin bày tỏ lời cảm ơn sâu sắc đến những thầy cô giáo đã giảng dạy trong
những năm đại học và cao học, đã tạo cho tôi những điều kiện thuận lợi để học
tập và nghiên cứu tại trường Đại Học Công Nghệ - ĐHQGHN.
Tôi xin chân thành cảm ơn thầy Vũ Quang Dũng và thầy Lê Thanh Hà đã nhiệt
tình chỉ bảo, tư vấn những thắc mắc của tôi trong thời gian học tập và hoàn thành
luận văn.
Tôi xin gửi lời cảm ơn chân thành tới phòng thí nghiệm công nghệ phần mềm
Toshiba-UET, anh Vũ Huy Hiển, anh Nguyễn Bảo Ngọc. Mọi người đã tạo điều
kiện cho tôi không gian để nghiên cứu và trao đổi kinh nghiệm cả quá trình học
tập và thực hiện luận văn.

Cuối cùng, tôi muốn gửi lời cảm ơn đến gia đình và tất cả bạn bè, những người
luôn kịp thời động viên và giúp đỡ tôi vượt qua những khó khăn trong cuộc sống.

Tôi xin chân thành cảm ơn!

ii


Mục lục

1

2

Đặt vấn đề

1

1.1

Lý do chọn đề tài . . . . . . . . . . . . . . . . . . . . . . . . . .

1

1.2

Các nghiên cứu liên quan . . . . . . . . . . . . . . . . . . . . . .

2

1.3

Mô tả bài toán . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

1.4

Phương pháp đề xuất . . . . . . . . . . . . . . . . . . . . . . . .

3

1.5

Cấu trúc luận văn . . . . . . . . . . . . . . . . . . . . . . . . . .

6

Các kiến thức cơ sở

7

2.1

Hệ thống biển báo giao thông đường bộ . . . . . . . . . . . . . .

7

2.1.1

Hệ thống biển báo giao thông đường bộ thế giới . . . . . .

7

2.1.2

Hệ thống biển báo giao thông đường bộ Việt Nam . . . . .

7

Tổng quan về xử lý ảnh . . . . . . . . . . . . . . . . . . . . . . .

13

2.2.1

Các khái niệm trong xử lý ảnh . . . . . . . . . . . . . . .

13

2.2.2

Các kỹ thuật tiền xử lý ảnh . . . . . . . . . . . . . . . . .

14

2.2.3

Các kỹ thuật nhận dạng ảnh . . . . . . . . . . . . . . . .

17

2.2

3

Phương pháp nhận dạng biển báo thời gian thực

22

3.1

Giới hạn bài toán . . . . . . . . . . . . . . . . . . . . . . . . . .

22

3.2

Phát hiện biển báo giao thông đường bộ . . . . . . . . . . . . . .

23

3.2.1

Phát hiện hình tròn . . . . . . . . . . . . . . . . . . . . .

23

3.2.2

Phát hiện hình ellipse . . . . . . . . . . . . . . . . . . . .

25

Nhận dạng loại biển báo giao thông đường bộ . . . . . . . . . . .

28

3.3.1

Nhận dạng qua điểm đặc trưng cục bộ . . . . . . . . . . .

28

3.3.2

Nhận dạng qua nhị phân hoá sự phụ thuộc các điểm ảnh .

28

3.3

iii


4

Thực nghiệm

32

4.1

Cài đặt thuật toán . . . . . . . . . . . . . . . . . . . . . . . . . .

32

4.2

Môi trường và dữ liệu thực nghiệm . . . . . . . . . . . . . . . . .

32

4.2.1

Môi trường . . . . . . . . . . . . . . . . . . . . . . . . .

32

4.2.2

Dữ liệu biển báo giao thông đường bộ . . . . . . . . . . .

33

Kết quả thực nghiệm . . . . . . . . . . . . . . . . . . . . . . . .

35

4.3

5

Kết luận

40

Tài liệu tham khảo

40

iv


Danh sách hình vẽ
1.1

Sơ đồ các phần của nghiên cứu . . . . . . . . . . . . . . . . . . .

4

1.2

Các giao đoạn nhận dạng biển báo giao thông . . . . . . . . . . .

5

2.1

Một vài biển báo giao thông đường bộ Việt Nam . . . . . . . . . .

8

2.2

Biển báo 122 - Dừng lại . . . . . . . . . . . . . . . . . . . . . . .

9

2.3

Biển báo 130 - Hướng đi phải theo cho các xe chở hàng nguy hiểm

9

2.4

Biển báo E,9 - Biển bắt đầu vào khu vực . . . . . . . . . . . . . .

10

2.5

Giá long môn . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

2.6

Sơ đồ kết hợp các biển báo trên một cột . . . . . . . . . . . . . .

12

2.7

Ví dụ về số hoá ảnh . . . . . . . . . . . . . . . . . . . . . . . . .

13

2.8

Ảnh được làm mịn với Gaussian Blur . . . . . . . . . . . . . . . .

15

2.9

Các loại biên trong ảnh . . . . . . . . . . . . . . . . . . . . . . .

16

2.10 Tách biên với thuật toán Canny . . . . . . . . . . . . . . . . . . .

17

2.11 Khởi tạo không gian tỷ lệ . . . . . . . . . . . . . . . . . . . . . .

19

2.12 Tìm các điểm đặc trưng . . . . . . . . . . . . . . . . . . . . . . .

20

2.13 Mô tả điểm đặc trưng . . . . . . . . . . . . . . . . . . . . . . . .

21

3.1

Các biển báo cấm và hiệu lệnh thường gặp

. . . . . . . . . . . .

23

3.2

Ước lượng tâm đường tròn . . . . . . . . . . . . . . . . . . . . .

25

3.3

Các loại đường cong . . . . . . . . . . . . . . . . . . . . . . . .

26

3.4

Ghép hai đường cong thuộc nhóm II và III . . . . . . . . . . . . .

27

3.5

Tìm và so sánh đặc trưng SURF với FANN . . . . . . . . . . . . .

28

3.6

Các điểm mẫu theo phân bố Gaussian . . . . . . . . . . . . . . .

29

4.1

30 biển báo giao thông. . . . . . . . . . . . . . . . . . . . . . . .

35

4.2

Confusion Matrix theo phương pháp SURF . . . . . . . . . . . .

36

v


4.3

Đặc trưng SURF trên các biển có độ tương đồng cao . . . . . . .

37

4.4

Confusion Matrix theo phương pháp đề xuất . . . . . . . . . . . .

38

4.5

Biểu đồ N - phương án tốt nhất . . . . . . . . . . . . . . . . . . .

39

vi


Danh sách bảng
4.1

Số hiệu và tên gọi các biển báo giao thông trong thực nghiệm . . .

vii

34

Các ký hiệu viết tắt
QCVN
UNECE
TT
BGTVT
ROI
CPU
GPU
RAM
LOG
SIFT
SURF
HOG
BRIEF
BRISK

Quy chuẩn Việt Nam
United Nations Economic Commission for Europe
Thông tư
Bộ Giao Thông Vận Tải
Region of interest
Central processing unit
Graphics processing unit
Ramdom access memory
Laplacian of Gaussian
Scale-invariant feature transform
Speeded up robust features
Histogram of oriented gradients
Binary robust independent elementary features
Binary robust invariant scalable keypoints

viii


Tài liệu tham khảo
[1] Herbert Bay, Tinne Tuytelaars, and Luc Van Gool. Surf: Speeded up robust
features. In Computer vision–ECCV 2006, pages 404–417. Springer, 2006.
[2] Michael Calonder, Vincent Lepetit, Christoph Strecha, and Pascal Fua. Brief:
Binary robust independent elementary features. Computer Vision–ECCV
2010, pages 778–792, 2010.
[3] John Canny. A computational approach to edge detection. IEEE Transactions
on Pattern Analysis and Machine Intelligence, (6):679–698, 1986.
[4] Krzysztof Ciesielski et al. On stefan banach and some of his results. Banach
Journal of Mathematical Analysis, 1(1):1–10, 2007.
[5] Timothy F Cootes, Gareth J Edwards, and Christopher J Taylor. Active appearance models. IEEE Transactions on Pattern Analysis & Machine Intelligence, (6):681–685, 2001.
[6] Marcin L Eichner and Toby P Breckon. Integrated speed limit detection and
recognition from real-time video. In Intelligent Vehicles Symposium, 2008
IEEE, pages 626–631. IEEE, 2008.
[7] Michele Fornaciari, Andrea Prati, and Rita Cucchiara. A fast and effective
ellipse detector for embedded vision applications. Pattern Recognition, 47
(11):3693–3708, 2014.
[8] Jack Greenhalgh and Majid Mirmehdi. Traffic sign recognition using mser
and random forests. In Signal Processing Conference (EUSIPCO), 2012 Proceedings of the 20th European, pages 1935–1939. IEEE, 2012.
[9] Alfred Haar. Zur theorie der orthogonalen funktionensysteme. Mathematische Annalen, 69(3):331–371, 1910.
[10] Lọc Huỳnh Ngọc. Nhận dạng biển báo giao thông trên cơ sở sử dụng bộ lọc
Gabor và mạng Nơron. PhD thesis, Đại học Đà Nẵng, 2013.
[11] Thomas Kailath. The divergence and bhattacharyya distance measures in
signal selection. Communication Technology, IEEE Transactions on, 15(1):
52–60, 1967.

41


[12] Solomon Kullback and Richard A Leibler. On information and sufficiency.
The annals of mathematical statistics, pages 79–86, 1951.
[13] Henry Oliver Lancaster. Chi-Square Distribution. Wiley Online Library,
1969.
[14] Stefan Leutenegger, Margarita Chli, and Roland Y Siegwart. Brisk: Binary
robust invariant scalable keypoints. In Computer Vision (ICCV), 2011 IEEE
International Conference on, pages 2548–2555. IEEE, 2011.
[15] Marius Muja and David G Lowe. Fast approximate nearest neighbors with
automatic algorithm configuration. VISAPP (1), 2, 2009.
[16] Judith MS Prewitt. Object enhancement and extraction. Picture processing
and Psychopictorics, 10(1):15–19, 1970.
[17] Lawrence Gilman Roberts. Machine perception of three-dimensional soups.
PhD thesis, Massachusetts Institute of Technology, 1963.
[18] Yossi Rubner, Carlo Tomasi, and Leonidas J Guibas. The earth mover’s distance as a metric for image retrieval. International journal of computer vision, 40(2):99–121, 2000.
[19] Irvin Sobel. An isotropic 3× 3 image gradient operator. Machine Vision for
three-demensional Sciences, 1990.
[20] Paul Viola and Michael Jones. Rapid object detection using a boosted cascade of simple features. In Computer Vision and Pattern Recognition, 2001.
CVPR 2001. Proceedings of the 2001 IEEE Computer Society Conference
on, volume 1, pages I–511. IEEE, 2001.

42