nhận dạng biển báo giao thông hỗ trợ lái xe

BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ GIAO THÔNG VẬN TẢI
TRƯỜNG ĐẠI HỌC GIAO THÔNG VẬN TẢI TP.HCM
oOo

PHẠM NHỰT TÙNG

NHẬN DẠNG BIỂN BÁO GIAO THÔNG
HỖ TRỢ LÁI XE


LUẬN VĂN THẠC SĨ KỸ THUẬT







TP. HCM 12- 2013




BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ GIAO THÔNG VẬN TẢI
TRƯỜNG ĐẠI HỌC GIAO THÔNG VẬN TẢI TP.HCM
oOo

PHẠM NHỰT TÙNG

NHẬN DẠNG BIỂN BÁO GIAO THÔNG
HỖ TRỢ LÁI XE

CHUYÊN NGÀNH: KỸ THUẬT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA
MÃ SỐ: 605260


LUẬN VĂN THẠC SĨ KỸ THUẬT

NGƯỜI HƯỚNG DẪN KHOA HỌC:
TS. NGUYỄN ĐỨC THÀNH

TP. HCM 12- 2013

LUẬN VĂN ĐƯỢC HOÀN THÀNH TẠI
TRƯỜNG ĐẠI HỌC GIAO THÔNG VẬN TẢI THÀNH PHỐ HỒ CHÍ MINH

Cán bộ hướng dẫn khoa học : TS.Nguyễn Đức Thành


Cán bộ chấm nhận xét 1 : TS. Hoàng Minh Trí


Cán bộ chấm nhận xét 2 : TS.Đinh Hoàng Bách


Luận văn thạc sĩ được bảo vệ tại Trường Đại học Giao thông vận tải Tp. HCM
ngày 27 tháng 12 năm 2013

Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm:
1. PGS.TS Đồng Văn Hướng

Chủ tịch Hội đồng;
2. TS. Hoàng Minh Trí

Ủy viên, phản biện;
3. TS. Đinh Hoàng Bách

Ủy viên, phản biện;
4. TS. Nguyễn Hữu Chân Thành


Ủy viên, thư ký;
5. TS. Đặng Xuân Kiên

Ủy viên.

Xác nhận của Chủ tịch Hội đồng đánh giá luận văn và Trưởng Khoa quản lý chuyên
ngành sau khi luận văn đã được sửa chữa.
CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA ĐIỆN-ĐTVT
(ký tên)


PGS.TS Đồng Văn Hướng
(ký tên)


TS.Võ Công Phương

PHỤ LỤC : HỆ THỐNG BIỂN BÁO HIỆU GIAO THÔNG ĐƯỜNG BỘ VIỆT NAM








MỤC LỤC
LIỆT KÊ CÁC BẢNG 2
CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN 5
1.1 GIỚI THIỆU 5
1.2 MỤC ĐÍCH NGHIÊN CỨU 6
1.3 CÁC ĐỀ TÀI ĐÃ NGHIÊN CỨU, THÀNH TỰU ỨNG DỤNG VÀ
HƯỚNG NGHIÊN CỨU ĐỀ NGHỊ 6
1.4 TỔNG QUAN VỀ GIẢI THUẬT PHÁT HIỆN VÀ PHÂN LOẠI BIỂN
BÁO GIAO THÔNG 8
1.4.1 Phát hiện biển báo giao thông 8
1.4.2 Phân loại biển báo giao thông 9
1.5 LÝ DO THỰC HIỆN ĐỀ TÀI 10
1.6 MỤC TIÊU ĐỀ TÀI 11
1.7 NHIỆM VỤ LUẬN VĂN 11
1.7.1 Phạm vi thực hiện 11
1.7.2 Dự kiến các lĩnh vực ứng dụng của đề tài 11
CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 12
2.1 CÁC PHƯƠNG PHÁP PHÁT HIỆN BIỂN BÁO GIAO THÔNG 12
2.1.1 Phát hiện, phân loại dựa trên ảnh 15
2.1.2 Phát hiện, phân loại dựa trên dạng hình học 16
2.2 PHƯƠNG PHÁP ĐƯỢC SỬ DỤNG TRONG LUẬN VĂN 17

2.2.1 Phát hiện biển báo giao thông 18
2.2.2 Biểu diễn ảnh 24
2.2.3 Phép biến đổi khoảng cách ảnh màu 27
2.2.4 Nhận dạng biển báo giao thông sử dụng phép biến đổi ảnh CDT 29
2.2.5 Lựa chọn đặc trưng 32
CHƯƠNG 3: XÂY DỰNG HỆ THỐNG 39
3.1 Ý TƯỞNG XÂY DỰNG VÀ HOẠT ĐỘNG CỦA HỆ THỐNG 39
3.2 HỆ THỐNG PHẦN CỨNG LIÊN QUAN 40
3.2.1 Webcam 40
3.3 HỆ THỐNG PHẦN MỀM LIÊN QUAN 41
3.3.1 Hệ điều hành Fedora 12 41
3.3.2 Thư viện mã nguồn mở về thị giác máy tính OpenCV 42
3.3.3 Thực thi chương trình và giải thuật 47
CHƯƠNG 4: KẾT QUẢ - NHẬN XÉT VÀ PHÂN TÍCH 56
4.1 KẾT QUẢ 56
4.2 NHẬN XÉT 72



4.2.1 Ưu điểm 72
4.2.2 Khuyết điểm 72
4.3 PHÂN TÍCH KẾT QUẢ ĐẠT ĐƯỢC 74
CHƯƠNG 5: KẾT LUẬN 76
5.1 KẾT QUẢ ĐẠT ĐƯỢC VÀ Ý NGHĨA 76
5.1.1 Kết quả đạt được 76
5.1.2 Ý nghĩa 77
5.2 HƯỚNG PHÁT TRIỂN 77


1

LIỆT KÊ CÁC HÌNH

Hình 1.1 : Hệ thống nhận diện biển báo giao thông và xác định làn đường trong mẫu
xe Opel/Insignia
Hình 1.2 : Mô hình hệ thống nhận dạng biển báo giao thông đề nghị
Hình 2.1 : Các không gian biểu diễn màu thông thường
Hình 2.2 : Hình ảnh thể hiện kết quả nhận dạng biển báo giao thông
Hình 2.3 : Phân chia các vùng màu HSV
Hình 2.4 : Kết quả phân tách các màu quan tâm (đỏ, xanh, vàng)
Hình 2.5 : Lược đồ cơ bản của AdaBoost
Hình 2.6 : Một số cặp hình biển báo có mô tả histogram gần giống nhau
Hình 2.7 : Phép tách màu và biến đổi khoảng cách màu (CDT) tương ứng
Hình 2.8 : Khung ảnh đối tượng trước và sau khi lọc bỏ các điểm ảnh nằm ngoài
đường biên và định dạng lại theo kích thước chuẩn 60x60
Hình 2.9 : Phép định dạng kích thước ảnh sử dụng giải thuật nội suy theo giá trị điểm
lân cận gần nhất với không gian 1 chiều và 2 chiều
Hình 2.10: Mô tả giải thuật lựa chọn vùng ảnh đặc trưng và trọng số tương ứng
Hình 2.11: Một số hình ảnh biển báo cấm cùng kết quả sau khi thực hiện giải thuật lựa
chọn vùng ảnh đặc trưng
Hình 3.1 : Mô hình nhận dạng biển báo giao thông
Hình 3.2 : Webcam Logitech C600
Hình 3.4 : Màn hình desktop của hệ điều hành Fedora 12
Hình 3.5 : Giới thiệu OpenCV
Hình 3.6 : Ví dụ về phép biến đổi khoang cách
Hình 3.7 : Ví dụ về hàm CvFindCotour
Hình 3.8 : Khái quát giải thuật huấn luyện tập ảnh mẫu để tìm vùng ảnh đặc trưng
cùng trọng số tương ứng cho từng ảnh mẫu
Hình 3.9 : Một số kết quả từ việc tìm kiếm vùng điểm ảnh đặc trưng cho từng biển
báo giao thông mẫu

Hình 3.10: Sơ đồ khối chức năng của chương trình chính
Hình 3.11: Khái quát giải thuật nhận dạng biển báo giao thông
Hình 4.1 : Tập ảnh mẫu biển báo giao thông sử dụng cho huấn luyện
Hình 4.2 : Một số kết quả nhận dạng biển báo từ tập ảnh biển báo giao thông mẫu
Hình 4.3 : Một số kết quả nhận dạng biển báo từ hình chụp thực tế
Hình 4.4 : Một số kết quả nhận dạng trực tuyến biển báo giao thông
2


Hình 4.5 : Kết quả nhận dạng trực tuyến biển báo giao thông khi đưa ra xa hơn
Hình 4.6 : Kết quả nhận dạng trực tuyến biển báo giao thông trong điều kiện ánh sáng
khác nhau



LIỆT KÊ CÁC BẢNG

Bảng 2.1 : Giải thuật lựa chọn vùng điểm ảnh đặc trưng với trọng số tương ứng
Bảng 3.1 : Một phần đoạn chương trình chính thực hiện việc tìm vùng ảnh đặc trưng
và tập trọng số tương ứng từ các ảnh biển báo giao thông mẫu
Bảng 3.2 : Cấu trúc file XML lưu giữ các ảnh được xử lý tìm kiếm đặc trưng

3


LỜI CAM ĐOAN

Tôi xin cam đoan rằng đây là công trình nghiên cứu của tôi và không sao chép
các công trình nghiên cứu của người khác để làm sản phẩm của riêng mình.
Các số liệu, kết quả nêu trong luận văn là trung thực và chưa từng được ai công

bố trong bất kỳ công trình nào khác.
Trong luận văn có sử dụng một số tài liệu, giáo trình của các tác giả, cơ
quan, tổ chức đã được thể hiện trong phần tài liệu tham khảo.
Tôi hoàn toàn chịu trách nhiệm về tính xác thực và nguyên bản của luận văn
này.






















TP. Hồ Chí Minh, tháng 12, năm 2013
Tác giả luận văn

Phạm Nhựt Tùng
4


LỜI CẢM ƠN

Trước tiên, xin cảm ơn thầy TS Nguyễn Đức Thành vì đã gợi mở, quan
tâm, giúp đỡ cho học viên trong suốt thời gian thực hiện đề tài tốt nghiệp này.

Bên cạnh đó, học viên cũng xin gởi lời cảm ơn đến tất cả những thầy cô đã
trực tiếp giảng dạy trong suốt khóa học; những người bạn đã quan tâm, động
viên và chia sẻ kiến thức cũng như kinh nghiệm chuyên ngành trong quá trình
học tập và rèn luyện vừa qua của học viên.

Cũng xin chân thành cảm ơn sự quan tâm hỗ trợ, tạo điều kiện và hết lòng
động viên về tinh thần lẫn vật chất của các thành viên trong gia đình, người thân
trong suốt thời gian qua.

Sau cùng, học viên gởi lời chúc sức khỏe, hạnh phúc đến quý thầy cô, gia
đình và bạn bè.
TP. Hồ Chí Minh, tháng 12, năm 2013
Học viên



Phạm Nhựt Tùng
5

CHƯƠNG 1


GIỚI THIỆU TỔNG QUAN


1.1 GIỚI THIỆU
An toàn giao thông luôn là hạnh phúc của mọi gia đình và xã hội. Ngày nay, các
tài xế lái xe đã được trợ giúp bằng nhiều thiết bị hỗ trợ lái xe an toàn và thoải mái
như thiết bị dẫn đường, bản đồ số định vị GPS, thiết bị phát hiện ngủ gật.
Mặc dù hệ thống bản đồ số kết hợp định vị toàn cầu GPS có thể cập nhật các hình
ảnh về các con đường nhưng lại không bao gồm thông tin về hệ thống biển báo giao
thông. Lý do chính là vì các hệ thống biển báo giao thông luôn được thay đổi thường
xuyên để phù hợp với việc hướng dẫn giao thông ở từng thời điểm khác nhau của các
nhà quản lý giao thông hoặc là các biển báo hiệu công trường thi công xuất hiện một
cách đột xuất trên những đoạn đường mà người lái xe có thể chủ quan do vẫn thường
đi lại hàng ngày.
Việc nhận biết các biển giao thông này là rất cần thiết cho người lái xe để tham
gia giao thông an toàn đặc biệt là một số biển báo quan trọng. Nó giúp cho người lái
xe có thể tránh được các tại nạn có thể xảy ra do sự bất cẩn của tài xế
Đề tài này nhắm mục đích phát triển một thiết bị hỗ trợ người lái xe trong việc tự
động nhận dạng các biển báo giao thông và nhắc nhở tài xế để phòng tránh và lái xe
an toàn hơn.
Ngoài ra đề tài này còn có thể được ứng dụng trong việc phát triển xe tự hành,
trong lĩnh vực giao thông đường sắt.
6

1.2 MỤC ĐÍCH NGHIÊN CỨU
Hai vấn đề chính cần giải quyết khi thực hiện đề tài này đó là làm sao phải phát
hiện nhanh chóng sự xuất hiện của biển báo giao thông trong khung hình trước
phương tiện giao thông đồng thời phải phân loại nhanh biển báo này trong số các biển
báo được quy định trong giao thông dựa trên sự phát triển của lĩnh vực thị giác máy
tính (computer vision) và hệ thống nhúng (embedded system).
Biển báo hiệu giao thông tuy đã được quy định cụ thể về màu sắc, hình dạng và
kiểu dáng nhưng trên thực tế trên đường giao thông hiện nay thì vẫn có sự thay đổi,
không đồng nhất về hình dạng, màu sắc, vị trí của hình biển báo của cùng một loại
hình biển báo giống nhau. Chính điều nay gây ra một sự khó khăn nhất định trong
việc nhận dạng và phân loại biển báo giao thông.
Đồng thời nhằm tăng tính ứng dụng thực tiễn của đề tài, học viên đã tìm hiểu,
lựa chọn các giải pháp, thuật toán tìm kiếm, phân loại biển báo giao thông sao cho có
khả năng nhận dạng, phân loại chính xác đồng thời nhiều loại biển báo giao thông
khác nhau và thực thi được trên nền hệ thống nhúng sử dụng hệ điều hành Linux (hệ
điều hành Linux được lựa chọn do sự hoạt động ổn định, gọn nhẹ phù hợp cho việc
phát triển các ứng dụng nhúng trên nền thiết bị phần cứng cấu hình thấp, tiêu tốn
năng lượng hoạt động thấp).

1.3 CÁC ĐỀ TÀI ĐÃ NGHIÊN CỨU, THÀNH TỰU ỨNG DỤNG VÀ HƯỚNG
NGHIÊN CỨU ĐỀ NGHỊ
Hiện nay, theo tìm hiểu của học viên thì đã có hãng xe Opel (Đức) vừa giới
thiệu ý tưởng mẫu xe Opel/Vauxhall Insignia sẽ đưa ra thị trường vào năm sau
(2011) có khả năng nhận biết được các biển báo về giới hạn tốc độ và cảnh báo về
làn đường ô tô đang di chuyển. Hệ thống sử dụng một camera góc rộng có độ phân
giải cao gắn phía trước xe sẽ thu thập ảnh tốc độ 30 hình/s. Những hình này sau đó
7

sẽ được xử lý bằng 2 bộ xử lý với phần mềm từ hãng General Motor (Mỹ). Khi phát
hiện một biển báo giới hạn tốc độ trên đường, xe sẽ hiển thị cảnh báo lên phía trước
người lái xe hoặc cảnh báo bằng âm thanh. Ngoài ra camera cũng xác định làn đường
mà xe đang di chuyển có đúng hay không.
Hình 1.1 : Hệ thống nhận diện biển báo giao thông và xác định làn đường trong mẫu
xe Opel/Insignia
* Hướng nghiên cứu đề nghị
Trong luận văn này, học viên giải quyết các yêu cầu đặt ra về phát hiện và phân
loại biển báo giao thông chính xác, nhanh chóng và thực thi được trên hệ thống
nhúng bằng cách sử dụng giải thuật lựa chọn đặc trưng phân biệt của từng biển báo
giao thông trong cả hai quá trình phát hiện và phân loại biển báo với sự hỗ trợ của thư
viện xử lý ảnh OpenCV (thư viện mở). Ưu điểm của phương pháp này:
- tận dụng được các đặc trưng biết trước về biển báo giao thông như màu sắc,
hình dạng, vị trí.
8


- Không đòi hỏi tập huấn luyện biển báo giao thông mẫu nhiều. Điều này giúp
thuận tiện, giảm thời gian, công sức trong việc thu thập các mẫu biển báo để
huấn luyện, xây dựng các tập ảnh mẫu.
- Giải thuật đòi hỏi tốc độ xử lý, khối lượng tính toán thấp nhưng tỉ lệ phát hiện
và phân loại thành công biển báo giao thông cao phù hợp cho việc phát triển
ứng dụng trên nền hệ thống nhúng.
- Một bộ phát hiện sẽ tìm kiếm sự xuất hiện của biển báo giao thông trong khung
hình dựa trên các đặc tính về màu sắc, hình dạng của biển báo giao thông thông
qua việc lọc các màu quan tâm (đỏ, cam, xanh lam).

1.4 TỔNG QUAN VỀ GIẢI THUẬT PHÁT HIỆN VÀ PHÂN LOẠI BIỂN BÁO
GIAO THÔNG

Bài toán phát hiện và phân loại biển báo giao thông cụ thể qua 2 bước sau.

Hình 1.2 : Mô hình hệ thống nhận dạng biển báo giao thông đề nghị

1.4.1 Phát hiện biển báo giao thông

Phát hiện biển báo giao thông dựa trên thuật toán xây dựng tập các mẫu đối
tượng bằng phương pháp lựa chọn đặc trưng nổi bật của từng đối tượng biển báo giao
thông so với các đối tượng khác không phải là biển báo giao thông. Các ảnh sau khi
chụp từ camera (hoặc trích xuất từ một file video định dạng AVI) sẽ được chuyển tới
bộ tiền xử lý ảnh. Tại đây ảnh được phân thành các ảnh con bằng cách chỉ giữ lại các
điểm ảnh mà có màu quan tâm (đỏ, cam, xanh lam, đen, trắng) và thiết lập các vùng
LOA, ĐÈN
BÁO

HỆ THỐNG NHÚNG
Camera

Phát hiện biển
báo giao thông
Phân loại biển
báo giao thông
Phát cảnh
báo

9


ảnh quan tâm (ROI: regions of interest) cho từng đối tượng trong ảnh. Các đối tượng
trong ảnh sau xử lý này sẽ được lần lượt chuyển tới bộ phát hiện biển báo giao thông

để so sánh các đặc trưng của đối tượng với tập mẫu các đặc trưng hình dạng biển báo
đã được tạo lập trước đó để xác định xem đối tượng có phải là biển báo giao thông
hay không ? là biển báo gì? (cấm, nguy hiểm, chỉ dẫn). Tập mẫu các đặc trưng hình
dạng biển báo được xây dựng bằng cách đem so sánh từng biển báo trong tập các ảnh
biển báo giao thông mẫu sau khi đã xử lý tách màu cần tìm với các biển báo giao
thông còn lại để tìm ra những vùng (điểm) ảnh đặc trưng nhất trên từng biển báo với
các biển báo giao thông khác. Kết quả của quá trình trên ta sẽ thu được tập đối tượng
khả nghi là biển báo giao thông cùng với kích thước và vị trí của chúng trong khung
hình. Tập đối tượng này sẽ được xử lý trong giai đoạn phân loại biển báo giao thông
tiếp theo.
1.4.2 Phân loại biển báo giao thông
Với kết quả thu được là tập đối tượng khả nghi từ giai đoạn phát hiện biển báo
giao thông ở trên. Các đối tượng này sẽ được xử lý qua một số phép biến đổi định dạng
ảnh, tách màu, biến đổi khoảng cách,… để trích xuất ra nội dung hình dạng biển báo
cần phân biệt. Một lần nữa bằng cách sử dụng phép so sánh để tìm giá trị khác biệt của
đối tượng khả nghi với tập ảnh mẫu về hình ảnh thể hiện nội dung biển báo ta sẽ phân
biệt được đối tượng biển báo khả nghi là biển báo gì. Qua đó, kết quả nhận dạng biển
báo sẽ xuất ra thiết bị báo hiệu cảnh báo (âm thanh, hình ảnh) để trợ giúp người lái xe
giúp điều khiển xe an toàn và thuận tiện hoặc cảnh báo nếu người lái xe điều khiển xe
đi ngược lại với nội dung biển báo giao thông trên đường.
Cả 2 giai đoạn phát hiện và nhận dạng biển báo giao thông đều dựa trên cùng một
giải thuật cơ bản đó là so sánh với tập mẫu các vùng ảnh đặc trưng. Các đặc trưng nổi
bật của từng biển báo giao thông mẫu sẽ được xác định dựa trên phương pháp Biến
đổi khoảng cách ảnh màu (Colour Distance Transform) mà cho phép thực hiện việc
so sánh từng lớp ảnh màu một cách linh hoạt. So sánh với một số phương pháp được
sự dụng phổ biến như: phương pháp phân tính thành phần chính yếu (Principle
10


Component Analysis) hoặc phương pháp học tăng cường thích nghi (AdaBoost) thì

phương pháp dựa trên các điểm ảnh đặc trưng nổi bật phù hợp hơn cho việc mô tả,
nhận dạng biển báo giao thông nhờ vào đặc điểm được thể hiện và quy định rõ ràng
của biển báo giao thông.
1.5 LÝ DO THỰC HIỆN ĐỀ TÀI
Mong muốn đem lại những tiện ích hỗ trợ con người làm việc và nghỉ ngơi một
cách hiệu quả nhất luôn là nguồn gốc, động lực cho sự phát triển của khoa học kỹ thuật
mà trong đó có nghành tự động hóa. Trên nền tảng đó, đề tài “Nhận dạng biển báo giao
thông hỗ trợ lái xe” với mục tiêu tìm hiểu phương pháp, xây dựng giải thuật, thực thi
trên mô hình hệ thống nhúng nhằm phát hiện và phân loại biển báo giao thông hỗ trợ
lái xe an toàn, thuận tiện. Xa hơn nữa học viên mong muốn đề tài của mình có thể
được ứng dụng để phát triển hệ thống xe thông minh tự hành dựa trên hệ thống biển
báo giao thông, vạch kẻ đường, hạ tầng kết cấu giao thông,….
Bài toán phát hiện và nhận dạng biển báo giao thông đã được nhiều nhóm các
nhà khoa học, kỹ sư quan tâm và thực hiện với nhiều phương pháp được sử dụng khác
nhau nhưng để đáp ứng được vấn đề xử lý trong thời gian thực và phát triển thực thi
được trên nền hệ thống nhúng vẫn còn hạn chế do các yêu cầu về tốc độ và sự chính
xác của việc nhận dạng. Thực tế cho thấy, có một số phương pháp được nghiên cứu
cho kết quả nhận dạng chính xác nhưng lại đòi hỏi khối lượng tính toán lớn, tốc độ
phần cứng phải nhanh, không nhận dạng được nhiều biển báo giao thông hay ngược lại
cũng có phương pháp cho kết quả xử lý nhanh thì lại thiếu chính xác, gặp trở ngại khi
thực thi phần cứng. Do đó, tìm kiếm một phương pháp để giải quyết bài toán và các
yêu cầu đặt ra về độ chính xác, tốc độ xử lý, khả năng thực thi là mục đích của đề tài
này.

11


1.6 MỤC TIÊU ĐỀ TÀI

Nghiên cứu phương pháp, phát triển, thực thi giải thuật trên cơ sở thị giác máy

tính kết hợp hệ thống nhúng nhằm phát hiện, nhận dạng biển báo giao thông đáp ứng
trong thời gian thực là mục tiêu của đề tài luận văn này.

1.7 NHIỆM VỤ LUẬN VĂN

 Tìm hiểu, phát triển giải thuật phát hiện và nhận dạng biển báo giao thông
 Xây dựng chương trình nhận dạng biển báo giao thông dựa trên công cụ Thị
giác máy tính kết hợp hệ thống nhúng.

1.7.1 Phạm vi thực hiện

 Về lý thuyết: phương pháp phù hợp phát hiện và nhận dạng biển báo giao
thông.
 Về ứng dụng: chương trình phần mềm phát hiện và nhận dạng biển báo giao
thông trên máy tính và hệ thống nhúng.
 Các điều kiện thực hiện: camera ghi hình trực diện với biển báo giao thông
trong điều kiện ánh sáng tiêu chuẩn (300-500lux) hoặc ánh sáng ngoài trời ban
ngày bình thường, không quá tối.
 Đối tượng là các loại biển báo giao thông khác nhau. Việc nhận dạng được thực
hiện từ phía trước biển báo giao thông tương tự như gặp trên đường giao thông.

1.7.2 Dự kiến các lĩnh vực ứng dụng của đề tài

 Hệ thống hỗ trợ, cảnh báo người lái xe an toàn
 Hệ thống xe thông minh tự hành

12

CHƯƠNG 2


CƠ SỞ LÝ THUYẾT


2.1 CÁC PHƯƠNG PHÁP PHÁT HIỆN BIỂN BÁO GIAO THÔNG
Nhận dạng biển báo giao thông đã là một vấn đề thách thức trong nhiều năm qua
và là một nền tảng quan trọng cho sự phát triển của phương tiện giao thông thông
minh. Mặc dầu, các nghiên cứu ban đầu về vấn đề này đã được thực hiện từ cuối thập
kỷ 60 của thế kỷ trước nhưng những thành tựu đáng kể chỉ đạt được bắt đầu từ những
năm 90 khi mà sự phát triển các phương tiện thiết bị hỗ trợ lái xe dựa trên thị giác
máy tính (computer vision) thu hút được sự quan tâm rộng rãi và công nghệ xử lý ảnh
đạt được những bước tiến vượt bậc. Ngày nay, các nghiên cứu tập trung vào lĩnh vực
nhận dạng biển báo giao thông không chỉ được thực hiện ở các viện nghiên cức mà
còn ở các tập đoàn công nghiệp lớn trên thế giới, đặc biệt là các công ty sản xuất xe
hơi. Tuy đã có nhiều nghiên cứu được thực hiện về lĩnh vực này và đòi hỏi thực tiễn
về việc lái xe thuận tiện, an toàn luôn được đặt ra nhưng hiện vẫn có rất ít hệ thống
nhận dạng biển báo giao thông được phát triển, ứng dụng thành những sản phẩm thực
tế. Điều này thể hiện rằng việc lái xe an toàn trong tình hình giao thông hiện nay đang
phụ thuộc rất lớn vào sự tập trung, kỹ năng vận hành của người lái xe mà ít được hỗ
trợ bởi các phương tiện hiện đại.
Biển báo giao thông có một số đặc điểm riêng biệt mà có thể dùng để phân biệt
với nhiều đối tượng ngoài trời khác. Những đặc điểm này được vận dụng tương đối
phổ biến trong nhiều nghiên cứu về phát hiện và nhận dạng biển báo giao thông.
13


Trong nhiều bài báo, công trình được công bố, một quá trình nhận dạng gồm 2 bước
được sử dụng bao gồm: việc xác định vùng ảnh quan tâm để tìm kiếm đối tượng, sau

đó xác định một số đặc trưng hình học để từ đó xác định loại biển báo giao thông. Để
xác định các đối tượng khả nghi là biển báo giao thông, đầu tiên các đặc điểm về màu
sắc sẽ được xử lý, tiếp theo sau là các phân tích đặc điểm hình học của đối tượng như
số cạnh, góc, kích thước, trọng tâm, moment,…Dựa trên những hình mẫu đặc trưng
của biển báo giao thông (tròn, tam giác, hình vuông, lục giác,….) nhiều tác giả đã xây
dựng mô hình nhận dạng bằng cách sử dụng 2 mạng neural thần kinh riêng biệt để
phân tích các màu sắc và hình dạng hình học liên quan rồi từ đó kết hợp các kết quả
thu được cũng bằng cách sử dụng mạng neural xác định xem đấy là loại biển báo gì.
Phương pháp này được đánh giá là cho kết quả tương đối chính xác nhưng khối lượng
tính toán lớn và số lượng biển báo có thể nhận dạng được không nhiều.
Một số nhà nghiên cứu sử dụng phương pháp mà không cần đến thông tin màu
sắc hiện hữu của đối tượng vì họ nhận thấy rằng màu sắc trên hình ảnh thu được rất
dễ bị thay đổi do chịu sự ảnh hưởng lớn từ các tác động bên ngoài như: khoảng cách
từ thiết bị chụp ảnh cho đến đối tượng, chất lượng của ảnh thu được, điều kiện thời
tiết, thời gian trong ngày hoặc độ phản chiếu của vật liệu làm biển báo giao thông.
Trong các báo cáo này, thông tin màu sắc của đối tượng không được xem xét mà thay
vào đó các ảnh sẽ được biến đổi dùng wavelet và được phân loại bằng mạng neural
thần kinh. Việc không tận dụng thông tin màu sắc trong việc nhận dạng không làm
giảm sự phân biệt giữa một số hình dạng biển báo nhất định. Tuy nhiên, khi số lượng
biển báo mẫu nhiều thì việc xuất hiện 2 biển báo có hình vẽ tương đối giống nhau là
điều không trành khỏi, lúc này kết quả của phương pháp trên đã không còn chính xác.
Vì vậy theo ý kiến học viên, thông tin về màu sắc của ảnh thu được cần được tận
dụng, không nên bỏ qua để phát hiện, nhận dạng biển báo.
Trong số những nghiên cứu sử dụng thông tin màu sắc để phát hiện biển báo giao
thông thì có một số nghiên cứu sử dụng không gian màu RGB (Red-Green-Blue) để
phân biệt. Các ảnh được xử lý bằng cách tách các màu cơ bản đỏ (R), xanh lục (G),
xanh lam (B), đen, cam từ ảnh gốc dựa trên việc tính tỉ lệ giữa màu mong muốn với
14

tổng giá trị các kênh màu RGB; sau đó quá trình xử lý ảnh để tìm kiếm biển báo giao
thông được thực hiện trên lớp màu phù hợp như màu đỏ, cam, xanh lam dựa trên việc
tập các đặc trưng thống kê được tách ra từ ảnh (tỉ lệ điểm màu quan tâm, moment,
trọng tâm, histogram) và kết hợp với bộ nhận diện sử dụng mạng neural nhân tạo.
Tuy nhiên, phương pháp này chỉ đạt được một số kết quả nhất định vì bị giới hạn bởi
mộ số yếu tố: số lượng biển báo nhận dạng không cao, độ chính xác giảm rõ rệt khi
số lượng biển báo tăng lên, khối lượng tính toán lớn nên thời gian xử lý lâu, bị ảnh
hưởng đáng kể bởi điều kiện ánh sáng môi trường do hạn chế từ không gian màu
RGB.


(a) Không gian màu RGB



(b) Không gian màu HSV
Hình 2.1 : Các không gian biểu diễn màu thường dùng
15


Qua tìm hiểu một số phương pháp khác, học viên thấy rằng đối với việc nhận
dạng vật thể sử dụng thông tin về màu sắc thì không gian màu HSV (Hue –
Saturation – Value) được sử dụng rộng rãi do các ưu điểm về đặc tính dễ trừu tượng
bởi con người, tạo sự dễ dàng khi xử lý trích xuất các màu và khả năng ít bị ảnh
hưởng, tác động khi điều kiện ánh sáng môi trường thay đổi cao. Việc trích xuất màu
được thực hiện dễ dàng dựa vào việc lựa chọn ngưỡng giá trị Hue tương ứng với màu
cần tìm (Vd: màu đỏ có giá trị Hue từ 345-> 15 trên đĩa màu HSV) và kết hợp với giá
trị Saturation, Value để phân biệt màu đen và trắng như được thể hiện ở hình trên.
Sau khi trích xuất ảnh đầu vào thành các kênh màu quan tâm khác nhau, thì chúng
ta sẽ tiến hành tìm kiếm các đối tượng khả nghi và nhận dạng chúng có phải là biển

báo giao thông hay không, và là biển báo giao thông gì. Tùy thuộc cách thức giải
quyết bài toán đặt ra như trên mà các công trình nghiên cứu về lĩnh vực này có thể
được phân loại thành 2 phương pháp như sau:

2.1.1 Phát hiện, phân loại dựa trên ảnh

Các phương pháp thuộc nhóm này dựa trên một tập hợp các hình mẫu của đối
tượng và sử dụng cửa sổ trượt để phát hiện đối tượng biển báo giao thông khả nghi.
Cách làm này khác biệt so với các phương pháp dựa trên khuôn mẫu (cần thiết phải
có sẵn mô hình biển báo giao thông). Để trích đặc trưng từ các mẫu ví dụ, cần phải
thực hiện việc cho học huấn luyện dưới dạng thống kê hoặc các thuật toán học máy
(machine learning) với các mẫu ảnh có chứa đối tượng biển báo giao thông và không
chứa đối tượng biển báo giao thông.

Do sự xuất hiện của biển báo giao thông trong khung ảnh là ngẫu nhiên với nhiều
góc quan sát, vị trí khác nhau nên thường phải xấp xỉ chúng để tạo nên sự phân biệt
của hai đối tượng. Tùy theo cách tiếp cận xác xuất nào mà sẽ xuất hiện các phương
pháp phát hiện tương ứng. Liệt kê dưới đây là một số các phương pháp thuộc nhóm
này:
16



 Phương pháp EigenObjects (PCA: Principle Component Analysis)
 Các phương pháp dựa trên Eigen-space
 Các phương pháp dựa trên đặc trưng Haar-like kết hợp thuật toán tăng tốc
Adaboost
 Các phương pháp dựa trên mang nơ-ron nhân tạo
 Support Vector Machine – SVM
 Phương pháp Mô hình Markov ẩn (Hidden Markov Model – HMM)

Do nhóm phương pháp này dựa trên việc huấn luyện sao cho thu được mô hình
đối tượng biển báo giao thông từ một tập dữ liệu tích cực (positive - ảnh có chứa hình
đối tượng) và một tập dữ liệu không tích cực (negative - ảnh không chứa hình đối
tượng) nên chúng có sự tương quan so sánh trực tiếp đến các đặc điểm hình học của
một kiểu xe điển hình.
Nhược điểm của phương pháp này đòi hòi phải luôn có sẵn cơ sở dữ liệu hình
biển báo giao thông rất lớn. Để có thể phát hiện và nhận dạng được biển báo giao
thông, máy tính phải luôn dò trong cơ sở dữ liệu hình này rồi mới đưa ra kết quả nên
khối lượng tính toán lớn và phải xây dựng một tập mẫu nhiều. Nên thường các nghiên
cứu sử dụng phương pháp này thường bị giới hạn bởi số lượng biển báo giao thông có
khả năng nhận dạng được.

2.1.2 Phát hiện, phân loại dựa trên dạng hình học

Khác với nhóm phương pháp vừa nêu ở trên, các phương pháp thuộc nhóm này
quan tâm đến các đặc điểm cấu trúc hình học của biển báo giao thông. Vì vậy chúng
còn được gọi là nhóm tiếp cận dựa trên đặc trưng (feature - based). Phương pháp này
dựa trên việc tính toán các thống kê hình học như: moment, khoảng cách, kích thước,
histogram, tỉ lệ điểm ảnh cho từng màu, số cạnh, kích thước biên để tạo ra một tập
các đặc trưng hình học.
17


Sau đó, phương pháp sử dụng các thuật toán học (learning algorithm) để huấn
luyện tạo các bộ phân lớp (cascade) bằng các tập đặc trưng được tìm từ các hình mẫu
ví dụ tích cực (có chứa hình ảnh đối tượng) và các hình mẫu không tích cực (không
chứa hình ảnh đối tượng) được lựa chọn cẩn thận. Các hình ảnh sau khi được chọn
lọc cẩn thận sẽ được quyết định đặc trưng cho từng loại biển báo giao thông bởi thuật
toán học (thường là phương pháp dùng mạng neural hoặc giải thuật học di truyền).
2.2 PHƯƠNG PHÁP ĐƯỢC SỬ DỤNG TRONG LUẬN VĂN

Trong luận văn này, học viên sẽ phát triển một hệ thống nhận dạng biển báo giao
thông gồm 2 giai đoạn : phát hiện biển báo và phân loại biển báo. Hình 2.2 mô tả một
kết quả hoạt động của hệ thống trong việc phát hiện và phân loại biển báo giao thông
từ một ảnh đầu vào.

Hình 2.2: Hình ảnh thể hiện kết quả nhận dạng biển báo giao thông
18


Cụ thể, một bộ phát hiện biển báo giao thông sẽ tìm kiếm trong vùng ảnh vừa
được xử lý tách màu quan tâm để phát hiện các đối tượng khả nghi là các biển báo
giao thông có trong hình dựa trên một số tính chất hình học đặc trưng chung của các
loại biển báo. Tiếp theo, trong giai đoạn phân loại biển báo, học viên sử dụng giải
thuật lựa chọn đặc trưng nổi bật để ứng với mỗi biển báo giao thông ta trích xuất
được một số vùng điểm ảnh nổi bật nhất mà dùng để phân biệt đối với các ảnh khác.
Với những vùng điểm ảnh này, một phép so sánh ảnh linh hoạt dựa trên phép biến đổi
khoảng cách cho ảnh màu (Colour Distance Transform) cho phép ta tính được độ
khác biệt của đối tượng biển báo khả nghi với các từng ký hiệu giao thông mẫu để
tìm ra biển bao giao thông tương đồng, giống với đối tượng khả nghi nhất.
2.2.1 Phát hiện biển báo giao thông
Bộ phát hiện biển báo giao thông luôn được kích hoạt mỗi khi một ảnh được đưa
vào xử lý. Bộ phát hiện này sẽ tập trung xử lý dựa trên những thông tin đã biết trước
về màu sắc đặc trưng, hình dạng, ký hiệu quy định trên biển báo giao thông. Với 2 đặc
trưng đầu vừa nêu ta có thể phân loại biển báo giao thông đường bộ Việt Nam thành
bốn loại sau: biển báo cấm ( hình tròn đỏ), biển báo nguy hiểm (hình tam giác đỏ),
biển báo hiệu lệnh (hình tròn xanh lam) và biển báo chỉ dẫn (hình vuông xanh lam).
Qua phân tích ta thấy rằng hình dạng và các đường biên phân biệt giữa vùng màu
quan tâm với các vùng ảnh khác trong khung ảnh chính là những dấu hiệu ban đầu để
phát hiện nhanh một đối tượng biển báo khả nghi. Bộ phát hiện được đề nghị trong
luận văn này sẽ hoạt động dựa trên đường biên gradient màu quan tâm.

Đầu tiên, một ảnh thu được từ camera (hoặc từ ảnh mẫu) thường được thể hiện
dưới không gian màu RGB, do đó để thuận tiện trong việc tách màu ta sẽ biến đổi ảnh
trên sang biểu diễn bằng không gian màu HSV (Hue-Saturation-Value) theo phép
toán chuyển đổi sau:

max( , , )
V R G B
