M CăL C
Trang tựa
TRANG
Quy t định giao đề tài
Lý lịch khoa học
i
L i cam đoan
ii
L ic m n
iii
Tóm tắt
iv
M cl c
vi
Danh sách các chữ vi t tắt
xi
Danh sách các hình
xii
Danh sách các b ng
xvi
CH
NGă1. T NG QUAN .................................................................................. 1
1.1 Tổng quan chung về lĩnh vực nghiên c u .......................................................... 1
1.1.1 Gi i thiệu ................................................................................................... 1
1.1.2 Nh n d ng ng
i đi đ
ng ......................................................................... 2
1.1.3 Hệ thống c nh báo s m khi phát hiện ng
1.1.4 Nh n d ng xe vƠ ch
i đi đ
ng trên xe ..................... 3
ng ng i v t ............................................................... 4
1.1.5 Mô hình nh n d ng xe tổng quát ................................................................. 5
1.1.6 Hệ thống c nh báo va ch m (Forward Collision Warning) .......................... 6
1.1.7 Ph
ng pháp nh n d ng ng
i đi đ
ng xe vƠ ch
ng ng i v t bằng xử lý
nh ................................................................................................................... 7
1.2 Các k t qu nghiên c u trong vƠ ngoƠi n
1.2.1 Các k t qu nghiên c u trong n
c đƣ công bố ................................... 8
c ............................................................. 8
1.2.2 Các k t qu nghiên c u quốc t .................................................................. 9
1.3 M c đích c a đề tài ......................................................................................... 10
1.4 Ph
ng pháp nghiên c u ................................................................................. 10
1.5 ụ nghĩa khoa học và tính thực tiễn c a đề tài .................................................. 11
1.6 Gi i h n đề tài ................................................................................................ 11
1.7 K ho ch thực hiện ......................................................................................... 11
vi
CH
NG 2. C ăS
LÝ THUY T .................................................................... 12
2.1 Lý thuy t tổng quan về xử lý nh .................................................................... 12
2.1.1 nh số là gì? ............................................................................................. 14
2.1.2 Hệ thống xử lý nh ................................................................................... 15
2.2 Các vấn đề c b n trong xử lý nh .................................................................. 15
2.2.1 Biểu diễn và mô hình hóa nh ................................................................... 15
2.2.2 Tăng c
ng nh ........................................................................................ 17
2.2.3 Nắn chỉnh bi n d ng ................................................................................. 17
2.2.4 Khử nhiễu ................................................................................................. 18
2.2.5 Chỉnh m c xám ........................................................................................ 18
2.2.6 Trích chọn đặc điểm ................................................................................. 18
2.2.7 Đặc điểm biên vƠ đ
ng biên ................................................................... 19
2.2.8 Nh n d ng ................................................................................................ 19
2.2.9 Nén nh .................................................................................................... 20
2.2.10 Đo kho ng cách giữa các pixels .............................................................. 21
2.3 Các mô hình màu ............................................................................................ 22
2.3.1 Mô hình màu RGB ................................................................................... 23
2.3.2 Mô hình màu CMY................................................................................... 24
2.3.3 Mô hình HSV ........................................................................................... 24
2.3.4 Mô hình sáng ............................................................................................ 25
2.4 Đặc Tr ng Haar-like ....................................................................................... 25
2.5 Thu t toán AdaBoost ...................................................................................... 29
2.6 B phân l p Cascade....................................................................................... 32
2.7 B phân l p Cascade of boosting .................................................................... 34
2.8 Đặc tr ng Histogram of Oriented Gradients .................................................... 35
2.8.1 Nh p nh .................................................................................................. 36
2.8.2 Chuẩn hóa Gamma & Colour .................................................................... 36
2.8.3 Tính Gradient ........................................................................................... 37
2.8.4 Chia h
ng & gom đặc tr ng t i m i nhóm cell ....................................... 39
vii
2.8.5 Tính đặc tr ng cho khối và chuẩn hóa ...................................................... 41
2.8.6 Tính vector đặc tr ng cho cửa sổ. ............................................................. 42
2.9 Máy vector h tr (SVM) ................................................................................ 43
2.9.1 Siêu phẳng - Hyperplane ........................................................................... 43
2.9.2 SVM tuy n tính ........................................................................................ 43
2.9.3 Các điều kiện Karush-Kuhn-Tucker (KKT) .............................................. 45
2.9.4 Gi i thu t SMO ........................................................................................ 45
CH
NGă3. THU T TOÁN NH N D NG ..................................................... 48
3.1 Gi i thiệu MATLAB ...................................................................................... 48
3.1.1 Kh i đ ng Matlab. .................................................................................... 48
3.1.2 M t số lệnh thông d ng trong Matlab ....................................................... 49
3.1.3 L p trình trong MATLAB. ....................................................................... 50
3.1.4 Matlab GUIDE ......................................................................................... 50
3.2 Nh n d ng ng
i đi đ
ng sử d ng HOG và SVM ......................................... 52
3.2.1 T o dữ liệu m u huấn luyện âm và m u huấn luyện d
ng ....................... 52
3.2.2 Huấn luyện SVM ...................................................................................... 56
3.2.3 Nh n d ng ng
3.3 Nh n d ng xe vƠ ch
i đi đ
ng ....................................................................... 58
ng ng i v t ................................................................... 64
3.3.1 T o b huấn luyện nh n d ng m u nh n d ng xe vƠ ch
ng ng i v t........ 64
3.3.2 Ho t đ ng c a b xử lý phơn lo i.............................................................. 65
3.3.3 T o nhƣn nh n d ng cho m u.................................................................... 66
3.3.4 Sử d ng TrainCascadeObjectDetector t o m u ......................................... 70
3.3.5 Nh n d ng các đối t
ng từ m u huấn luyện ............................................ 73
3.4 Đo kho ng cách từ camera t i đối t
ng ......................................................... 77
3.4.1 Mô hình đo kho ng cách trong nh ........................................................... 77
3.4.2 Kỹ Thu t camera calibration ..................................................................... 79
CH
NGă4. TH C NGHI MăVĨăĐÁNHăGIÁ ............................................... 83
4.1 Thực nghiệm ................................................................................................... 83
4.1.1 Thông số Webcam .................................................................................... 83
viii
4.1.2 K t qu thực nghiện .................................................................................. 88
4.2 Đánh giá ....................................................................................................... 101
4.2.1 Đ chính xác .......................................................................................... 101
4.2.2 Tốc đ thu th p ....................................................................................... 103
CH
NG 5. K T LU NăVĨăĐ NGH ......................................................... 104
5.1 K t qu đ t đ
c ........................................................................................... 104
5.2 Những vấn đề tồn t i ..................................................................................... 104
5.3 H
ng phát triển ........................................................................................... 105
TÀIăLI UăTHAMăKH O ................................................................................. 106
PH L C ........................................................................................................... 109
ix
DANH SÁCH CÁC CH ăVI TăT T
MATLAB
Maxtrix Laboratory
CMU
Carnegie Mellon University
MIT
Massachusetts Institute of Technology
DARPA
Defense Advanced Research Projects Agency
HDTV
High-definition television
ROI
Regions of Interest
RGB
Red, Green, Blue
HSL
Hue, Saturation, Luminance
2D
Two Demension
3D
Three Demension
TIFF
Targed Image File Format
JPEG
Joint Photographics Experts Group
GIF
Graphics Interchange Format
BMP
Window Bitmap
PNG
Portable Network Graphics
XWD
X Window Dump
PCX
Personal Computer Exchange
CMY
HOG
SIFT
PCA
CBC
SVM
DAB
AdaBoost
RAB
Cyan, Magnenta, Yellow
Histograms of Oriented Gradients
Scale-Invariant Feature Transform
Principal component analysis
Cascade of boosting Classifier
Support Vector Machine
Discrete AdaBoost
Real AdaBoost
Gentle AdaBoost
True Positive
False Positive
True Negative
False Negative
GAB
TP
FP
TN
FN
x
DANH SÁCH CÁC HÌNH
HÌNH
Hình 1.1:
TRANG
ng d ng c a s n phẩm TMPV760 [1]
Hình 1.2: Nh n d ng ng
Hình 1.3: Phát hiện ng
i đi đ
i đi đ
ng [2]
2
2
ng bằng công nghệ không dây [3].
4
Hình 1.4: Mô hình tổng quát gi i quy t bài toán nh n d ng xe [6]
6
Hình 1.5: C nh báo va ch m sử d ng camera và các c m bi n [6]
6
Hình 1.6: Nh n d ng xe bằng các ph
8
Hình 2.1: nh t
ng pháp khác nhau [6]
ng tự và nh số [17]
14
Hình 2.2: Hệ thống xử lý nh [17]
15
Hình 2.3: a, nh th t, b, nh zoom, c, ma tr n điểm [17]
16
Hình 2.4: nh thu nh n và nh mong muốn [17]
17
Hình 2.5: Mô hình màu [17]
23
Hình 2.6: Hệ tọa đ màu RGB [17]
24
Hình 2.7: Mô hình màu HSV [17]
25
Hình 2.8: Đặc tr ng Harr-like c b n [18]
26
Hình 2.9: Các đặc tr ng m r ng c a các đặc tr ng Haar-like c s [18].
26
Hình 2.10: Cách tính Integral Image c a nh [18]
27
Hình 2.11: Ví d cách tính nhanh tổng các điểm nh c a vùng D trên nh
27
Hình 2.12: Cách tính nhanh tổng điểm nh c a vùng D trên nh v i các đặc tr ng
xoay 45o [18]
28
Hình 2.13: Ví d cách tính nhanh tổng các điểm nh c a vùng D trên nh [18]
28
Hình 2.14: L
29
c đồ c b n c a AdaBoot [18]
Hình 2.15: Thu t toán học AdaBoot [18].
30
Hình 2.16: B phân lo i cascade of classifiers [19].
34
Hình 2.17: B phân l p cascade of boosted classifiers [19].
34
Hình 2.18: S đồ rút trích đặc tr ng HOG [20]
36
Hình 2.19: Hình nh miêu t S đồ rút trích đặc tr ng HOG [20]
37
xi
Hình 2.20: Đặc tr ng HOG lo i R-HOG và C-HOG [20]
40
Hình 2.21: Đặc tr ng Centre-Surround HOG [20]
40
Hình 2.22: Đ l n c a bin [20]
41
Hình 2.23: Các đ
43
ng phân chia hai t p dữ liệu mang đặc tr ng khác nhau[22]
Hình 2.24: Các siêu phẳng H1 và H2 phân chia các m u tích cực và th đ ng thành
hai l p khác nhau [22]
44
Hình 3.1: Cửa sổ làm việc Matlab
49
Hình 3.2: Cửa sổ GUI File ..................................................................................... 51
Hình 3.3: Giao diện .fig ......................................................................................... 51
Hình 3.4: T p m u nh âm .................................................................................... 53
Hình 3.5: T p m u nh d
ng ............................................................................... 55
Hình 3.6: Xác định đặc tr ng HOG cho nh âm..................................................... 56
Hình 3.7: Xác định đặc tr ng HOG cho nh d
ng ............................................... 56
Hình 3.8: Miêu t phân lo i v i máy học vector SVM ........................................... 57
Hình 3.9: S đồ nh n d ng ng
Hình 3.10: Phát hiện ng
i đi đ
i đi đ
Hình 3.11: Phát hiện ba ng
ng. .......................................................... 61
ng từ phía sau. .................................................. 61
i ng
i đi đ
Hình 3.12: M t số k t qu nh n d ng ng
ng ..................................................... 62
i đi đ
ng. .......................................... 63
Hình 3.13: Mô hình đƠo t o phân lo i v i Computer Vision System Toolbox™ .... 64
Hình 3.14: Công c Training Image Labeler .......................................................... 67
Hình 3.15: Chèn hình m u nh xe vào Training Image Labeler ............................. 68
Hình 3.16: Chèn hình m u nh ch
Hình 3.17: m u nh xe kích th
Hình 3.18: M u xe kích th
ng ng i v t vào Training Image Labeler ........ 68
c 20x20 pixel và 64x64 pixel .............................. 69
c 128x128 pixel ........................................................ 69
Hình 3.19: M u nh cọc tiêu đ
ng ....................................................................... 70
Hình 3.20: Dữ liệu data xuất từ Training Image Labeler ........................................ 71
Hình 3.21: Hình trích xuất HOG từ vùng nh ROI c a xe ...................................... 72
Hình 3.22: Trích xuất HOG từ vùng nh ROI c a ch
ng ng i v t ........................ 73
Hình 3.23: K t qu nh n d ng xe. .......................................................................... 75
xii
Hình 3.24: K t qu nh n d ng ch
ng ng i v t ..................................................... 76
Hình 3.25: Mô hình đo kho ng cách trong nh [25]. .............................................. 77
Hình 3. 26: Mô hình chuyển đổi tọa đ [25]. .......................................................... 78
Hình 3. 27: Chuyển đổi t o đ mặt phẳng nh ....................................................... 78
Hình 3.28: nh ch p Checkerboard ....................................................................... 79
Hình 3.29: Xác định giao điểm ô vuông Checkerboard .......................................... 79
Hình 3.30: Mô hình 3D nh Checkerboard ............................................................ 80
Hình 3.31: K t qu đo kho ng cách ng
i đi đ
ng .............................................. 82
Hình 4.1: Webcam
84
Hình 4.2: Máy tính ................................................................................................ 84
Hình 4.3: Nguyên lý c a hệ thống nh n d ng xử lý nh.......................................... 85
Hình 4.4: S đồ nh n d ng ng
i đi đ
ng, xe vƠ ch
ng ng i v t ........................ 86
Hình 4.5: Webcam k t nối máy tính gắn trên xe ô tô ch y thực nghiệm ................. 87
Hình 4.6: Nh n d ng m t ng
i đi đ
ng.............................................................. 88
Hình 4.7: Nh n d ng m t ng
i đi đ
ng.............................................................. 88
Hình 4.8: Nh n d ng nhiều ng
i đi đ
ng ........................................................... 89
Hình 4.9: Nh n d ng nhiều ng
i đi đ
ng ........................................................... 89
Hình 4.10: Nh n d ng l i ng
i đi đ
ng vƠ ng
i điều khiển xe gắn máy ........... 90
Hình 4.11: Nh n d ng l i ng
i đi đ
ng vƠ ng
i điều khiển xe gắn máy ........... 91
Hình 4.12: Nh n d ng xe m t xe
kho ng cách gần ............................................. 91
Hình 4.13: Nh n d ng xe m t xe
kho ng cách gần ............................................. 92
Hình 4.14: Nh n d ng xe
kho ng cách xa ........................................................... 92
Hình 4.15: Nh n d ng xe
kho ng cách xa ........................................................... 93
Hình 4.16: Nh n d ng xe
góc khuất .................................................................... 93
Hình 4.17: Nh n d ng xe
góc khuất .................................................................... 94
Hình 4.18: Nh n d ng nhiều xe
kho ng cách gần ............................................... 94
Hình 4.19: Nh n d ng nhiều xe
kho ng cách xa ................................................. 95
Hình 4.20: Nh n d ng xe l i khi
kho ng cách quá gần ....................................... 95
Hình 4.21: Nh n d ng xe l i khi
kho ng quá gần................................................ 96
xiii
Hình 4.22: Nh n d ng cọc tiêu đ
ng.................................................................... 97
Hình 4.23: Nh n d ng cọc c nh báo phân làn ........................................................ 97
Hình 4.24: Nh n d ng cọc phơn lƠn đ
ng ............................................................ 98
Hình 4. 25: Đo kho ng cách ng
i đi đ
ng ......................................................... 99
Hình 4.26: Đo kho ng cách ng
i đi đ
ng .......................................................... 99
Hình 4. 27: Đo kho ng cách xe ............................................................................ 100
Hình 4. 28: Đo kho ng cách xe ............................................................................ 100
xiv
DANHăSÁCHăCÁCăB NG
B NG
TRANG
B ng 2.1: Các d ng thu t toán học huấn luyện AdaBoost [18]
31
B ng 2.2: Thu t toán Cascade training [19]
33
B ng 3.1: Cấu trúc file hl_mau_am.m
53
B ng 3.2:Cấu trúc file hl_mau_duong.m
54
B ng 3.3: Thông số nh n d ng ng
i đi đ
ng bằng đặc tr ng HOG
56
B ng 3.4: Cấu trúc file phanloai.m
57
B ng 3.5: Cấu trúc file nguoididuong.mat.
58
B ng 3.6: Cấu trúc file vung_nhan_dang.m
59
B ng 3.7: Cấu trúc file loai_bo_khong_cuc_tri.m
60
B ng 3.8: Cấu trúc file ROI.m
60
B ng 3.9: Cấu trúc file xe20x20.xml
71
B ng 3.10: Thu t toán đo kho ng cách ng
B ng 3.11: K t qu đo kho ng cách ng
B ng 4.1: K t qu ph
ng
80
i đi b
ng pháp nh n d ng ng
B ng 4.2: So sánh các ph
B ng 4.3: Đánh giá ph
i đi đ
81
i đi đ
ng pháp nh n d ng ng
ng.
i đi đ
101
ng [26].
102
ng pháp nh n d ng xe v i m u nh xe 20x20 pixel[27] 102
B ng 4.4: Đánh giá tốc đ thu th p nh
103
xv
Ch
ngă1
T NGăQUAN
1.1 T ng quan chungăv ălƿnhăv cănghiênăc u
1.1.1 Gi i thi u
Tình tr ng giao thông ngày càng ph c t p, an toƠn đƣ tr thành vấn đề đ
c
đặt lên hƠng đầu trong ngành công nghiệp s n xuất xe h i. V i m t lo t các phát
minh từ túi khí cho đ n hệ thống tự đ ng c nh báo va ch m đ
lái xe và hành khách đ
c b o đ m an toƠn h n. Tuy nhiên, các hƣng xe luôn h
t i s n xuất những chi c xe thông minh h n, đ
mọi ng
i kể c ng
c ra đ i, giúp ng
i
ng
c điều khiển tự đ ng ph c v tất c
i không có kh năng lái xe. Đƣ có rất nhiều nghiên c u t p
trung vƠo bƠi toán an toƠn khi điều khiển xe. M t số thi t bị c nh báo vƠ điều khiển
h tr ng
i lái xe đ
c ra đ i.
Hãng Toshiba v i dòng s n phẩm TMPV760 sử d ng camera và vi xử lý tốc
đ cao cho ra đ i các hệ thống h tr lái xe nâng cao. Trong đó gồm có các hệ
thống: c nh báo va ch m xe (Vehicle collision warning), c nh báo va ch m ng
đ
i đi
ng vƠo ban ngƠy vƠ ban đêm (pedestrian collision warning at day - time and
night), c nh báo va ch m ch
báo chuyển lƠn đ
ng ng i v t (general obstacle collision warning), c nh
ng (lane departure warning), nh n diện biển báo giao thông
(traffic road sign recognition), nh n d ng biển báo giao thông (traffic sign
recognition), nh n d ng tín hiệu đèn đỏ (red signal lamp recognition), đèn pha ch
đ ng (high beam assistance). Các hệ thống trên giúp ng
tr
i lái xe ch đ ng đ
c
c các tình huống x y ra và nhằm gi m thiểu tối đa tai n n.
Năm 2013 hƣng xe Toyota ra mắt xe ch y tự đ ng Lexus AASRV. Tuy nhiên
trong lĩnh vực xe ch y tự đ ng ph i kể đ n hãng Google vào 10/2010 chi c Toyota
Prius đ
c ch y thử nghiệm thành công. Ti p theo sau đó lƠ những phiên b n xe
ch y tự đ ng đ
c c i ti n để hoàn chỉnh h n. Google đƣ cho ra đ i m u xe ch y tự
đ ng riêng vƠ đang tính đ n việc s n xuất hàng lo t.
1
ng dụng c a s n phẩm TMPV760 [1]
Hình 1.1:
1.1.2 Nh n d ngăng
iăđiăđ
Việc nh n d ng ng
ng
i đi đ
ng là m t trong những vấn đề quan trong việc
đ m b o an toàn cho xe ch y tự đ ng. Việc nh n d ng ng
i đi đ
ng thông qua
việc xử lý nh từ camera. V i sự phát triển nhanh chóng c a tốc đ xử lý c a máy
tính và camera tốc đ cao đ
c ng d ng trên rất nhiều trên ô tô.
Từ việc ng d ng trong bài toán nh n d ng ng
tiêu chính: Xác định đối t
ng ng
i đi đ
i đi đ
ng nhằm vào hai m c
ng vƠ điều khiển xe tự đ ng.
Hình 1.2: Nhận d ng người đi đường [2].
Ng
d ng đối t
i đi đ
ng đ
c xác định thông qua các thu t toán về xử lý nh nh n
ng, tuy nhiên khó khăn trong bƠi toán nh n d ng ng
2
i đi đ
ng gồm:
Kích c
nh: Ng
phân gi i thấp. Kích th
i đi đ
ng xuất hiện rất nhỏ trong hình do camera có đ
c nh th t chỉ còn l i nhỏ.
Đ tr trong x lý nh:
nh đ
c camera ch p và xử lý nên có m t đ trễ
đồng th i việc xử lý nh ph i nhanh đáp ng v i th i gian ngắn và tốc đ xe.
Trongă môiătr
ngăđôăth : Nh n d ng ng
rất khó khăn do có rất nhiều ng
iđ
ng trong môi tr
i và nh bị nh h
ng đô thị
ng b i khung c nh xung
quanh.
Nhi u d ngă ng
đ
iă điă đ
ng: Ng
i đi đ
ng v i nhiều t th khác nhau. nh ng
Môiă tr
ng: Nh n d ng ng
i đi đ
i đi đ
ng có nhiều lo i nh ng
i đi
ng bị chồng lên nhau.
ng bị nh h
ng b i môi tr
ng nh
tr i tối đòi hỏi camera hồng ngo i và việc xử lý nh cũng khác.
Qua việc xử lý nh, ta xác định đ
c kho ng cách từ xe t i ng
đồng th i có những thay đổi trong việc điều khiển xe. N u đối t
đ
ng chuyển đ ng mà không gây nh h
i đi đ
ng ng
ng
i đi
ng thì xe v n ch y ti p còn gây nguy
hiểm thì ph i có biện pháp an toàn [3].
1.1.3 H th ng c nh báo s m khi phát hi năng
iăđiăđ
Các hệ thống c nh báo s m khi phát hiện ng
i đi đ
ng trên xe
ng c a các hãng xe hiện
nay hầu h t đang sử d ng camera và xử lý nh để phát hiện ng
ng
i lái xe thi u t p trung hoặc do xe ch y trong môi tr
thì hệ thống phát hiện vƠ đ a ra c nh báo cho ng
i đi đ
ng. Khi
ng đô thị quan sát khó
i lái xe tránh gây tai n n.
Hiện nay công nghệ giao ti p giữa ôtô v i ng
i đi đ
ng thông qua điện
tho i thông minh. Ngay khi xác định kh năng s có m t va ch m x y ra v i m t
ng
i đi đ
ng sắp cắt ngang qua phía tr
c ôtô, hệ thống giao ti p trên xe s gửi
m t thông báo bằng âm thanh và hình nh m t cách liên t c t i điện tho i c a ng
đang đi đ
ng phía tr
i
c để nhắc nh . Đồng th i, m t âm thanh c nh báo s vang
lên kèm theo m t hình nh hiển thị lên màn hình trên b ng táp-lô c a xe.
3
Hình 1.3: Phát hiện người đi đường bằng công nghệ không dây [3].
Công nghệ không dây (Wireless) giữa xe vƠ điện tho i s thi t l p m t kênh
giao ti p v i nhau mà không cần m t điểm truy c p hay chia sẻ. Xác định xem
ng
i đi đ
ng có nguy c bị đơm b i m t chi c xe đang đi t i hay không. Hệ
thống này ho t đ ng ngay khi ng
khi b
đ
c ra khỏi lề đ
i đi đ
ng bị che khuất tầm nhìn, chẳng h n nh
ng từ phía sau m t chi c xe đang đ hoặc đang dừng vì tắc
ng. Ngoài ra, hệ thống v n ho t đ ng hiệu qu khi có ng
i đi vƠo không gian
xe đang lùi [3].
M t số hãng xe sử d ng hệ thống c nh báo s m phát hiện ng
i đi đ
ng:
Volvo: Mobileye Pedestrian Collision Warning (PCW) (2011)trên xe
Volvo S60.
BMW: Pedestrian Warning (2014) trên tất c dòng xe BMW X5
Mercedes: Intelligent Drive System -pre-safe (2014) trên xe E-Class
Audi: Night vision assistant with Pedestrian Detection (2014) trên xe
Audi RS7.
General Motors: Night Vision (2004) trên xe Cadillac Deville
Honda: Intelligent Night Vision (2004) trên xe Legend [4].
1.1.4 Nh n d ngăxeăvƠăch
Ph
ng ng i v t
ng pháp phổ bi n nhất để phát hiện chi c xe đang sử d ng ho t đ ng c m
bi n nh laser, lidar, hoặc radar. Nguyên lý ho t đ ng dựa vào việc phát hiện
kho ng cách c a m t đối t
ng bằng cách đo th i gian ph n hồi c a m t tín hiệu
4
phát ra từ c m bi n và ph n x b i các đối t
nƠy lƠ xác định tốt m t đối t
ng.
u điểm chính c a ph
ng pháp
ng.
Tuy nhiên, c m bi n ho t đ ng có m t số h n ch , chẳng h n nh xác định
trong không gian thấp và tốc đ quét ch m. H n nữa, khi m t l
tiện đang di chuyển cùng m t lúc trong cùng m t h
ng l n các ph
ng
ng, c m bi n s khó xác định
hoặc có thể nhiễu tín hiệu [5].
Để gi i quy t vấn đề trên ng
ch
i ta sử d ng camera vào việc nh n d ng xe
ng ng i v t. Tuy nhiên đối v i camera th
nh n d ng xe vƠ ch
c sử d ng vào
ng ng i v t. Do xe có thể thay đổi hình d ng, kích th
màu sắc do việc thay đổi ánh sáng. Môi tr
kiện chi u sáng) t
ng thì không đ
c và
ng ngoài tr i ph c t p (ví d nh điều
ng tác không thể đoán tr
c giữa những ng
i tham gia giao
thông và nền nh thay đổi khó kiểm soát. Để gi i quy t m t số vấn đề trên ng
i ta
sử d ng camera ho t đ ng theo ánh sáng thấp hoặc camera hồng ng i.
1.1.5 Mô hình nh n d ng xe t ng quát
Nh n d ng xe: Dựa trên việc so sánh v i m u, dựa vào chuyển đ ng c a xe,
hình dáng các đặc điểm bên ngoƠi để phát hiện xe trong nh và video.
Giám sát xe: M t m c đ tăng sự k t nối dữ liệu, sự k t h p th i gian và lọc
đ
c sử d ng để theo dõi. Tái xác định, đo các thông số đ ng học vƠ
c tính vị trí
c a xe.
D doán chuyểnă đ ng c a xe:
năng không gian vƠ th i gian đ
m c cao nhất, m t tổng h p c a các tính
c sử d ng. Để xác định chuyển đ ng c a xe, dự
đoán chuyển đ ng c a xe vƠ các xe khác trên đ
ch y tự đ ng [6].
5
ng. Xác định kho ng cách an toàn
Hình 1.4: Mô hình tổng quát gi i quyết bài toán nhận d ng xe [6]
1.1.6 H th ng c nh báo va ch m (Forward Collision Warning)
Việc c nh báo va ch m trên ô tô hiện nay đóng m t vai trò quan trọng trong
việc gi m tai n n giao thông hƠng đầu. Tùy thu c vào các hãng xe hệ thống c nh
báo sử d ng c m bi n nh laser, lidar, radar vƠ camera hoặc k t h p các c m bi n
và camera v i nhau. Vấn đề quan trọng việc c nh báo ph i xử lý xác định tốc đ xe
và kho ng cách t i xe phía tr
c. Từ đó m i đ a ra đ
c chính xác thông tin c nh
báo.
Hình 1.5: C nh báo va ch m sử dụng camera và các c m biến [6]
Tuy nhiên việc c nh báo va ch m lƠ ph
c nh báo nh n d ng xe vƠ ch
ng pháp th đ ng. Hiện nay việc
ng ng i v t v n ch a đ m b o an toàn tối u, nên
m t số hãng xe k t h p việc c nh báo va ch m k t h p h tr phanh (Collision
6
Warning With Brake Support). Thông qua việc xử lý thông tin k t h p hệ thống
phanh. Xe s tự đ ng phanh n u ng
i điều khiển không xử lý.
M t số hãng xe sử d ng Forward Collision Warning và Collision Warning
With Brake Support:
- Audi: Pre-Sense Plus (2011), trên xe Audi A8.
- Fiat: Autonomous Emergency Braking System (2013) trên xe Fiat 500l.
- Ford: Collision Warning with Brake Support (2009) trên xe Ford Taurus.
- General Motors: Collision Alert System (2012) trên xe GMC Terrain
SUV.
- Honda:Collision Mitigation Brake System (2003) trên xe Honda Inspire.
- Mazda: Smart City Brake Support (2012) trên xe Mazda CX 5.
- Skoda: Multi Collision Brake (2013) trên xe Skoda Citigo.
- Toyota: Pre-Collision System (2003) Trên xe Lexus LS 430.
- Volvo: Collision Warning with Auto Brake (2007) trên xe Volvo S80 [6].
1.1.7 Ph
ngăphápănh n d ngăng
iăđiăđ
ngăxeăvƠăch
ng ng i v t bằng x
lý nh
1.1.7.1 Ph
ngăphápăphơnălo i không có m u
Nh n d ng đối t
Hình dáng, kích th
ng dựa vƠo c s tri th c đặc điểm c a đối t
ng nh :
c màu sắc…
Nh n d ng đối t
ng dựa vào chuyển đ ng c a đối t
Nh n d ng đối t
ng dựa vào việc sử d ng hai camera để xây dựng b n đồ
3D xác định đối t
1.1.7.1 Ph
ng
ng.
ngăpháp phân lo i có m u
Nh n diện đối t
ng dựa vào việc so sánh nh m u v i nh cần xử lý.
Nh n diện đối t
ng dựa vào việc đối sánh cấu trúc.
Nh n diện đối t
ng dựa vƠo đặc điểm cấc trúc phân l p ( m ng n ron…)
7
Hình 1.6: Nhận d ng xe bằng các phương pháp khác nhau [6]
1.2 Cácăk tăqu ănghiênăc uătrongăvƠăngoƠiăn
1.2.1 Các k t qu nghiên c uătrongăn
căđƣăcôngăb
c
Có rất nhiều đề tài về xử lý nh nh ng rất ít đề tài ng d ng xử lý nh cho ô tô
trong đó gồm m t số đề tài gần v i nghiên c u nh :
Đề tƠi đ i học “Tìm hiểu kỹ thu t phát hiện ng
học” c a Nguyễn Xuơn T
i trong video giám sát l p
ng Huy, Nguyễn HoƠng Vũ, Tr
ng Đ i Học Khoa Học
Tự Nhiên năm 2010 [7]. Đề tài sử d ng đặc tr ng Histograms of Oriented Gradients
(HOG) và máy Vector h tr (SVM) phát hiện ng
tài ng d ng trong việc giám sát ng
i trên nền video. Tuy nhiên đề
i trong l p học phát hiện ra những hành vi, cử
chỉ trong l p nh : Phát biểu trong gi học, nói chuyện riêng, ng g t… Qu n lý l p
học nh điểm danh, đ m số l
ng sinh viên có trong l p.
Đề tài th c sĩ “Nh n d ng xe trên c s thị giác máy tính” c a Vũ Hồng
Phong, đ i học Bách Khoa Thành Phố Hồ Chí Minh năm 2008 [8]. Đề tài nh n diện
xe dựa trên ph
ng pháp k t h p thu t toán tăng tốc AdaBoost (Adaptive Boost-
tăng tốc thích nghi) vƠ đặc tính đáp ng nhanh c a các đặc tr ng Haar trên nh.
Việc nh n diện xe ng d ng giám sát an ninh, quan sát vƠ điều ti t giao thông.
Đề tài th c sĩ “Nghiên C u Thu Th p Và Xử Lý
Tự Đ ng” c a Văn Anh D
ng, đ i học S Ph m Kỹ Thu t Thành Phố Hồ Chí
Minh năm 2015 [9]. Đề tƠi c b n xây dựng ph
ch
nh Để H Tr Ô Tô Ch y
ng pháp nh n d ng đối t
ng ng i v t bằng xử lý nh, đo kho ng cách từ xe đ n đối t
8
ng
ng bằng c m bi n
siêu ơm. Tuy nhiên, đề tƠi ch a phơn biệt từng đối t
ng ng
i, xe, ch
ng ng i v t
và thực nghiệm trên mô hình.
Do điều kiện đ
ng và c s h tầng Việt Nam còn thấp, nền công nghiệp ô tô
ch a phát triển m nh so v i th gi i. Do đó cho đ n th i điểm nƠy ch a có công
trình nghiên c u về nh n d ng ng
i đi đ
ng, xe vƠ ch
ng ng i v t cho ô tô ch y
tự đ ng.
1.2.2 Các k t qu nghiên c u qu c t
Trên th gi i có nhiều nghiên c u về nh n d ng ng
ng i v t v i m c đích vƠ các ph
iđ
ng, xe vƠ ch
ng
ng pháp khác nhau. Trong đó điển hình Navneet
Dalal and Bill Triggs đề tài về “Histograms of Oriented Gradients for Human
Detection”, năm 2005 [10]. Navneet Dalal and Bill Triggs đƣ nghiên c u ph
ng
pháp sử d ng các đặc tr ng Histograms of Oriented Gradients (HOG) để nh n d ng
ng
i và sử d ng máy vector h tr để phân lo i. Từ đó trên th gi i có rất nhiều
nghiên c u dựa trên đặc tr ng HOG nh n d ng ng
các lo i đồ v t đ
i đi đ
ng, nh n d ng xe và
c ra đ i. Năm 2009 VA Prisacariu, I D Reid c i thiện tốc đ xác
định các đặc tr ng HOG c a máy tính “fast HOG-a real-time GPU implementation
of HOG” [11]. Ph
(HOG) đ
ng pháp d ng các đặc tr ng Histograms of Oriented Gradients
c tối u h n. Jon Arróspide, Luis Salgado and Javier Marinas v i đề tài
“HOG-like Gradient-based Descriptor for Visual Vehicle Detection” [12] công bố
năm 2012. Đƣ tối u xơy dựng ph
ng pháp nh n d ng xe dựa trên các đặc tr ng
HOG.
NgoƠi ph
ng pháp nh n d ng dựa trên đặc tr ng HOG còn có các ph
pháp nh n d ng đ n gi n h n sử d ng ph
ng
ng pháp tách biên vƠ b lọc Gaussian.
Năm 2011 Yinghong Li, Zhengxi Li, Hongfang Tian, Yuquan Wang công bố
nghiên c u. “Vehicle Detecting and Shadow Removing Based on Edged Mixture
Gaussian Model” [13] ph
ng pháp phát hiện xe đ n gi n h n nh ng không có đ
chính xác cao. ZehangSun, George Bebis, and Ronald Miller công bố nghiên “:Onroad Vehicle Detection Using Evolutionary Gabor Filter Optimization” năm 2005
[14]. Việc sử d ng b lọc nh để nh n d ng xe tuy có có đ chính xác không cao
9
nh ng trong điều kiện môi tr
ng không tốt l i mang l i hiệu qu cao trong nghiên
c u ZehangSun, George Bebis, and Ronald Miller.
M t ph
ng pháp dựa trên đặc tr ng c c b bất bi n (Scale-Invariant Feature
Transform - SIFT) nh n d ng đối t
ng gần giống ph
ng pháp đặc tr ng HOG.
Năm 2004 David G.Lowe công bố nghiên c u “Distinctive Image Features from
Scale-Invariant Keypoints” nghiên c u dựa trên đặc tr ng c c b bất bi n để nh n
d ng so sánh v i m u [15]. Ph
d ng chính xác nhiều đối t
Tuy các ph
ng pháp dựa trên đặc tr ng c c b bất bi n nh n
ng nh ng yêu cầu chất l
ng nh cao.
ng pháp có những u điểm riêng nh ng ph
ng pháp dựa trên
đặc tr ng HOG có kh năng nh n d ng tốt nhất.
1.3 M căđíchăc aăđ ătƠi
Do tai n n giao thông
tăng. Việc lái xe trên đ
Việt Nam vƠ các n
ng dài gây mệt mỏi lƠm ng
c trên th gi i ngày càng gia
i tài x mất t p trung điều đó
d n đ n gây tai n n. Công nghệ lái xe tự đ ng s an toƠn h n và xây dựng đ
thống giao thông thông minh. Việc nghiên c u thu t toán xây dựng ch
nh n d ng ng
i đi đ
ng, xe vƠ ch
c hệ
ng trình
ng ng i v t cho ô tô ch y tự đ ng là m c đích
c a đề tài.
Đề tài xây m t thu t toán nh n d ng các đối t
v t . Đo kho ng cách từ camera đ n đối t
t
ng ng
i, xe vƠ ch
ng từ đó phán đoán hƠnh vi c a các đối
ng để điều khiển ô tô ch y tự đ ng.
1.4 Ph
ngăphápănghiênăc u
Để thực hiện việc ng d ng xử lý nh để nh n diện ng
ch
b
ng ng i
ng ng i v t cho ô tô ch y tự đ ng, h
i đi đ
ng ti p c n c a đề tƠi đ
ng, xe và
c đề xuất các
c nh sau:
1. Nghiên c u các c s lý thuy t về xử lý nh, xe ch y tự đ ng, tham kh o và
ng d ng các ph
m t ph
ng pháp c a các công trình nghiên c u đƣ công bố để xây dựng
ng pháp mang tính đổi m i.
2. Tìm hiểu các lo i camera vƠ xác định các tham số c a camera. Các chuẩn
giao ti p truyền tín hiệu. Các thông số camera lƠ c s để xây dựng thu t toán.
10
3. Nghiên c u các phần mềm xử lý nh phù h p v i việc thu th p và xử lý
nh : LabVIEW, Matlab, OpenCV…
4. Vi t ch
ng trình thu nh n nh và xử lý dựa trên nh đ a về. Dựa trên
những đặc tr ng c a nh để xác định các đối t
Phân lo i đối t
c a đối t
ng ng
ng vƠ đo kho ng cách từ xe đ n đối t
ng từ ch
i, xe vƠ ch
ng ng i v t.
ng. Phán đoán các hành vi
ng trình đ a tín hiệu điều khiển xe ch y tự đ ng.
1.5 ụănghƿaăkhoaăh căvƠătínhăth căti năc aăđ ătƠi
Đề tƠi ắNGHIÊNă C Uă THU Tă TOÁNă NH Nă D NGă NG
Đ
NG,ă XEă VĨă CH
giúp cho ng
i tƠi x đ
Đo kho ng cách ng
đối t
Iă ĐIă
NGă NG Iă V Tă CHOă Ọă TỌă CH Yă T ă Đ NG” s
c tho i mái khi xe ch y trên đ
i đi đ
ng, xe và ch
ng cao tốc, đ
ng đô thi.
ng ng i giúp phán đoán hƠnh vi c a các
ng đ m b o an toƠn khi tham gia giao thông.
NgoƠi ra nghiên c u c a đề tƠi khi thƠnh công lƠ c s cho nghiên c u xe ch y
tự đ ng .
1.6 Gi iăh năđ ătƠi
Do đề tài tổng h p từ nhiều môn khoa học khác nhau rất ph c t p nên đề tài
chỉ dừng l i
đ
m c xây dựng ch
ng, xe vƠ ch
ng trình thu t toán xử lý nh nh n d ng ng
ng ng i v t.
Nh n d ng ng
i đi đ
ng, xe và ch
Đo kho ng từ camera đ n ng
i đi đ
ng ng i v t vào ban ngày.
ng, xe vƠ ch
ng ng i v t.
1.7 K ăho chăth căhi n
- Nghiên c u lý thuy t về xử lý nh.
- Nghiên c u các công c xử lý nh c a Matlab.
- Nghiên c u thu t toán nh n d ng ng
- Lên ý t
i đi đ
ng.
ng lắp đặt camera, ti n hành lắp đặt camera.
- Kh o sát, đánh giá vƠ khắc ph c l i.
- Thử nghiệm.
- K t lu n, đánh giá.
11
i đi
Ch
ngă2
C ăS ăLụăTHUY T
2.1 Lýăthuy tăt ngăquanăv ăx ălýă nh
Xử lý nh số có nhiều ng d ng trong thực t . M t trong những ng d ng s m
nhất là xử lý nh từ nhiệm v Ranger 7 t i phòng thí nghiệm Jet Propulsion vào
những năm đầu c a th p kỷ 60. Hệ thống ch p hình gắn trên tƠu vũ tr có m t số
h n ch về kích th
c và trọng l
ng, do đó nh nh n đ
c bị gi m chất l
ng nh
bị m , méo hình học và nhiễu nền. Các nh đó đ
c xử lý thành công nh máy tính
số. Hình nh c a mặt trăng vƠ sao hỏa mƠ con ng
i thấy đều đ
c xử lý bằng máy
tính số.
ng d ng c a xử lý nh rất r ng trong cu c sống. Tác đ ng m nh m nhất là
trong lĩnh vực y t , an ninh. Gần gũi v i cu c sống gia đình lƠ c i ti n nh tivi, xử
lý nh số có tác đ ng quy t định đ n việc c i thiện chất l
ng hình nh c a hệ
truyền hình có đ phân gi i cao (HDTV).
Ng
i máy cƠng ngƠy cƠng đóng vai trò quan trọng trong công nghiệp và gia
đình. Chúng s thực hiện những công việc nhàm chán hoặc nguy hiểm, những công
việc mà tốc đ vƠ đ chính xác v
t quá kh năng c a con ng
i. Khi ng
i máy
tr nên tinh vi h n, thị giác máy tính (computer Vision) s đóng vai trò ngƠy cƠng
quan trọng. Ng
i ta s đòi hỏi ng
i máy không những phát hiện và nh n d ng các
b ph n công nghiệp, mƠ còn “hiểu” đ
c những gì chúng ta “thấy” vƠ đ a ra
những hƠnh đ ng phù h p. Xử lý nh s có tác đ ng l n đ n thị giác máy tính. Nhìn
chung, những ng d ng c a xử lý nh số là vô h n.
Xử lý nh số có thể chia làm bốn lĩnh vực, tùy thu c vào lo i công việc. Đó lƠ
c i thiện nh, ph c hồi nh, mã hóa nh và lý gi i n i dung nh.
Trong c i thiện nh, nh đ
lƠ đ
c xử lý để ng
i xem nh trong truyền hình hoặc
c xử lý để tr giúp ho t đ ng c a máy móc trong m t số tr
h n nh bị nhòe. M c đích lƠ để gi m b t hoặc lo i bỏ hẳn nh h
12
ng h p, chẳng
ng sự xuống
cấp. Ph c hồi nh có liên quan m t thi t đ n c i thiện nh. Khi nh bị xuống cấp,
việc c i thiện nh th
ng đem l i k t qu làm gi m sự xuống cấp. Tuy nhiên có m t
số sự khác nhau quan trọng giữa ph c hồi nh và c i thiện nh. Trong ph c hồi nh,
m t nh h
ng bị xuống cấp và m c đích c i thiện là làm ra cho nh sau xử lý trông
đẹp h n nh ch a xử lý. Để minh họa cho sự khác nhau này hãy l u ý rằng m t nh
gốc ch a xuống cấp không thể ph c ch h n nữa, nh ng v n có thể c i thiện bằng
cách tăng đ nét. Trong mã hóa nh, m c đích lƠ biểu diễn nh v i m t số ít bit nhất
trong điều kiện chất l
ng nh vƠ đ rõ chấp nh n đ
c cho từng ng d ng c thể.
Mã hóa nh liên qua đ n c i thiện nh và ph c hồi nh. N u có c i ti n dáng vẻ bên
ngoài (visual appearance) c a nh đ
các nguồn nhiễu, nh nhiễu l
làm gi m số l
nh n đ
c ph c hồi hoặc làm gi m sự xuống cấp do
ng tử mà thu t toán mã hóa nh gây ra thì ta có thể
ng bit cần thi t để đ i diện nh
m t m c chất l
ng vƠ đ rõ chấp
c. Trong lý gi i nh đầu vào là nh, m c đích lƠ diễn đ t n i dung nh
bằng m t hệ ký hiệu nƠo đó. Những ng d ng c a lý gi i nh bao gồm thị giác máy
tính, rô bốt và nh n d ng m c tiêu. Lý gi i nh khác v i ba lĩnh vực khác c a xử lý
nh
m t khía c nh chính. Trong c i ti n, ph c hồi và mã hóa nh c đầu vào và
đầu ra đều là nh, khâu xử lý tín hiệu là phần then chốt trong các hệ thống ra th
ng
là m t biểu diễn bằng m t ký hiệu n i dung c a nh đầu vào. Sự phát triển thành
công c a các hệ thống trong lĩnh vực này cần đ n c xử lý tín hiệu và những khái
niệm trí tuệ nhân t o. Trong hệ lý gi i nh điển hình, xử lý tín hiệu đ
c dùng cho
công việc xử lý m c thấp nh lƠm gi m sự xuống cấp và trích ra những đ
(extraction of edges) hoặc đặc tính nh khác, còn trí tuệ nhân t o đ
những công việc xử lý
ng biên
c dùng cho
m c cao nh thao tác ký hiệu và qu n lý c s tri th c.
Lý gi i nh là lý thuy t quan trọng trong việc ti p c n v i đề tài Nghiên c u
thu t toán nh n d ng ng
i đi đ
ng, xe vƠ ch
[16].
13
ng ng i v t cho ô tô ch y tự đ ng
2.1.1
nh s là gì?
Tín hiệu nh thu c lo i tín hiệu đa chiều: tọa đ (x,y,z), đ sáng (λ), th i gian
(t).
nh tĩnh trong không gian 2 chiều đ
v i S là giá trị biên đ (đ
c định nghĩa lƠ m t hàm 2 bi n S(x,y),
c biểu diễn bằng màu sắc) t i vị trí không gian (x,y).
Phân lo i nh:
nh t
ng tự S(x,y): (x,y) liên t c, S liên t c.
nh số S(m,n): (m,n) r i r c, S r i r c.
M t nh (gồm m t t p các điểm nh) có thể xem nh bao gồm t p các nh con
(các vùng nh). Thu t ngữ gọi là ROIs ậ vùng quan tâm (Regions of Interest).
số trong không gian r i r c thu đ
c từ nh t
ng tự trong không gian liên t c
thông qua quá trình số hóa. Quá trình số hóa có thể hiểu đ n gi n nh sau:
t
ng tự đ
nh
c chia thành M hàng, N c t. Giao c a hàng và c t đ
nh
c gọi là: pixel
Giá trị biên đ c a pixel t i tọa đ nguyên (m,n) lƠ s(m,n): lƠ trung bình đ sáng
trong pixel đó. S(n,m) S ≤ L(L số m c xám dùng biểu diễn nh). M, N th
đ
ng
c chọn là M=N=2K (K=8,9,10). L =2B, B là số bít mƣ hóa cho đ sáng (biên đ )
m i pixel.
nh số đ
c biểu diễn b i ma tr n 2 chiều. Các phần tử c a nó là biểu
diễn cho các pixel số hóa.
Ta ký hiệu 1 nh số là S(M,N). Ta nói nh có đ phân gi i MxN. Ký hiệu
s(m,n) để chỉ ra m t phần tử nh [17].
Hình 2.1: nh tương tự và nh số [17]
14
2.1.2 H th ng x lý nh
L u
Nh n
trữ
d ng
Camera
Thu nh n
Số hóa
Xử lý
nh
nh
số
Sensor
Hệ
Hiển thị
quy t
định
L u
Truyền
trữ
thông
Hình 2.2: Hệ thống xử lý nh [17]
Thu nh n nh:
- Qua các camera (t
ng tự, số).
- Từ vệ tinh qua các b c m ng (Sensors).
- Qua các máy quét nh (Scaners).
S hóa nh: Bi n đổi nh t
ng tự thành nh r i r c để xử lý bằng máy tính:
Thông qua quá trình lấy m u (r i r c về mặt không gian) vƠ l
ng tử hóa (r i r c về
mặt biên đ ).
X
lý s : Là m t ti n trình gồm nhiều công đo n nhỏ. Tăng c
ng nh
(Enhancement), khôi ph c nh (Restoration), phát hiện biên (Egde Detection), phân
vùng nh (Segmentation), trích chọn các đặc tính (Feature Extraction)...
H quy t đ nh: Tùy m c đích c a
ng d ng mà chuyển sang giai đo n khác
là hiển thị, nh n d ng, phân l p, truyền thông…
2.2 Cácăvấnăđ ăc ăb nătrong x ălýă nh
2.2.1 Biểu di n và mô hình hóa nh
Biểu di n nh:
nh có thể xem là m t hàm 2 bi n ch a các thông tin nh
biểu diễn c a m t nh. Các mô hình biểu diễn nh cho ta m t mô t logic hay định
l
ng c a hàm này. Dựa vào phần tử đặc tr ng c a nh đó là pixel. Giá trị pixel có
thể là m t giá trị vô h
ng hoặc là 1 vector (3 thành phần trong tr
màu).
15
ng h p nh