Đề tài mô hình xe tự hành

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT

THÀNH PHỐ HỒ CHÍ MINH

CƠNG TRÌNH NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN

MƠ HÌNH XE TỰ SKC0 0 3 9 5 9 HÀNH

MÃ SỐ: SV2020-152

S KC 0 0 7 3 6 9

Tp. Hồ Chí Minh, tháng 07/2020

Bè GIÁO DĀC VÀ ĐÀO T¾O
TR¯âNG ĐH S¯ PH¾M KỸ THUÀT TPHCM

BÁO CÁO TâNG K¾T
ĐÀ TÀI NGHIÊN CĄU KHOA HàC CĂA SINH VIÊN

MƠ HÌNH XE TỰ HÀNH
SV2020 - 152

Chă nhißm đÁ tài: Huỳnh Vißt C°ãng 16119015

TP Há Chí Minh, 07/2020

Bè GIÁO DĀC VÀ ĐÀO T¾O
TR¯âNG ĐH S¯ PH¾M KỸ THUÀT TPHCM

BÁO CÁO TâNG K¾T
ĐÀ TÀI NGHIÊN CĄU KHOA HàC CĂA SINH VIÊN

MƠ HÌNH XE TỰ HÀNH
SV2020 - 152

Thuéc nhóm ngành khoa học: Kỹ thuÁt
SV thčc hián: Huỳnh Viát C°íng Nam, Nċ: Nam
Dân téc: Kinh
Lëp, khoa: 16119CLC 3 Đào t¿o ChÃt L°ÿng Cao Năm thą 4/Sá năm đào t¿o: 4
Ngành học: Công nghá kỹ thuÁt máy tính
Ng°íi h°ëng d¿n: TS.TrÅn Vũ Hồng

TP Há Chí Minh, 07/2020

i

MĀC LĀC

MĀC LĀC ....................................................................................................................... i
DANH MĀC CÁC HÌNH ÀNH, BIÄU Đâ ................................................................. iv
DANH MĀC CÁC BÀNG BIÄU.................................................................................. vi
DANH MĀC CÁC TĆ VIÀT TÂT ............................................................................. viii
CHĂNG 1: Mợ U...................................................................................................9

1.1. ắT VN ........................................................................................................1
1.2. LÝ DO CHàN ĐÀ TÀI ..........................................................................................4
1.3. MĂC TIÊU ............................................................................................................4
1.4. PH¯¡NG PHÁP, ĐàI T¯ĀNG VÀ PH¾M VI NGHIÊN CĆU...........................4
1.5. Bà CĂC ................................................................................................................5

CH¯¡NG 2: C¡ Sỵ LÝ THUT................................................................................7
2.1. TH¯ VIàN PYTORCH .........................................................................................7
2.2. XĀ LÝ ÀNH ...........................................................................................................8

2.2.1. Các khái niám c¢ bÁn trong xā lý Ánh ...........................................................8
2.2.2. Bi¿n đái Hough .............................................................................................11
2.3. MÁY HàC (MACHINE LEARNING)..................................................................12
2.3.1. Giỗi thiỏu ......................................................................................................12
2.3.2. SVM...............................................................................................................13
2.4. HàC SÂU (DEEP LEARNING) ..........................................................................13
2.4.1. CNN ..............................................................................................................13
2.4.2. Phân đo¿n Ánh (Image Segmentation) .........................................................14
2.4.3. Bài toán phát hián v¿t thà (Object Detection) ..............................................15
2.4.4. Ph°¢ng pháp tái °u ......................................................................................19

2.5. GIÀI THU¾T ĐIÀU KHIÂN PID........................................................................20
CH¯¡NG 3 : GIêI THIàU V PHÄN CĄNG ...........................................................22

3.1. TàNG QUAN PHÄN CĆNG ..............................................................................22
3.2. CHI TI¾T PHÄN CĆNG .....................................................................................23

3.2.1. Táng quan vÁ xe Traxxas Desert ..................................................................23
3.2.2. Các thi¿t bß trên xe........................................................................................26
3.2.3. Táng quang vÁ m¿ch adapter CDS TX2 .......................................................31
CH¯¡NG 4: THIÀT KÀ PHÄN MÂM ........................................................................34
4.1.XĀ LÝ ON-ROAD ................................................................................................35
4.1.1. Xā lý Ánh RGB ..............................................................................................35
4.1.2. Xā lý Ánh depth .............................................................................................39
4.2. XĀ LÝ OFF-ROAD .............................................................................................40
4.2.1. Táng quan ph°¢ng pháp...............................................................................40

4.2.2. Hàm mÃt mát (loss function).........................................................................42
4.3. ĐIÀU KHIÂN ......................................................................................................44
CH¯¡NG 5: KÀT QUÀ THČC HIàN, SO SÁNH VÀ ĐÁNH GIÁ ..........................48
5.1. THĄC NGHIàM .................................................................................................48
5.1.1. Môi tr°éng thąc nghiám ...............................................................................48
5.1.2. T¿p dă liáu ....................................................................................................49
5.2. KỸ THU¾T HUÂN LUYàN M¾NG VÀ THI¾T L¾P THƠNG Sà......................51
5.2.1. Xā lý On-road ...............................................................................................51
5.2.2. Xā lý Off-road ...............................................................................................51
5.3. K¾T QUÀ ............................................................................................................51
5.3.1. Mơi tr°éng mơ phßng ...................................................................................51
5.3.2. Môi tr°éng thąc t¿ ........................................................................................53
5.4. SO SÁNH VÀ ĐÁNH GIÁ ...................................................................................56
5.4.1. Các ph°¢ng pháp đánh giá k¿t quÁ..............................................................56

5.4.2. K¿t quÁ On-road ...........................................................................................58
5.4.3. K¿t quÁ Off-road...........................................................................................60
CH¯¡NG 6: KÀT LUÀN VÀ H¯êNG PHÁT TRIÄN ..............................................65
6.1. K¾T LU¾N ..........................................................................................................65
6.2. H¯æNG PHÁT TRIÂN .......................................................................................65
TÀI LIàU THAM KHÀO .............................................................................................66

DANH MĀC CÁC HÌNH ÀNH, BIU
Hỡnh 1.1 Hỏ thỏng hỗ tr ngới lỏi (ADAS).................................................................1
Hỡnh 2. 1 Workflow căa PyTorch ...................................................................................7
Hình 2. 3 Hình tách biên sĉ dāng Canny ......................................................................10
Hình 2. 5 Ánh x¿ đ°íng thẳng tć khơng gian Ánh sang khơng gian Hough .................12
Hình 2. 6 KiÁn trúc m¿ng CNN.....................................................................................14
Hình 2. 7 Ví dā minh họa và phân đo¿n ngċ nghĩa.......................................................15
Hình 2. 8 KiÁn trúc căa SSD .........................................................................................16

Hình 2. 9 Ąng dāng căa Mobilenet trên thiÁt bị thơng minh ........................................17
Hình 2. 10 KiÁn trúc m¿ng mobilenet version 1 ...........................................................18
Hình 2. 11 KiÁn trúc m¿ng Moblilenet version 2..........................................................18
Hình 2. 12 KiÁn trúc căa RFB. ......................................................................................19
Hình 3. 1 Tång quan phÅn cąng ....................................................................................22
Hình 3. 2 Xe RC 1/7 Traxxas Desert.............................................................................23
Hình 3. 3 Bé điÃu tác.....................................................................................................24
Hình 3. 4 Đéng c¢ khơng chåi than..............................................................................25
Hình 3. 5 Bé xĉ lý trung tâm NVIDIA Jetson TX2 ......................................................26
Hình 3. 6 CÁm biÁn khoÁng cách...................................................................................27
Hình 3. 7 CÁm biÁn gia tác ............................................................................................28
Hình 3. 8 Pin LiPo .........................................................................................................29
Hình 3. 9 Camera astra ..................................................................................................30
Hình 3. 10 M¿ch chun đåi CDD ................................................................................31
Hình 3. 11 S¢ đã kÁt nái m¿ch chuyÅn đåi vëi thiÁt bị ngo¿i vi ...................................32
Hình 3. 12 Mơ hình xe thčc tÁ.......................................................................................32
Hình 3. 13 NVIDIA Jetson TX2 gÃn m¿ch chuyÅn đåi và các kÁt nái .........................33
Hình 4. 1 S¢ đã tång quan ph°¢ng pháp.......................Error! Bookmark not defined.
Hình 4. 2 Tång quan qui trình xĉ lý On-road................Error! Bookmark not defined.
Hình 4. 3 KiÁn trúc m¿ng đà xuÃt cho xĉ lý On-road ...................................................36
Hình 4. 4 Ph°¢ng pháp phát hián làn đ°íng.................................................................37
Hình 4. 5 Xác định cām dča trên miÃn Hough..............................................................38
Hình 4. 6 Lọc nÃn ..........................................................................................................39
Hình 4. 7 S¢ đã chi tiÁt tht tốn phát hián vÁt cÁn.....................................................40

Hình 4. 8 S¢ đã ph°¢ng pháp nhÁn dián biÅn báo ........................................................40
Hình 4. 9 KiÁn trúc tht tốn phát hián vị trí biÅn báo ................................................41
Hình 4. 10 Đặc tr°ng HOG đ°ÿc biÅu dißn bằng t-SNE...............................................42
Hình 4. 11 Áp dāng kỹ tht PID ch¿y bám làn đ°íng. ...............................................45
Hình 4. 12 V°ÿt xe. .......................................................................................................45

Hình 4. 13 L°u đã giÁi thuÁt điÃu khiÅn........................................................................46
Hình 5. 1 Mơi tr°íng Áo dùng phÅn mÃm UNITY........................................................48
Hình 5. 2 Mơi tr°íng thčc tÁ tč t¿o...............................................................................49
Hình 5. 3 Ành thu đ°ÿc tć camera ................................................................................50
Hình 5. 4 Các lo¿i biÅn báo giao thơng .........................................................................50
Hình 5. 5 KÁt q trong mơi tr°íng mơ phßng .............................................................52
Hình 5. 6 KÁt q trong mơi tr°íng mơ phßng .............................................................52
Hình 5. 7 KÁt q trong mơi tr°íng thčc tÁ ngồi cc sáng (dċ liáu lÃy ra tć video) 53
Hình 5.8 KÁt q trong mơi tr°íng thčc tÁ (Ành lÃy tć mơ hình xe) ...........................54
Hình 5.9 KÁt q nhÁn dián làn đ°íng (1) ....................................................................54
Hình 5.10 KÁt q nhÁn dián làn đ°íng (2) ..................................................................55
Hình 5.11 KÁt q nhÁn dián làn đ°íng (3) ..................................................................55
Hình 5.12 KÁt q nhÁn dián làn đ°íng (4) ..................................................................55
Hình 5. 13 Ví dā cho ma trÁn t°¢ng quan .....................................................................57
Hình 5. 14 KÁt q phân lo¿i.........................................................................................60
Hình 5. 23 (a) KÁt quÁ trong điÃu kián ánh sáng thÃp. (b) KÁt quÁ trong điÃu kián ánh
sáng cao .........................................................................................................................61

DANH MĀC CÁC BÀNG BIÂU

BÁng 1. 1 THÁCH THĄC VÀ PH¯¡NG PHÁP GIÀI QUYÀT BÀI TOÁN PHÁT
HIàN BIÄN BÁO ............................................................................................................3
BÁng 5. 1 HIàU ST Q TRÌNH PHÂN ĐO¾N..................................................58
BÁng 5. 2 Sà PHÄN TĈ ĐIÄM NäI VÀ TàC Đè FPS .............................................59
BÁng 5. 3 BÀNG SO SÁNH GIĊA MÔ-ĐUN CÀI TIÀN VêI SKIPNET ................59
BÁng 5. 4 HIàU SUÂT CĂA PHÁT HIàN LÀN Đ¯ìNG VêI NHĊNG KHỒNG
CÁCH KHÁC NHAU ...................................................................................................59
BÁng 5. 5 FPS CĂA MỉI CƠNG VIàC TRONG OFF-ROAD...................................61
BÁng 5. 6 ĐÁNH GIÁ KÀT QUÀ PHÁT HIàN BIÄN BÁO TRONG CÁC LAANFN
CH¾Y THĈU NGHIàM KHÁC NHAU......................................................................61

Tć vi¿t tÃt DANH MĀC CÁC TĆ VI¾T TÂT
ADAS
TSR Tên đ¿y đă
LOD Advanced Driver Assistance Systems
SSD
RFB Traffic Sign Detection
SVM Lane and Obstacle Detection
FPS Single Shot Multi-box Detector
FLOPS
HOG Receptive Field Block
GPU Support Vector Machine
CUDA
Frames per second
Floating point operations per second

Histogram of Oriented Gradients
Graphics Processing Unit
Central Processing Unit

Bè GIÁO DĀC VÀ ĐÀO T¾O
TR¯âNG ĐH S¯ PH¾M KỸ THT TPHCM

THƠNG TIN K¾T Q NGHIÊN CĄU CĂA ĐÀ TÀI

1. Thơng tin chung:

- Tên đà tài: Mơ hình xe t± hành

- Chă nhiám đà tài: Huỳnh Viát C°íng Mã sá SV: 16119003

- Lëp: 16119CLC Khoa: Đào t¿o chÃt l°ÿng cao

- Thành viên đà tài:

Stt Há và tên MSSV Láp Khoa

1 Huỳnh Viát C°íng 16119003 16119CLC Đào t¿o chÃt
l°ÿng cao

2 L°u V¿n Tín 16119048 16119CLC Đào t¿o chÃt
l°ÿng cao

3 Nguyòn ỡnh VÂng 16119056 16119CLC Đào t¿o chÃt
l°ÿng cao

- Ng°íi h°ëng d¿n: TS. TrÅn Vũ Hồng
2. Māc tiêu đÁ tài:

Nghiên cąu và phát triÅn các chąc năng trong há tháng hỗ tr ngới lỏi ca xe t hnh. ng
dng lý thuyÁt đ°ÿc học và tìm hiÅu đÅ nhÁn dián làn đ°íng và biÅn báo giao thơng trên đ°íng đãng
thíi phát hián vÁt cÁng trên đ°íng.

ThiÁt kÁ thuÁt toán nhÁn dián làn đ°íng và biÅn báo trong mơi tr°íng mơ phßng. Mơ hình xe
tč hành có khÁ năng nhÁn dián làn đ°íng và biÅn báo trong mơi tr°íng thčc tÁ. Đãng thíi phát hián
ch°ëng ng¿i vÁt phía tr°ëc.
3. Tính mái và sáng t¿o:

Bài viÁt tÁn dāng °u điÅm căa xĉ lý Ánh truyÃn tháng kÁt hÿp vëi các mo-dun học sâu đÅ huÃn
luyán m¿ng vća chính xác vća cÁi thián khÁ năng đáp ąng thíi gian thčc cho xe mơ hình.

4. K¿t q nghiên cąu:

ThuÁt toán nhÁn dián làn đ°íng.

Tht tốn nhÁn dián vÁt thÅ, ch°ëng ng¿i.

ThuÁt phát phá hián biÅn báo giao thông.

Ch¿y nên tÁng ROS trên Jetson TX2.

Ch¿y tht tốn trên mơi tr°íng mơ phßng.
Giao tiÁp ngo¿i vi vëi Jetson TX2.

5. Đóng góp vÁ m¿t giáo dāc và đào t¿o, kinh t¿ - xã hßi, an ninh, qc phịng và khÁ năng áp dāng
căa đÁ tài:

Đß tài "Mơ hình xe tự hành" sẽ đóng góp vß mặt giáo dục và xã hội. Đß tài nghiên cÿu vß
các thuật tốn hißn t¿i dành cho xe tự hành. Đặt bißt là các thuật tốn vß lĩnh vực thß giác máy tính,
máy hßc và hßc sâu trong trí t nhân t¿o. Bên c¿nh đó mơ hình là tißn đß đß phát trißn hồn chßnh
và c¿i thißn hß thống xe tự hành sau này.

6. Cơng bß khoa hác căa SV tć k¿t q nghiên cąu căa đÁ tài
Đ°ÿc chÃp nhÁn công bá trong héi nghị khoa học tå chąc bïi IEEE Xplore. Paper ID:

GTSD2020_78.

Ngày tháng năm 2020
SV chßu trách nhißm chính
thāc hißn đÁ tài

(kí, há và tên)

NhÁn xét căa ng°ãi h°áng d¿n vÁ nhÿng đóng góp khoa hác căa SV thāc hißn đÁ tài:
ĐÃ tài xây dčng hồn thián mét tháng nhÁn dián biÅn báo, làn đ°íng và vÁt cÁn sĉ dāng camera,

tć đó cho phép xe mơ hình có thÅ hồn tồn tč lái trong xa hình.

Ngày tháng năm 2020

CH¯¡NG 1: Mä Đ¾U
1.1. Đ¾T VÂN ĐÀ

Xe tč hành đang là xu h°ëng căa thÁ giëi hián t¿i và cÁ trong t°¢ng lai, nó đang
thu hút đ°ÿc nhiÃu sč quan tâm cÁ trong và ngoài n°ëc. Nó đã mï ra mét cc ch¿y đua
cơng nghá cho các tÁp đoàn lën nh° Tesla, Argo AI, Baidu, & Dč kiÁn trong t°¢ng lai
nó có thÅ thay thÁ hồn tồn cho con ng°íi nhằm giÁm thiÅu tai n¿n đÁn tć nhċng vÃn
đà chă quan căa ng°íi lái nh° mÃt tÁp trung, tÅm nhìn bị h¿n chÁ, & hoặc do nhċng vÃn
đà khách quan nh° thíi tiÁt, điÃu kián ánh sáng, & Tuy nhiên đÅ đ¿t đ°ÿc mąc đé đó,
các há tháng xe tč hành cịn phÁi đ°ÿc nghiên cąu và phát triÅn h¢n nċa đÅ đÁm bÁo vÃ
tính ån định, thíi gian đáp ąng và đé chính xác trong nhiÃu điÃu kián làm viác khác
nhau. Do đó, trong giai đo¿n hián t¿i, các nhà nghiên cąu đang chia nhß há tháng này ra
thành các há tháng nhß vëi nhng tớnh nng thit yu nhm hỗ tr ngới lỏi (ADAS).
Các há tháng này góp phÅn t¿o mơi tr°íng lái an tồn và thn tián h¢n cho các tài xÁ.
Trong các há tháng này, viác nhÁn dián biÅn báo giao thơng, phát hián làn đ°íng và các
vÁt cÁn trên đ°íng đóng vai trị đặc biát quan trọng.

Hình 1.1 Há tháng hã trā ng°éi lái (ADAS)
 Tình hình nghiên cąu ngồi n°ác:

Trên thÁ giëi, hÅu hÁt các ph°¢ng pháp giÁi qut bài tốn nhÁn dián làn đ°íng

và phát hián vÁt cÁn trên đ°íng (LOD) [1-3] đÃu tÁp trung vào các tr°íng hÿp đ¢n giÁn
trên đ°íng cao tác. GÅn đây, cũng có mét vài nghiên cąu [4-5] phát triÅn các thuÁt toán

có thÅ giÁi qut vÃn đà trên trong nhċng mơi tr°íng phąc t¿o h¢n. Do đó, chúng phÁi
đái mặt vëi nhiÃu thách thąc khó khăn h¢n. Đa sá nhċng thách thąc này đÁn tć nhißu
căa khung cÁnh xung quanh làn đ°íng ví dā nh° đ°íng cong, vÁt cÁn, bóng cây hay
thÁm chí là bóng căa các ph°¢ng tián giao thơng trên đ°íng. Vì vÁy, chúng ta cÅn mét
ph°¢ng pháp hiáu quÁ và m¿nh m¿ h¢n đÅ giÁi quyÁt nhċng thĉ thách trên. Tác giÁ trong
nghiên cąu [6] đã ąng dāng m¿ng phân đo¿n làn. Nhċng nghiên cąu này cho thÃy tính hiáu quÁ trong viác giÁi quyÁt các
vÃn đà nêu trên, cÅn ít khÁ năng tính tốn và đ¿t đ°ÿc kÁt q tát h¢n. Tuy nhiên, làn
đ°íng nhÁn dián đ°ÿc l¿i bị gãy khúc thành nhċng phÅn khơng liên tāc. Do đó, viác kÁt
hÿp nhċng thành phÅn không liên tāc này l¿i thành mét làn đ°íng cā thÅ nh° trong thčc
tÁ là mét bài tốn mëi đ°ÿc đặt ra và cÅn phÁi giÁi quyÁt. Trong nghiên cąu [7], tác giÁi
đã đà xuÃt mét giÁi pháp rÃt tát, giÁi quyÁt hÅu các vÃn đà đã nêu tr°ëc đó, nh°ng nó l¿i
khơng đáp ąng tác đé thíi gian thčc và không thÅ sĉ dāng cho mét há tháng nhúng vëi
phÅn cąng h¿n chÁ.

Đái vëi bài toán phát hián biÅn báo, mét sá thuÁt toán đ°ÿc đà xuÃt gÅn đây và
nhċng thách thąc chúng giÁi quyÁt đ°ÿc đ°ÿc nhóm tång hÿp ï bÁng 1.1. Nh° đ°ÿc thÅ
hián trong bÁng, nhċng ph°¢ng pháp dča trên học sâu đ¿t đ°ÿc hiáu suÃt tát và hÅu nh°
giÁi quyÁt đ°ÿc tÃt cÁ các vÃn đà đ°ÿc nêu, nh°ng chúng th°íng rÃt nặng và khơng thÅ
sĉ dāng cho các há tháng yêu cÅu đáp ąng thíi gian thčc. Do đó, māc đích căa nhóm là
tÁn dāng °u điÅm căa tćng ph°¢ng pháp và thiÁt kÁ l¿i há tháng đÅ nó phù hÿp vëi phÅn
cąng giëi hn trong hỏ thỏng nhỳng. Mỗi phÂng phỏp cú th đ°ÿc tÁn dāng ï nhċng
b°ëc khác nhau phā thuéc vào tính chÃt căa nó. Nhìn chung, vÃn đà phát hián vÁt thÅ
đ°ÿc chia thành hai nhiám vā chính: (1) xác định tọa đé căa vÁt thÅ và (2) phân lo¿i vÁt
thÅ. ỵ nhiám vā (1), SSD [8] cho thÃy đ°ÿc khÁ năng m¿nh m¿ căa nó trong viác giÁi
quyÁt hÅu hÁt các vÃn đà và phát hián vÁt thÅ ï nhiÃu kích th°ëc khác nhau chỉ trong
mét lÅn ch¿y. Tuy nhiên, ph°¢ng pháp SSD trun tháng rÃt nặng, và khơng thÅ làm

viác hiáu quÁ trong các phÅn cąng h¿n chÁ nh° NVIDIA Jetson TX2.

 Tình hình nghiên cąu trong n°ác:

Theo báo Công LuÁn [9], năm 2015 m¿u xe tč lái đÅu tiên căa Viát Nam đ°ÿc
FPT phát triÅn trên chiÁc Kia Soul, đã đ¿t đ°ÿc cÃp đé lái thą 2 (trong 5 cÃp đé lái).
ĐiÃu này thu hút rÃt nhiÃu sč chú ý căa các nhà nghiên cąu và các tr°íng đ¿i học lën

trong n°ëc. Vëi phiên bÁn hián t¿i, xe có nhċng chąc năng nh°: ąng dāng End to end
Deep Learning (thu thÁp data, xĉ lý hình Ánh), Traffic Sign (nhÁn dián các biÅn báo),
Vehicle Detection & Tracking (nhÁn dián vÁt cÁn, né vÁt cÁn trên đ°íng), Lane Finding

(tìm kiÁm làn đ°íng phù hÿp). ĐÅ có thÅ tč đéng di chun thì m¿u xe tč lái căa
FPT đ°ÿc áp dāng nhċng công nghá chính gãm: ZED Strereo camera ví nh° con mÃt
căa xe có thÅ đọc hiÅu nhċng tín hiáu trên đ°íng, tín hiáu biÅn báo giao thơng; cÁm biÁn
LiDar có khÁ năng phát hián xe trong bán kính 200 mét; bé xĉ lý trung tâm sĉ dāng chíp
NVIDIA TX2; c¢ cÃu điÃu khiÅn lái tć Robot Driving do FPT phát triÅn.

Hián t¿i, FPT Software là đ¢n vị duy nhÃt t¿i Viát Nam nghiên cąu và phát triÅn
công nghá xe tč lái đ¿t đÁn cÃp đé 3, tuy nhiên họ đang đái mặt vëi các thách thąc lën
mà trong đó là giá thành căa Lidar và tác đé xĉ lý căa máy tính. Đái vëi bài toán này,
chúng ta phÁi tái °u và mặt thuÁt tốn giúp camera có thÅ phát hián xe thay cho chąc
năng căa Lidar và giÁm đé tính tốn đÅ phù hÿp vëi tác đé xĉ lý căa máy tính.

BÁng 1. 1 THÁCH THĆC VÀ PH¯¡NG PHÁP GIÀI QUY¾T BÀI TỐN PHÁT
HIàN BIÂN BÁO

Methods Ành Mí và Tác Nhißu Méo Đáp

h°ïng b¿c đéng bïi d¿ng ąng Task

1 2
bïi ánh màu căa khung thíi

sáng chuyÅn cÁnh gian

đéng xung thčc

quanh

Image

Processing

SVM [10]

SSD [8]

Faster
RCNN
[11]

1.2. LÝ DO CHàN ĐÀ TÀI

Cho tëi hián nay, rÃt nhiÃu ph°¢ng pháp [12-14] đÅ phát triÅn há tháng ADAS
đã đ°ÿc đà xt. Nhìn chung, chúng đ°ÿc chia thành hai h°ëng chính: (1) xĉ lý Ánh và
(2) học sâu. Vëi nhċng ph°¢ng pháp sĉ dāng xĉ lý Ánh, mặc dù chúng đ¿t đ°ÿc tác đé
xĉ lý và thíi gian đáp ąng rÃt nhanh nh°ng chúng chỉ phù hÿp mét vài mơi tr°íng cá
định và đ¢n giÁn. Trong khi đó, các ph°¢ng pháp học sâu l¿i có thÁ m¿nh và viác giÁi
quyÁt nhċng vÃn đà phąc t¿p tuy nhiên tác đé và thíi gian xĉ lý l¿i phā thuéc nhiÃu vào
phÅn cąng và giÁi thuÁt đ°ÿc thiÁt kÁ. H¢n nċa, nhċng ph°¢ng pháp học sâu còn cÅn rÃt

nhiÃu dċ liáu đ°ÿc dán nhãn đÅ huÃn luyán, viác này tán rÃt nhiÃu thíi gian và cơng sąc
đÅ thu thÁp và xĉ lý. Do đó đÅ giÁi quyÁt các thách thąc hián t¿i nhóm quyÁt định thčc
hián đà tài TruyÃn Tháng và Học Sâu=. Trong đà tài này, nhóm nghiên cąu đà xuÃt kÁt hÿp cÁ hai
h°ëng xĉ lý Ánh và học sâu thành mét há tháng tháng nhÃt đÅ tÁn dāng °u điÅm căa
tćng ph°¢ng pháp. Tć đó giÁi qut các vÃn đà và nhÁn dián làn đ°íng, biÅn báo giao
thơng đãng thíi phát hián vÁt cÁn trên đ°íng. Māc đích căa nhóm là phát triÅn mét tht
tốn nhẹ và có thÅ làm viác trên các phÅn cąng giëi h¿n nh° NVIDIA Jetson TX2.

1.3. MĀC TIÊU

Xây dčng tht tốn và mơ hình xe tč hành có khÁ năng nhÁn dián làn đ°íng,
biÅn báo và các ch°ëng ng¿i vÁt trong mơi tr°íng mơ phòng v sa hỡnh thc t.

1.4. PHĂNG PHP, ịI TỵNG V PHắM VI NGHIấN CU

PhÂng phỏp nghiờn cu:
 Nghiên cąu lý thuyÁt dča trên các bài báo khoa học đã công bá.
 KhÁo sát các vÃn đà gặp phÁi, thách thąc và đ°a ra h°ëng giÁi quyÁt.
 Tham khÁo ý kiÁn đánh giá căa ng°íi h°ëng d¿n.
 Thčc thi các h°ëng đà xuÃt.
 KiÅm tra, ghi nhÁn kÁt quÁ thčc hián và đ°a ra so sánh, đánh giá tć đó đà xuÃt
các điÃu chỉnh.

 Đßi t°ÿng nghiên cąu:
 NVIDIA Jetson TX2.

 Các thuÁt toán xĉ lý Ánh, máy học, học sâu cho bài toán phát hián làn đ°íng,
biÅn báo giao thông và vÁt cÁn.

 Các ph°¢ng pháp làm giÁm trọng l°ÿng mơ hình học sâu.
 Ph¿m vi nghiên cąu:

 ĐÃ tài chỉ tÁp trung vào phát triÅn phÅn mÃm trên board Jetson TX2.
 ThuÁt toán đ°ÿc đánh giá và thĉ nghiám trong mơi tr°íng mơ phßng căa Unity

và sa hình thčc tÁ nhß, mơ phßng điÃu kián giao thơng bên ngồi.

1.5. BÞ CĀC
Bá cāc căa bài báo cáo đ°ÿc chia thành năm ch°¢ng nh° sau:

 ChÂng 1: Giỏi thiòu

ChÂng ny trỡnh by v giởi thiỏu đà tài, tình hình nghiên cąu, māc tiêu đà tài, giëi
h¿n đà tài và bá cāc đã án.

 Ch°¢ng 2: C¢ så lý thuy¿t

Ch°¢ng này giëi thiáu và các nÃn tÁng vÁn hành, các khái niám và ph°¢ng pháp đ°ÿc
sĉ dāng trong thuÁt toán tć các lĩnh včc nh° xĉ lý Ánh, máy học, học sâu. Bên c¿nh đó
là giÁi tht đÅ điÃu khiÅn mơ hình ån định.

 ChÂng 3: Giỏi thiòu phn cng

ChÂng ny cung cp cỏch nhìn tång quan và phÅn cąng căa mơ hình bao gãm các linh
kián quan trọng, các cÁm biÁn đ°ÿc trang bị và đặc biát là bé não xĉ lý.

 Ch°¢ng 4: Thi¿t k¿ ph¿n mÁm

Ch°¢ng này trình bày các b°ëc đi tìm cách giÁi quyÁt vÃn đà và māc tiêu đà ra. Ph°¢ng

pháp đ°ÿc mơ tÁ tć tång quan đÁn chi tiÁt các giÁi thuÁt bên trong.

 Ch°¢ng 5: Kt qu thc hiòn, so sỏnh v ỏnh giỏ

ChÂng này trình bày và nhċng thčc nghiám bao gãm mơi tr°íng, cách thu thÁp dċ
liáu, các thơng sá đ°ÿc thiÁt lÁp ban đÅu. Bên c¿nh đó là nhċng kÁt quÁ nhóm đ¿t đ°ÿc,
tć đó so sánh và đánh giá ph°¢ng pháp căa nhóm.

 Ch°¢ng 6: K¿t luÁn và h°áng phát triÃn
Ch°¢ng này đ°a ra kÁt luÁn đà tài và h°ëng phát triÅn tiÁp theo.
 Tài lißu tham khÁo
D¿n chąng nguãn tài liáu tham khÁo trong đà tài.