luận án tiến sĩ kết hợp tín hiệu eeg camera và vật mốc để định vị điều khiển xe lăn điện đến đích dựa vào bản đồ

Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (4.54 MB, 178 trang )

Trang 1<div class="page_container" data-page="1">

THÀNH PHà Hâ CHÍ MINH

NGƠ BÁ VIàT

ĐÂ ĐÞNH VÞ, ĐIÀU KHIÂN XE LN ĐIàN ắN CH

LUắN N TIắN S)

NGNH: Kỵ THUắT ĐIàN TĊ

</div>Trang 2<div class="page_container" data-page="2">

Bà GIÁO DĂC VÀ O TắO

TRõNG ắI HC S PHắM Kỵ THUắT THNH PHà Hâ CHÍ MINH

NGƠ BÁ VIàT

ĐÂ ĐÞNH VÞ, ĐIÀU KHIÂN XE LN ĐIàN Đ¾N ĐÍCH

</div>Trang 3<div class="page_container" data-page="3">

QUYắT ịNH GIAO TI

</div>Trang 4<div class="page_container" data-page="4">

LÝ LÞCH CÁ NHÂN

I. THƠNG TIN CÁ NHÂN

Ngày, tháng, nm sinh: 18 -04-1987 N¢i sinh: Bình Đánh

Đáa chß nhà: 04.2 Lơ B chung c° Thą Thiêm Star, Ph°ång Bình Tr°ng Đơng, Thành Phá Thą Đćc, Thành Phá Hã Chí Minh.

ĐiÉn tho¿i: 0907689357 E-mail:

C¢ quan - n¢i làm viÉc: Tr°ång Đ¿i Hãc S° Ph¿m Kỹ Thut Tp. Hó Chớ Minh. ỏa chò cÂ quan: 01 Võ Vn Ngân, Thành Phá Thą Đćc, Thành Phá Hã Chí Minh. ĐiÉn tho¿i: (+84.8) 37225766; Website: www.hcmute.edu.vn

II. Q TRÌNH ĐÀO T¾O

- Tĉ 2005 3 2010: Sinh viên ngành Kỹ thuÁt điÉn 3 điÉn tċ, Tr°ång Đ¿i hãc

III. Q TRÌNH CƠNG TÁC

03/2007- 10/2010 Cơng Ty GreyStone Data Systems ViÉt

08/2011- 01/2019 Tr°ång Cao Đẳng Kỹ ThuÁt Cao ThÃng GiÁng viên 02/2019- nay Tr°ång Đ¿i Hãc S° Ph¿m Kỹ ThuÁt Thành

Tp. Hồ Chí Minh, ngày 18 tháng 1 năm 2024

NGÔ BÁ VIàT

</div>Trang 5<div class="page_container" data-page="5">

LâI CAM ĐOAN

Tôi cam đoan đây là cơng trình nghiên cću cąa tơi.

Các sá liÉu, kÁt quÁ nêu trong luÁn vn là trung thďc và ch°a tĉng đ°āc công bá trong bÃt kỳ cơng trình nào khác

Tp. Hồ Chí Minh, ngày 18 tháng 1 năm 2024

NGÔ BÁ VIàT

</div>Trang 6<div class="page_container" data-page="6">

LâI CÀM ¡N

Đầu tiên, tôi xin gċi låi cÁm ¢n chân thành và sâu sÃc đÁn Thầy PGS. TS. Ngun Thanh HÁi, ng°åi đã ln nhiÉt tình h°ãng d¿n, góp ý và đánh h°ãng giúp tơi đ¿t đ°āc nhčng kÁt quÁ tát nhÃt trong suát quá trình thďc hiÉn ln án.

Tơi xin gċi låi cÁm ¢n đÁn Ban Giám HiÉu Tr°ång Đ¿i Hãc SPKT Tp.HCM, Ban Chą NhiÉm Khoa ĐiÉn 3 ĐiÉn tċ, nhčng Thầy/Cơ và đãng nghiÉp đã hß trā tơi trong q trình thďc hiÉn ln án này.

Ci cùng, tơi xin đ°āc gċi låi cÁm ¢n đÁn gia đình tơi, chß dďa tinh thần và là nguãn đáng viên vơ cùng to lãn, giúp tơi có thÅ thďc hiÉn tát công viÉc hãc tÁp và nghiên cću cąa mình.

Xin chân thành cÁm ¢n!

Tp. Hồ Chí Minh, ngày 18 tháng 1 năm 2024

NGÔ BÁ VIàT

</div>Trang 7<div class="page_container" data-page="7">

TÓM TÀT

Trong nhčng nm gần đây, sá l°āng ng°åi gÁp vÃn đÃ vÃ vÁn đáng đã tng lờn ỗ Viẫt Nam v trờn th giói. Đái vãi ng°åi già và ng°åi khuyÁt tÁt, các chćc nng thÅ chÃt cąa hã bá giÁm sút nghiêm trãng, và do đó xe ln điÉn gần nh° là ph°¢ng tiÉn duy nhÃt đÅ duy trì tính c¢ đáng. LuÁn án này đã đÃ xuÃt mát sá ph°¢ng pháp cho viÉc điÃu khiÅn bán tď đáng cho xe ln điÉn dďa vào tín hiÉu điÉn não đã (EEG), camera, các vÁt mác và bÁn đã. Că thÅ, đÅ điÃu khiÅn bán tď đáng cho xe ln đÁn đích, mát q trình gãm 3 giai đo¿n đ°āc thďc hiÉn, bao gãm: (1) ng°åi dùng chãn vá trí điÅm đích trên giao diÉn máy tính bằng tín hiÉu EEG; (2) xe ln tď xác đánh vá trí bÃt đầu trên bÁn đã dďa vào các vÁt mác trong môi tr°ång; và (3) hÉ tháng điÃu khiÅn xe ln điÉn tď đáng đÁn đích dďa vào thơng tin điÅm bÃt đầu và đích đÁn.

Trong môi tr°ång trong nhà, đÅ bÃt đầu cho mát lá trình di chun tď đáng, mát điÅm đích cần phÁi đ°āc lďa chãn. Khi ng°åi khuyÁt tÁt bá h¿n chÁ vÃ vÁn đáng chẳng h¿n nh° không thÅ cċ đáng tay hoÁc đầu, các ho¿t đáng nháy mÃt là phù hāp đÅ ng°åi dùng ra các lÉnh lďa chãn đích đÁn trên mát giao diÉn máy tính đã đ°āc thiÁt kÁ tr°ãc vãi các điÅm đích. Tĉ đó, ln án đÃ xt hai ph°¢ng pháp phân lo¿i các ho¿t đáng nháy mÃt tĉ tín hiÉu EEG gãm ph°¢ng pháp ng°ÿng biên đá và mơ hình hãc sâu CNN-1D. ¯u điÅm cąa ph°¢ng pháp phân lo¿i các ho¿t đáng mÃt nh° nháy mÃt trái, nháy mÃt phÁi, dùng thuÁt toán ng°ÿng biên đá là đá chính xác cao, trên 97% cho mßi lo¿i, và có thÅ xċ lý trďc tiÁp trên tín hiÉu mà không cần phÁi đ°āc huÃn luyÉn tr°ãc. Vãi ph°¢ng pháp phân lo¿i các ho¿t đáng mÃt dùng m¿ng hãc sâu CNN-1D, tÁp dč liÉu huÃn luyÉn cần đ°āc thu thÁp tr°ãc theo mát quy trình đ°āc chuẩn hóa. Vãi đÁc điÅm cąa các ho¿t đáng mÃt, chß có tín hiÉu tĉ 4 điÉn cďc trong tång sá 14 điÉn cďc thu đ°āc tĉ thiÁt bá Emotiv Epoc+ đ°āc trích xuÃt và ghép l¿i t¿o thành 1 tín hiÉu cho huÃn luyÉn. Các tín hiÉu này đ°āc làm tr¢n dùng bá lãc Savitzky-Golay tr°ãc khi đ°a vào huÃn luyÉn. KÁt quÁ phân lo¿i cho 5 lo¿i nháy mÃt gãm nháy mÃt trái, nháy mÃt phÁi, nháy hai mÃt, nháy hai mÃt hai lần liên tiÁp và khơng nháy mÃt có đá chính xác trung bình trên 97%.

</div>Trang 8<div class="page_container" data-page="8">

Sau khi ng°åi dùng đã chãn đ°āc điÅm đích, vá trí ban đầu cąa xe ln trên bÁn đã cần đ°āc xác đánh. Vãi xe ln điÉn đ°āc trang bá camera, thông tin cąa các vÁt mác tď nhiên bao gãm hình Ánh vÁt mác và vá trí cąa nó trong mơi tr°ång, là rÃt cần thiÁt cho viÉc xác đánh vá trí cąa xe ln. ĐÅ đánh vá trên bÁn đã dďa vào vÁt mác, xe ln cần thu thÁp thông tin vÁt mác và l°u vo cÂ sỗ d liẫu, sau ú trong quỏ trỡnh di chuyÅn xe ln s¿ xác đánh vá trí dďa vào các vÁt mác này. ĐÅ thu thÁp thông tin vÁt mác trong môi tr°ång, luÁn án kiÁn nghá ph°¢ng pháp mÁt đá điÅm đÁc tr°ng lãn nhÃt cho nhÁn biÁt vÁt mác tď nhiên và ph°¢ng pháp xác đánh vá trí cąa vÁt mác dďa vào vá trí xe ln và thơng tin 3D tĉ camera. Că thÅ, hình Ánh mơi tr°ång thu thÁp đ°āc tĉ camera s¿ đ°āc trích xuÃt đÁc tr°ng, và sau đó các tht tốn hình thái hãc đ°āc thďc hiÉn đÅ kÁt nái các điÅm đÁc tr°ng này l¿i t¿o thành các đái t°āng trong Ánh. MÁt đá điÅm đÁc tr°ng cho tĉng đái t°āng này s¿ đ°āc tính tốn và đái t°āng nào có mÁt đá điÅm đÁc tr°ng lãn nhÃt đ°āc chãn là vÁt mác. Vãi vÁt mác đã đ°āc lďa chãn, thông tin 3D cąa vÁt mác và vá trí cąa xe ln trong môi tr°ång đ°āc dùng đÅ xác đánh vá trí vÁt mác. Bên c¿nh đó, ln án cũng kiÁn nghá ph°¢ng pháp xác đánh vá trí xe ln trên bÁn đã l°ãi 2D Áo tĉ thông tin vÁt mác trong môi tr°ång thďc, nhằm phăc vă cho viÉc điÃu khiÅn xe ln. Că thÅ, sau khi nhÁn d¿ng đ°āc các vÁt mác có trong c¢ sỗ d liẫu ó thu thp tróc ú, thụng tin tãa đá vá trí cąa các vÁt mác này trong không gian môi tr°ång và trong không gian cąa camera s¿ đ°āc dùng đÅ tính tốn vá trí xe ln trong môi tr°ång thďc và trên bÁn đã 2D l°ãi Áo bằng các ph°¢ng trình l°āng giác.

ĐÅ giÁm bãt viÉc tham gia điÃu khiÅn cąa ng°åi sċ dăng và tng sď an toàn, luÁn án đÃ xt mơ hình điÃu khiÅn thďc - Áo cho xe ln điÉn dďa vào bÁn đã l°ãi 2D Áo, cho phép ng°åi khuyÁt tÁt đÁn bÃt kỳ điÅm đÁn đánh s¿n nào trên bÁn đã l°ãi này. Că thÅ, bÁn đã l°ãi 2D Áo đ°āc xây dďng tĉ môi tr°ång thďc bằng cách chia thành các ô l°ãi có thÅ chća các khoÁng tráng hoÁc ch°ãng ng¿i vÁt. Sau đó, bÁn đã vãi các ơ l°ãi đ°āc v¿ này s¿ đ°āc mơ phßng đÅ tìm các đ°ång đi tái °u đÅ đÁn các vá trí đích bằng mơ hình Deep Q-Networks (DQNs) vãi hàm kích ho¿t PreLU. Bên trong mơ hình DQNs-PreLU là mát m¿ng n¢-ron truyÃn thẳng sċ dăng ph°¢ng pháp lan

</div>Trang 9<div class="page_container" data-page="9">

truyÃn ng°āc đÅ cÁp nhÁt các thơng sá m¿ng. Ngõ vào mơ hình là bÁn đã l°ãi và ngõ ra là các hành đáng cąa xe ln t°¢ng ćng trên bÁn đã bao gãm Lên, Xuáng, Trái, PhÁi. Vãi các thí nghiÉm đã đ°āc thďc hiÉn, mơ hình DQNs-PreLU cho thÃy thåi gian hn lun ngÃn h¢n rÃt nhiÃu so vãi các mơ hình khác và các thơng sá mơ hình có thÅ l°u trč l¿i đÅ dùng cho điÃu khiÅn xe ln trong mơi tr°ång thďc. ĐÅ có thÅ điÃu khiÅn xe ln trong mơi tr°ång thďc, mát tht tốn mãi đ°āc đÃ xuÃt đÅ chuyÅn đåi các hành đáng cąa xe ln tĉ ngõ ra cąa mơ hình DQNs-PreLU khi mơ phßng vãi bÁn đã l°ãi 2D Áo thành các lÉnh điÃu khiÅn thďc tÁ cho xe ln. KÁt q thí nghiÉm đã cho thÃy mơ hình điÃu khiÅn đÃ xt có thÅ tď đáng điÃu khiÅn xe ln đÁn đích mong muán vãi tính ån đánh và an tồn h¢n so vãi khi ng°åi dùng tď điÃu khiÅn.

Tĉ nhčng kÁt quÁ này, mát mơ hình xe ln điÉn bán tď đáng cho ng°åi khut tÁt trong mơi tr°ång trong nhà có thÅ đ°āc ćng dăng trong thďc tÁ. HiÉu quÁ cąa các ph°¢ng pháp đÃ xt đã đ°āc đánh giá thơng qua các kÁt q thí nghiÉm. Các ph°¢ng pháp và mơ hình đ°āc kiÁn nghá cùng vãi các kÁt quÁ thu đ°āc trong luÁn án này đã đ°āc đng trong các kỷ yÁu hái thÁo khoa hãc và t¿p chí khoa hãc. Vãi mơ hình xe ln điÉn bán tď đáng đ°āc đÃ xuÃt cùng vãi các kÁt quÁ thċ nghiÉm, xe ln điÉn vãi chi phí thÃp có thÅ đ°āc sÁn xt trong t°¢ng lai gần, h°ãng đÁn nhu cầu di chuyÅn thiÁt yÁu và an toàn cho ng°åi khuyÁt tÁt.

</div>Trang 10<div class="page_container" data-page="10">

ABSTRACT

In recent years, the number of people facing mobility issues has increased in Vietnam and worldwide. For the elderly and people with disabilities, their physical functions are severely compromised, and therefore, electric wheelchairs are nearly the sole means to maintain mobility. This thesis has proposed several methods for semi-automatic control of an electric wheelchair based on electroencephalogram (EEG) signals, cameras, landmarks, and maps. Specifically, to semi-automatically control the wheelchair to the destination, a three-stage process is implemented, including (1) users selecting the destination on a computer interface using EEG signals; (2) the wheelchair autonomously determining a starting position on the map based on landmarks in an indoor environment; and (3) the wheelchair system automatically controlling the electric wheelchair to reach the desired destination based on the starting position and destination information.

In an indoor environment, to initiate an automatic travel route, a destination needs to be selected. In the case of disabled people with limited mobility such as being unable to move an electric wheelchair by their hands or head, blinking operations are suitable for moving by selecting commands on a computer interface pre-designed with destinations. Therefore, the thesis proposes two methods of classifying blink activities from EEG signals, including the amplitude thresholding method and the CNN-1D deep learning model. In particular, the advantage of the first method with eye activities such as left-eye blink, and right-eye blink is that the amplitude threshold algorithm has a high accuracy, over 97% for each type, and can allow to directly process on the signals without pre-training required. With the second method using a CNN-1D deep learning network is that the training data set needs to be pre-collected according to a normalized procedure. With the characteristics of eye activities, only the EEG signals obtained from 4 electrodes of the Emotiv Epoc+ system with 14-electrodes are extracted and reassembled to produce one signal for training. Moreover, the EEG signals are smoothed using Savitzky-Golay filters

</div>Trang 11<div class="page_container" data-page="11">

before training and this can produce the better accuracy. Finally, the classification results for 5 types of blinking activities, including left-eye blink, right-eye blink, two-eye blink, double two-two-eye blink, and neutral have an accuracy of over 97%.

After the user has selected a desired destination on the map, the wheelchair's initial position needs to be determined. With an electric wheelchair equipped with a camera, the information of natural landmarks, including the image of the landmark and its position in the environment, are essential for determining the position of the wheelchair. To determine the location based on these landmarks, the wheelchair needs to collect landmark information and then stores them in a database during the movement. Therefore, to collect information of landmarks in an indoor environment, the thesis proposes the methods of the maximum feature density for the identification of natural landmarks and determining the positions of landmarks based on the wheelchair's position and 3D information from the camera. In particular, environmental images collected from the camera will be extracted features, and then morphological algorithms are performed to connect these feature points for creating objects in the image. The feature density for each of these objects will be calculated and the object with the highest feature density is selected as the landmark. With the landmark selected, the 3D information of that landmark and the wheelchair's position in the environment are used for locating the landmark. In addition, the thesis proposes the method for locating the wheelchair on a virtual 2D grid map from landmark information in the real environment for controlling the mobile wheelchair. In particular, after identifying landmarks in the collected database, the coordinate of these landmarks in the environmental and camera spaces will be used to calculate the wheelchair position in the real environment and the virtual 2D grid map using the trigonometric equations.

To reduce the user's participation in control and increase safety, the thesis proposes a virtual-real control model for electric wheelchairs based on a virtual 2D grid map, allowing people with disabilities to reach any destination pre-designed on this grid map. In particular, the virtual 2D grid map is built from the real environment

</div>Trang 12<div class="page_container" data-page="12">

by dividing it into grid cells that may contain free spaces or obstacles. This map with the plotted grid cells is then simulated for finding the optimal paths to reach the desired destination using a Deep Q-Networks (DQNs) model with the PreLU activation function. Therefore, the DQNs-PreLU model is designed with a feedforward neural network using backpropagation for updating the network parameters. The network algorithm is that the input is the grid map and the output is the wheelchair actions including Up, Down, Left, and Right. With the experiments performed, the DQNs-PreLU model shows that the training time is much shorter than other models and the model parameters can be stored for controlling the wheelchair in the real environment. In addition, to control the wheelchair in the real environment better, a new algorithm was proposed to convert the wheelchair actions from the output of the DQNs-PreLU model after simulated with the virtual 2D grid map into real control commands. Experimental results show that the proposed control model can allow to automatically control the wheelchair to reach the desired destination with more stability and safety compared to the wheelchair controlled by user.

From these results, the semi-automatic electric wheelchair model for the disabled people can be applied in practice. In addition, the effectiveness of the proposed methods has been evaluated through experimental results. In particular, these proposed methods with the results in this thesis have been published in the proceedings of scientific conferences and scientific journals. With the proposed semi-autonomous electric wheelchair model along with the test results, a low-cost electric wheelchair with the safe mobility can be produced to support the disabled people.

</div>Trang 13<div class="page_container" data-page="13">

MĂC LĂC ... xiii

DANH SÁCH CÁC TĈ VI¾T TÀT ...xvii

DANH SÁCH CÁC HÌNH... xix

DANH SÁCH CÁC BÀNG ... xxiv

CH¯¡NG 1... 1

TäNG QUAN ... 1

1.1. TÍNH CÂP THIÀT CĄA ĐÂ TÀI LUÀN ÁN ... 1

1.2. MĂC TIÊU NGHIÊN CĆU CĄA LUÀN ÁN ... 10

1.3. ĐàI T¯ĀNG VÀ PH¾M VI NGHIÊN CĆU ... 10

1.4. CÁCH TIÀP CÀN VÀ PH¯¡NG PHÁP NGHIÊN CĆU ... 11

1.5. ĐÓNG GÓP VÂ KHOA HâC CĄA LUÀN ÁN ... 12

1.6. CÂU TRÚC CĄA LUÀN ÁN ... 14

CH¯¡NG 2... 16

C¡ Sä LÝ THUY¾T ... 16

2.1. TäNG QUAN VÂ TÍN HIÈU EEG... 16

2.2. PHÂN LO¾I HO¾T ĐàNG DĎA VÀO TÍN HIÈU EEG ... 17

2.2.1. Phát hiÉn ho¿t đáng mÃt dďa vào ng°ÿng biên đá tín hiÉu EEG ... 17

2.2.2. Phân lo¿i tín hiÉu EEG dùng m¿ng n¢-ron... 18

2.2.3. Phân lo¿i tín hiÉu EEG dùng m¿ng n¢-ron tích chÁp ... 19

2.3. GIAO TIÀP GIČA NÃO NG¯äI VÀ MÁY TÍNH ... 20

2.4. MƠ HÌNH XE LN ĐIÈN CHO NG¯äI KHUYÀT TÀT ... 21

2.4.1. Xe ln điÉn thông minh ... 21

2.4.2. Xe ln điÉn vãi bá điÃu khiÅn robot ... 22

2.4.3. Xe ln điÉn tích hāp vãi mơi tr°ång thơng minh ... 23

</div>Trang 14<div class="page_container" data-page="14">

2.4.4. Xe ln điÉn vãi tính nng tránh ch°ãng ng¿i vÁt ... 24

2.4.5. HÉ tháng chia sẻ điÃu khiÅn cho xe ln điÉn ... 25

2.5. PH¯¡NG PHÁP XÂY DĎNG BÀN Đâ L¯âI 2D ĐÄ ĐIÂU H¯âNG

2.7.1. Ph°¢ng pháp nhÁn d¿ng dďa trên diÉn m¿o ... 31

2.7.2. Ph°¢ng pháp nhÁn d¿ng dďa trên các điÅm đÁc tr°ng ... 32

2.7.3. NhÁn d¿ng vÁt thÅ theo ph°¢ng pháp máy hãc ... 32

2.8. MƠ HÌNH HĨA VÀ ĐIÂU KHIÄN XE LN ĐIÈN ... 33

2.9. PH¯¡NG PHÁP LÀP KÀ HO¾CH Đ¯äNG ĐI CHO ROBOT DI ĐàNG35 2.9.1. Ph°¢ng pháp A* ... 35

2.9.2. Ph°¢ng pháp hãc tng c°ång ... 36

CH¯¡NG 3... 39

PHÂN LOắI TN HIU EEG CA HOắT ịNG MT CHO NG DĂNG GIAO TI¾P GIČA NÃO NG¯âI VÀ MÁY TÍNH ... 39

3.1. TÍN HIÈU EEG CĄA HO¾T ĐàNG NHÁY MÂT ... 39

3.2. THU THÀP DČ LIÈU ... 42

3.2.1. Quy trình thu thÁp dč liÉu ... 42

3.2.2. TÁp dč liÉu gác cąa tín hiÉu EEG ... 44

3.3. XĊ LÝ TÍN HIÈU ... 48

3.3.1. Lãc nhiÇu dùng bá lãc Hamming ... 48

3.3.2. Làm tr¢n tín hiÉu dùng bá lãc Savitzky 3 Golay ... 49

3.4. PHÂN LO¾I TÍN HIÈU EEG CĄA HO¾T ĐàNG MÂT ... 52

3.4.1. Phân lo¿i ho¿t đáng nháy mÃt theo ph°¢ng pháp ng°ÿng biên đá ... 52

3.4.2. Phân lo¿i tín hiÉu ho¿t đáng mÃt dùng mơ hình CNN-1D ... 56

CH¯¡NG 4... 74

</div>Trang 15<div class="page_container" data-page="15">

NHắN DắNG V XC ịNH Vị TRÍ V¾T MàC TĎ NHIÊN TRONG MƠI

MƠ HÌNH ĐIÀU KHIÂN XE LN ĐIàN K¾T HĀP TÍN HIàU EEG VÀ CAMERA DĎA VÀO BÀN Đâ ... 98

5.1. HÈ THàNG ĐIÂU KHIÄN THĎC - ÀO CHO XE LN ĐIÈN DĎA VÀO BÀN Đâ L¯âI 2D ÀO ... 98

5.1.1. CÃu trúc hÉ tháng điÃu khiÅn thďc -Áo cho xe ln điÉn ... 98

5.1.2. BÁn đã l°ãi 2D Áo ... 100

5.1.3. Giao diÉn lďa chãn đích đÁn cho xe ln... 102

5.1.4. Mơ hình DQNs lÁp kÁ ho¿ch đ°ång đi tái °u cho xe ln ... 103

5.2. ĐàNH Và XE LN ĐIÈN TRONG BÀN Đâ L¯âI 2D ÀO DĎA VÀO VÀT MàC TĎ NHIÊN ... 107

5.3. ĐIÂU H¯âNG XE LN ĐIÈN TRONG MÔI TR¯äNG THĎC... 109

5.4. PH¯¡NG PHÁP TRÁNH VÀT CÀN DĎA VÀO THÔNG TIN 3D MÔI TR¯äNG ... 112

5.5. KÀT QUÀ THÍ NGHIÈM ĐIÂU KHIÄN XE LN ĐIÈN ... 113

5.5.1. Mơ phßng hn lun tìm đ°ång đi cho xe ln dďa vào bÁn đã l°ãi 2D Áo ...

... 113

5.5.2. KÁt quÁ nhÁn d¿ng vÁt mác ... 119

</div>Trang 16<div class="page_container" data-page="16">

5.5.3. Xác đánh vá trí xe ln trên bÁn đã l°ãi 2D Áo dďa vào vÁt mác ... 122

5.5.4. Xe ln di chuyÅn đÁn đích mong muán dďa vào bÁn đã l°ãi 2D Áo ... 125

</div>Trang 17<div class="page_container" data-page="17">

DANH SÁCH CÁC TĈ VI¾T TÀT

APF Angle-based Potential Field Vùng góc tiÃm nng

ALS Amyotrophic Lateral Sclerosis BÉnh x¢ cćng teo c¢ bên

BCI Brain 3 Computer Interface Giao tiÁp não ng°åi và

CNN Convolutional Neural Network M¿ng n¢-ron tích chÁp

DWA Dynamic Window Approach Ph°¢ng pháp cċa så đáng

D-DWA Double Dynamic Window Approach Ph°¢ng pháp cċa så đáng kép

DRL Deep Reinforcement Learning Hãc tng c°ång sâu

FAST Features from Accelerated Segment Test Các đÁc tr°ng tĉ kiÅm tra phân đo¿n tng tác

GPS Global Positioning System HÉ tháng đánh vá toàn cầu

HOG Histogram of Oriented Gradients BiÅu đã Gradient đánh h°ãng

HHT Hilbert3Huang Transform BiÁn đåi Hilbert3Huang

IOU Intersection over Union Vùng giao nhau t¿i nhčng liên kÁt

</div>Trang 18<div class="page_container" data-page="18">

IMU Inertial Measurement Unit Đ¢n vá đo l°ång qn tính

LIDAR Light Detection and Ranging Đo khoÁng cách bằng ánh sáng

PCA Principal Component Analysis Phân tích thành phần chính

PWM Pulse Width Modulation ĐiÃu chÁ đá ráng xung

RGB-D Red 3 Green - Blue - Depth Đß - Lăc 3 Lam - Đá sâu

RFID Radio Frequency Identification NhÁn d¿ng tần sá vô tuyÁn điÉn

ROC Receiver Operating Characteristic ĐÁc tính ho¿t đáng cąa bá thu

SLAM Simultaneous Localization and Mapping BÁn đã hóa và bÁn đáa hóa đãng thåi

SURF Speeded Up Robust Features Tng tác đÁc tính bÃn včng

SIFT Scale-Invariant Feature Transform BiÁn đåi đÁc tr°ng bÃt biÁn theo tỷ lÉ

SSVEP Steady-State Visual Evoked Potential Tim nng kớch thớch trc quan ỗ tr¿ng thái ån đánh

VFH Vector Field Histogram BiÅu đã tr°ång vect¢

WHO World Health Organization Tå chćc Y tÁ ThÁ giãi

</div>Trang 19<div class="page_container" data-page="19">

DANH SÁCH CÁC HÌNH

Hình 1.1. S¢ đã khái q trình điÃu khiÅn xe ln điÉn dďa vào tín hiÉu EEG, camera,

vÁt mác và bÁn đã ... 9

Hình 2.1. Tín hiÉu EEG đ°āc phát hiÉn vãi các vùng chun đáng cąa mÃt & ... 18

Hình 2.2. S¢ đã điÃu khiÅn kÁt hāp cąa BCI và xe ln & ... 22

Hình 2.3. S¢ đã bá điÃu khiÅn xe ln di đáng kÁt hāp cánh tay robot& ... 23

Hình 2.4. Mơ hình hÉ tháng xe ln đa ph°¢ng thćc & ... 24

Hình 2.5. HÉ tháng xe ln điÉn vãi chćc nng đánh vá và tránh vÁt cÁn & ... 24

Hình 2.6. HÉ tháng chia sẻ điÃu khiÅn cho xe ln điÉn & ... 25

Hình 2.7. Mơ hình chia sẻ điÃu khiÅn xe ln điÉn sċ dăng BCI và cÁm biÁn & ... 27

Hình 2.8. BiÅu diÇn chùm sonar trên bÁn đã l°ãi 2D & ... 28

Hình 2.9. Ph°¢ng pháp xây dďng bÁn đã l°ãi kÁt hāp ngč nghĩa đái t°āng & ... 29

Hknh 2.10. Đánh vá robot dùng các vÁt mác trên trần nhà& ... 30

Hknh 2.11. Sċ dăng Wifi đÅ đánh vá vá trí robot & ... 31

Hknh 2.12. HÉ quy chiÁu toàn căc và hÉ quy chiÁu căc bá cąa xe ln hoÁc robot ... 34

Hình 3.1. Mát sá tín hiÉu c¢ bÁn cąa chun đáng mÃt & ... 40

Hình 3.2. Tín hiÉu EEG khi nháy mÃt & ... 41

Hình 3.3: Hai lo¿i tín hiÉu EEG cąa ho¿t đáng nháy mÃt & ... 42

Hình 3.4. ThiÁt bá Emotiv Epoch+ ... &43 Hình 3.5. H°ãng d¿n đeo thiÁt bá và kiÅm tra kÁt nái & ... 43

Hình 3.6. Quy trình thďc hiÉn thí nghiÉm& ... 44

Hình 3.7. Tín hiÉu gác thu đ°āc tĉ 4 kênh cąa ho¿t đáng nháy mÃt trái ... 45

Hình 3.8. Tín hiÉu gác thu đ°āc tĉ 4 kênh cąa ho¿t đáng nháy mÃt phÁi ... 46

Hình 3.9. Tín hiÉu gác thu đ°āc tĉ 4 kênh cąa ho¿t đáng nháy hai mÃt ... 46

Hình 3.10. Tín hiÉu gác thu đ°āc tĉ 4 kênh cąa ho¿t đáng nháy hai mÃt hai lần liên tiÁp ... 47

</div>Trang 20<div class="page_container" data-page="20">

Hình 3.11. Tín hiÉu gác thu đ°āc tĉ 4 kênh cąa ho¿t đáng không nháy mÃt

Hình 3.15. Mơ tÁ cách thćc chia tín hiÉu EEG thành các khung dč liÉu ... 52

Hình 3.16. Mơ tÁ tín hiÉu nháy mÃt tď ngun ... 53

Hình 3.17. KÁt quÁ nhÁn d¿ng ho¿t đáng mÃt ... 55

Hình 3.18. Tín hiÉu nháy mÃt trái thu đ°āc tĉ 4 kênh AF3, F7, AF4, F8 ... 57

Hình 3.19. Tín hiÉu ghép tĉ 4 kênh đá dài 2804 m¿u cąa ho¿t đáng nháy mÃt trái 58 Hình 3.20. Tín hiÉu nháy mÃt phÁi thu đ°āc tĉ 4 kênh AF3, F7, AF4, F8 ... 58

Hình 3.21. Tín hiÉu ghép tĉ 4 kênh đá dài 2804 m¿u cąa ho¿t đáng nháy mÃt phÁi ... 59

Hình 3.22. D¿ng tín hiẫu nhỏy hai mt c thu ỗ 4 kờnh AF3, F7, AF4, F8 ... 59

Hình 3.23. Tín hiÉu ghép tĉ 4 kênh đá dài 2804 m¿u cąa ho¿t đáng nháy hai mÃt . 60 Hình 3.24. D¿ng dč liÉu chóp hai mt hai ln liờn tip c thu ỗ 4 kênh AF3, F7,

</div>Trang 21<div class="page_container" data-page="21">

Hình 3.30. Tå chćc dč liÉu đÅ hn lun mơ hình CNN-1D ... 66

Hình 3.31. Đã thá biÅu diÇn hiÉu st hn lun mơ hình CNN-1D phân lo¿i ho¿t đáng mÃt ... 67

Hình 3.32. KÁt quÁ phân lo¿i các ho¿t đáng mÃt cąa mơ hình CNN-1D trên tÁp kiÅm tra ... 69

Hình 3.33. KÁt quÁ phân lo¿i các ho¿t đáng mÃt vãi hai lo¿i nháy mÃt trái và phÁi dùng tín hiÉu khơng ghép kênh ... 71

Hình 4.1. Các b°ãc xác đánh vÁt mác tď nhiên ... 76

Hình 4.2. Mơ hình xe ln di đáng hai bánh vi sai và hai bánh tď do... 80

Hình 4.3. ¯ãc tính vá trí mác trong khơng gian 2D ... 82

Hình 4.4. Xe ln vãi camera RGB-D, Encoder và máy tính ... 83

Hình 4.5. Các đái t°āng chća các điÅm đÁc tr°ng ... 84

Hình 4.6. BiÅu diÇn sď gión nỗ vói cỏc ln lp khỏc nhau bng cỏch sċ dăng mÁt n¿ 3 × 3 ... 85

Hình 4.7. Ành chća đ°ång bao đái t°āng và khung đÁc tr°ng ... 85

Hình 4.8. Quá trỡnh nhn dng vt mỏc trong phũng thớ nghiẫm ỗ khoÁng cách 2 m tĉ camera đÁn các đái t°āng ... 86

Hình 4.9. Quá trình nhÁn d¿ng vÁt mỏc trong phũng thớ nghiẫm ỗ khong cỏch 1 m tĉ camera đÁn các đái t°āng ... 87

Hình 4.10. IOU cho các háp giãi h¿n ... 87

Hình 4.11. NhÁn biÁt mác tď nhiên trong mơi tr°ång phịng thí nghiÉm vãi các điÃu

</div>Trang 22<div class="page_container" data-page="22">

Hình 4.16. BiÅu đã sai sá t°¢ng đái cąa phép đo khoÁng cách tãi các vÁt mác đ°āc

phát hiÉn ... 93

Hình 4.17. BiÅu diÇn quỹ đ¿o chun đáng cąa xe ln đÁn các vá trí đÁt tr°ãc ... 94 Hình 5.1. HÉ tháng điÃu khiÅn thďc - Áo cho xe ln điÉn dďa trên bÁn đã l°ãi 2D Áo

... 99

Hình 5.2. Quá trình t¿o bÁn đã l°ãi 2D Áo tĉ môi tr°ång thďc ... 101 Hình 5.3. BÁn đã l°ãi 2D Áo cąa mơi tr°ång thďc. ... 101 Hình 5.4. Quy trình thďc hiÉn lďa chãn đích đÁn dùng BCI ... 102 Hình 5.5. Giao diÉn ng°åi dùng đÅ chãn điÅm đÁn mong muán ... 103 Hình 5.6. Giao diÉn ng°åi dùng chãn điÅm đÁn mong muán <Phòng ngą= bằng lÉnh

EEG ... 103

Hình 5.7. CÃu trúc m¿ng n¢-ron trong mơ hình DQNs ... 106 Hình 5.8. Các m¿u vÁt mác trong mơi tr°ång trong nhà ... 107 Hình 5.9. HÉ tãa đá cąa camera RGB-D ... 107 Hình 5.10. Vá trí cąa xe ln vãi bán h°ãng ... 109 Hình 5.11. Tãa đá cąa xe ln, vÁt mác và đích đÁn trong bÁn đã l°ãi 2D Áo

... 110

Hình 5.12. BiÅu diÇn bá chuyÅn đåi các lÉnh điÃu khiÅn thďc tÁ tĉ mơ phßng ... 110 Hình 5.13. Ành đá sâu đ°āc chăp tĉ camera RGB-D ... 112 Hình 5.14. Mơ tÁ chuyÅn đåi bÁn đã điÅm 3D sang 2D vãi đá cao đ°āc đánh tr°ãc

... 113

Hình 5.15. Mơi tr°ång huÃn luyÉn ... 114 Hình 5.16. So sánh tỷ lÉ Win khi hn lun mơ hình DQNs vãi 2 lo¿i hàm kích ho¿t

trong tr°ång hāp bÁn đã l°ãi 8x11 ... 115

Hình 5.17. So sánh tỷ lÉ Win khi hn lun mơ hình DQNs vãi hai lo¿i hàm kích

ho¿t trong tr°ång hāp bÁn đã l°ãi 11x33 ... 116

Hình 5.18. Các thành phần vect¢ mơ tÁ cąa vùng con trong Ánh ... 119 Hình 5.19. Bán lo¿i vÁt mác khác nhau đ°āc nhÁn d¿ng dďa trên các vÁt mỏc c

lu tr trong cÂ sỗ d liẫu ... 120

</div>Trang 23<div class="page_container" data-page="23">

Hình 5.20. Sai sá tuyÉt đái cąa phép đo Xa tĉ camera đÁn các vÁt mác t¿i các vá trí khác nhau ... 122

Hình 5.21. Sai sá tuyÉt đái cąa khoÁng cách Za tĉ camera đÁn các vÁt mác t¿i các vá trí khác nhau ... 122

Hình 5.22. Mơi tr°ång thí nghiÉm trong nhà ... 123 Hình 5.23. Bán vá trí cąa xe ln trên bÁn đã l°ãi 2D vãi các vÁt mác ... 124 Hình 5.24. Vá trí xe ln trên bÁn đã l°ãi 2D vãi 3 vÁt mác ... 125 Hình 5.25. HÉ tháng xe ln vãi các camera RGB-D, Emotiv Epoc+, bá điÃu khiÅn và

máy tính ... 126

Hình 5.26. Mơi tr°ång thí nghiÉm ... 127 Hình 5.27. Đ°ång di chuyÅn cąa xe ln trong mơi tr°ång thďc tÁ ... 128 Hình 5.28. Qui trỡnh iu hóng xe ln iẫn ỗ ch ỏ bán tď đáng ... 129 Hình 5.29. BiÅu diÇn đ°ång đi mơ phßng và đ°ång đi thďc cąa xe ln bằng điÃu

khiÅn bán tď đáng ... 130

Hình 5.30. So sánh chuyÅn đáng cąa xe ln theo hai ph°¢ng pháp điÃu khiÅn (điÃu

khiÅn bán tď đáng và tď điÃu khiÅn) ... 132

Hình 5.31. Mơi tr°ång trong thí nghiÉm thć hai ... 133 Hình 5.32. So sánh chuyÅn đáng cąa xe ln trong hai ph°¢ng pháp điÃu khiÅn (điÃu

khiÅn bán tď đáng và tď điÃu khiÅn) ... 134

Hình 5.33. Chun đáng cąa xe ln khi có vÁt cÁn ... 135

</div>Trang 24<div class="page_container" data-page="24">

DANH SÁCH CÁC BÀNG

BÁng 2.1. Các d¿ng sóng EEG ... 17 BÁng 3.1. Các tr°ång hāp phân lo¿i ho¿t đáng mÃt ... 55 BÁng 3.2. Tên và nhãn tín hiÉu cąa các ho¿t đáng mÃt.... ... 63 BÁng 3.3. Mô tÁ dč liÉu huÃn luyÉn phân lo¿i ho¿t đáng mÃt ... 66 BÁng 3.4. HiÉu suÃt mơ hình CNN-1D khi hn lun phân lo¿i các ho¿t đáng mÃt

... 68

BÁng 3.5. Xác thďc chéo 5 lần đái vãi bá phân lo¿i ho¿t đáng nháy mÃt ... 70 BÁng 3.6. Các nghiên cću phân lo¿i ho¿t đáng mÃt ... 72 BÁng 3.7. Thåi gian xċ lý phân lo¿i tín hiÉu EEG cąa ho¿t đáng mÃt ... 73 BÁng 4.1. KÁt quÁ trích đÁc tr°ng dùng các ph°¢ng pháp khác nhau ... 84 BÁng 4.2. IOU vãi các khoÁng cách khác nhau ... 88 BÁng 4.3. IOU vãi điÃu kiÉn ánh sáng khác nhau ... 89 BÁng 4.4. Thåi gian xċ lý nhÁn d¿ng vÁt mác cąa ph°¢ng pháp đÃ xuÃt ... 92 BÁng 4.5. Đánh giá sai sá vá trí cąa xe ln ... 95 BÁng 4.6. KÁt quÁ đánh vá vÁt mác dďa vào vá trí xe ln ... 95 BÁng 4.7. Các nghiên cću nhÁn d¿ng, thu thÁp thơng tin vá trí đái t°āng tď đáng . 96 BÁng 5.1. Thông sá mô hình huÃn luyÉn ... 114 BÁng 5.2. HiÉu st cąa các mơ hình DQNs đ°āc đÃ xt ... 117 BÁng 5.3. So sánh hiÉu suÃt cąa các mơ hình ... 117 BÁng 5.4. Đá chính xác khi nhÁn d¿ng các vÁt mác bằng ph°¢ng pháp SURF ... 121 BÁng 5.5. Đá chính xác cąa viÉc đánh vá xe ln ... 124 BÁng 5.6. Đá chính xác khi đánh vá xe ln bằng 3 vÁt mác ... 125 BÁng 5.7. Các giá trá và tr¿ng thái điÃu khiÅn xe ln điÉn ... 126 BÁng 5.8. Các lÉnh điÃu khiÅn xe ln đ°āc chuyÅn đåi tĉ các lÉnh mơ phßng .... 131 BÁng 5.9. Sai sá đ°ång đi cąa xe ln trong các mơi tr°ång thí nghiÉm ... 135

</div>Trang 25<div class="page_container" data-page="25">

CH¯¡NG 1 TäNG QUAN

1.1. TÍNH CÂP THI¾T CĄA ĐÀ TÀI LU¾N ÁN

Trong xã hái hiÉn nay, ng°åi khuyÁt tÁt luôn gÁp phÁi nhčng khó khn và thiÉt thịi cÁ vÃ thÅ chÃt và tinh thần h¢n so vãi nhčng ng°åi bình th°ång khác. Nhčng khiÁm khut trên c¢ thÅ t¿o ra nhčng suy giÁm đáng kÅ và Ánh hỗng lõu di, trc tip n kh nng t duy, ho¿t đáng, sinh ho¿t hằng ngày cąa hã, gây nên nhčng khó khn nhÃt đánh trong cuác sáng. Tháng kê cąa Tå chćc y tÁ thÁ giãi (WHO) nm 2022 cho thÃy 16% dân sá thÁ giãi t°¢ng đ°¢ng 1,3 tỷ ng°åi bá khuyÁt tÁt và ngày càng tng lên [1]. Theo Tång căc Tháng kê nm 2019, ViÉt Nam là quác gia có sá l°āng ng°åi khuyÁt tÁt khá lãn so vãi tång dân sá trong khu vďc châu Á-Thái Bình D°¢ng, có khoÁng 6,2 triÉu ng°åi khuyÁt tÁt, chiÁm 7,06% dân sá t 2 tuồi trỗ lờn, trong ú cú 58% là nč, 28,3% là trẻ em, gần 29% là ng°åi khuyÁt tÁt nÁng và đÁc biÉt nÁng [2]. Ngoài ra, tháng kê cũng cho thÃy tỷ lÉ ng°åi khuyÁt tÁt vÁn đáng là 29,41%, khuyÁt tÁt nghe nói 9,32%; khuyÁt tÁt nhìn 13,84%, khuyÁt tÁt thần kinh và tâm thần 16,83%, khuyÁt tÁt trí tuÉ 6,52% và khuyÁt tÁt khác 24,08%. Ng°åi khuyÁt tÁt gÁp rÃt nhiÃu khó khn trong cuác sáng, đÁc biÉt đái vãi ng°åi khuyÁt tÁt vÃ vÁn đáng. KhoÁng 7% trong sá nhčng ng°åi khuyÁt tÁt vÃ vÁn đáng trên thÁ giãi cần dùng đÁn xe ln [3]. Thá tr°ång xe ln điÉn đã đ¿t doanh thu 2,89 tỷ USD vào nm 2021 và dď kiÁn đ¿t 5,27 tỷ USD. Thá tr°ång xe ln iẫn d kin s tng trỗng gn 10,76% trong giai đo¿n 2022-2027 [4].

VÁn hành xe ln truyÃn tháng là mát cơng viÉc đầy khó khn đái vãi ng°åi khuyÁt tÁt. Do đó, viÉc sċ dăng xe ln iẫn mang li kh nng cÂ ỏng dầ dng là cần thiÁt. Xe ln điÉn đ°āc trang bá các thiÁt bá cơng nghÉ cao có thÅ giúp cho ng°åi

</div>Trang 26<div class="page_container" data-page="26">

khuyÁt tÁt di chuyÅn mà khơng cần sď trā giúp. Đ¢n giÁn nhÃt là xe ln điÉn đ°āc trang bá mát cần điÃu khiÅn mà ng°åi sċ dăng có thÅ điÃu khiÅn h°ãng di chuyÅn cąa xe ln theo ý muán cąa mình [5]. Trong nhčng nm gần đây, nhiÃu ph°¢ng pháp đã đ°āc giãi thiÉu đÅ phát triÅn hÉ tháng xe ln thông minh đÅ phù hāp vãi ng°åi khuyÁt tÁt. Xu h°ãng phát triÅn có thÅ đ°āc phân lo¿i thành ba lĩnh vďc chính: 1) CÁi tiÁn cơng nghÉ hß trā [6], 2) CÁi tiÁn giao diÉn vÁt lý cąa ng°åi dùng [7], 3) CÁi thiÉn điÃu khiÅn chia sẻ giča ng°åi dùng và máy [8]. Mát trong nhčng vÃn đÃ quan trãng cąa xe ln thông minh là cung cÃp khÁ nng di chuyÅn đác lÁp cho ng°åi tàn tÁt nÁng, nhčng ng°åi không thÅ điÃu khiÅn xe ln bằng cần điÃu khiÅn tiêu chuẩn. Do đó, viÉc phăc hãi khÁ nng vÁn đáng cąa hã có thÅ cÁi thiÉn đáng kÅ chÃt l°āng cuác sáng.

Xe ln thông minh đ°āc phát triÅn phă thc nhiÃu vào tình tr¿ng sćc khße ng°åi dùng, tćc là khÁ nng và khuyÁt tÁt, và khơng có giÁi pháp duy nhÃt phù hāp cho tÃt cÁ ng°åi dùng. BÉnh nhân bá suy yÁu vÁn đáng th°ång thiÁu kiÅm sốt c¢ bÃp và trong tr°ång hāp xÃu nhÃt hã không thÅ cċ đáng cánh tay và chân. ĐÅ hß trā khÁ nng di chuyÅn cąa nhčng bÉnh nhân này, tín hiÉu hoÁc hành đáng tĉ giãng nói, l°ÿi, có thÅ t¿o ra các lÉnh điÃu khiÅn [9, 10]. ĐiÃu h°ãng bằng giãng nói địi hßi mơi tr°ång n tĩnh và có thÅ không tát đÅ sċ dăng trong môi tr°ång ãn ào. H¢n nča, giÁi pháp này đơi khi đ°āc coi là bÃt lách sď khi nói to trong mát khu vďc yên tĩnh. Jin Sun Ju và các cáng sď đã sċ dăng mát camera nhÁn d¿ng các cċ chß trên khn mÁt cąa ng°åi sċ dăng đÅ điÃu khiÅn xe ln đi thẳng, đi lùi, r¿ trái, r¿ phÁi [11]. Trong nghiên cću cąa Y. Zhang và các cáng sď [12], mát camera nhÁn d¿ng các cċ chß cąa bàn tay đÅ điÃu khiÅn h°ãng đi cho xe ln điÉn. Sadi [13] cùng vãi Mhaske và Chhaya.G.Patil [14] dùng camera nhÁn d¿ng sá ngón tay đ°āc gi¢ lên đÅ thďc hiÉn các lÉnh điÃu khiÅn cho xe ln. Mát cách điÃu khiÅn xe ln khác sċ dăng cċ chß cąa ng°åi sċ dăng là nhÁn d¿ng sď di chuyÅn cąa mÃt, vãi đá chính xác phân lo¿i là 99,3% và có thÅ đ°a ra dď đoán trong khoÁng 1,57 ms [15]. MÁc dù các nghiên cću dùng camera đÅ phát hiÉn các cċ chß cąa ng°åi sċ dăng có thåi gian xċ lý nhanh và đá chính xác phân lo¿i cao, nh°ng chß phù hāp vãi mát điÃu kiÉn ánh sáng chuẩn. Đá

</div>Trang 27<div class="page_container" data-page="27">

chính xác s¿ giÁm đáng kÅ khi bá quá sáng hoÁc quá tái, hoÁc vá trí cąa khn mÁt, mÃt, bàn tay bá lÉch khßi vùng ghi hình cąa camera.

Đái vãi viÉc sċ dng EEG trong nhng nm gn õy ó trỗ thnh mát chą đÃ đ°āc quan tâm đÅ điÃu khiÅn máy móc cho nhčng đái t°āng tàn tÁt nÁng khơng thÅ dùng giãng nói hay vÁn đáng các chi hoÁc đầu đÅ ra lÉnh điÃu khiÅn [16]. ĐÅ làm nh° vÁy, các m¿u tín hiÉu EEG cần đ°āc phân lo¿i và nhóm thành các hành đáng dď đánh. Xe ln điÃu khiÅn bằng EEG là thiÁt bá thích hāp cho nhčng bÉnh nhân bá liÉt hồn tồn vãi bá não khße m¿nh đÅ điÃu h°ãng mơi tr°ång cąa hã [17]. Ng°åi sċ dăng s¿ đ°āc gÃn các điÉn cďc lên đầu đÅ thu thÁp các tín hiÉu EEG và truyÃn vÃ máy tính. Tín hiÉu EEG thu đ°āc là d¿ng tín hiÉu ng¿u nhiên khá phćc t¿p, do đó cần sċ dăng các bá lãc và các tht tốn đÅ trích các đÁc tr°ng cąa tín hiÉu, cho biÁt tín hiÉu nào liên quan đÁn ho¿t đáng cąa c¢ thÅ. Nhóm nghiên cću cąa NguyÇn Thanh HÁi [18, 19] thu thÁp tớn hiẫu EEG t hot ỏng ca mt (mỗ mt, chãp mÃt, liÁc trái, liÁc phÁi) và sċ dăng bá lãc Hamming đÅ chia tín hiÉu thành các dÁi tần khác nhau cho tĉng ho¿t đáng. Sau đó, thơng qua m¿ng n¢-ron đÅ hn lun các tín hiÉu thành bán lÉnh điÃu khiÅn cho xe ln nh° đi tãi, đi lùi, r¿ trái, r¿ phÁi vãi tác đá di chuyÅn 5km/h trong môi tr°ång trong nhà. Bên c¿nh đó, các nghiên cću vÃ viÉc sċ dăng tín hiÉu EEG đÅ điÃu khiÅn xe ln cho ng°åi khuyÁt tÁt cũng đ°āc quan tâm phát triÅn vãi măc đích điÃu khiÅn thuÁn tiÉn cho ng°åi sċ dăng vãi chi phí đầu t° thÃp [20]. Tuy nhiên, khi sċ dăng tín hiÉu EEG cho điÃu khiÅn xe ln, ng°åi dùng phÁi có sď kiÅm sốt cÁm xúc và sď tÁp trung tát đÅ điÃu khiÅn hiÉu quÁ. Đây là mát gánh nÁng cho ng°åi dùng mÁc dù ph°¢ng pháp này có thÅ là mát lďa chãn tát cho nhčng ng°åi có c¢ thÅ bá tê liÉt hồn tồn. Có l¿ giÁi pháp tát nhÃt cho tr°ång hāp này là dďa vào các ph°¢ng pháp sċ dăng nhiÃu tín hiÉu tĉ ng°åi dùng và mơi tr°ång xung quanh đÅ phân tích tr°ãc khi đ°a ra lÉnh mong muán [21]. Sċ dăng chiÁn l°āc này, s¿ áp đÁt ít gánh nÁng h¢n cho ng°åi dùng so vãi tr°ång hāp chß dďa vào mát đầu vào.

Nhằm giÁm bãt sď điÃu khiÅn cąa ng°åi dùng và đÁm bÁo an toàn, xe ln đ°āc điÃu khiÅn tď đáng hoÁc bán tď đáng là mát giÁi pháp cần thiÁt. ChÁ đá tď đáng cąa xe ln đãng nghĩa vãi viÉc xe ln phÁi tď di chuyÅn đÁn điÅm đích mà ng°åi sċ dăng

</div>Trang 28<div class="page_container" data-page="28">

mong muán, đãng thåi phÁi tránh đ°āc nhčng ch°ãng ng¿i vÁt trên đ°ång đi. Trong nhčng nm gần đây, đã có nhiÃu ph°¢ng pháp đ°āc áp dăng đÅ xe ln tď hành nh° di chuyÅn theo đ°ång đi đã đ°āc v¿ch s¿n [22], di chuyÅn theo tãa đá sċ dăng đánh vá GPS và bá lãc Kalman [23], di chuyÅn theo bÁn đã [24]. Bên c¿nh đó, xe ln thơng minh cũng đã đ°āc cÁi thiÉn vÃ các bá phÁn điÃu h°ãng, chẳng h¿n nh° tď đáng tránh ch°ãng ng¿i vÁt, ph°¢ng thćc giao tiÁp giča ng°åi dùng và hÉ tháng điÃu khiÅn và sď thích ćng vãi mćc đá khuyÁt tÁt [25]. Trong thÁp kỷ qua, mát sá thuÁt toán điÃu h°ãng đã đ°āc nghiên cću cho các xe ln điÉn thông minh và hầu hÁt trong sá các nghiên cću này sċ dăng các cÁm biÁn khác nhau đÅ phát hiÉn và tránh ch°ãng ng¿i vÁt. Xe ln đ°āc phát triÅn cho ng°åi cao tuåi và có thÅ nhÁn ra các ch°ãng ng¿i vÁt khác nhau bằng cách sċ dăng cÁm biÁn siêu âm [26]. Tĉ đó, ph°¢ng pháp kÁt hāp các cÁm biÁn s¿ hß trā ng°åi dùng điÃu h°ãng trong các không gian hẹp. Xe ln điÉn đ°āc thiÁt kÁ có khÁ nng tránh ch°ãng ng¿i vÁt và tď đáng i n cỏc im ớch c chón bỗi ngồi dùng [27, 28]. Xe ln này sċ dăng mát hÉ tháng điÃu khiÅn an toàn DSS đã đ°āc triÅn khai đÅ hß trā cho ng°åi dùng khiÁm thá và cho phép xe ln di chuyÅn theo mát bćc t°ång và v°āt qua các cċa bên trong tòa nhà. Malek Njah [29] đã sċ dăng đãng thåi bá điÃu khiÅn må đÅ tránh ch°ãng ng¿i vÁt và bá lóc Kalman mỗ rỏng tồng hp d liẫu tĉ cÁm biÁn siêu âm và encoder mang l¿i đá chính xác cao cho hÉ tháng đánh vá. MÁc dù, kỹ thuÁt tång hāp dč liÉu tĉ nhiÃu lo¿i cÁm biÁn giúp cÁi thiÉn đá chính xác cąa dč liÉu và thông tin thu thÁp đ°āc, nh°ng đÅ triÅn khai và duy trì mát hÉ tháng kÁt hāp nhiÃu cÁm biÁn có thÅ tán kém vì u cầu phần cćng và phần mÃm phćc t¿p. H¢n nča, viÉc xċ lý và kÁt hāp dč liÉu tĉ nhiÃu ngn có thÅ t¿o ra đá trÇ trong viÉc tính tốn, điÃu này là quan trãng trong các ćng dăng yêu cầu đá phÁn ćng nhanh [30, 31].

ĐiÃu h°ãng dďa trên thá giác máy ngày càng đ°āc sď chú ý m¿nh m¿ nh° là mát giÁi pháp thay thÁ cho điÃu h°ãng dďa trên cÁm biÁn. Các ph°¢ng pháp này đ°āc phân lo¿i thành các ph°¢ng pháp dďa trên thá giác lÁp thÅ (stereovision) và thá giác mát mÃt (monocular vision). Các ph°¢ng pháp sċ dăng các kỹ thuÁt stereovision phân biÉt ch°ãng ng¿i vÁt bằng cách sċ dăng thông tin đá sâu ba chiÃu [32]. H¿n chÁ đáng

</div>Trang 29<div class="page_container" data-page="29">

kÅ cąa các ph°¢ng pháp này là thåi gian tính tốn nhiÃu và chi phí phần cćng cao. Ng°āc l¿i, các hÉ tháng điÃu h°ãng dďa trên monocular vision sċ dăng các kỹ thuÁt xċ lý Ánh đÅ nhÁn biÁt các ch°ãng ng¿i vÁt, liên quan đÁn tÃt cÁ các vÁt thÅ khác nhau trong môi tr°ång [33]. Gần đây, LiDAR và camera ngày càng đ°āc sċ dăng nhiÃu do khÁ nng cung cÃp thông tin 3 chiÃu (3D) vÃ môi tr°ång so vãi các lo¿i cÁm biÁn khác chß cung cÃp thơng tin 2 chiÃu (2D) nh° siêu âm, laser 2D. LiDAR cung cÃp thơng tin 3D chính xác vãi khng cách xa so vói camera do ớt bỏ nh hỗng bỗi điÃu kiÉn ánh sáng cąa môi tr°ång xung quanh, trong khi đó camera có thÅ cung cÃp nhiÃu thơng tin vÃ mơi tr°ång h¢n nh° hình Ánh, màu sÃc, và ngč nghĩa [34]. Ngồi ra, LiDAR có giá thành cao h¢n nhiÃu so vãi camera. Nhóm nghiên cću cąa J. Hoey [35] và nhóm cąa Jordan S. Nguyen [36] đã sċ dăng camera vãi các thuÁt toán áp dăng vào viÉc phát hiÉn vÁt cÁn, tìm khoÁng tráng đÅ xe ln điÉn v°āt qua vÁt cÁn. HÉ tháng này có thÅ giúp ng°åi sċ dăng cÁm thÃy an tồn h¢n khi di chun trong khu vďc có nhiÃu ch°ãng ng¿i vÁt.

Lĩnh vďc v¿ bÁn đã và đánh vá đã và đang đ°āc nghiên cću ráng rãi cho xe ln hay robot tď hành. Xe ln hay robot tď hành phÁi đ°āc cung cÃp chi tiÁt vÃ bÁn đã di chuyÅn đÅ có thÅ đ°āc đánh vá trong khơng gian di chuyÅn. H¢n nča, tãa đá hiÉn t¿i cąa xe ln hay robot c dựng lm cÂ sỗ thu thp thêm nhčng thơng tin mãi trong q trình di chuyÅn [37]. Các thuÁt toán v¿ bÁn đã dần đ°āc phát triÅn nh° tht tốn bÁn đáa hóa và bÁn đã hóa đãng thåi (SLAM) đ°āc áp dăng đÅ v¿ bÁn đã 3D [38]. ĐÅ đánh vá xe ln hay robot trong khơng gian di chun, có nhiÃu ph°¢ng pháp đ°āc thďc hiÉn. Đầu tiên là nhčng ph°¢ng pháp đánh vá 2D sċ dăng nhčng thơng tin khoÁng cách thu vÃ tĉ sóng Wifi [39], cÁm biÁn laser kÁt hāp vãi RFID [40], đánh vá bằng ph°¢ng pháp tìm nhčng đ°ång thẳng t°¢ng đãng trong khơng gian 2D [41]. HiÉn nay, các ph°¢ng pháp xċ lý Ánh dần đ°āc sċ dăng trong đánh vá robot [42]. Ph°¢ng pháp xċ lý Ánh đ°āc sċ dăng đÅ nhÁn biÁt các vÁt mác nhân t¿o cá đánh đ°āc xây dďng s¿n trong không gian di chuyÅn [43], tĉ đó áp dăng vào viÉc xác đánh vá trí hiÉn t¿i cąa xe ln trên mát bÁn đã đã đ°āc xây dďng tr°ãc trong quá trình di chuyÅn. Alcantarilla và các cáng sď đÃ xuÃt ph°¢ng pháp m¿nh m¿ và nhanh chóng đánh vá

</div>Trang 30<div class="page_container" data-page="30">

cho xe ln dďa vào thá giác máy tính, trong đó các đÁc tr°ng cąa hình Ánh đ°āc trích xuÃt, kÁt hāp vãi các thành phần bÁn đã đÅ đ°a ra vá trí hiÉn t¿i cąa robot tď hành [44]. Trong thďc tÁ, bÁn đã hóa cho robot di đáng trong mơi tr°ång là mát thách thćc lãn do dč liÉu thu đ°āc tĉ mơi tr°ång và tht tốn đ°āc áp dăng trên chúng [45, 46]. Vãi các robot di đáng dďa trên thơng tin mang tính b°ãc ngt, viÉc chãn các vÁt mác nh° cċa ra vào, cầu thang, t°ång, trần nhà, sàn nhà và trích xuÃt các đÁc tr°ng cąa chúng đÅ nhÁn d¿ng đóng vai trị quan trãng [47, 48]. Do đó, đÅ phát hiÉn các đái t°āng dďa trên các đÁc tr°ng, ng°åi ta có thÅ dďa trên màu sÃc, kÁt cÃu, đá sáng, kích th°ãc đái t°āng.

Tĉ các phân tích trên, sď kÁt hāp cąa mát chiÁc xe ln điÉn, hÉ tháng máy tính, thiÁt bá thu thÁp tín hiÉu điÉn não EEG, hÉ tháng camera 3D và bÁn đã cần thiÁt đ°āc nghiên cću đÅ cho phép ng°åi sċ dăng xe ln cÁm thÃy thuÁn lāi h¢n trong viÉc điÃu khiÅn và an tồn h¢n khi di chun trong mơi tr°ång trong nhà. Ng°åi khut tÁt có thÅ tď điÃu khiÅn xe ln thơng qua tín hiÉu EEG, tránh vÁt cÁn tď đáng trong nhčng tr°ång hāp khẩn cÃp khi ng°åi sċ dăng không thÅ phÁn ćng káp thåi thông qua hÉ tháng camera. Vãi hÉ tháng camera và bÁn đã, xe ln có thÅ nhÁn d¿ng vÁt mác, tính tốn khng cách và góc lÉch giča vÁt mác và đánh vá trên bÁn đã dďa vào vÁt mác. Vãi vá trí đ°āc xác đánh trên bÁn đã, xe ln có thÅ đ°a ra quyÁt đánh di chuyÅn phù hāp đÅ đÁn đích mong mn.

❖ CÁC K¾T Q TRONG VÀ NGỒI N¯àC ĐÃ Đ¯ĀC CƠNG Bà

ĐÅ hß trā nhčng ng°åi gÁp vÃn đÃ nghiêm trãng vÃ di chuyÅn giÁm bãt hoÁc lo¿i bß viÉc điÃu khiÅn xe ln điÉn, đã có nhiÃu cơng trình nghiên cću trong và ngồi n°ãc nghiên cću vÃ công nghÉ xe ln thông minh. D°ãi đây trình bày tóm tÃt mát sá kÁt quÁ nghiên cću đã đ°āc thďc hiÉn.

Trong đÃ tài nghiên cću Phát triÃn xe ln đián thông minh dùng kÿ thu¿t đián não EEG và cÁm bi¿n camera cho ng°ãi tàn t¿t n¿ng cąa TiÁn sĩ NguyÇn

Thanh HÁi nm 2013, mát mơ hình xe ln bán tď đáng đ°āc thiÁt kÁ bao gãm sď kÁt hāp giča ng°åi điÃu khiÅn bằng điÉn não EEG và chÁ đá điÃu khiÅn tď đáng tránh vÁt

</div>Trang 31<div class="page_container" data-page="31">

cÁn [49]. ĐÃ tài sċ dăng tín hiÉu EEG trong điÃu khiÅn các chuyÅn đáng đi tãi - lui hoÁc r¿ trái - phÁi cąa xe ln dďa vo chóp mt-mỗ mt hay lic mt trỏi - phi. Trong quá trình di chuyÅn, nhčng lÉnh điÃu khiÅn cąa ng°åi sċ dăng bằng điÉn não có thÅ khơng chÃc chÃn. ĐiÃu này có nghĩa là ng°åi sċ dăng khơng đ°āc an tồn vì có thÅ va ch¿m vào vÁt cÁn trên đ°ång đi. Do đó, mát khoÁng cách an toàn giča camera và xe ln đ°āc cài đÁt tr°ãc và xe ln luôn đ°āc camera dũ tỡm cỏc vt cn ỗ phớa tróc tránh va ch¿m nÁu quá gần. ĐÅ cung cÃp thông tin 3D cho phát hiÉn khoÁng tráng và nhčng vÁt cÁn, hÉ tháng stereo camera <Bumblebee= đ°āc gÃn trên mát chiÁc xe ln điÉn. Că thÅ, mát thuÁt toán tång sai lÉch tuyÉt đái đ°āc sċ dăng đÅ tính tốn sai lÉch tái °u giča vá trí cąa mát điÅm Ánh trên Ánh trái và Ánh phÁi tĉ stereo camera. Dďa vào sď sai lÉch này, bÁn đã điÅm 3D và bÁn đã khoÁng cách 2D đ°āc t¿o ra cho măc đích tìm khng tráng và tránh vÁt cÁn.

LuÁn án tiÁn sĩ cąa tác giÁ Lâm Quang Chuyên vãi đÃ tài <M¿ng neural trong

há tháng điÁu khiÃn xe ln cho ng°ãi tàn t¿t n¿ng sċ dăng đián não (EEG) và camera= thďc hiÉn nm 2020 đã phân tích ba ph°¢ng pháp tiÃn xċ lý tín hiÉu tĉ EEG,

dùng biÁn đåi Fourier, phép biÁn đåi Wavelet, thuÁt toán biÁn đåi Hilbert Huang (HHT), đÅ biÁn đái thành 5 d¿ng sóng c¢ bÁn Delta, Theta, Alpha, Beta, Gamma, sau đó sċ dăng kỹ thuÁt gom căm dč liÉu tr°ãc khi đ°a vào m¿ng neuron đÅ phân lo¿i thành 5 tín hiÉu mong muán chuyÅn đáng [50]. Các m¿ng n¢-ron đ°āc thċ nghiÉm tĉ m¿ng đ¢n lãp đÁn m¿ng đa lãp că thÅ trong luÁn án này là 3 lãp. HÉ tháng xċ lý tín hiÉu EEG bằng tiÃn xċ lý HHT, dùng m¿ng n¢-ron cùng vãi camera đ°āc thċ nghiÉm trên mơ hình thďc tÁ điÃu khiÅn xe ln đã cho nhčng kÁt quÁ chính xác tát nhÃt đÁn 92,4% đái vãi nhóm 20 ng°åi đ°āc chãn cho thďc nghiÉm.

Bên c¿nh các nghiên cću trong n°ãc vÃ xây dďng hÉ tháng xe ln dùng tín hiÉu EEG và cÁm biÁn, các nghiên cću trên thÁ giãi cũng đã đÃ xt nhiÃu mơ hình kÁt hāp điÃu khiÅn hoÁc chia sẻ quyÃn điÃu khiÅn xe ln cho ng°åi khuyÁt tÁt. Trong nghiên cću nm 2016, Ana Lopes đã đÃ xt mát mơ hình chia sẻ điÃu khiÅn giča hÉ tháng giao tiÁp giča não ng°åi và máy tính (BCI) P300 và thuÁt toán lÁp kÁ ho¿ch đÅ điÃu khiÅn xe ln điÉn trong môi tr°ång thďc tÁ trong nhà và theo thåi gian thďc [51].

</div>Trang 32<div class="page_container" data-page="32">

Công că lÁp kÁ ho¿ch đ°ång d¿n toàn căc 3D dďa trên tht tốn A* cÁi tiÁn, sau đó nái suy ồng dn c to bỗi cỏc im tham chiu 3D (xi, yi,θi). Công că lÁp kÁ ho¿ch đ°ång d¿n tồn căc 3D chß ho¿t đáng khi măc tiêu đ°āc cung cÃp. Công că lÁp kÁ ho¿ch căc bá sċ dăng ph°¢ng pháp cċa så đáng đơi (D-DWA), tht tốn này có đ°āc bằng cách áp dăng ph°¢ng pháp cċa så đáng (DWA) t¿i hai lần điÃu khiÅn khác nhau. Bá điÃu khiÅn chia sẻ cho phép ng°åi sċ dăng chß cần ra mát lÉnh điÃu khiÅn nh° đi thẳng, r¿ trái, r¿ phÁi, quay l¿i mà không yêu cầu phÁn ćng liên tăc hoÁc theo thåi gian. HÉ tháng s¿ v¿n ho¿t đáng mà khơng đÁt ng°åi điÃu khiÅn vào tình hng nguy hiÅm trong tr°ång hāp ng°åi điÃu khiÅn không thÅ phÁn hãi vì bÁn thďc hiÉn các nhiÉm vă khác. Trong nghiên cću khác nm 2016 cąa Zhijun Li, mát ph°¢ng pháp điÃu khiÅn kÁt hāp giča ng°åi và máy đ°āc đÃ xuÃt đÅ điÃu khiÅn chuyÅn h°ãng cąa xe ln, bao gãm chÁ đá điÃu khiÅn BCI và chÁ đá điÃu khiÅn tď đáng [52]. Trong chÁ đá điÃu khiÅn BCI, mát giao diÉn não ng°åi và máy tính sċ dăng ph°¢ng pháp phát hiÉn sď tÁp trung ån đánh vào hình Ánh trên giao diÉn máy tính (SSVEP) đ°āc trình bày. Trong chÁ đá điÃu khiÅn tď đáng, kỹ thuÁt tr°ång tiÃm nng dďa trên góc (APF) và kỹ thuÁt SLAM dďa trên thá giác máy tính đ°āc đÃ xuÃt đÅ h°ãng d¿n xe ln điÃu h°ãng giča các ch°ãng ng¿i vÁt.

Jingsheng Tang đã đÃ xuÃt mát cÃu trúc di đáng cÁi tiÁn đ°āc trang bá cho xe ln bao gãm cánh tay robot nhẹ, mô-đun nhÁn d¿ng măc tiêu và mô-đun điÃu khiÅn tď đáng trong nghiên cću cąa mình nm 2018 [53]. Dďa trên tht tốn YOLO, trong thåi gian thďc, hÉ tháng này có thÅ nhÁn d¿ng và đánh vá các măc tiêu trong môi tr°ång bằng camera Kinect và ng°åi dùng xác nhÁn mát măc tiêu thông qua giao diÉn BCI 3 P300. HÉ tháng dùng cÁm biÁn LIDAR đÅ t¿o ra mát bÁn đã, dùng ph°¢ng pháp DWA lÁp kÁ ho¿ch đ°ång đi căc bá cho xe ln, và cơng că lÁp kÁ ho¿ch đ°ång đi tồn căc dďa trên tht tốn A*. Trong q trình di chun, măc tiêu cũng đ°āc theo dõi bằng cách sċ dăng kỹ tht theo dõi hình Ánh. Mơ-đun nhÁn d¿ng măc tiêu s¿ nhÁn d¿ng và đánh vá măc tiêu trong môi tr°ång trďc tuyÁn, ng°åi dùng xác nhÁn mát măc tiêu bằng cách chãn măc tiêu này trďc tiÁp thông qua hÉ tháng BCI và

</div>Trang 33<div class="page_container" data-page="33">

mô-đun điÃu h°ãng tď đáng điÃu khiÅn xe ln đÁn đích đ°āc chß đánh. Ngồi ra, xe ln còn đ°āc trang bá mát cánh tay robot nhẹ giúp ng°åi dùng lÃy các đã vÁt.

Vãi nhčng °u điÅm cąa viÉc sċ dăng tín hiÉu EEG, camera, vÁt mác và bÁn đã cho xe ln điÉn bán tď đáng, đÃ tài <K¿t hāp tín hiáu EEG, Stereo camera và

v¿t mác đÃ đßnh vß, điÁu khiÃn xe ln đián đ¿n đích dďa vào bÁn đã= đ°āc lďa

chãn đÅ nghiên cću.

❖ CÂU TRÚC Hà THàNG XE LN ĐIàN K¾T HĀP TÍN HIàU EEG, CAMERA, V¾T MàC VÀ BÀN Đâ

Sď kÁt hāp cąa mát chiÁc xe ln điÉn, hÉ tháng máy tính, thiÁt bá thu thÁp tín hiÉu điÉn não EEG, hÉ tháng camera 3D và bÁn đã cho phép ng°åi sċ dăng xe ln cÁm thÃy thuÁn lāi h¢n trong viÉc điÃu khiÅn và an tồn h¢n khi di chun trong môi tr°ång trong nhà. Ng°åi khuyÁt tÁt lďa chãn đích đÁn thơng qua tín hiÉu EEG và giao diÉn BCI. Vãi hÉ tháng camera và bÁn đã, xe ln có thÅ nhÁn d¿ng các vÁt mác trong mơi tr°ång và xác đánh vá trí hiÉn t¿i trên bÁn đã trong q trình di chun. Vá trí hiÉn t¿i và đích đÁn cąa xe ln s¿ đ°āc cung cÃp cho hÉ tháng điÃu khiÅn tď đáng đÅ lÁp lá trình. Ngồi ra, trong q trình di chuyÅn, xe ln có thÅ tránh vÁt cÁn tď đáng thơng qua hÉ tháng camera. Q trình thu thÁp dč liÉu tĉ camera, tín hiÉu EEG và bÁn đã đÅ điÃu khiÅn xe ln điÉn đ°āc thďc hiÉn nh° hình 1.1.

Hình 1.1. S¡ đồ khối quá trình điều khiển xe lăn điện dựa vào tín hiệu EEG, camera, vật mốc và bÁn đồ.

</div>Trang 34<div class="page_container" data-page="34">

1.2. MĂC TIÊU NGHIÊN CĆU CĄA LU¾N ÁN

Măc tiêu cąa luÁn án là thiÁt kÁ và xây dďng hÉ tháng điÃu khiÅn bán tď đáng cho xe ln điÉn trong môi tr°ång trong nhà dďa vào sď kÁt hāp tín hiÉu điÉn não EEG, hÉ tháng camera, vÁt mác và bÁn đã nhằm giÁm mćc đá điÃu khiÅn ng°åi khuyÁt tÁt và tng đá an tồn. ĐÅ thďc hiÉn đ°āc măc tiêu chính này, các măc tiêu că thÅ cần thďc hiÉn là:

1. ThiÁt kÁ mát giao diÉn giao tiÁp giča ng°åi và máy tính thơng qua tín hiÉu EEG tĉ ho¿t đáng nháy mÃt đÅ chãn đích đÁn mong muán. Tr°ãc tiên, các thành phần c¢ bÁn cąa mát tín hiÉu EEG cąa ho¿t đáng nháy mÃt đ°āc phân tích chi tiÁt. Tĉ đó xây dďng mát bá lãc nhiầu v lm trÂn tớn hiẫu EEG, cng nh trớch xuÃt các thành phần đÁc tr°ng cąa tín hiÉu đÅ có đ°āc mát tín hiÉu EEG cąa ho¿t đáng nháy mÃt tát nhÃt. Cuái cùng, các bá phân lo¿i các ho¿t đáng nháy mÃt tĉ tín hiÉu EEG vãi đá chính xác cao và thåi gian xċ lý nhanh, và sau đó gán các lÉnh điÃu khiÅn giao tiÁp vãi máy tính, cũng cần đ°āc nghiên cću thiÁt kÁ.

2. ĐÃ xuÃt ph°¢ng pháp đánh vá xe ln điÉn trên bÁn đã dďa vào vá trí các vÁt mác trong môi tr°ång. ĐÅ thďc hiÉn viÉc này, các vÁt mác vãi thơng tin vá trí cąa nó trong mơi tr°ång cần phÁi đ°āc thu thÁp. Do đó, ph°¢ng pháp nhÁn biÁt các vÁt mác trong môi tr°ång tď nhiên và xác đánh vá trí cąa vÁt mác cần đ°āc nghiên cću. H¢n na, vói cÂ sỗ d liẫu v vt mỏc ó thu thÁp đ°āc, ph°¢ng pháp đánh vá vá trí cąa xe ln trên bÁn đã vãi đá chính xác cao cũng cần đ°āc đÃ xuÃt nghiên cću.

3. Xây dďng mơ hình điÃu khiÅn bán tď đáng cho xe ln đÁn đích mong mn, trong đó giÁm thiÅu tái đa sď điÃu khiÅn cąa ng°åi sċ dăng. Că thÅ, vãi vá trí cąa xe ln đã đ°āc xác đánh dďa vào các vÁt mác và vá trí điÅm đích mà ng°åi dùng lďa chãn, mát ph°¢ng pháp điÃu khiÅn tď đáng vãi tính ån đánh và đá an toàn cao đ°āc đÃ xuÃt nghiên cću.

1.3. ĐàI T¯ĀNG VÀ PH¾M VI NGHIÊN CĆU

▪ Đái t°āng nghiên cću

− Nghiên cću ph°¢ng pháp phân lo¿i ho¿t đáng nháy mÃt tĉ tín hiÉu EEG.

</div>Trang 35<div class="page_container" data-page="35">

− Nghiên cću thuÁt toán nhÁn d¿ng vÁt mác trong môi tr°ång tď nhiên. − Nghiên cću thuÁt toán đánh vá dďa vào vÁt mác trong môi tr°ång tď nhiên. − Nghiên cću thuÁt toán điÃu khiÅn tď đáng cho xe ln dďa vào sď kÁt hāp tín

hiÉu EEG, vÁt mác và bÁn đã. ▪ Ph¿m vi nghiên cću

− LuÁn án tÁp trung nghiên cću hÉ tháng điÃu khiÅn xe ln điÉn trong không gian trong nhà, vãi ng°åi sċ dăng là nhčng ng°åi khuyÁt tÁt bá h¿n chÁ vÁn đáng tay, chân hoÁc u nhng mt vn cũn khòe.

1.4. CCH TIắP C¾N VÀ PH¯¡NG PHÁP NGHIÊN CĆU

Dďa trên đái t°āng nghiên cću, cũng nh° măc tiêu đã đ°āc đÁt ra cąa luÁn án. Cách tiÁp cÁn và ph°¢ng pháp nghiên cću trong luÁn án này đ°āc mô tÁ theo tĉng b°ãc că thÅ nh° bên d°ãi:

- Ph°¢ng pháp khÁo sát lý thut: tìm hiÅu, phân tích và tồng hp cỏc cÂ sỗ lý thuyt liờn quan đÁn luÁn án cũng nh° tång hāp ph°¢ng pháp và kÁt q cąa các cơng trình nghiên cću tr°ãc đó đã đ°āc cơng bá trong và ngồi n°ãc vÃ điÃu khiÅn xe ln điÉn trong môi tr°ång trong nh. T nhng cÂ sỗ lý thuyt c kho sỏt và phân tích s¿ là tiÃn đÃ cho viÉc xây dďng măc tiêu nghiên cću.

- Ph°¢ng pháp tính tốn, thiÁt kÁ và hiÉu chßnh: tĉ nhčng lý thut liên quan đ°āc khÁo sát, mát hÉ tháng s¿ đ°āc tính tốn và thiÁt kÁ đÅ điÃu khiÅn xe ln điÉn. Quá trình thiÁt kÁ s¿ đ°āc kiÅm tra và hiÉu chßnh đÅ đ¿t đ°āc kÁt quÁ tát nht.

- PhÂng phỏp mụ phòng: t hẫ thỏng c thit k, s dng cỏc chÂng trỡnh mụ phòng có đá tin cÁy cao đÅ đánh giá hÉ tháng.

- Ph°¢ng pháp phân tích và tång hāp: tång hāp kÁt quÁ đã đ¿t đ°āc trong luÁn án và so sánh vãi các kÁt quÁ đã đ°āc công bá tr°ãc đó đÅ bình ln và phân tích °u nh°āc điÅm cąa ph°¢ng pháp đ°āc đÃ xuÃt trong luÁn án.

</div>Trang 36<div class="page_container" data-page="36">

- Ph°¢ng pháp thďc nghiÉm: tiÁn hành các thí nghiÉm trong mơi tr°ång thďc đÅ quan sát, thu thÁp thơng tin, tĉ đó kiÅm chćng và đánh giá tính thďc tÁ cąa các ph°¢ng pháp đ°āc đÃ xuÃt trong luÁn án.

1.5. ĐĨNG GĨP VÀ KHOA HàC CĄA LU¾N ÁN

❖ Đóng góp mái vÁ khoa hác cąa lu¿n án

LuÁn án tÁp trung vào nghiên cću xây dďng mơ hình hÉ tháng điÃu khiÅn bán tď đáng cho xe ln điÉn trong môi tr°ång trong nhà dďa vào sď kÁt hāp tín hiÉu điÉn não EEG, hÉ tháng camera, vÁt mác và bÁn đã nhằm giÁm mćc đá điÃu khiÅn ng°åi khuyÁt tÁt và tng đá an tồn. Vì vÁy, nhčng đóng góp mãi vÃ mÁt khoa hãc cąa luÁn án gãm:

- ĐÃ xuÃt ph°¢ng pháp phân lo¿i tín hiÉu EEG cąa ho¿t đáng nháy mÃt dďa vào ng°ÿng biên đá và ph°¢ng pháp phân lo¿i tín hiÉu EEG cąa ho¿t đáng nháy mÃt dďa vào m¿ng hãc sâu CNN-1D. Că thÅ, tín hiÉu EEG cąa ho¿t đáng nháy mÃt đ°āc thu thÁp và tiÃn xċ lý s¿ đ°āc thu thÁp cho q trình phân lo¿i. Ph°¢ng pháp phân lo¿i tín hiÉu EEG cąa ho¿t đáng nháy mÃt dďa vào ng°ÿng biên đá cho phép xċ lý trďc tiÁp tín hiÉu EEG vãi thåi gian ngÃn và đá chính xác cao. Vãi mơ hình m¿ng hãc sâu CNN-1D, dč liÉu cần đ°āc thu thÁp tr°ãc cho quá trình huÃn luyÉn. Tuy nhiên, m¿ng CNN-1D cho phép phân lo¿i đ°āc nhiÃu lo¿i nháy mÃt h¢n, vãi đá chính xác cao h¢n.

- ĐÃ xuÃt ph°¢ng pháp nhÁn d¿ng vÁt mác tď nhiên và xác đánh vá trí vÁt mác trong mơi tr°ång trong nhà. Trong q trình di chuyÅn, vãi ph°¢ng pháp này, các vÁt mác không cần phÁi đ°āc hãc tr°ãc mà xe ln s¿ tď nhÁn biÁt và lďa chãn vÁt mác dďa vào mÁt đá đÁc tr°ng cąa các đái t°āng có trong Ánh mơi tr°ång. Tĉ đó, xe ln s¿ tính tốn vá trí cąa vÁt mác, và sau đó thu thp vo cÂ sỗ d liẫu. Quỏ trỡnh thu thÁp các vÁt mác và thơng tin vá trí cąa nó đ°āc thďc hiÉn vãi thåi gian ngÃn vãi ỏ chớnh xỏc cao, lm cÂ sỗ cho viẫc đánh vá xe ln trên bÁn đã.

</div>Trang 37<div class="page_container" data-page="37">

- Vãi thông tin cąa vÁt mác, luÁn án đÃ xuÃt ph°¢ng pháp đánh vá xe ln trên bÁn đã l°ãi 2D Áo, giúp cho quá trình điÃu khiÅn xe ln đÁn đích đ°āc chính xác và nhanh chóng h¢n. Că thÅ, bằng viÉc xây dďng mát bÁn đã l°ãi 2D Áo tĉ môi tr°ång thďc vãi các ô tráng và ô vÁt cÁn, xe ln cần đ°āc xác đánh vá trí đÅ hÉ tháng điÃu khiÅn đÃ xuÃt đ°ång đi tái °u đÁn đích. Vá trí này đ°āc tính tốn tĉ vá trí cąa vÁt mác trong không gian môi tr°ång và trong không gian 3D cąa camera. ViÉc sċ dăng mát vÁt mác đÅ đánh vá xe ln đ°āc kiÁn nghá vì cho đá chính xác cao h¢n so vãi viÉc dùng 3 vÁt mác.

- ĐÃ xt mơ hình điÃu khiÅn thďc - Áo cho xe ln điÉn bán tď đáng. Trong đó, mơ hình DQNs-PreLU đ°āc kiÁn nghá đÅ huÃn luyÉn tìm đ°ång đi tái °u cho xe ln dďa vào bÁn đã l°ãi 2D Áo. Mơ hình DQNs-PreLU vãi các thơng sá đďa lďa chãn giúp giÁm thåi gian huÃn luyÉn nh°ng v¿n đÁm bÁo đá chính xác. H¢n nča, tht tốn điÃu khiÅn xe ln trong môi tr°ång thďc tĉ các đ°ång đi mơ phßng trên bÁn đã l°ãi cũng đ°āc đÃ xuÃt.

❖ Ý ngh*a thďc tißn cąa lu¿n án

Vãi các phân tích vÃ tính cÃp thiÁt đã c trỡnh by ỗ phn trờn, lun ỏn cú ý nghĩa thďc tiÇn trong viÉc xây dďng mát mơ hình xe ln điÉn bán tď đáng cho nhčng ng°åi khuyÁt tÁt bá h¿n chÁ vÃ vÁn đáng tay, chân hc đầu nh°ng mÃt v¿n cịn khße. Că thÅ, mơ hình xe ln điÉn bán tď đáng vãi sď kÁt hāp cąa giao diÉn giao tiÁp giča ng°åi và máy tính thơng qua tín hiÉu EEG cho phép ng°åi dùng chãn đích đÁn mong muán, và ph°¢ng pháp điÃu khiÅn xe ln tď đáng dďa vào bÁn đã l°ãi 2D, camera và các vÁt mác trong mơi tr°ång trong nhà s¿ có ý nghĩa quan trãng trong viÉc giÁi quyÁt các vÃn đÃ sau: (1) GiÁm nß lďc điÃu khiÅn xe ln cąa ng°åi khuyÁt tÁt; (2) ĐÁm bÁo an toàn trong quá trình di chuyÅn; (3) GiÁm giá thành sÁn phẩm vãi viÉc sċ dăng phần cćng có chi phí thÃp v phn mm mó nguón mỗ; (4) Hẫ thỏng c thiÁt kÁ có tính di đáng cho ng°åi dùng. Ngồi ra, kÁt q nghiên cću cịn đ°āc áp dăng đÅ giÁng d¿y cho các sinh viên chuyên ngành Kỹ ThuÁt Y Sinh t¿i Bá Môn ĐiÉn Tċ Công NghiÉp 3 Y Sinh cąa Tr°ång Đ¿i Hãc S° Ph¿m Kỹ ThuÁt Tp.HCM.

</div>Trang 38<div class="page_container" data-page="38">

1.6. CU TRC CA LUắN N

ChÂng 1: Tồng quan, chÂng này giãi thiÉu tång quan vÃ đÃ tài, măc tiêu, đái t°āng nghiên cću, ph°¢ng pháp nghiên cću, các đóng góp mãi vÃ khoa hãc.

Ch°¢ng 2: C¢ så lý thuy¿t, ch°¢ng này trình bày các vÃn đÃ liên quan đÁn

viÉc thiÁt kÁ mát hÉ tháng xe ln điÉn bán tď đáng cho ng°åi khuyÁt tÁt. Că thÅ, giao tiÁp giča não ng°åi và máy tính BCI thơng qua viÉc sċ dăng tín hiÉu điÉn não EEG và các ćng dăng cąa nó trong thiÁt kÁ mơ hình xe ln điÉn cho ng°åi khuyÁt tÁt s¿ đ°āc trình bày. Bên c¿nh đó, các ph°¢ng pháp xây dďng bÁn đã l°ãi 2D môi tr°ång trong nhà và thuÁt toán hãc tng c°ång cho điÃu khiÅn robot di đáng cũng s¿ đ°āc tóm l°āc.

Ch°¢ng 3: Phân lo¿i tín hiáu EEG cąa ho¿t đßng mÁt cho ćng dăng giao ti¿p giča não ng°ãi và máy tính, ch°¢ng này trình bày ph°¢ng pháp phân lo¿i các

ho¿t đáng nháy mÃt dďa vào tín hiÉu EEG. Q trình thu thÁp dč liÉu EEG tĉ thiÁt bá Emotiv Epoc+ đ°āc trình bày bao gãm các ph°¢ng pháp tiÃn xċ lý tín hiÉu, phân tích tín hiÉu và gán nhãn dč liÉu. Ngồi ra, các ph°¢ng pháp phân lo¿i tín hiÉu EEG cąa các ho¿t đáng mÃt cũng đ°āc đÃ xuÃt trong ch°¢ng này bao gãm ph°¢ng pháp phân lo¿i theo ng°ÿng biên đá và ph°¢ng pháp phân lo¿i dďa vào mơ hình m¿ng hãc sâu CNN-1D. Các thí nghiÉm s¿ đ°āc trình bày đÅ đánh giá hiÉu st phân lo¿i tín hiÉu.

Ch°¢ng 4: Nh¿n d¿ng và xác đßnh vß trí v¿t mác tď nhiên trong môi tr°ãng trong nhà, ch°¢ng này trình bày ph°¢ng pháp mÁt đá điÅm đÁc tr°ng lãn

nhÃt đÅ nhÁn biÁt các vÁt mác tď nhiên trong mơi tr°ång trong nhà. H¢n nča, ph°¢ng pháp đánh vá vÁt mác dďa vào vá trí xe ln và thơng tin 3D cąa vÁt mác có đ°āc tĉ camera cũng đ°āc trình bày că thÅ. HiÉu suÃt nhÁn d¿ng vÁt mác đ°āc đo l°ång bằng hÉ sá IOU, và đá chính xác cąa vá trí vÁt mác đ°āc đánh giá thơng qua tính tốn sai sá tut đái và t°¢ng đái giča vá trí thďc và vá trí tính tốn.

Ch°¢ng 5: Mô hknh điÁu khiÃn xe ln đián k¿t hāp tín hiáu EEG và camera dďa vào bÁn đã, ch°¢ng này trình bày mơ hình điÃu khiÅn bán tď đáng có

sď kÁt hāp tín hiÉu EEG, camera, vÁt mác và bÁn đã l°ãi 2D Áo đÅ điÃu khiÅn xe ln

</div>Trang 39<div class="page_container" data-page="39">

đÁn đích mong muán. Mơ hình điÃu khiÅn thďc - Áo bao gãm cơng că lÁp kÁ ho¿ch di chuyÅn (MP) và bá chuyÅn đåi hành đáng cąa xe ln (WAC) đ°āc trình bày. H¢n nča, xe ln cần xác đánh vá trí hiÉn t¿i cąa nó trong cÁ mơi tr°ång thďc và Áo sċ dăng thông tin cąa các vÁt mác tď nhiên. Ngồi ra, mơ hình Deep Q-Networks (DQNs) và bÁn đã l°ãi 2D Áo đÅ ho¿ch đánh đ°ång đi tái °u cho xe ln đ°āc đÃ xuÃt. Sau đó, ph°¢ng pháp điÃu khiÅn xe ln điÉn trong mơi tr°ång thďc cùng vãi các thí nghiÉm mơ phßng và thí nghiÉm trong mơi tr°ång thďc cũng đ°āc trình bày.

Ch°¢ng 6: K¿t lu¿n và h°áng phát triÃn, ch°¢ng này trình bày nhčng kÁt

q đã đ¿t đ°āc cąa luÁn án và đÃ xuÃt ph°¢ng h°ãng phát triÅn các nghiên cću cąa luÁn án trong t°¢ng lai.

</div>Trang 40<div class="page_container" data-page="40">

CH¯¡NG 2

C¡ Sä LÝ THUYắT

ChÂng ny trỡnh by cỏc vn liờn quan đÁn viÉc thiÁt kÁ mát hÉ tháng xe ln điÉn bán tď đáng cho ng°åi khuyÁt tÁt. Că thÅ, giao tiÁp giča não ng°åi và máy tính BCI thơng qua viÉc sċ dăng tín hiÉu điÉn não EEG và các ćng dăng cąa nó trong thiÁt kÁ mơ hình xe ln điÉn cho ng°åi khut tÁt s¿ c trỡnh by. õy l nn tng cÂ sỗ đÅ xây dďng mơ hình điÃu khiÅn xe ln điÉn trong ln án này. Bên c¿nh đó, các ph°¢ng pháp xây dďng bÁn đã l°ãi 2D môi tr°ång trong nhà và các ph°¢ng pháp lÁp kÁ ho¿ch đ°ång đi cũng s¿ đ°āc tóm l°āc, h°ãng đÁn hình thành ph°¢ng pháp điÃu khiÅn xe ln điÉn trong mơi tr°ång trong nhà.

2.1. TäNG QUAN VÀ TÍN HIàU EEG

EEG là tín hiÉu điÉn cąa ho¿t đáng vß nóo c phỏt hiẫn bỗi Hans Berger nm 1924. Tín hiÉu này đ°āc đo bằng mát dăng că đo dòng điÉn vãi điÉn cďc đ°āc gÃn trên đầu và ghi l¿i nhčng dao đáng điÉn. Các ho¿t đáng cąa não có mái liên quan đÁn các tín hiÉu tĉ vß não [54]. Do đó, viÉc phân tích tín hiÉu EEG có thÅ phát hiÉn nhčng bÃt th°ång trong ho¿t đáng cąa não [55]. Tín hiÉu điÉn não có biên đá trong khoÁng 5-200 uV. Tần sá thay đåi trong khoÁng 1-100 Hz. Vì biên đá nhò nờn rt dầ bỏ nhiầu, ch yu l các thành phần tín hiÉu điÉn c¢ (EMG) và tín hiÉu điÉn tim (ECG) [56]. Ph°¢ng pháp đo điÉn não EEG có thÅ phát hiÉn ra nhčng thay đåi trong thåi gian vài mili giây, trong khi đó điÉn thÁ ho¿t đáng truyÃn giča các n¢-ron mÃt xÃp xß tĉ 0,5 - 130 ms nên hồn tồn có thÅ ghi nhÁn đ°āc. Ngồi ra, tín hiÉu EEG cũng cho thÃy sď khác nhau vÃ c°ång đá và vá trí cąa ho¿t đáng t¿i mßi khu vďc cąa não.

Các d¿ng sóng cąa tín hiÉu EEG th°ång đ°āc phân lo¿i theo tần sá, biên đá, hình d¿ng cũng nh° vá trí cąa các điÉn cďc trên da đầu. Sď phân lo¿i cąa các d¿ng

</div>