Tóm tắt luận án Tiến sĩ Kỹ thuật điều khiển và Tự động hóa: Mạng Neural trong hệ thống điều khiển xe lăn cho người tàn tật nặng sử dụng điện não (EEG) và camera

BỘ GIÁO DỤC VÀ ĐÀO TẠO

BỘ GIAO THÔNG VẬN TẢI

TRƯỜNG ĐẠI HỌC GIAO THÔNG VẬN TẢI
TP. HỒ CHÍ MINH

LÂM QUANG CHUYÊN
MẠNG NEURAL TRONG HỆ THỐNG ĐIỀU KHIỂN XE
LĂN CHO NGƯỜI TÀN TẬT NẶNG SỬ DỤNG ĐIỆN
NÃO (EEG) VÀ CAMERA

CHUYÊN NGÀNH
KỸ THUẬT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA
MÃ SỐ: 9520216
NGƯỜI HƯỚNG DẪN KHOA HỌC
PGS. TS. NGUYỄN HỮU KHƯƠNG

PGS. TS. VÕ CÔNG PHƯƠNG

TP. HỒ CHÍ MINH – 03/2020


MỞ ĐẦU
Nghiên cứu tín hiệu điện não là một trong những lĩnh vực được
quan tâm của nhiều nhà khoa học hiện nay, với mục đích là phát triển
ứng dụng hỗ trợ, phát hiện bệnh lý con người như stress, trầm cảm…,
chẩn đoán bệnh (động kinh, alzheimer – hội chứng suy giảm trí nhớ,
chấn thương não), tuy nhiên trong lĩnh vực điều khiển tự động phục
vụ cho con người, đặc biệt là người khuyết tật chưa được nghiên cứu
nhiều.

Trước đây, việc đọc tín hiệu điện não đồ hay điện tim đồ là công
việc của các bác sĩ chuyên khoa thần kinh hay tim mạch, thì ngày nay
với sự phát triển của các công cụ phân tích và xử lý tín hiệu hiện đại
như mạng neural hay hệ thống AI các loại tín hiệu như thế có thể được
xử lý để đưa ra những thông tin phục vụ cho các yêu cầu khác, như để
điều khiển hỗ trợ hoạt động của con người. Vì vậy mục tiêu của luận
án là xây dựng được hệ thống hỗ trợ điều khiển một số hoạt động cơ
bản của con người thông qua tín hiệu điện não, ví dụ như điều khiển
chuyển động của xe lăn cho người tàn tật mất khả năng hoạt động tay
chân, có thể đáp ứng nhu cầu xã hội bức thiết hiện nay.
Nghiên cứu đã phân tích ba phương pháp tiền xử lý tín hiệu từ
EEG, dùng biến đổi Fourier, phép biến đổi Wavelet, thuật toán HHT
(Hilbert Huang Transform), để biến đối thành 5 dạng sóng cơ bản
Delta, Theta, Alpha, Beta, Gamma, sau đó sử dụng kỹ thuật gom cụm
dữ liệu trước khi đưa vào mạng neuron để phân loại thành 5 tín hiệu
mong muốn chuyển động. Các mạng neural được thử nghiệm từ mạng
đơn lớp đến mạng đa lớp cụ thể trong luận án này là 3 lớp.
Hệ thống xử lý tín hiệu EEG bằng tiền xử lý HHT dùng mạng
neural cùng với camera được thử nghiệm trên mô hình thực tế điều
khiển xe lăn mô hình đã cho những kết quả chính xác tốt nhất đến
92,4% đối với nhóm 20 người được chọn cho thực nghiệm. Điều này
thể hiện thành công về ý nghĩa thực tiễn của luận án.

Trang 1


ABSTRACT
Nowadays, EEG signal, one of the most important field was
interested by science researchers, the main purpose research is support
applications devlepment, diagnose and find out pathological of human

as stress, depression, epileptic, alzheimer, brain trauma…, however,
in the field of automatic control serving for human, especially for
disabilities people, has not been studied so much.
For long time ago, recording and processing the EEGs or ECGs
signal was the work of neurologists or cardiologists. Nowadays, with
the development of modern signal processing and analysis tools such
as neural networks and AI systems, such signals can be processed to
meet the other needs, such as the control system support human
acitivites.The goal of this thesis is to build a control system, which
support some basic human activities through EEG signal. For
example, wheelchair equipement control for disabled people, meet
today’s pressing social needs.
The author researched and analyzed three EEG signal preprocessing methods as using Fourier transform, Wavelet transform
and HHT transform, converting EEG signal to 5 basic waves (Delta,
Theta, Alpha, Beta, Gamma), and then using data clustering technical
before put them into input layer of multi neural network. The neural
network was test from single to multi layer (3 layer).
The EEG signal processing system with HHT pre-processing and
image processing using multi neural network to control the wheelchair
model with accuracy rate 92.4% for group 20 students, this shows the
successful in the practical of the thesis.

Trang 2


CẤU TRÚC NỘI DUNG LUẬN ÁN
Chương 1: Tổng quan – Trình bày khái quát tình hình nghiên cứu
tín hiệu điện não EEG trong và ngoài nước, những ứng dụng đã đạt
được hiện nay, phân tích những vấn đề chưa được giải quyết, còn hạn
chế mà trong luận án cần giải quyết, ngoài ra tác giả cũng trình bày

mục đích và phạm vi nghiên cứu, những đóng góp của luận án trong
khoa học và thực tiễn.
Chương 2: Cơ sở lý thuyết – Trình bày những kiến thức cơ bản
liên quan đến luận án: Các phương pháp trích đặc điểm tín hiệu như:
Fourier, Wavelet Transform, HHT…, gom cụm dữ liệu, đến việc phân
loại các đặc tính từng mẫu tín hiệu bằng mạng neural đa lớp.
Chương 3: Xây dựng mô hình – Trình bày quá trình xây dựng
mạng neural đa lớp, việc xây dựng mạng neural đa lớp được tiến hành
từng bước từ việc phân loại 2 mẫu tín hiệu đến phân loại 5 mẫu tín
hiệu. Trong chương này cũng trình bày về việc xử lý tín hiệu điện não
kết hợp với xử lý ảnh thông qua camera. Mỗi kết quả đều có các công
trình nghiên cứu được đăng trên các tạp chí quốc tế hoặc kỷ yếu hội
nghị quốc tế.
Chương 4: Xây dựng phần mềm và phần cứng điều khiển xe lăn
mô hình. Trong chương này tác giả giới thiệu về các chức năng của
phần mềm, xử lý ảnh từ camera để phát hiện sự di chuyển của hướng
mắt kết hợp với việc xử lý tín hiệu điện não EEG để đưa ra kết quả
cuối cùng.
Tác giả cũng trình bày kết quả thực nghiệm, so sánh kết quả thực
nghiệm giữa 2 phương pháp riêng biệt (tín hiệu điện não và xử lý ảnh),
cuối cùng là sự kết hợp giữa 2 phương pháp trên.
Chương 5: Kết luận và kiến nghị – Chương này đánh giá kết quả
đạt được so với yêu cầu của luận án và đề xuất hướng phát triển của
luận án ngày càng hoàn thiện hơn.

Trang 3


CHƯƠNG 1
TỔNG QUAN VỀ TÍN HIỆU ĐIỆN NÃO

1.1

Tình hình nghiên cứu trong nước
Cho đến thời điểm hiện nay, các công trình nghiên cứu về lĩnh
vực điện não ở nước ta chủ yếu tập trung vào hoạt động cơ học như
chớp mắt, di chuyển đầu… việc phát hiện và phân loại được sự kiện
trên được xác định bằng phương pháp ngưỡng biên độ, chưa có đề tài
liên quan đến cảm nhận hình ảnh thông qua hoạt động quan sát của
mắt, việc phân tích tín hiệu EEG thông qua việc quan sát bằng mắt
không thể dùng phương pháp ngưỡng biên độ mà phải phân tích tín
hiệu thành các đặc trưng cơ bản và nhận dạng thông qua mạng neural.
1.2 Tình hình nghiên cứu ngoài nước
Các công trình nghiên cứu được công bố trên các bài báo và tạp
chí nước ngoài tập trung nghiên cứu chủ yếu vào các lĩnh vực như y
sinh: phát hiện stress, trầm cảm, động kinh,… trong lĩnh vực điều
khiển như: đánh vần (spelling), chớp mắt, di chuyển đầu, tính nhẫm,
tưởng tượng chuyển động vật thể… nhưng nhìn chung các công trình
nghiên cứu này thực hiện trên dạng dữ liệu offline, mà chưa tập trung
nhiều đến trích đặc điểm và phát hiện sự kiện theo thời gian thực
(online) phục vụ trong lĩnh vực điều khiển tự động.
1.3 Nội dung thực hiện đề tài
Trong quá trình thực hiện luận án, tác giả dựa vào cơ sở dữ liệu
về tín hiệu điện não EEG có sẵn được cung cấp bởi trường Đại học
San Diego (UCSD) có uy tín của Mỹ, xếp hạng thứ 38 trên thế giới
năm 2018, để xây dựng các giải thuật xử lý và nhận dạng các mẫu tín
hiệu điện não, sau khi đã đánh giá được tính khả thi của của việc nhận
dạng mẫu tín hiệu thông qua mạng neural, tác giả tiến hành thu nhận
5 mẫu tín hiệu điện não thông qua việc quan sát 5 loại hình khác nhau
trên bảng quan sát (con người, thành phố, phong cảnh, bông hoa và
con vật), cái mới cải tiến của luận án so với các công trình trước là tác

giả mạnh dạn sử dụng nhận dạng mẫu tín hiệu EEG trực tuyến có kết
hợp camera để tăng độ chính xác của giải thuật, ngoài ra trong khâu
tiền xử lý tác giả kết hợp giữa trích đặc điểm HHT với giải thuật gom
cụm dữ liệu giúp cho việc nhận dạng thông qua mạng neural được
nhanh hơn sử dụng phương pháp khác như wavelet transform và giúp
cho mạng neural làm việc hiệu quả hơn, chính xác hơn và tránh
overfitting.
Trang 4


1.4

Mục đích nghiên cứu
Tìm ra phương thức thu nhận 5 mẫu tín hiệu điện não EEG một
cách dễ dàng và hiệu quả.
Sử dụng các công cụ toán học để phân tích tín hiệu thành các đặc
trưng cơ bản, sử dụng gom cụm dữ liệu trước khi đưa vào mạng neural
để nhận đạng đối tượng.
Kết hợp giữa tín hiệu camera và tín hiệu điện não để xác định
được thời điểm xuất hiện mẫu tín hiệu chính xác phục vụ cho việc
phân loại và điều khiển xe.
1.5 Đối tượng và phạm vi nghiên cứu
Đối tượng nghiên cứu chính trong luận án này là sử dụng mạng
neural để phân loại 5 mẫu tín hiệu này thành các dạng lệnh điều khiển
tương ứng với 5 lệnh điều khiển xe lăn chạy tới, chạy lui, quay phải,
quay trái, dừng lại, trong luận án còn đề cập đến quá trình xử lý ảnh
để phát hiện hướng mắt hỗ trợ cho việc điều khiển xe được chính xác
và hiệu quả hơn, tuy nhiên trong phần xử lý ảnh tác giả không tập
trung nhiều mà chủ yếu phần tín hiệu điện não EEG.
1.6 Những đóng góp của luận án

1.6.1 Đóng góp về mặt lý thuyết
Tìm ra được bảng quan sát phù hợp và đơn giản để thu thập dữ
liệu, kết hợp một cách khoa học giữa giải thuật trích đặc điểm và gom
cụm dữ liệu trước khi đưa vào mạng neural để phân loại từng mẫu dữ
liệu.
1.6.2 Đóng góp về mặt thực tiễn
Kết quả thực nghiệm của luận án cho thấy rằng, việc phân loại
các đối tượng thông qua việc quan sát bằng mắt (những hình ảnh có
đặc trưng khác nhau) nhưng đầu óc còn minh mẫn và mắt hoạt động
như người bình thường là hoàn toàn thực hiện được.

CHƯƠNG 2 – CƠ SỞ LÝ THUYẾT
2.1 Các dạng sóng cơ bản của tín hiệu điện não EEG
Sóng Delta có tần số từ 0 đến 3 Hz, biên độ lớn như hình 2.1,
sóng này xuất hiện nhiều ở lứa tuổi từ bé đến một tuổi và ở những
người lớn trong lúc ngủ, ngủ say, dạng sóng này thường xuất hiện khắp
nơi trên da đầu.
Trang 5


Hình 2. 1 Dạng sóng Delta
Sóng Theta có tần số từ 3 Hz đến 7 Hz thường xuất hiện khi nhắm
mắt và khi tinh thần ở trạng thái thư giãn như hình 2.2, xuất hiện ở
những người trẻ hoặc lúc tỉnh thức ở người lớn tuổi và thường xuất
hiện tại vùng thái dương.

Hình 2. 2 Dạng sóng Theta
Sóng Alpha có tần số từ 7 đến 13 Hz như hình 2.3, xuất hiện nhiều
nhất ở người lớn tuổi, sóng alpha thường xảy ra 2 bên đầu nhưng có
biên độ 2 bên không đều nhau. Sóng alpha xuất hiện khi nhắm mắt

(trạng thái thư giãn) và thường biến mất khi mở mắt hay bị stress.

Hình 2. 3 Dạng sóng Alpha
Sóng Beta có biên độ nhỏ như hình 2.4, dãy tần số từ 13 đến 30
Hz. Dạng sóng này thường xuất hiện ở những bệnh nhân người mà
thường có tâm trạng cảnh giác, đề phòng, lo lắng… Sóng Beta được
phân bố đối xứng 2 bên và rõ ràng nhất ở phía trước, thường xuất hiện
ở phía trước và trên đỉnh đầu vỏ não, biên độ sóng Beta thường nhỏ
hơn 30uV.

Hình 2. 4 Dạng sóng Beta
Trang 6


Sóng Gamma có dãy tần số từ 30 đến 45 Hz như hình 2.5, thường
được gọi là sóng nhanh Beta. Sóng này thường có biên độ thấp và hiếm
khi xuất hiện, nhưng việc phát hiện sóng này đóng vai trò rất quan
trọng trong việc xác định các bệnh lý về thần kinh, sóng này xảy ra ở
trung tâm vỏ não.

Hình 2. 5 Dạng sóng Gamma
2.2 Vị trí các điện cực trên thiết bị EEG
Não là một trong những cơ quan lớn nhất và phức tạp nhất trong
cơ thể con người. Nó được hình thành từ hơn 100 tỉ dây thần kinh, liên
lạc tới 1000 tỉ khớp thần kinh, các vị trí được gắn điện điện cực trên
đầu theo tiêu chuẩn quốc tế 10/20 như hình 2.6.

Hình 2. 6 Tên và vị trí các điện cực theo chuẩn quốc tế 10/20

CHƯƠNG 3

XÂY DỰNG MÔ HÌNH HỆ THỐNG ĐIỀU KHIỂN
Để bắt đầu quá trình nghiên cứu, tác giả sử dụng CSDL được
cung cấp trên website của trường Đại học San Diego (UCSD) có uy
tín của Mỹ, xếp hạng 38 trên thế giới năm 2018, dữ liệu này thu được
từ việc người tham gia nhìn vào 5 đối tượng hình ảnh khác nhau (con
người, con vật, thành phố, phong cảnh và bông hoa), kích thước hình
Trang 7


ảnh 8 bit màu (256 pixel rộng và 384 pixel cao). Tổng số lượng mẫu
cho cơ sở dữ liệu này là 21.000 mẫu.
Trong chương này, tác giả đã từng bước xây dựng các mô hình từ
đơn giản đến phức tạp, sau đó đánh giá kết quả thực nghiệm trên CSDL
của trường Đại học San Diego (UCSD) và từ 80 sinh viên trường Cao
Đẳng Công Thương TP.HCM để làm rõ phần đóng góp và ý nghĩa
khoa học của luận án.
3.1 Mô hình mạng Neural đơn lớp
Giai đoạn đầu tiên, tác giả xây dựng mô hình mạng neural để phân
ra 2 loại tín hiệu riêng biệt (con vật và không phải con vật), mục đích
trong lần nghiên cứu này là đánh giá xem mô hình neural có đáp ứng
được yêu cầu phân loại hay không, hệ thống sử dụng phần mềm
Matlab cho quá trình thực nghiệm này.
CSDL của tín hiệu điện não EEG được trích đặc điểm bằng
phương pháp biến đổi Wavelet dạng hình nón Mêhicô và sử dụng
mạng Neural đơn lớp để nhận dạng. Mô hình hệ thống được thể hiện
trong hình 3.1, mô hình này bao gồm 2 giai đoạn: giai đoạn 1: quá
trình tiền xử lý nhẳm xử lý tín hiệu dữ liệu thô và tổng hợp thành 5 tín
hiệu sóng Delta, Theta, Alpha, Beta và Gamma. Giai đoạn 2: xây dựng
mạng Neural đơn lớp với 5 ngõ vào là 5 tín hiệu sóng Delta, Theta,
Alpha, Beta, Gamma và một ngõ ra để xác định kết quả nhận dạng.

Dữ liệu thô

Quá trình tiền xử lý

Mạng neural đơn lớp

Kết quả nhận dạng

Hình 3. 1 Mô hình hệ thống Neural đơn lớp
Quá trình huấn luyện mạng được thực hiện trên tập dữ liệu huấn
luyện với các tham số sau:
 Tỷ lệ học cố định là: 0,7
 Trọng số khởi tạo ngẫu nhiên trong đoạn từ -0,5 đến 0,5.
Trang 8


 Ngưỡng sai số là 1x10-5 với cách tính sai số dựa trên MSE
(Mean Square Error).
 Số vòng lặp tối đa là: 5.000.
Kết quả thực nghiệm nhận dạng trên tập dữ liệu kiểm tra được thể
hiện trong bảng 3.1.
Bảng 3. 1 Kết quả thực nghiệm trên dữ liệu kiểm tra
Loại ảnh

Con vật/Phong cảnh

Tỷ lệ nhận dạng

France

Phong cảnh

99,13%

Wild sheep

Con vật

98,67%

Wild cats

Con vật

99,28%

Bali, Indonesia

Phong cảnh

62,44%

Wild animals

Con vật

99,64%

California Coasts

Phong cảnh

56,89%

Wolves

Con vật

98,64%

Mushrooms

Phong cảnh

95,16%

Kenya

Con vật

99,76%

The big Apple

Phong cảnh

98,79%

Snakes, lizards...

Con vật

98,32%

Caves

Con vật

67,18%

Polar bears

Con vật

99,03%

Exotic Hong Kong

Phong cảnh

98,72%

Images of France

Phong cảnh

99,37%

Fabulous fruit

Phong cảnh

98,25%

Wild animals

Con vật

93,97%

Sand & solitude

Con vật

98,42%

Lions

Con vật

62,78%

Great Silk Road

Phong cảnh

98,47%
Trang 9

Từ kết quả thực nghiệm ở bảng 3.1, chúng ta nhận thấy kết quả
nhận dạng chính xác trung bình trên tập dữ liệu kiểm tra là 91,15%.
3.2 Mô hình mạng Neural đa lớp
3.2.1 Mô hình hệ thống
Dựa trên những kết quả đạt được từ mô hình mạng Neural đơn
lớp, tác giả tiếp tục phát triển mô hình mạng Neural đa lớp với kết quả
phân thành 5 lớp tương ứng với 5 tín hiệu điều khiển. Bảng 3.2 mô tả
05 lệnh điều khiển tương ứng với kết quả phân lớp khi người dùng
nhìn vào các loại hình ảnh tương ứng.
Mô hình này đề xuất sử dụng biến đổi Wavelet để khử tín hiệu và
trích xuất đặc trưng, sau đó dùng thuật toán K-mean để gom cụm các
đặc trưng của dữ liệu sau đó đưa vào mạng Neural đa lớp để phân loại.
Trong mô hình này tác giả chỉ chọn 10 kênh để xử lý nhằm giảm thời
gian xử lý và thực hiện. Mô hình hệ thống được mô tả trong hình 3.2.
Tín hiệu EEG

Chọn kênh

Biến đổi Wavelet

Gom cụm

Mạng neural đa lớp

Kết quả phân lớp

Hình 3. 2 Mô hình hệ thống Neural đa lớp
Mô hình mạng neural 3 lớp được trình bày trong hình 3.3.
Lớp đầu tiên chứa năm nút đó là Delta, Theta, Alpha, Beta và
Gamma. Lớp này được gọi là lớp đầu vào.

Lớp thứ hai là lớp ẩn. Số lượng nút ẩn trong lớp ẩn được đặt là 5,
10, 15, 20, 25, 30, 35, 40, 45 và 50.
Lớp đầu ra chứa một nút, kết quả của này nút được sử dụng để
phân lớp tín hiệu EEG. Hàm hành động được sử dụng trong mô hình
này là hàm hyperbolic tangent, giá trị của đầu ra trong khoảng [-1, 1].
Trang 10


Hình 3. 3 Mô hình mạng Neural đa lớp
Trước khi sử dụng mô hình, mạng Neural cần phải vượt qua giai
đoạn huấn luyện. Thuật toán huấn luyện được hiển thị trong hình 3.4,
thể hiện một quy trình huấn luyện lan truyền ngược.

Trang 11


Bắt đầu
Khởi tạo bộ trọng số ngẫu nhiên
Nhận giá trị Delta, Theta,
Alpha, Beta, Gamma
Tính giá trị nhập của các nút trong lớp ẩn
Tính giá trị xuất của các nút trong lớp ẩn
Tính giá trị nhập của nút xuất
Tính giá trị xuất của nút xuất
Tính lỗi của lớp xuất
Tính lỗi của lớp ẩn
Tính lỗi của hệ thống

Lỗi hệ thống <= ngưỡng?

Sai

Cập nhật trọng số

Đúng
Kết thúc

Hình 3. 4 Thuật toán huấn luyện mạng Neural
3.2.2 Kết quả thực nghiệm với mô hình mạng Neural đa lớp
Bộ dữ liệu bao gồm 21.000 mẫu được chia thành tập con để huấn
luyện (training) (70%), xác nhận (validation) (15%) và thử nghiệm
(testing) (15%). Hệ thống sử dụng công cụ Matlab và EEGLab cho
quá trình thử nghiệm, mạng Neural chia thành hai giai đoạn thử
nghiệm.
Giai đoạn huấn luyện được thực hiện trên tập dữ liệu huấn luyện,
bằng cách sử dụng các cấu trúc có số nút ẩn khác nhau, trong lớp ẩn
của mạng neural, thông qua các tham số sau như sau:
 Tỷ lệ học: 0,7
 Số vòng lặp tối đa: 5.000
Trang 12


 Giá trị trọng số khởi tạo ngẫu nhiên từ 0 đến 1
 Ngưỡng lỗi trung bình: 10-5 và dựa trên RMSE
Độ chính xác của phân loại được đo bằng tỷ lệ kết quả phân loại
sai so với tổng số mẫu theo (3.1).
−
=
(3.1)
Trong đó, n là tổng số mẫu, ntrue là số mẫu có kết quả phân loại

đúng.
Bảng 3. 2 Kết quả thực nghiệm
Số Neural
(Lỗi trung
(Tỷ lệ nhận
(Sai số tối thiểu)
trong lớp
bình)
dạng)
Minimum Error
ẩn
Average Error
Accuracy Rate
5
25.21%
21.98%
78.02%
10
23.77%
20.04%
79.96%
15
20.44%
17.13%
82.87%
20
17.76%
14.21%
85.79%
25

15.43%
11.88%
88.12%
30
12.98%
10.06%
89.94%
35
9.87%
7.74%
92.26%
7.74%
6.43%
93.57%
40
45
9.56%
7.92%
92.08%
50
10.24%
8.63%
91.37%
Ta có thể quan sát trong bảng 3.2 và thấy rằng kết quả phân loại
của tập dữ liệu thử nghiệm không ngừng tăng lên cho đến khi đạt giá
trị tốt nhất có thể (40 Neural trong lớp ẩn và tỷ lệ chính xác là 93,57%).
Sau đó, kết quả bắt đầu giảm khi số lượng Neural trong lớp ẩn tăng
lên. Điều này xảy ra được gọi là overfitting. Một ma trận nhầm lẫn
(confusion matrix) chứa thông tin về phân loại thực tế và dự đoán được
thực hiện bởi một hệ thống. Bảng 3.3 mô tả hiệu năng của hệ thống

được đánh giá bởi dữ liệu trong ma trận nhầm lẫn với 40 nút ẩn trong
lớp ẩn.
Bảng 3. 3 Ma trận nhầm lẫn của kết quả phân loại
Thực tế
Con
Phong Thành
Con
Bông
Tiên
vật
cảnh
phố
người
hoa
đoán
Trang 13


Con vật
Phong cảnh
Thành phố
Con người
Bông hoa

93.8%
1.1%
1.6%
1.9%
1.7%

1.4%
93.6%
1.3%
1.8%
1.9%

1.5%
3.1%
93.5%
1.3%
0.8%

2.0%
1.5%
1.6%
93.2%
1.8%

1.6%
1.2%
1.8%
1.7%
93.8%

Để cung cấp một phương pháp trực quan và dễ hiểu hơn trong
việc đo lường chất lượng dự đoán, các công thức sau được sử dụng để
kiểm tra chất lượng hiệu quả.
Độ chính xác Accuracy (AC) là tỷ lệ dự đoán chính xác. Nó được
xác định bằng cách sử dụng công thức (3.2).
+

(3.2)
+
+
+
Độ chính xác Precision (P) là tỷ lệ của các trường hợp đúng được
dự đoán là chính xác, được tính bằng công thức (3.3).
=

(3.3)
+
Trong đó, True Possitive (TP) đề cập đến các bộ dữ liệu đúng
được phân loại chính xác là đúng. True Negative (TN) đề cập đến các
bộ dữ liệu sai được phân loại chính xác là sai. False Possitive (FP) đề
cập đến các bộ dữ liệu sai được phân loại không chính xác là đúng.
False Negative (FN) đề cập đến các bộ dữ liệu đúng được phân loại
không chính xác là sai.
Tỷ lệ nhận dạng thành với 40 nút ẩn trong lớp ẩn được đưa ra
trong bảng 3.4
=

Bảng 3. 4 Kết quả thực nghiệm
TP
TN
FP
FN

AC

P

Con vật

93,8% 93,6%

6,4%

6,2%

93,7%

93,6%

Phong cảnh

93,6% 93,2%

6,8%

6,4%

93,4%

93,2%

Thành phố

93,5% 93,8%

6,3%

6,6%

93,6%

93,7%

Con người

93,2% 93,4%

6,6%

6,8%

93,3%

93,4%

Trang 14


Bông hoa

93,8% 93,9%

6,1%

6,2%

93,9%

93,9%

Những kết quả này cũng được so sánh với một số nghiên cứu
trước đây như xác định tín hiệu EEG dựa trên nháy mắt với 15.360
mẫu và đạt 90,85%, cây quyết định đạt tối đa 85%, dựa trên chuyển
động của mắt bằng 2 thí nghiệm với 3.600 mẫu và 8.320 mẫu và đạt
85%.
3.3 Thiết kế mô hình tổng hợp xử lý tín hiệu
Mô hình này được phát triển từ mô hình mạng neural đa lớp trong
phần 3.2, ngoài việc nhận dạng tín hiệu EEG còn kết hợp với tín hiệu
hướng mắt của người dùng thông qua camera. Mô hình này trung vào
các vấn đề sau:
 Sử dụng biến đổi theo phương pháp Hilbert Huang (HHT)
để làm giảm nhiễu tín hiệu EEG vì HHT phù hợp với tín hiệu EEG
cho kết quả tốt hơn các phương pháp khác.
 Nhận dạng hướng mắt dựa trên hình ảnh khuôn mặt của
người dùng kết hợp với nhận dạng tín hiệu EEG nhằm cải thiện hiệu
quả của nhận dạng.
 Thiết kế một hệ thống bao gồm phần cứng và phần mềm để
thử nghiệm trong thế giới thực.
 Dữ liệu thực nghiệm được thu thập từ 80 sinh viên trường
Cao đẳng Công thương TP.HCM tình nguyện tham gia.
Kiến trúc hệ thống bao gồm 3 khối được trình bày trong hình 3.5.

Trang 15


Ảnh khuôn mặt

Tín hiệu EEG

Chuyển sang ảnh
nhị phân

Chọn kênh

Phát hiện mắt và
lông mày

Biến đổi HHT

Tính tỉ lệ mắt và
lông mày

Gom cụm

Rút trích 04 đặc
trưng

Rút trích 05 đặc
trưng

MẠNG NEURAL ĐA LỚP

Hình 3. 5 Kiến trúc hệ thống mô hình tổng hợp
 Khối đầu tiên là khối nhận dạng tín hiệu EEG để trích xuất
5 tính năng.
 Khối thứ hai là khối nhận dạng hướng mắt bằng cách nhận
dạng mắt và lông mày từ hình ảnh khuôn mặt của người dùng để trích

xuất 4 tính năng.
 Khối thứ ba là mạng neural đa lớp với 9 nút đầu vào (4 cho
camera và 5 cho EEG), 5 nút đầu ra được phân loại thành 5 tín hiệu
điều khiển như "đi tiếp", "đi lùi", "rẽ trái", "rẽ phải" và "dừng".
3.3.1 Khối nhận dạng tín hiệu EEG
Khối này thực hiện giống như mô hình được trình bày trong phần
3.2. Trước tiên, chọn các kênh có thông tin hữu ích và loại bỏ các kênh
có thông tin dư thừa. Kế tiếp, dùng HHT để trích lọc đặc trưng và khử
nhiễu dữ liệu. Sau đó, dùng thuật toán gom cụm K-Means để gom các
cụm dữ liệu.
3.3.2 Nhận dạng tín hiệu hướng mắt
Hình ảnh khuôn mặt được nhận từ camera và được cắt tại khu vực
chứa thông tin về mắt để giảm thời gian xử lý, sau đó hình ảnh khuôn
mặt được chuyển đổi thành hình ảnh nhị phân thỏa yêu cầu hiển thị
Trang 16


đầy đủ 2 chân mày và 2 mắt như hình 3.6, giá trị ngưỡng được tính
toán bằng thuật toán isodata.

Hình 3. 6 Phát hiện mắt và lông mày
 Sử dụng thuật toán phân đoạn ảnh để phát hiện trung tâm
đồng tử của mắt, phân đoạn mắt và lông mày như trong hình 3.7.

Hình 3. 7 Tâm đồng tử, phân đoạn ảnh mắt và lông mày
 Tính tỷ lệ mắt trái và lông mày trái theo công thức (3.4) như
trong hình 3.8.

=

(3.4)

Hình 3. 8 Tỷ lệ mắt trái và lông mày trái
 Tính tỷ lệ mắt phải và lông mày phải theo công thức (3.5)
như trong hình 3.9.

=

(3.5)

Trang 17


Hình 3. 9 Tỷ lệ mắt phải và lông mày phải
 Tính toán tỷ lệ trung tâm đồng tử của mắt trái và chiều dài
của mắt trái theo công thức (3.6) như trong hình 3.10.
=

(3.6)

Hình 3. 10 Tỷ lệ tâm đồng tử và chiều dài mắt
 Tính tỷ lệ trung tâm đồng tử của mắt phải và chiều dài của
mắt phải theo công thức (3.7) như trong hình 3.10.
=

(3.7)

3.3.3 Mô hình mạng Neural đa lớp lan truyền ngược
Mô hình mạng neural đa lớp lan truyền ngược được đề xuất bao
gồm 3 lớp được trình bày trong hình 3.11.

Trang 18


Hình 3. 11 Mô hình mạng Neural
 Lớp đầu tiên chứa 9 nút như Delta, Theta, Alpha, Beta, Gamma,
d1, d2, d3 và d4. Lớp này được gọi là lớp nhập.
 Lớp thứ hai là lớp ẩn, số lượng Neural trong lớp ẩn là 11 Neural.
 Lớp xuất chứa 5 nút, kết quả của nút này được sử dụng để phân
loại tín hiệu EEG. Do hàm hành động được sử dụng trong mô hình này
là hàm hyperbolic tangent, giá trị của nút xuất nằm trong khoảng [-1,
1]. Vì ngõ ra có 5 nút, nút nào có giá trị lớn nhất, nút đó sẽ được chọn
và đó là tín hiệu điều khiển.
3.3.4 Chọn tập dữ liệu và kết quả thực nghiệm
Dữ liệu thực nghiệm được thu thập từ 80 sinh viên trường Cao đẳng
Công thương TP.HCM tham gia tình nguyện. Sinh viên đeo thiết bị
Emotiv EEG và ngồi cách bảng quan sát 120cm. Dữ liệu thực nghiệm
được chia thành 3 bộ dữ liệu như sau:
 Tập dữ liệu huấn luyện được thu thập từ 70% dữ liệu của 60 SV.
 Tập dữ liệu kiểm tra đầu tiên được thu thập từ 30% dữ liệu của
60 SV.
Trang 19


 Tập dữ liệu kiểm tra thứ hai được thu thập từ dữ liệu của 20 SV
còn lại.
Sau khi huấn luyện mạng Neural từ tập dữ liệu huấn luyện. Kết
quả thực nghiệm của tập dữ liệu kiểm tra thứ nhất được thể hiện trong
ma trận nhầm lẫn (confusion matrix) thể hiện trong bảng 3.5 và tỷ lệ
nhận dạng thể hiện trong bảng 3.6.

Bảng 3. 5 Ma trận nhầm lẫn của kết quả phân loại tập dữ liệu kiểm
tra thứ nhất
Phân loại thực tế

Phân
loại
tiên
đoán

Con
người

Con
vật

Bông
hoa

Thành
phố

Phong
cảnh

91,2%

1,6%

3,1%

0,9%

2,7%

Con vật

1,9%

91,1%

1,2%

3,2%

2,0%

Bông hoa

2,8%

2,5%

92,8%

1,7%

1,5%

Thành phố

2,4%

2,1%

0,7%

92,1%

1,9%

Con người

1,7%
2,7%
2,2%
2,1% 91,9%
Phong cảnh
Bảng 3. 6 Kết quả thực nghiệm trên tập dữ liệu kiểm tra thứ nhất
TP
TN
FP
FN
AC
P
Con người

91.2%

91.3%

8.7%

8.8%

91.3%

91.3%

Con vật

91.1%

91.1%

8.9%

8.9%

91.1%

91.1%

Bông hoa

92.8%

92.6%

7.4%

7.2%

92.7%

92.6%

Thành phố

92.1%

92.2%

7.8%

7.9%

92.2%

92.2%

91.9% 92.1% 7.9%
8.1%
92.0% 92.1%
Phong cảnh
Kết quả thực nghiệm của tập dữ liệu kiểm tra thứ hai được thể
hiện trong ma trận nhầm lẫn (confusion matrix) thể hiện trong bảng
3.7 và tỷ lệ nhận dạng thể hiện trong bảng 3.8.
Bảng 3. 7 Ma trận nhầm lẫn của kết quả phân loại tập dữ liệu kiểm
tra thứ hai
Phân loại thực tế

Trang 20


Con
Con
Bông Thành Phong
người
vật
hoa
phố
cảnh
Phân
90.7%
1.9%
2.7%
1.1%
3.1%
Con người
loại
1.4% 90.8%
2.1%
2.6%
2.4%
Con vật
tiên
2.3%
2.3% 92.3%
3.2%
1.7%
Bông hoa

đoán
3.1%
2.6%
1.2% 91.6%
1.3%
Thành phố
2.5%
2.4%
1.7%
1.5% 91.5%
Phong cảnh
Bảng 3. 8 Kết quả thực nghiệm trên tập dữ liệu kiểm tra thứ hai
TP
TN
FP
FN
AC
P
Con người

90.7%

90.9%

9.1%

9.3%

90.8%

90.9%

Con vật

90.8%

91.0%

9.0%

9.2%

90.9%

91.0%

Bông hoa

92.3%

92.1%

7.9%

7.7%

92.2%

92.1%

Thành phố

91.6%

91.8%

8.2%

8.4%

91.7%

91.8%

Phong cảnh

91.5%

91.9%

8.1%

8.5%

91.7%

91.9%

Kết quả thực nghiệm đối với tín hiệu hướng mắt thể hiện trong
bảng 3.9 và đối với tín hiệu EEG thể hiện trong bảng 3.10. Bảng 3.11

so sánh 3 kết quả thực nghiệm. Đồ thị hình 3.12 mô tả so sánh kết quả
thực nghiệm của 2 tín hiệu khi nhận dạng riêng biệt.
Bảng 3. 9 Kết quả thực nghiệm trên tín hiệu hướng mắt
TP
TN
FP
FN
AC
P
Con người

85.1%

85.7%

14.3%

14.9%

85.4%

85.6%

Con vật

84.5%

84.1%

15.9%

15.5%

84.3%

84.2%

Bông hoa

87.3%

86.3%

13.7%

12.7%

86.8%

86.4%

Thành phố

83.6%

84.0%

16.0%

16.4%

83.8%

83.9%

Phong cảnh

84.2%

83.2%

16.8%

15.8%

83.7%

83.4%

Bảng 3. 10 Kết quả thực nghiệm trên tín hiệu EEG
TP
TN
FP
FN
AC
Con người

90.2%

89.9%

10.1%

9.8%

P

90.1%

89.9%

Trang 21


Con vật

90.3%

90.0%

10.0%

9.7%

90.2%

90.0%

Bông hoa

92.3%

91.8%

8.2%

7.7%

92.1%

91.8%

Thành phố

90.7%

90.4%

9.6%

9.3%

90.6%

90.4%

Phong cảnh

90.4%

90.5%

9.5%

9.6%

90.5%

90.5%

Bảng 3. 11 Kết quả thực nghiệm của 3 phương pháp nhận dạng
EEG kết hợp Camera

EEG

Camera

Con người

90,8%

90,1%

85,4%

Con vật

90,9%

90,0%

84,3%

Bông hoa

92,2%

91,8%

86,8%

Thành phố

91,7%

90,4%

83,8%

Phong cảnh

91,7%

90,5%

83,7%

SO SÁNH KẾT QUẢ THỰC NGHIỆM CỦA 3 PHƯƠNG
PHÁP RIÊNG BIỆT
94.0%

92.0%
90.0%
88.0%
86.0%
84.0%
82.0%
Con Người

Động Vật

EEG Kết hợp Camera

Hoa

Thành Phố
EEG

Phong Cảnh

Camera

Hình 3. 12 Kết quả thực nghiệm trên 3 phương pháp riêng biệt

Trang 22


CHƯƠNG 4
XÂY DỰNG PHẦN MỀM VÀ PHẦN CỨNG CHO HỆ
THỐNG ĐIỀU KHIỂN XE LĂN MÔ HÌNH
Trong chương này, tác giả xây dựng hệ thống phần cứng và phần

mềm điều khiển xe lăn mô hình dựa trên các mô hình nghiên cứu được
ở chương 3. Sau đó, đánh giá các kết quả thực nghiệm thực tế để làm
rõ phần đóng góp ý nghĩa thực tiễn của luận án.
4.1 Hệ thống phần mềm điều khiển xe lăn
Phần mềm điều khiển xe lăn được thiết kế trên Visual Studio C#
2015, giao diện phần mềm gồm có 4 chức năng chính như sau:
4.1.1 Đăng nhập hệ thống
Trong phần này bắt buộc bất kỳ người nào sử dụng phần mềm
điều phải có tài khoản (account) để đăng nhập hệ thống, nếu chưa có
phải đăng ký vào hệ thống. Tài khoản cá nhân dùng để quản lý cơ sở
dữ liệu tín hiệu điện não, thời gian huấn luyện, mức độ chính xác trong
quá trình điều khiển. Giao diện của phần đăng nhập như hình 4.1.
Đăng ký/ đăng
nhập hệ thống

Vị trí các
điện cực

Hình ảnh từ
camera

Đồ thị của 14 kênh tín
hiệu EEG

Hiển thị kết quả
điều khiển

Hình 4. 1 Giao diện đăng nhập hệ thống
4.1.2 Huấn luyện điều khiển xe lăn
Đối với một người chưa từng tham gia điều khiển điều phải thực

hiện bước này, giống như người chưa từng lái xe phải học lái xe trước
khi lái xe, để có thể tự mình điều khiển được người tham gia phải thực
hiện điều khiển 5 lệnh với tỉ lệ đạt trên 90% cho mỗi lệnh, mục đích
việc huấn luyện này giúp người tham gia làm quen với việc điều khiển
xe lăn và quen với việc tập trung trong điều khiển, giao diện phần huấn
luyện được thể hiện như hình 4.2.
Trang 23


Hình 4. 2 Giao diện huấn luyện
4.1.3 Xem đồ thị dữ liệu
Phần mềm cũng có chức năng xem lại đồ thị dữ liệu tín hiệu điện
não theo từng kênh, tùy vào mục đích sử nghiên cứu chỉ việc bấm vào
vị trí kênh điện cực như hình 4.3.

Hình 4. 3 Giao diện xem từng kênh tín hiệu điện não EEG
4.1.4 Trích đặc điểm dữ liệu
Để trích đặc điểm dữ liệu ta áp dụng phương pháp HHT như đã
trình bày trong phần cơ sở lý thuyết. Tổng số kênh cần xử lý là 10,
mỗi kênh được phân tích ra thành 12 IMF (hàm bản chất), như vậy
chúng ta có tất cả 120 IMF cho mỗi lần xử lý, chương trình con để
trích xuất 1 kênh dữ liệu thành các IMF, sau đó từ các IMF này ta trích
xuất ra theo 5 dạng sóng cơ bản như hình 4.4:

Trang 24