Phân loại tín hiệu điện não dựa trên học sâu hướng đến xây dựng hệ thống đánh vần bằng mắt

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

TRẦN XUÂN ĐẠT

PHÂN LOẠI TÍN HIỆU ĐIỆN NÃO
DỰA TRÊN HỌC SÂU HƯỚNG ĐẾN XÂY DỰNG
HỆ THỐNG ĐÁNH VẦN BẰNG MẮT

LUẬN VĂN THẠC SĨ NGÀNH KHOA HỌC MÁY TÍNH

HÀ NỘI - 2022


ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

TRẦN XUÂN ĐẠT

PHÂN LOẠI TÍN HIỆU ĐIỆN NÃO
DỰA TRÊN HỌC SÂU HƯỚNG ĐẾN XÂY DỰNG
HỆ THỐNG ĐÁNH VẦN BẰNG MẮT

Ngành:
Chuyên ngành:
Mã số:

Khoa học máy tính
Khoa học máy tính
8480101.01

LUẬN VĂN THẠC SĨ NGÀNH KHOA HỌC MÁY TÍNH

NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS. Lê Thanh Hà
TS. Tạ Việt Cường

HÀ NỘI - 2022


LỜI CẢM ƠN

Tôi xin gửi lời cảm ơn chân thành đến PGS.TS. Lê Thanh Hà, TS. Tạ Việt Cường
và Phòng thí nghiệm Tương tác người - máy (HMI Laboratory), Trường Đại học Công
Nghệ, Đại học Quốc gia Hà Nội đã hướng dẫn và giúp đỡ tơi trong suốt q trình học
tập, cũng như quá trình nghiên cứu, thực hiện luận văn này.
Ngồi ra, tơi cũng xin gửi lời cảm ơn chân thành đến TS. Nguyễn Thế Hoàng Anh,
Viện Khoa học và Công nghệ Việt Nam - Hàn Quốc (VKIST) đã hướng dẫn, có những
góp ý và chỉnh sửa quan trọng về các vấn đề được đề cập và giải quyết trong quá trình
nghiên cứu, thực hiện luận văn.


LỜI CAM KẾT

Tôi xin cam đoan rằng luận văn này, "Phân loại tín hiệu điện não dựa trên học
sâu hướng đến xây dựng hệ thống đánh vần bằng mắt" do chính bản thân thực hiện
dưới sự hướng dẫn của PGS.TS. Lê Thanh Hà và TS. Tạ Việt Cường.
Tất cả tài liệu tham khảo, trích dẫn của các nghiên cứu liên quan, bảng biểu, hình
ảnh được trình bày trong luận văn có nguồn gốc và được chú thích rõ ràng trong mô tả
và phần Tài liệu tham khảo của luận văn.
Tôi xin chịu toàn bộ trách nhiệm trước hội đồng và nhà trường về cam kết của mình.
Hà Nội, ngày 31 tháng 08 năm 2022

Học viên

Trần Xuân Đạt


TĨM TẮT

Các hệ thống giao diện não - máy tính sử dụng tín hiệu điện não có thể phân biệt
các hoạt động nhận thức khác nhau của con người, sử dụng điều khiển các thiết bị ngoại
vi. Các hệ thống này có vai trị quan trọng đối với những người bị tổn thương chức năng
vận động hay mắc chứng xơ cứng teo cơ một bên, giúp họ phục hồi và cải thiện khả
năng giao tiếp. Hệ thống đánh vần kết hợp sử dụng tín hiệu điện não và theo dõi ánh
mắt là một hệ thống giao tiếp có tiềm năng rất lớn cho những người bị tổn thương chức
năng vận động, khi có thể mở rộng và nâng cao tính hiệu quả của hệ thống đánh vần
bằng mắt bằng cách sử dụng tín hiệu điện não.
Tưởng tượng ảnh vận động (MI) là một trong những mơ hình tín hiệu điện não
được sử dụng phổ biến trong các hệ thống giao diện não - máy tính. So với các mơ hình
khác của tín hiệu điện não, MI được con người thực hiện một cách chủ động nên có khả
năng phát triển độc lập và kết hợp cao hơn với mơ hình theo dõi ánh mắt trong hệ thống
đánh vần, phù hợp với điều kiện sử dụng thực tế.
Luận văn thực nghiệm và so sánh khả năng phân loại các trạng thái khác nhau của
tín hiệu điện não bằng phương pháp căn chỉnh dữ liệu của tín hiệu điện não và sử dụng
mơ hình học sâu (mạng nơ-ron tích chập). Luận văn thử nghiệm phương pháp trên hai
bộ dữ liệu về tín hiệu điện não cho tác vụ tưởng tượng ảnh vận động. Với bộ dữ liệu
HMI EEG-ET được xây dựng phục vụ phát triển hệ thống đánh vần bằng mắt cho
những người tổn thương chức năng vận động với hạn chế về dữ liệu cho mỗi đối tượng,
luận văn thử nghiệm mơ hình phân loại cho các bệnh nhân bị chứng xơ cứng teo cơ một
bên và so sánh kết quả với những đối tượng khỏe mạnh khác.
Từ khóa: Hệ thống giao diện não - máy tính (BCI), Electroencephalography
(EEG), Tưởng tượng ảnh vận động (MI), Căn chỉnh dữ liệu tín hiệu EEG, Mạng nơ-ron

tích chập (CNN)

i


MỤC LỤC
i

TÓM TẮT

iv

DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT

v

DANH MỤC CÁC BẢNG

vi

DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ

1 Tổng quan
1
2
3
4

1

Đặt vấn đề . . . . . . . . . . . . . . . .
Định nghĩa bài tốn và hướng tiếp cận
Đóng góp của luận văn . . . . . . . . .
Cấu trúc của luận văn . . . . . . . . .

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

2 Tín hiệu điện não
1
2
3
4

1
2
3
3

5

Giao diện não - máy tính . . . . . . . . . . . . . . . . . . . . . . . . . . .
Điện não đồ không xâm lấn . . . . . . . . . . . . . . . . . . . . . . . . .

Tưởng tượng ảnh vận động . . . . . . . . . . . . . . . . . . . . . . . . . .
Các nghiên cứu liên quan về phân loại tín hiệu điện não trong tác vụ tưởng
tượng ảnh vận động . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. 12

3 Phân loại tín hiệu điện não trong tác vụ tưởng tượng ảnh vận động
sử dụng mơ hình học sâu

16

1
2

3

Quy trình phân loại tín hiệu điện não trong tác vụ tưởng tượng
động sử dụng mơ hình học sâu . . . . . . . . . . . . . . . . . .
Căn chỉnh dữ liệu tín hiệu điện não . . . . . . . . . . . . . . . .
2.1
Căn chỉnh tín hiệu theo phiên thu, đối tượng . . . . . . .
2.2
Căn chỉnh tín hiệu theo nhãn . . . . . . . . . . . . . . .
Mơ hình học sâu trong phân loại tín hiệu điện não . . . . . . . .
3.1
EEGNet . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.2
EEG-ITNet . . . . . . . . . . . . . . . . . . . . . . . . .

4 Thực nghiệm

1

ảnh vận
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .

. 5
. 6
. 10

.
.
.
.
.
.
.

16
18
18
19
21
21
22

25

Thơng số đánh giá mơ hình phân loại . . . . . . . . . . . . . . . . . . . . . 25
ii


2

3

Bộ dữ liệu Physionet Motor Movement/Imagery
2.1
Giới thiệu . . . . . . . . . . . . . . . . .
2.2
Phương pháp đánh giá . . . . . . . . . .
2.3
Kết quả thực nghiệm . . . . . . . . . . .
Bộ dữ liệu HMI EEG-ET . . . . . . . . . . . .
3.1
Giới thiệu . . . . . . . . . . . . . . . . .
3.2
Phương pháp đánh giá . . . . . . . . . .
3.3
Kết quả thực nghiệm . . . . . . . . . . .

5 Kết luận
1
2

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.

.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.

.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.

.
.
.
.
.

.
.
.
.
.
.
.
.

27
27
27
28
30
30
31
33

39

Kết luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
Hướng phát triển trong tương lai . . . . . . . . . . . . . . . . . . . . . . . 40

41

TÀI LIỆU THAM KHẢO

iii


DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT

Amyotrophic Lateral Sclerosis (ALS)

Bệnh nhân xơ cứng teo cơ một bên

Balanced Accuracy (BAC)
Band Power (BP)
Brain-Computer Interface (BCI)

Độ chính xác sau cân bằng
Năng lượng trung bình của phổ tần số
Giao diện não - máy tính

Common Spatial Patterns (CSP)
Convolutional Neural Network (CNN)

Các mẫu khơng gian chung
Mạng nơ-ron tích chập

Electroencephalography (EEG)
Euclidean Alignment (EA)

Tín hiệu điện não không xâm lấn

Căn chỉnh dữ liệu theo phiên thu/đối
tượng
Đồng bộ năng lượng phổ tần số theo sự
kiện vận động/tưởng tượng vận động
Bất đồng bộ năng lượng phổ tần số theo
sự kiện vận động/tưởng tượng vận động

Event-related synchronization (ERS)
Event-related desynchronization (ERD)

Label Alignment (LA)

Căn chỉnh dữ liệu theo nhãn

Motor Imagery (MI)

Tưởng tượng ảnh vận động

Riemannian Manifold (RM)

Không gian của ma trận đối xứng xác
định dương

Temporal Convolutional Network (TCN) Mạng nơ-ron tích chập theo thời gian

iv


DANH MỤC CÁC BẢNG

Bảng 2.1.

Các nhịp sóng chính của tín hiệu EEG . . . . . . . . . . . . . . . .

Bảng 3.1.

Độ chính xác trung bình các mơ hình CNN trên bộ dữ liệu BCI
competition IV - 2a [23] . . . . . . . . . . . . . . . . . . . . . . . . 24

Bảng 4.1.
Bảng 4.2.
Bảng 4.3.

Ma trận lỗi (Confusion matrix) cho phân lớp nhị phân . . . . . .
Độ chính xác trung bình trên bộ dữ liệu Physionet MMIDB . . .
Kết quả phân loại trung bình trên bộ dữ liệu HMI EEG-ET trong
thực nghiệm Exp0 . . . . . . . . . . . . . . . . . . . . . . . . . .
Kết quả phân loại trung bình của mơ hình học sâu với các nhóm
kênh trên bộ dữ liệu HMI EEG-ET trong thực nghiệm Exp0 . . .
Kết quả phân loại trung bình của mơ hình [EA] EEG-ITNet trên
bộ dữ liệu HMI EEG-ET trong thực nghiệm Exp1 . . . . . . . . .
Kết quả phân loại trung bình của mơ hình [LA,EA] EEG-ITNet
trên bộ dữ liệu HMI EEG-ET trong thực nghiệm Exp2 . . . . . .
Kết quả phân loại trung bình của mơ hình [EA] CSP-BP-SVM
trên bộ dữ liệu HMI EEG-ET trong thực nghiệm Exp2-ALS . . .
Kết quả phân loại trung bình của mơ hình [EA] CSP-BP-SVM
trên bộ dữ liệu HMI EEG-ET giữa đối tượng khỏe mạnh và bệnh
nhân ALS (theo phiên thu) . . . . . . . . . . . . . . . . . . . . .

Bảng 4.4.

Bảng 4.5.
Bảng 4.6.
Bảng 4.7.
Bảng 4.8.

v

9

. 25
. 29
. 33
. 36
. 36
. 37
. 37

. 38


DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ

Hình 1.1.

Hình 2.1.
Hình 2.2.
Hình 2.3.
Hình 2.4.
Hình 2.5.
Hình 2.6.

Hình 2.7.

Hình 3.1.
Hình 3.2.
Hình 3.3.
Hình 3.4.
Hình 3.5.
Hình 4.1.
Hình 4.2.
Hình 4.3.
Hình 4.4.
Hình 4.5.
Hình 4.6.
Hình 4.7.

Hệ thống nhập liệu sử dụng tín hiệu điện não (thực hiện / tưởng
tượng ảnh vận động) và theo dõi ánh mắt [1] . . . . . . . . . . . . .

2

Tổng quan hệ thống BCI [Nguồn: how2electronics] . . . . . . . . . 6
Tín hiệu điện não EEG . . . . . . . . . . . . . . . . . . . . . . . . . 7
Vị trí các thùy trên vỏ não [1] . . . . . . . . . . . . . . . . . . . . . 8
Vị trí đặt các điện cực theo chuẩn Standard 10-10 [Nguồn: Wikipedia] 8
Vị trí các vùng trên vỏ não vận động [3] . . . . . . . . . . . . . . . 11
ERD và ERS của nhịp sóng Mu (Alpha) và Beta tại hai điện cực
C3 và C4 [5] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
Biểu diễn không gian Riemannian Manifold (RM) của ma trận đối
xứng xác định dương (SPD) [12] . . . . . . . . . . . . . . . . . . . 13
Phân tách tín hiệu EEG [Nguồn: braindecode] . . . . . . . . . . .

Quy trình phân loại tín hiệu điện não sử dụng mơ hình học sâu
(CNN) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Phương pháp căn chỉnh dữ liệu EA - LA với tín hiệu EEG [18] .
Kiến trúc mạng EEGNet [14] . . . . . . . . . . . . . . . . . . . .
Kiến trúc mạng EEG-ITNet [23] . . . . . . . . . . . . . . . . . .
Mơ hình thực nghiệm của bộ dữ liệu Physionet MMIDB [20] . .
Phân chia dữ liệu huấn luyện/đánh giá trên bộ dữ liệu Physionet
MMIDB [15] . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Biểu diễn tín hiệu EEG của các đối tượng trên không gian Riemannian Manifold của bộ dữ liệu Physionet MMIDB (tSNE) . .
Ma trận lỗi trung bình của mơ hình [EA] EEG-ITNet trên bộ dữ
liệu Physionet MMIDB . . . . . . . . . . . . . . . . . . . . . . .
Quy trình thu dữ liệu một kịch bản trong phiên thu của bộ dữ liệu
HMI EEG-ET . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Phân chia dữ liệu huấn luyện/đánh giá trên bộ dữ liệu HMI EEGET trong thực nghiệm Exp0 . . . . . . . . . . . . . . . . . . . . .
Phân chia dữ liệu huấn luyện/đánh giá trên bộ dữ liệu HMI EEGET trong thực nghiệm Exp1 . . . . . . . . . . . . . . . . . . . . .

vi

. 17
.
.
.
.

17
21
22
23

. 27

. 28
. 29
. 30
. 31
. 32
. 32


Hình 4.8.
Hình 4.9.
Hình 4.10.
Hình 4.11.
Hình 4.12.
Hình 4.13.

Phân chia dữ liệu huấn luyện/đánh giá trên bộ dữ liệu HMI EEGET trong thực nghiệm Exp2 . . . . . . . . . . . . . . . . . . . . .
Ma trận lỗi trung bình của mơ hình [EA] EEG-ITNet trên bộ dữ
liệu HMI EEG-ET trong thực nghiệm Exp0 . . . . . . . . . . . .
Các mẫu khơng gian của tín hiệu EEG được học từ mơ hình [EA]
EEG-ITNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Mật độ phổ năng lượng của tín hiệu EEG (8 - 30Hz) . . . . . . .
Vị trí các nhóm điện cực của bộ dữ liệu HMI EEG-ET . . . . . .
So sánh kết quả thực nghiệm Exp1, Exp2 và Exp2-ALS . . . . .

vii

. 32
. 34
.
.

.
.

34
35
35
37


CHƯƠNG 1

Tổng quan
1

Đặt vấn đề

Khả năng giao tiếp, truyền đạt ý nghĩ của con người bằng hành động hay ngôn ngữ
phụ thuộc rất nhiều vào khả năng kiểm soát và hoạt động của cơ bắp trong cơ thể. Con
người cần sử dụng các cơ bắp này để nói chuyện hoặc thực hiện các hành vi giao tiếp.
Những người bị tổn thương chức năng vận động hay những bệnh nhân mắc chứng xơ
cứng teo cơ một bên (ALS) gặp khó khăn hoặc mất khả năng vận động của các cơ, điều
này khiến cho quá trình giao tiếp của họ gặp các vấn đề lớn. Bệnh nhân ALS dần dần
mất khả năng kiểm soát các cơ do sự suy giảm các tế bào thần kinh vận động trung ương
và ngoại vi, dẫn đến họ có thể mất khả năng nói. Những người này cần một hệ thống bên
ngoài hỗ trợ khả năng giao tiếp. Các hệ thống giao diện não - máy tính, cụ thể là các hệ
thống đánh vần là một giải pháp khả thi khi sử dụng tín hiệu điện não để thực hiện các
hành động thay cho chuyển động của các cơ. Các hệ thống hỗ trợ giao tiếp này cải thiện
đáng kể chất lượng cuộc sống của những bệnh nhân bị tổn thương khả năng vận động.
Các hệ thống giao diện não - máy tính cho đánh vần sử dụng tín hiệu điện não
thường có tốc độ nhập liệu chậm hơn so với các hệ thống đánh vần sử dụng phương pháp

theo dõi ánh mắt (Eye-tracking). Tuy nhiên, các hệ thống này phụ thuộc vào khả năng
chuyển động của mắt, chúng thường kém hiệu quả khi người sử dụng suy giảm khả năng
thị lực. Các hệ thống đánh vần gần đây thường kết hợp tín hiệu điện não và theo dõi ánh
mắt để xây dựng một hệ thống giao diện não - máy tính lai (Hybrid BCI) để cải thiện
tốc độ cũng như độ chính xác của hệ thống. Hình 1.1 minh họa hệ thống giao diện não máy tính lai phục vụ mục đích nhập liệu (đánh vần).
Với mong muốn cải thiện hiệu quả của hệ thống giao diện não - máy tính (BCI)
cho đánh vần sử dụng theo dõi ánh mắt hiện có, luận văn nghiên cứu các phương pháp
và xây dựng mơ hình phân loại tín hiệu điện não dựa trên mơ hình học sâu (mạng nơ-ron
tích chập) để có thể kết hợp với hệ thống đánh vần bằng mắt đã có trong tương lai. Luận
văn đánh giá kết quả của mơ hình phân loại trên dữ liệu từ các đối tượng khỏe mạnh và
1


bệnh nhân ALS, cũng như khả năng sử dụng dữ liệu từ các phiên thu, đối tượng khác
(bằng cách áp dụng các phương pháp căn chỉnh dữ liệu) để phân biệt tín hiệu điện não
khi dữ liệu của mỗi đối tượng hạn chế, đặc biệt với các bệnh nhân ALS.

Hình 1.1: Hệ thống nhập liệu sử dụng tín hiệu điện não (thực hiện / tưởng tượng ảnh vận
động) và theo dõi ánh mắt [1]

2

Định nghĩa bài toán và hướng tiếp cận

Phân loại tín hiệu điện não là một trong những bài tốn điển hình của nghiên cứu
về khoa học thần kinh. Phân loại tín hiệu điện não cho phép tìm kiếm các đặc trưng của
não bộ trong những trạng thái nhất định, cũng như xây dựng các hệ thống giao diện não
- máy tính.
Với các hệ thống giao diện não - máy tính, cụ thể là các hệ thống đánh vần, ba mơ
hình của tín hiệu điện não được sử dụng phổ biến bao gồm: kích thích tiềm năng liên

quan đến sự kiện (khoảng 300ms), phản hồi tự nhiên trước các kích thích thị giác tại các
tần số nhất định và tưởng tượng ảnh vận động. Các mơ hình này có thể được phân biệt
với nhau bởi các đặc trưng cần được trích rút và mơ hình phân loại tương ứng. Luận văn
tập trung vào việc phân loại tín hiệu điện não EEG trong tác vụ tưởng tượng ảnh vận
động. Các đối tượng sử dụng có thể tưởng tượng quá trình thực hiện vận động tự nguyện,
chủ động, khơng phụ thuộc vào các kích thích từ bên ngồi như các kích thích về thị giác
so với hai mơ hình cịn lại (não bộ phản hồi lại các kích thích này). Do đó, mơ hình này
có tiềm năng rất lớn trong việc xây dựng hệ thống đánh vần kết hợp với hệ thống theo
dõi ánh mắt đã có từ trước.
Với sự phát triển nhanh chóng của các mơ hình học sâu, các nghiên cứu gần đây về
khoa học thần kinh cũng tập trung áp dụng các mơ hình này bên cạnh các mơ hình học
2


máy truyền thống và đạt được những kết quả nhất định. Khác với các mơ hình học máy
truyền thống, các mơ hình học sâu khơng bị phụ thuộc vào đặc trưng của từng loại mơ
hình tín hiệu điện não, tổng quát cho nhiều bài toán khác nhau.
Như vậy, luận văn giải quyết bài tốn phân loại các đoạn tín hiệu điện não liên tục
theo thời gian sử dụng mơ hình học sâu, cụ thể là mạng nơ-ron tích chập và đánh giá kết
quả trên hai bộ dữ liệu về tín hiệu điện não trong tác vụ tưởng tượng ảnh vận động với
các nhãn là các chuyển động của từng bộ phận cơ thể như tay trái, tay phải, hai chân, . . .
- Đầu vào: Các đoạn tín hiệu điện não xi ∈ RN xT , với N là số kênh, T là độ dài
của tín hiệu theo thời gian.
- Đầu ra: Nhãn của các đoạn tín hiệu điện não trong tác vụ tưởng tượng ảnh
vận động yi ∈ {nghỉ, hai chân trái/phải, tay trái, tay phải, . . . }.

3

Đóng góp của luận văn

Luận văn tập trung vào thực nghiệm các phương pháp phân loại tín hiệu điện não
bằng các mơ hình học sâu đã được đề xuất trước đó cho tác vụ tưởng tượng ảnh vận
động. Luận văn đánh giá phương pháp căn chỉnh dữ liệu và mô hình học sâu trên hai
bộ dữ liệu về tác vụ tưởng tượng ảnh vận động: Physionet Motor Movement/Imagery [2]
và HMI EEG-ET, trong đó HMI EEG-ET là bộ dữ liệu hồn tồn mới của Phịng thí
nghiệm Tương tác người - máy (HMI), Trường Đại học Công Nghệ, Đại học Quốc gia
Hà Nội. Bộ dữ liệu HMI EEG-ET gồm hơn 100 đối tượng khỏe mạnh và bệnh nhân ALS
(tiếp tục mở rộng), được xây dựng với mục tiêu phát triển hệ thống đánh vần kết hợp tín
hiệu điện não và theo dõi ánh mắt. Luận văn đánh giá khả năng xây dựng phương pháp
phân loại tín hiệu điện não sử dụng mơ hình học sâu cho bệnh nhân ALS với lượng dữ
liệu hạn chế của mỗi đối tượng.

4

Cấu trúc của luận văn
Phần sau của luận văn được chia thành 4 chương bao gồm các nội dung sau:

- Chương 2: Tín hiệu điện não. Chương này trình bày một số lý thuyết, khái
niệm cơ bản về tín hiệu điện não, tác vụ tưởng tượng ảnh vận động và các nghiên cứu
liên quan đến bài tốn phân loại.
- Chương 3: Phân loại tín hiệu điện não trong tác vụ tưởng tượng ảnh vận
động sử dụng mơ hình học sâu. Chương này trình bày phương pháp phân loại tín hiệu
điện não được sử dụng trong luận văn, bao gồm: căn chỉnh tín hiệu điện não và mơ hình
học sâu - mạng nơ-ron tích chập được sử dụng để phân loại tín hiệu.
3


- Chương 4: Thực nghiệm. Chương này trình bày các thơng số đánh giá mơ
hình phân loại, thực nghiệm và kết quả thu được của luận văn khi thực nghiệm trên hai
bộ dữ liệu tín hiệu điện não về tác vụ tưởng tượng ảnh vận động bao gồm: Physionet

Motor Movement/Imagery và HMI EEG-ET.
- Chương 5: Kết luận. Chương này trình bày các kết luận của luận văn sau khi
thực hiện các thực nghiệm, các hạn chế và các hướng phát triển tiếp theo của luận văn
trong tương lai.

4


CHƯƠNG 2

Tín hiệu điện não
Chương này trình bày một số lý thuyết, khái niệm cơ bản về tín hiệu điện não, tác
vụ tưởng tượng ảnh vận động và các nghiên cứu liên quan đến bài tốn phân loại tín hiệu
điện não.

1

Giao diện não - máy tính

Giao diện não - máy tính hay Brain-Computer Interface (BCI) là hệ thống hoạt
động giữa não và máy tính, cho phép con người giao tiếp hoặc điều khiển qua máy tính,
các thiết bị điện tử trực tiếp bằng tín hiệu điện não mà khơng cần thực hiện chuyển động.
Các hệ thống BCI được ứng dụng trong lĩnh vực y tế khi hỗ trợ giao tiếp, điều khiển các
thiết bị điện tử, hoặc xe lăn, chi giả, . . . cho những người bị tổn thương chức năng vận
động hoặc những bệnh nhân cần phục hồi chức năng sau các tổn thương về não. Ngoài
ra, hệ thống BCI còn được áp dụng trong các lĩnh vực khác như trò chơi điện tử, thực tế
ảo, . . . (hình 2.1).

5

Hình 2.1: Tổng quan hệ thống BCI [Nguồn: how2electronics]

Các hệ thống BCI có thể được phân biệt dựa trên nhiều khía cạnh: cách thu, tiền
xử lý dữ liệu, trích chọn đặc trưng hay các bộ phân lớp được sử dụng. Nhìn chung, các
hệ thống BCI được chia làm hai loại chính là xâm lấn và khơng xâm lấn:
- Các hệ thống BCI xâm lấn là các hệ thống mà thiết bị được đặt trực tiếp
trong/trên bề mặt của não bộ. Các hệ thống này có thể thu thập và xử lý các tín hiệu chi
tiết và có độ chính xác cao. Tuy nhiên, nó cũng đặt ra các rủi ro về sức khỏe khi cần thực
hiện phẫu thuật và chi phí lớn, nên chúng thường khơng phổ biến. Hệ thống BCI xâm
lấn phổ biến có thể kể đến điện não đồ xâm lấn (Electrocorticography - ECoG).
- Các hệ thống BCI không xâm lấn là các hệ thống mà thiết bị không cần đặt
trực tiếp trên bề mặt của não bộ, được cài đặt nhanh chóng, đơn giản hơn. Các hệ thống
này được sử dụng phổ biến cả bên trong và ngồi y tế. Tuy nhiên, các hệ thống khơng
xâm lấn này có độ chính xác kém hơn và khơng thể thu thập tín hiệu từ các vùng nằm
sâu phía trong não. Một số hệ thống BCI không xâm lấn phổ biến như chụp cộng hưởng
từ (Functional magnetic resonance imaging - fMRI) hay điện não đồ không xâm lấn
(Electroencephalography - EEG).

2

Điện não đồ không xâm lấn

Electroencephalography (EEG) là phương pháp không xâm lấn, được dùng để đo
đạc hoạt động của các nhóm tế bào thần kinh cùng hoạt động trong não bộ bằng cách
6


ghi lại điện thế tại các điện cực được đặt trên da đầu. Các giá trị điện thế thu được tạo
thành một tín hiệu liên tục theo thời gian gọi là sóng não hay tín hiệu điện não. Các giá

trị điện thế thường nằm trong khoảng từ −100µV đến +100µV . Tín hiệu EEG có độ chi
tiết theo thời gian (temporal resolution) cao nhưng có hạn chế về độ chi tiết theo không
gian (spatial resolution) do số lượng điện cực được đặt trên da đầu có hạn. Hình 2.2 mơ
tả tín hiệu điện não EEG thu được tại một số điện cực được đặt trên da đầu trong các
khoảng thời gian nhất định với nhãn tương ứng. Từ đây, tín hiệu điện não trong luận văn
được hiểu là tín hiệu EEG.

Hình 2.2: Tín hiệu điện não EEG

Não người được chia thành đại não, tiểu não và thân não. Bề mặt của đại não là vỏ
não được chia thành hai bán cầu não trái, phải và bốn thùy chính: thùy trán (frontal lobe),
thùy thái dương (temporal lobe), thùy đỉnh (parietal lobe), thùy chẩm (occipital lobe)
(hình 2.3). Thùy trán là vùng lớn nhất, chịu trách nhiệm cho các vận động tự nguyện,
biểu cảm và một số chức năng như lập kế hoạch, điều phối và kiểm soát. Thùy thái dương
chịu trách nhiệm cho các chức năng về âm thanh, ngôn ngữ. Thùy đỉnh thực hiện các
nhận thức về cơ thể, không gian và thùy chẩm liên quan đến các chức năng về thị giác
[1].

7


Hình 2.3: Vị trí các thùy trên vỏ não [1]

Qua các thực nghiệm, vị trí các điện cực được đặt trên vỏ não theo một số mẫu, tiêu
chuẩn nhất định. Các vị trí này được lựa chọn dựa trên chức năng của vùng não tương
ứng và loại tín hiệu mong muốn thu được trong mỗi thực nghiệm. Một số tiêu chuẩn đặt
các điện cực phổ biến bao gồm: Standard 10-20, Standard 10-10 (hình 2.4), Standard
10-05, . . . . Mật độ (số lượng) các điện cực càng cao, độ chi tiết về khơng gian của tín
hiệu EEG càng lớn.

Hình 2.4: Vị trí đặt các điện cực theo chuẩn Standard 10-10 [Nguồn: Wikipedia]

8


Tín hiệu EEG được biểu diễn qua các dao động quan sát được tại các vị trí nhất
định trên vỏ não trong một số dải tần số cụ thể. Các nhịp sóng này có thể mang thơng
tin về trạng thái hiện tại của não bộ và có thể kiểm sốt chúng một cách tự nguyện. Các
nhịp sóng chính trong tín hiệu EEG bao gồm: Delta, Theta, Alpha, Mu, Beta và Gamma.
Bảng 2.1 mô tả khái quát đặc điểm và trạng thái xuất hiện các nhịp sóng chính của tín
hiệu EEG.
Bảng 2.1: Các nhịp sóng chính của tín hiệu EEG
Tên

Tần số

Delta (δ )

0 - 4Hz

Sóng chậm và có biên độ lớn nhất, thường được tìm thấy trong
trạng thái ngủ sâu ở người trưởng thành, trẻ sơ sinh.

Theta (θ)

4 - 8Hz

Xuất hiện khi con người trong trạng thái buồn ngủ hoặc thư giãn sâu.

8 - 12Hz

Được tìm thấy chủ yếu ở vùng thị giác phía sau đầu.
Sóng Alpha xuất hiện khi thư giãn và nhắm mắt, suy giảm khi tỉnh táo
hay bắt đầu thực hiện các hoạt động nhận thức.

Mu (µ)

8 - 12Hz

Có dải tần số trùng lặp với sóng Alpha, xuất hiện chủ yếu ở vùng
vận động trên vỏ não. Sự suy giảm sóng Mu xuất hiện khi một người
thực hiện, quan sát hoặc tưởng tượng vận động.

Beta (β )

Sóng xuất hiện phổ biến khi con người đang trong trạng thái thức.
12 - 30Hz Sóng Beta liên quan đến các hoạt động nhận thức, sự tập trung và bị
ảnh hưởng bởi các vận động của cơ thể.

Alpha (α)

Gamma (γ )

> 30Hz

Đặc trưng / Trạng thái

Sóng có tần số cao, xuất hiện khi thực hiện chức năng liên kết giác quan,
nhận thức cao cấp hoặc vận động nhất định.

Cũng như nhiều phương pháp khác, tín hiệu EEG được ứng dụng phổ biến trong y
học để nghiên cứu, chẩn đoán các bệnh về chức năng của não bộ, như bệnh động kinh
hoặc rối loạn giấc ngủ. Ngồi ra, tín hiệu EEG được ứng dụng vào trong các hệ thống
BCI từ sớm. Tín hiệu EEG có thể được dùng độc lập hoặc kết hợp với các hệ thống BCI
khác như theo dõi chuyển động mắt (Eye-Tracker), điện cơ đồ (Electromyography), . . .
Một ứng dụng phổ biến sử dụng tín hiệu EEG là các hệ thống đánh vần. Các hệ thống
đánh vần sử dụng tín hiệu EEG chủ yếu xoay quanh ba mơ hình chính của tín hiệu EEG:
P300, SSVEP và tưởng tượng ảnh vận động (MI). Các hệ thống BCI sử dụng tín hiệu
EEG được chia thành hai loại chính:
- Hệ thống BCI đồng bộ: Tín hiệu EEG được tạo ra khi người tham gia phản hồi
với tác nhân bên ngoài trong các khoảng thời gian được xác định trước.
9


- Hệ thống BCI bất đồng bộ: Tín hiệu EEG được tạo ra khi người tham gia tự do
thực hiện các suy nghĩ của mình một cách chủ động (khơng bị ảnh hưởng bởi tác nhân
bên ngồi).
Trong các q trình thu thập, tiền xử lý và phân loại tín hiệu EEG, tồn tại một số
khó khăn nhất định ảnh hưởng đến kết quả cuối cùng của hệ thống. Các khó khăn chính
liên quan đến phân loại tín hiệu EEG có thể kể đến:
- Tín hiệu EEG biến đổi liên tục theo thời gian (non-stationary) trong quá trình
hoạt động/thay đổi trạng thái của não bộ, khiến cho đặc trưng của tín hiệu giữa các phiên
thu của cùng một đối tượng (cross-session) hoặc giữa nhiều đối tượng (cross-subject) là
khơng giống nhau. Ngồi ra, lượng dữ liệu được sử dụng để huấn luyện các mơ hình bị
hạn chế nên việc xây dựng một mơ hình phân loại hoạt động hiệu quả trên tồn bộ phiên
thu/đối tượng một cách trực tiếp là khó khăn.
- Tín hiệu EEG thu được chủ yếu từ các nơ-ron nằm gần vỏ não, khiến việc thu
thập và phân tích các tín hiệu từ các nơ-ron nằm sâu trong não gặp nhiều khó khăn.
- Tín hiệu EEG bị ảnh hưởng rất nhiều bởi nhiễu (low signal-to-noise ratio). Các
giá trị điện thế thu được là trung bình của một nhóm các nơ-ron (số lượng điện cực nhỏ

hơn rất nhiều số nơ-ron) và các điện cực này không tiếp xúc trực tiếp với bề mặt não bộ
(tiếp xúc qua xương, tóc, . . . ). Điều này dẫn đến tín hiệu EEG thu được bị ảnh hưởng bởi
các loại nhiễu khác nhau như nhiễu sinh học như nháy mắt/chuyển động mắt, nhiễu do
chuyển động của cơ thể hay các loại nhiễu từ thiết bị hoặc mơi trường xảy ra trong q
trình thu dữ liệu.

3

Tưởng tượng ảnh vận động

Tưởng tượng ảnh vận động - Motor Imagery (MI) là hoạt động nhận thức tự nguyện,
chủ động mà con người tưởng tượng quá trình thực hiện các vận động (thường là vận
động các bộ phận của cơ thể). Một số nghiên cứu trước đây chỉ ra rằng, quá trình tưởng
tượng hay thực hiện vận động trực tiếp chia sẻ chung một số cơ chế thần kinh, được quan
sát trên vùng vận động của vỏ não.
Vỏ não vận động (motor cortex) nằm ở vùng trung tâm, bao gồm ba vùng chính
của thùy trán và xử lý các tín hiệu về vận động (hình 2.5). Các kích thích ở các vị trí trên
vỏ não vận động có liên hệ đến chuyển động từ đơn giản đến phức tạp của các bộ phận
tương ứng trong cơ thể, ví dụ: tay trái, tay phải, chân, lưỡi, . . . [3].

10


Hình 2.5: Vị trí các vùng trên vỏ não vận động [3]

Các nghiên cứu trước đây tập trung vào đặc trưng về khơng gian và thời gian của
nhịp sóng Mu (8 - 12Hz) và Beta (12 - 30Hz) trong quá trình tưởng tượng ảnh vận động
các bộ phận cơ thể. Trong các nghiên cứu của Gert Pfurtscheller và cộng sự [4], [5],
[6], [7], các đối tượng tham gia thí nghiệm thực hiện tưởng tượng ảnh vận động tay trái,
tay phải hoặc chân, lưỡi theo hướng dẫn từ những kích thích thị giác. Các nghiên cứu

chỉ ra rằng sự suy giảm năng lượng - Event-related desynchronization (ERD) của nhịp
sóng Mu và sự gia tăng năng lượng - Event-related synchronization (ERS) của nhịp sóng
Beta tồn tại trong một khoảng thời gian ngắn tại các vị trí trên vỏ não vận động chính
(xung quanh ba điện cực C3, Cz và C4) (hình 2.6), được tìm thấy trên hầu hết các đối
tượng tham gia thí nghiệm. Các đặc trưng này tương tự như quá trình chuẩn bị thực hiện
vận động. Trong tưởng tượng ảnh vận động tay trái hoặc tay phải, ERD của nhịp sóng
Mu được tìm thấy tại bán cầu não đối diện, xuất hiện trước thời điểm bắt đầu và phục
hồi trong quá trình thực hiện tưởng tượng vận động. Bên cạnh đó, ERS của nhịp sóng
Beta xuất hiện trên bán cầu não cùng bên, tồn tại đồng thời với ERD của nhịp sóng Mu.
Ngược lại với tưởng tượng ảnh vận động của tay trái hoặc tay phải, ERD của nhịp sóng
Mu với vận động của chân được tìm thấy xung quanh điện cực Cz và có thể tạo ra ERS
của nhịp sóng Mu tại vùng vận động tương ứng với tay (xung quanh hai điện cực C3
và C4) một cách đồng thời. Do đó, tại mỗi vùng trên vỏ não vận động của tay, chân có
những nhịp sóng Mu hoạt động riêng biệt sẽ suy giảm khi những vùng tương ứng được
kích hoạt.

11


Hình 2.6: ERD và ERS của nhịp sóng Mu (Alpha) và Beta tại hai điện cực C3 và C4 [5]

4

Các nghiên cứu liên quan về phân loại tín hiệu điện não
trong tác vụ tưởng tượng ảnh vận động

Trong các nghiên cứu về phân loại tín hiệu EEG, các mơ hình phân loại thường
được kết hợp với các phương pháp trích chọn đặc trưng. Tín hiệu EEG được lọc theo
miền thời gian và không gian trước khi các đặc trưng được trích rút và sử dụng làm dữ
liệu huấn luyện cho các mơ hình phân lớp. Các đặc trưng của tín hiệu EEG có thể được

biểu diễn theo miền tần số hoặc trực tiếp theo miền thời gian.
Lọc theo miền không gian của tín hiệu EEG là cách được sử dụng để cải thiện
chất lượng và giảm ảnh hưởng của nhiễu với tín hiệu. Các phương pháp này tìm kiếm
tổ hợp (thường là tuyến tính) các nguồn tín hiệu EEG từ tập hợp các kênh ban đầu. Lọc
theo miền không gian có thể thực hiện độc lập hoặc dựa trên dữ liệu. Các phương pháp
học không giám sát từ dữ liệu có thể kể đến phân tích thành phần độc lập - Independent
Component Analysis (ICA), phân tích thành phần chính - Principle Component Analysis
(PCA). Sử dụng các mẫu không gian chung - Common Spatial Patterns (CSP) và các biến
thể là những phương pháp học có giám sát từ dữ liệu được sử dụng phổ biến trong các
bài toán phân loại. K.K. Ang và cộng sự [8] sử dụng CSP với một bộ các dải tần số
(Filter-bank CSP - FBCSP) đạt được giá trị Kappa trung bình là 0.569 và 0.600 trên hai
bộ dữ liệu về tác vụ hình dung ảnh vận động BCI competition IV - 2a và 2b.
Năng lượng trung bình của phổ tần số là đặc trưng trên miền tần số - Band Power
(BP), biểu diễn mức năng lượng của tần số tương ứng trên các kênh của tín hiệu EEG
trong một khoảng thời gian xác định. Phương pháp này thường được sử dụng để khai
thác các dao động của tín hiệu EEG, cụ thể là sự thay đổi biên độ của các nhịp sóng. Các
nghiên cứu [9], [10] đã so sánh các phương pháp khác nhau tính năng lượng của tần số
trong bài toán phân loại tưởng tượng ảnh vận động.
A. Barachant và cộng sự [11], [12] đề xuất một phương pháp phân loại tín hiệu
12


EEG mới, sử dụng không gian Riemannian Manifold (RM) của các ma trận đối xứng
xác định dương (ma trận hiệp phương sai của tín hiệu EEG là ma trận đối xứng xác định
dương). Phương pháp này biến đổi trực tiếp các đoạn tín hiệu EEG sang một khơng gian
mới, và xây dựng mơ hình phân lớp trên khơng gian này. Phương pháp giả định rằng
năng lượng và phân bố về khơng gian của các đoạn tín hiệu EEG thuộc cùng một trạng
thái là tương tự nhau và có thể được mã hóa bằng ma trận hiệp phương sai của tín hiệu,
được biểu diễn bằng các điểm trên không gian RM. Các mơ hình phân loại có thể dựa
trên độ dài cung ngắn nhất (khoảng cách) giữa các điểm trên không gian đến điểm trung

bình hoặc sử dụng một phép chiếu lên cùng một không gian tiếp tuyến. Thử nghiệm trên
bộ dữ liệu BCI competition IV - 2a, phương pháp đạt độ chính xác trung bình 0.632 và
0.702 với hai mơ hình phân lớp sử dụng khoảng cách ngắn nhất giữa các đoạn tín hiệu
và đặc trưng trên khơng gian tiếp tuyến.

Hình 2.7: Biểu diễn khơng gian Riemannian Manifold (RM) của ma trận đối xứng xác
định dương (SPD) [12]

Hình 2.7 biểu diễn không gian RM của các ma trận đối xứng xác định dương (ma
trận hiệp phương sai của các đoạn tín hiệu EEG). Trong đó, C1 , C2 ∈ RN ×N là các điểm
biểu diễn của các đoạn tín hiệu EEG, G ∈ RN ×N là điểm biểu diễn trung bình của các
ma trận Ci . δ(C1 , G), δ(C2 , G) là độ dài cung ngắn nhất (khoảng cách) từ C1 , C2 đến G.
ζ1 , ζ2 là hình chiếu của C1 , C2 trên không gian tiếp tuyến TG M tại G. Không gian M và
không gian tiếp tuyến TG M đều có số chiều là N ∗ (N + 1)/2, với N là số kênh của tín
hiệu EEG.
Khoảng cách giữa hai ma trận C1 và C2 được định nghĩa theo công thức
N

δ(C1 , C2 ) =

||Log(C1−1

1

log 2 λi ) 2

∗ C2 )||F = (
i=1

trong đó, λi là N giá trị riêng (eigenvalues) của ma trận C1−1 ∗ C2 .

13

(2.1)


R.T. Schirrmeister và cộng sự [13] đề xuất hai mô hình mạng Shallow/Deep ConvNet, V.J. Lawhern và cộng sự [14] đề xuất mơ hình mạng EEGNet - các mơ hình mạng
nơ-ron tích chập nhân tạo - Convolutional Neural Network (CNN), tổng quát với nhiều
dạng thức khác nhau của tín hiệu EEG như P300, SSVEP hay MI. X. Wang và cộng sự
[15] đã thử nghiệm và thu gọn kiến trúc dựa trên mạng EEGNet để sử dụng trên nhiều
thiết bị có năng lực tính tốn hạn chế (sử dụng chip ARM Cortex-M). Các mơ hình này
sử dụng trực tiếp tín hiệu EEG được biểu diễn theo miền thời gian và có thể học được
các đặc trưng theo không gian của tần số một cách tự động dựa trên các phép toán tích
chập. Những mơ hình này được tối ưu để sử dụng số lượng tối thiểu các tham số, có khả
năng huấn luyện với lượng ít dữ liệu trong cả hai điều kiện tín hiệu EEG được thu cùng
một đối tượng (subject-specific) và từ nhiều đối tượng khác nhau (cross-subject). Qua
thử nghiệm với bộ dữ liệu BCI competition IV - 2a [14], mơ hình EEGNet đạt độ chính
xác trung bình khoảng 0.7 với dữ liệu của cùng một đối tượng và 0.4 với dữ liệu từ nhiều
đối tượng khác nhau, tốt hơn so với phương pháp FBCSP.
Trong các bài toán về phân loại tín hiệu EEG, phân bố của dữ liệu huấn luyện và
dữ liệu đánh giá thường thuộc các miền dữ liệu khác nhau do tín hiệu được thu từ nhiều
đối tượng hoặc các phiên thu khác nhau. Các phương pháp học chuyển tiếp (transfer
learning) và căn chỉnh dữ liệu (data alignment) được áp dụng để loại bỏ đi những khác
biệt giữa các miền dữ liệu (domain) của tín hiệu EEG thuộc cùng một tác vụ. Dựa trên
các tính chất của không gian RM, P. Zanini và cộng sự [16], H. He và cộng sự [17], [18]
đề xuất các phương pháp căn chỉnh dữ liệu của các đoạn tín hiệu EEG, nhằm giải quyết
những khác biệt giữa về tín hiệu các phiên thu và đối tượng khác nhau. [16] sử dụng
trung bình các ma trận hiệp phương sai các đoạn tín hiệu EEG của trạng thái tham chiếu
(khơng thực hiện tác vụ nào) để căn chỉnh dữ liệu trên không gian RM, trong khi [17],
[18] sử dụng trung bình của tồn bộ các đoạn tín hiệu EEG để căn chỉnh dữ liệu trực
tiếp trên không gian Euclidean. L. Xu và cộng sự [19] đã thử nghiệm khả năng tổng quát

hóa của các mơ hình CNN với nhiều bộ dữ liệu khác nhau về phân loại tưởng tượng ảnh
vận động. Qua thực nghiệm, việc sử dụng các phương pháp căn chỉnh dữ liệu làm tăng
độ chính xác của các mơ hình CNN khi đánh giá trên dữ liệu từ nhiều đối tượng khác
nhau (cross-subject) trên từng bộ dữ liệu. Tuy nhiên, khơng có sự cải thiện rõ ràng khi
sử dụng đồng thời nhiều bộ dữ liệu. H. Dose và cộng sự [20] sử dụng các mơ hình CNN
kết hợp với học chuyển tiếp để phân biệt tín hiệu EEG với tác vụ tưởng tượng ảnh vận
động trên bộ dữ liệu Physionet Motor Movement/Imagery [2]. Độ chính xác trung bình
trên nhiều đối tượng (cross-subject) với hai, ba và bốn nhãn lần lượt là 0.8038, 0.6982
và 0.5859. Sau đó, họ tiếp tục huấn luyện mơ hình tổng qt (đã được huấn luyện trước
đó) với dữ liệu của từng đối tượng riêng biệt, độ chính xác trung bình tăng lên lần lượt
là 0.8649, 0.7925 và 0.6851. X. Wei và cộng sự [21] đã tổng hợp một số phương pháp
học chuyển tiếp sử dụng mô hình học sâu được áp dụng trong các tác vụ phân loại tín
hiệu EEG (các giai đoạn của giấc ngủ và tưởng tượng ảnh vận động) tại cuộc thi BEETL
14