Lựa chọn đặc trưng bằng giải thuật di truyền trong bài toán nhận dạng hành vi

ĐẠI HỌC QUỐC GIA TP. HCM
TRƯỜNG ĐẠI HỌC BÁCH KHOA
---------------------------------------

HUỲNH TRUNG TÍN

LỰA CHỌN ĐẶC TRƯNG BẰNG GIẢI THUẬT DI
TRUYỀN TRONG BÀI TOÁN NHẬN DẠNG HÀNH VI

FEATURE SELECTION WITH GENETIC ALGORITHM
IN HUMAN ACTIVITIES RECOGNITION

Ngành: KHOA HỌC MÁY TÍNH
Mã số: 60 48 01 01

LUẬN VĂN THẠC SĨ

TP. HỒ CHÍ MINH, tháng 06 năm 2018


CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI
TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM
Cán bộ hướng dẫn khoa học: TS. Phạm Hoàng Anh .................................
(Ghi rõ họ, tên, học hàm, học vị và chữ ký)
Cán bộ chấm nhận xét 1: TS. Nguyễn Minh Sơn.......................................
(Ghi rõ họ, tên, học hàm, học vị và chữ ký)

Cán bộ chấm nhận xét 2: PGS.TS. Huỳnh Trung Hiếu .............................
(Ghi rõ họ, tên, học hàm, học vị và chữ ký)
Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG Tp.
HCM ngày 17 tháng 07 năm 2018.

Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm:
(Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ luận văn thạc sĩ)
1. TS. Nguyễn Đức Dũng .........................
2. TS. Nguyễn Trần Hữu Nguyên ............
3. TS. Nguyễn Minh Sơn..........................
4. PGS.TS. Huỳnh Trung Hiếu ................
5. TS. Lê Thanh Vân ................................
Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý
chuyên ngành sau khi luận văn đã được sửa chữa (nếu có).
CHỦ TỊCH HỘI ĐỒNG

TRƯỞNG KHOA KH&KTMT


ĐẠI HỌC QUỐC GIA TP.HCM

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT

TRƯỜNG ĐẠI HỌC BÁCH KHOA

NAM Độc lập - Tự do - Hạnh phúc

NHIỆM VỤ LUẬN VĂN THẠC SĨ
Họ tên học viên: HUỲNH TRUNG TÍN ................................... MSHV: 1570012.............
Ngày, tháng, năm sinh: 15/09/1992 ........................................... Nơi sinh: Đồng Tháp ......
Ngành: KHOA HỌC MÁY TÍNH ............................................. Mã số : 60 48 01 01
I. TÊN ĐỀ TÀI: ................................................................................................................
LỰA CHỌN ĐẶC TRƯNG BẰNG GIẢI THUẬT DI TRUYỀN TRONG BÀI
TOÁN NHẬN DẠNG HÀNH VI .......................................................................................
II. NHIỆM VỤ VÀ NỘI DUNG: ....................................................................................

Sử dụng giải thuật di truyền để thu gọn vector đặc trưng nhằm nâng cao hiệu suất
của các mơ hình phân lớp trong bài tốn nhận dạng hành vi ..............................................
.............................................................................................................................................
III. NGÀY GIAO NHIỆM VỤ : (Ghi theo trong QĐ giao đề tài) 10/07/2017 ..............
IV. NGÀY HOÀN THÀNH NHIỆM VỤ: (Ghi theo trong QĐ giao đề tài)
03/12/2017 .......................................................................................................................
V. CÁN BỘ HƯỚNG DẪN (Ghi rõ học hàm, học vị, họ, tên): .......................................
TS. PHẠM HOÀNG ANH .................................................................................................

Tp. HCM, ngày . . . . tháng .. . . năm 20....
CÁN BỘ HƯỚNG DẪN

TRƯỞNG KHOA KH & KTMT

(Họ tên và chữ ký)

(Họ tên và chữ ký)


LỜI CẢM ƠN
Lời đầu tiên tôi xin gửi lời cảm ơn chân thành và sâu sắc nhất đến TS. Phạm Hồng
Anh, người đã hướng dẫn tơi hết sức tận tâm, nhiệt tình và khoa học để tơi hồn
thành luận văn thạc sĩ này. Đồng thời, tôi xin chân thành cảm ơn đến các bạn Phạm
Hữu Tuấn và Nguyễn Ngọc Phi đã hỗ trợ tơi trong q trình thực nghiệm và thu
thập số liệu. Tôi xin cảm ơn các thầy cô giáo của trường Đại học Bách Khoa thành
phố Hồ Chí Minh, đặc biệt là các thầy cô trong Khoa sau đại học đã giúp tơi trong
q trình thực hiện luận văn. Tôi cũng xin gửi lời cảm ơn tới gia đình, bạn bè, đồng
nghiệp và những người đã sát cánh bên cạnh và ủng hộ tôi, là động lực cho tơi hồn
thành luận văn này một cách thuận lợi.
Tp. Hồ Chí Minh, tháng 06 năm 2018

Huỳnh Trung Tín

.


TÓM TẮT
Ngày nay, số lượng người dùng thiết bị di động ngày càng nhiều và những chiếc
điện thoại thông minh ấy được trang bị rất nhiều cảm biến. Đó là điều kiện thuận lợi
cho việc triển khai các ứng dụng nhận dạng hành vi trên điện thoại thông minh. Tuy
nhiên điện thoại thơng minh vẫn cịn những hạn chế về sức mạnh phần cứng khi so
sánh với máy tính. Do đó, luận văn được thực hiện với mục tiêu áp dụng giải thuật
di truyền để thu giảm kích thước của vector đặc trưng, tìm kiếm vector đặc trưng tối
ưu cho các mơ hình học máy khác nhau nhằm nâng cao kết quả phân lớp cũng như
hiệu suất khi thực thi mơ hình phân lớp (bao gồm thời gian thực thi và bộ nhớ được
sử dụng). Cụ thể luận văn đã tối ưu vector đặc trưng cho mơ hình Support Vector
Machine thu được độ chính xác 96.64% và mơ hình 2-Stages Continous Hidden
Markovs là 88.36%.


SUMMARY
Nowadays many of people use mobile phones and those phones have many built-in
sensors. That is a good condition for developing activities recognition systems.
However, smartphones still have limit of hardware power. In this thesis, I use
genetic algorithms for feature selection, try to find optimized feature vector for
classifier algorithms (Support Vector Machine and 2-Stages Continuous Hidden
Markov Model). In result, the accuracy of Support Vector Machine is 96.64% and
accuracy of 2-Stages Continuous Hidden Markov Model is 88.36%.

LỜI CAM ĐOAN
Tôi xin cam đoan luận văn LỰA CHỌN ĐẶC TRƯNG BẰNG GIẢI THUẬT DI
TRUYỀN TRONG BÀI TOÁN NHẬN DẠNG HÀNH VI là kết quả của quá trình
tự nghiên cứu của riêng tôi. Ngoại trừ các nội dung tham khảo từ các cơng trình
khác như đã nêu rõ trong luận văn, các số liệu diều tra, kết quả nghiên cứu đưa ra
trong luận văn là trung thực và chưa được cơng bố trong bất kỳ cơng trình nghiên
cứu nào đã có từ trước.
Tp. Hồ Chí Minh, tháng 06 năm 2018

Huỳnh Trung Tín


MỤC LỤC
MỤC LỤC ...............................................................................................................7
DANH MỤC HÌNH ................................................................................................9
DANH MỤC BẢNG .............................................................................................10
CHƯƠNG 1.

MỞ ĐẦU..........................................................................................1

1.1.

Lý do chọn đề tài ........................................................................................1

1.2.

Mục tiêu nghiên cứu ...................................................................................2

1.3.

Đối tượng nghiên cứu.................................................................................2

1.4.

Phạm vi nghiên cứu ....................................................................................2

1.5.

Ý nghĩa khoa học và thực tiễn....................................................................3

1.5.1.

Ý nghĩa thực tiễn .................................................................................3

1.5.2.

Ý nghĩa khoa học .................................................................................3

CHƯƠNG 2.
2.1.

TỔNG QUAN ..................................................................................4

Các cơng trình liên quan ............................................................................4

2.1.1.

Cơng trình của C. A. Ronao and S. Cho [2] ........................................5

2.1.2.

Cơng trình của Rodrigo Cilla et al. [3] ................................................5

CHƯƠNG 3.
3.1.

NHỮNG NGHIÊN CỨU LÝ THUYẾT VÀ THỰC NGHIỆM......7

Cơ sở lý thuyết ...........................................................................................7

3.1.1.

Mô hình Support Vector Machine .......................................................7

3.1.2.

Mơ hình 2-Stages Continuous Hidden Markov Model (2SCHMM) 13

3.1.3.

Giải thuật di truyền (GAs) .................................................................18

3.2.

Phương pháp nghiên cứu ..........................................................................20

3.2.1.

Phương pháp nghiên cứu lý thuyết ....................................................20

3.2.2.

Phương pháp nghiên cứu thực nghiệm ..............................................20

3.2.3.

Phương pháp đánh giá kết quả nghiên cứu .......................................22


CHƯƠNG 4.
4.1.

TRÌNH BÀY, ĐÁNH GIÁ, BÀN LUẬN KẾT QUẢ ...................23

Quá trình thực nghiệm..............................................................................23

4.1.1.

Quá trình phân lớp để đánh giá cá thể ...............................................23

4.1.2.

Quá trình thu gọn vector đặc trưng bằng giải thuật di truyền ...........30

4.1.3.

Quá trình đánh giá kết quả ................................................................32

4.2.

Kết quả thực nghiệm ................................................................................33

4.2.1.

Giải thuật SVM .................................................................................33

4.2.2.

Giải thuật 2SCHMM .........................................................................34

4.2.3.

So sánh kết quả ..................................................................................35

CHƯƠNG 5.

KẾT LUẬN VÀ KIẾN NGHỊ .......................................................37

5.1.

Những công việc đã thực hiện..................................................................37

5.2.

Những hạn chế hiện tại.............................................................................37

5.3.

Hướng phát triển ......................................................................................37

TÀI LIỆU THAM KHẢO .....................................................................................39
PHỤ LỤC ..............................................................................................................40
Danh mục từ viết tắt ..............................................................................................40


DANH MỤC HÌNH
Hình 3-1. Mơ hình Support Vector Machine ..............................................................7
Hình 3-2. Siêu phẳng trong mơ hình SVM .................................................................8
Hình 3-3. Margin trong mơ hình SVM .......................................................................9
Hình 3-4. Ảnh hưởng của 𝛄 đến kết quả phân lớp trong SVM .................................10
Hình 3-5. Ảnh hưởng của C đến kết quả phân lớp trong SVM ................................11
Hình 3-6. Giai đoạn 1 – Phân lớp thơ hành vi ..........................................................17
Hình 3-7. Giai đoạn 2 – Phân lớp chính xác hành vi ................................................17
Hình 3-8. Lưu đồ giải thuật của giải thuật di truyền .................................................19
Hình 3-9. Lưu đồ giải thuật cho thu gọn vector đặc trưng bằng giải thuật di truyền21
Hình 4-1. Kết quả tìm kiếm chính xác (C,γ) bằng lưới tìm kiếm (Đơn vị: %) .........25
Hình 4-2. Biểu đồ đường viền đánh giá thơng số trong mơ hình HMM .................28
Hình 4-3. Các tốn tử trong giải thuật di truyền .......................................................30
Hình 4-4. So sánh các thơng số giữa có và không thu gọn vector đặc trưng ............35


DANH MỤC BẢNG
Bảng 2-1. Tóm tắt các cơng trình nghiên cứu về nhận dạng hành vi..........................4
Bảng 2-2. Kết quả thực nghiệm của Ronao [2]. Accuracy = 91.76% .........................5
Bảng 4-1. Kết quả tìm kiếm thơ (C,γ) bằng lưới tìm kiếm (Đơn vị: %) ...................24
Bảng 4-2. Kết quả phân lớp của HMM (acc) ............................................................26
Bảng 4-3. Thời gian thực thi của HMM (t, đơn vị giây)...........................................27
Bảng 4-4. Trọng số lựa chọn thông số cho mơ hình HMM ......................................28
Bảng 4-5. Kết quả phân lớp dùng SVM không thu gọn vector đặc trưng. ...............33
Bảng 4-6. Kết quả phân lớp dùng SVM có thu gọn vector đặc trưng.......................33

Bảng 4-7. Kết quả phân lớp dùng 2SCHMM không thu gọn vector đặc trưng. .......34
Bảng 4-8. Kết quả phân lớp dùng 2SCHMM có thu gọn vector đặc trưng. .............34


MỞ ĐẦU

CHƯƠNG 1. MỞ ĐẦU
1.1.

Lý do chọn đề tài
Nhận dạng hành vi con người sử dụng cảm biến cá nhân đã trở thành một

lĩnh vực nghiên cứu quan trọng nhằm tạo ra hay cải thiện các ứng dụng giám sát
hoạt động con người. Khả năng ghi lại và nhận dạng các hoạt động cá nhân hàng
ngày là điều cần thiết để xác định mức độ thực hiện hoạt động của con người.
Những hệ thống này có những ứng dụng thực tế trong việc chăm sóc sức
khỏe và theo dõi luyện tập sức khỏe. Hoạt động thể chất có tác dụng tích cực lên tất
cả các chức năng của cơ thể và các nghiên cứu đã chứng minh rằng nguy cơ tim
mạch giảm tới 50% đối với người có hoạt động thể chất tích cực. Với sự già hóa
dân số, kinh phí hạn chế cho việc chăm sóc sức khỏe cộng đồng, sự quan tâm nhiều
hơn được trả để giám sát hoạt động con người, nâng cao khả năng hỗ trợ các bệnh
nhân và giúp họ tự chăm sóc bản thân, giảm sự chăm sóc y tế thơng thường và
chuyển qua chăm sóc từ xa.
Trong lĩnh vực y tế, việc theo dõi hoạt động người dùng trong thời gian dài
có thể hữu ích trong việc phát hiện sớm các bệnh hoặc có thể khuyến khích người
dùng cải thiện mức độ hoạt động của họ.
Một trong những phương pháp được sử dụng để giám sát hoạt động của con
người là dựa trên các hệ thống video ghi chuyển động được liên kết với nền cảm
nhận áp lực ở dưới. Nhưng phương pháp này gây khó chịu, địi hỏi thiết bị lớn và
chỉ có thể được sử dụng bên trong phịng thí nghiệm đòi hỏi các thiết lập cao, thời

gian xử lý cũng như khơng gian bộ nhớ để ghi lại nó.
Phân tích hành vi sử dụng các cảm biến của điện thoại thông minh đã trở
thành một lựa chọn phù hợp cho u cầu này vì kích thước nhỏ, chi phí thấp và khả
năng ghi lại các tín hiệu chuyển động một cách kín đáo. Hơn nữa ngày nay hầu hết
các điện thoại thơng minh đều được tích hợp các cảm biến phù hợp cho việc phân
tích hành vi người dùng. Cảm biến gia tốc và con quay hồi chuyển được sử dụng để
nghiên cứu các hoạt động hàng ngày của con người.

1

1


MỞ ĐẦU
Phân loại thông tin chuyển động dựa trên dữ liệu được thu thập từ các cảm
biến trong điện thoại thông minh, việc phân lớp thường được thực hiện với kỹ thuật
học máy, địi hỏi phải khai thác các thơng số dữ liệu chuyển động để huấn luyện
phân lớp trước khi dự đốn dữ liệu hoạt động mới với mơ hình huấn luyện.
1.2.

Mục tiêu nghiên cứu
Mục tiêu của luận văn là áp dụng giải thuật di truyền để thu giảm kích thước

của vector đặc trưng, tìm được vector đặc trưng tối ưu cho các mơ hình học máy
khác nhau giúp nâng cao kết quả phân lớp cũng như hiệu suất khi thực thi mơ hình
phân lớp (thời gian thực thi và bộ nhớ sử dụng). Cụ thể luận văn đã thực hiện:
-

Tìm ra bộ vector đặc trưng tối ưu cho mơ hình Support Vector Machine
(SVM).

-

1.3.

Tìm ra bộ vector đặc trưng tối ưu cho mơ hình 2-Stages Continous
Hidden Markovs (2SCHMM).

Đối tượng nghiên cứu
Luận văn sử dụng tập dữ liệu UCI HAR, là tập dữ liệu dùng cho nhận dạng

hành vi của con người sử dụng dữ liệu cảm biến từ điện thoại thông minh. Chi tiết
hơn, tập dữ liệu được lấy từ kết quả thử nghiệm trên một nhóm 30 tình nguyện viên
có độ tuổi từ 19-48. Mỗi tình nguyện viên sẽ thực hiện 6 hoạt động trong khi đeo
điện thoại (Samsung Galaxy S II) trên eo. Dữ liệu được thu thập là giá trị của gia
tốc kế và con quay hồi chuyển ở tần số 50Hz. Tập dữ liệu được chia một cách ngẫu
nhiên thành tập huấn luyện (70%) và tập kiểm tra (30%).
Luận văn sử dụng giải thuật di truyền để cải tiến bộ vector đặc trưng.
Luận văn áp dụng cho hai mơ hình học máy là SVM và 2-Stages CHMM để
nhận dạng hành vi từ đó đánh giá hiệu quả về kết quả phân lớp và hiệu suất của việc
thu gọn vector đặc trưng.
1.4.

Phạm vi nghiên cứu
Luận văn tìm bộ vector đặc trưng dựa trên 2 ràng buộc:
-

Vector đặc trưng thu được phải giúp cho giải thuật phân lớp nâng cao
được hiệu suất thực thi.
2

2


MỞ ĐẦU
-

Kết quả phân lớp của mơ hình học máy khi sử dụng bộ vector đặc trưng
đã thu gọn so với kết quả phân lớp khi sử dụng bộ vector đầy đủ 561 đặc
trưng phải trong phạm vi sai số là 5%.

1.5.

Ý nghĩa khoa học và thực tiễn

1.5.1. Ý nghĩa thực tiễn
Phân tích hoạt động con người đã nhận được sự quan tâm ngày càng nhiều
của những người chăm sóc người cao tuổi, vận động viên, bác sỹ, chuyên gia dinh
dưỡng, các nhà vật lý trị liệu và cả những người muốn kiểm tra mức độ hoạt động
hằng ngày.
Với tài liệu tham khảo của các nghiên cứu trước đây trong lĩnh vực này, điện
thoại thông minh với cảm biến gia tốc đã được sử dụng để thu thập dữ liệu chuyển
động của người dùng vì chúng nhỏ gọn, ít vướng víu hơn khi so với các cảm biến
đeo được và đặc biệt là người dùng thường xuyên điện thoại mang theo người. Các
dữ liệu thu thập được từ gia tốc kế cung cấp thông tin về gia tốc do chuyển động cơ
thể của con người và do trọng lực kết hợp với thông tin về hướng của điện thoại từ
con quay hồi chuyển. Các tín hiệu được trích xuất như cường độ, góc, độ lệch chuẩn
của biến đổi FFT cũng có thể được dùng để huấn luyện mơ hình học máy.
1.5.2. Ý nghĩa khoa học
Việc thu gọn vector đặc trưng giúp tăng được hiệu suất cho các mơ hình học

máy trong bài toán nhận dạng hành vi, tạo điều kiện để triển khai các ứng dụng trên
các thiết bị có phần cứng giới hạn như điện thoại hoặc các hệ thống IOT. Ngồi ra
thu gọn vector đặc trưng cịn giúp giảm thời gian và chi phí phát triển phần mềm do
chỉ cần trích xuất những đặc trưng đủ cho mơ hình học máy.

3

3


TỔNG QUAN

CHƯƠNG 2. TỔNG QUAN
2.1.

Các cơng trình liên quan
Nhận dạng hành vi từ dữ liệu quan sát thu được từ cảm biến là một bài toán

rất quan trọng, được nghiên cứu rất nhiều trong nhóm các bài tốn nhận dạng. Kết
quả của bài toán này ứng dụng rộng rãi trong nhiều lĩnh vực của đời sống xã hội.
Sau đây là kết quả khảo sát của báo cáo [1] về các cơng trình nghiên cứu nhận dạng
hành vi sử dụng thiết bị cảm biến trang bị trên người.
Bảng 2-1. Tóm tắt các cơng trình nghiên cứu về nhận dạng hành vi
Tác giả

Nhóm hành vi

Bao

AMB, DA

Hanai

AMB

Parkka

AMB, DA

He

AMB

He

AMB

Zhu

AMB, TR

Altun

AMB

Cheng

UB

McGlynn

DA

Pham

AMB, DA

Vinh

AMB, DA

Đặc trưng

Cảm biến
ACC (cổ tay,
cổ chân, đùi,
khuỷu tay,
hông)
ACC (ngực)
ACC, ENV,
VS (22
signals)
ACC
ACC (túi
quần)
ACC (cổ tay,
thắt lưng)
ACC, GYR
(ngực, cánh
tay, chân)

Electrodes
(cổ, ngực,
chân, cổ tay)
ACC (đùi,
hông, cổ tay)
ACC (áo
khốt)
ACC (cổ tay,
hơng)

Mơ hình
phân lớp

Kết quả

TD, FD

KNN, C4.5,
NB

HAAR filters

C4.5

TD, FD

DR, KNN

AR

SVM

92.25%

DCT, PCA

SVM

97.51%

AV, 3DD

HMM

PCA, SFFS

BN, LS,
KNN, DTW,
ANN

TD

LDA

DTW

DTW
ensemble

Relative

Energy

NB, HMM

TD

SMCRF

TD, FD, PR,
TF

ALR,
Bagging,
C4.5, NB,
BN

95.7%

97.9%

84%
93.91%
86%

90%
87% - 99%

77%
84.3%
97% (SD),

95% (SI)
88.38%

Centinela

AMB

ACC, VS
(ngực)

Khan

AMB, TR

ACC (ngực)

AR, SMA,
TA,
LDA

ANN

Jatoba

AMB

ACC, SPI

TD / FD

CART, KNN

ACC (cổ tay)

TD, FD

FBF

93%

ACC (6 vị trí)

TD, FD

Boosting

90%

Chen
Minnen

AMB, DA,
HW
AMB, MIL

4

86% (SI),
95% (SD)

4


TỔNG QUAN
Trong các tài liệu luận văn đã tìm hiểu ở TÀI LIỆU THAM KHẢO thì hai tài
liệu sau đây là gần với hướng nghiên cứu của luận văn nhất.
2.1.1. Cơng trình của C. A. Ronao and S. Cho [2]
Bài báo sử dụng giải thuật Random Forest (RF) và mô hình 2-Stages
Continuous Hidden Markovs trên bộ dữ liệu UCI HAR. Trong đó nhóm tác giả đã
sử dụng giải thuật RF để thu gọn số chiều của vector đặc trưng từ 561 đặc trưng
xuống còn 119 đặc trưng. Bài báo đạt độ chính xác tổng thể đo được là 91.76% với
2947 mẫu được kiểm tra.
Bảng 2-2. Kết quả thực nghiệm của Ronao [2]. Accuracy = 91.76%

Actual

Predicted
WA

UP

DO

SI

ST

LA

Recall

WA

469

7

20

0

0

0

94.56%

UP

16

443

12

0

0

0

94.06%

DO

28

27

365

0

0

0

86.90%

SI

0

0

0

435

37

19

88.59%

ST

0

0

0

72

460

0

86.47%

LA

0

0

0

0

0

537

100%

Precision

91.42%

92.87%

91.94%

85.80%

92.56%

96.58%

2.1.2. Cơng trình của Rodrigo Cilla et al. [3]
Bài báo sử dụng mơ hình phân lớn Hidden Markov Model (HMM) để nhận
dạng hành động từ video. Trong đó, bài báo kết hợp sử dụng giải thuật Best First
Search và giải thuật di truyền để thu gọn vector đặc trưng với mục đích cực đại độ
chính xác của mơ hình học máy.
Bài báo nhận dạng 7 hoạt động: đi, đứng, ngồi xổm, trượt té, nằm xuống,
đứng lên và hành động không thuộc 6 hành động trên.
 Độ chính xác cho Best First Search và mơ hình HMM là 74,42%.
 Độ chính xác cho giải thuật di truyền và mơ hình HMM là 75,01%.

Chi tiết về giải thuật di truyền trong bài báo như sau: Tập dân số gồm 780 cá
thể ứng với vector đặc trưng có 780 đặc trưng, mỗi cá thể sẽ có tập ngẫu nhiên các
gen được gán giá trị bằng 0 hoặc 1 (gen được gán bằng 1 đồng nghĩa với đặc trưng
5

5


TỔNG QUAN
đó được sử dụng trong mơ hình học máy), tỉ lệ đột biến được sử dụng là 1/780. Sau
mỗi lượt đánh giá sẽ chọn 3 cá thể tốt nhất cho lần tạo dân số sau. Giải thuật được
dừng lại khi độ chính xác của mơ hình học máy cho cá thể tốt nhất khơng đổi sau 10
thế hệ. Vì giải thuật di truyền là kỹ thuật tìm kiếm ngẫu nhiên nên nhóm tác giả đã
lặp lại 20 lần tìm kiếm với mong muốn tìm được cá thể tốt nhất.

6

6


NHỮNG NGHIÊN CỨU LÝ THUYẾT VÀ THỰC NGHIỆM

CHƯƠNG 3. NHỮNG NGHIÊN CỨU LÝ THUYẾT VÀ THỰC
NGHIỆM
3.1.

Cơ sở lý thuyết

3.1.1. Mô hình Support Vector Machine

Hình 3-1. Mơ hình Support Vector Machine

SVM được sử dụng để tìm ra một siêu phẳng nhằm phân tách tập dữ liệu
thành hai phần riêng biệt - tư tưởng của bài tốn phân lớp (classification). Ví dụ
trong Hình 3-1, chúng ta có một mặt bàn đựng hai loại quả lê và táo. Siêu phẳng
phân tách đống quả này thành hai lớp, bản chất là đi tìm một hàm toán học phụ
thuộc tọa độ của một quả trên mặt bàn. Nghĩa là khi thêm một quả mới vào trên mặt
bàn, dựa vào tọa độ của nó ta có thể biết được nó là quả táo hay quả lê nhờ vào việc
nó nằm bên phải hay bên trái của siêu phẳng.
Ánh xạ tập dữ liệu vào không gian nhiều chiều
Trở lại với ví dụ trên của chúng ta, nếu như các quả táo và lê không nằm quá
đan xen nhau thì chúng ta hồn tồn có thể dùng một cái que (siêu phẳng) phân tách
chúng. Tuy nhiên, thực tế khơng phải đơn giản như thế, có nghĩa là các quả táo và
quả lê nằm tại các vị trí rất lung tung trên mặt bàn và rất khó có thể tìm được một
cái que như thế để phân tách giữa chúng. Vậy làm thế nào để phân tách chúng? Một
cách giải quyết đó là vận dụng tư tưởng của trị chơi tung hứng. Giả sử chúng ta
7

7


NHỮNG NGHIÊN CỨU LÝ THUYẾT VÀ THỰC NGHIỆM
trong một cơn tức giận hất tung chiếc bạn đựng táo và lê lên trời, các quả táo và lê
bay lơ lửng trên khơng trung. Lúc này chúng đã ở các vị trí khác nhau và chúng ta
hồn tồn có thể dùng một mặt cong tưởng tượng để phân tách giữa chúng. Ví dụ
như mặt phẳng xanh bên đưới đây.

Hình 3-2. Siêu phẳng trong mơ hình SVM

SVM thực hiện điều này như thế nào?

Như chúng ta đã thảo luận ở các phần trên, bản chất của phương pháp SVM
là chuyển không gian dữ liệu ban đầu thành một không gian mới hữu hạn chiều mà
ở đó cho khả năng phân lớp dễ dàng hơn. Một quả bất kì nằm trên mặt bàn sẽ được
gắn với một tọa độ cụ thể. Ví dụ, quả táo nằm cách mép trái 2cm và cách mép dưới
5cm được thể hiện trên trục tọa độ (x, y) tương ứng là (2, 5). Trong đó x và y chính
là tọa độ trong không gian hai chiều của quả táo. Khi đưa lên chiều thứ 3 là z, ta có
thể tính được tọa độ của z trong khơng gian 3 chiều dựa vào tọa độ x, y ban đầu.
Điểm làm SVM hiệu quả hơn các phương pháp khác chính là việc sử dụng Kernel
Method giúp cho SVM khơng cịn bị giới hạn bởi việc phân lớp một cách tuyến tính
hay nói cách khác các siêu phẳng có thể được hình thành từ các hàm phi tuyến.

8

8


NHỮNG NGHIÊN CỨU LÝ THUYẾT VÀ THỰC NGHIỆM

Hình 3-3. Margin trong mơ hình SVM

Margin là khoảng cách giữa siêu phẳng đến 2 điểm dữ liệu gần nhất tương
ứng với các lớp. Trong ví dụ quả táo quả lê đặt trên mặt bàn, margin chính là
khoảng cách giữa cây que với hai quả táo, lê gần nó nhất.
Điều quan trọng ở đây là phương pháp SVM luôn cố gắng cực đại hóa
margin này, từ đó thu được một siêu phẳng tạo khoảng cách xa nhất so với 2 quả táo
và lê. Nhờ vậy, SVM có thể giảm thiểu việc phân lớp sai (misclassification) đối với
điểm dữ liệu mới đưa vào.
Các phương pháp hạt nhân (Kernel Methods)
Các phương pháp hạt nhân là một lớp các thuật tốn để phân tích khn mẫu
(pattern analysis) hoặc nhận diện (recognition), được biết đến nhiều nhất trong mơ

hình SVM. Nhiệm vụ của việc phân tích khn mẫu là tìm và nghiên cứu các mối
quan hệ chung (như cụm, thứ hạng, sự tương quan, phân lớp) trong các dữ liệu
chung (như dữ liệu tuần tự, tài liệu văn bản, các tập hợp điểm, vector, hình ảnh, đồ
thị,…). Tuy nhiên, đặc điểm chính của phương pháp hạt nhân là cách tiếp cận riêng
biệt của chúng đối với vấn đề này. Các phương pháp hạt nhân ánh xạ dữ liệu vào
không gian nhiều chiều hơn với hi vọng rằng trong khơng gian mới đó thì các dữ
liệu sẽ dễ dàng cấu trúc hơn hoặc dễ tách biệt ra hơn. Khơng có bất kì một sự ràng
buộc nào về sự ánh xạ này, thậm chí có thể dẫn đến chiều không gian vô hạn. Tuy
nhiên, những hàm ánh xạ này hầu như khơng phải tính tốn mà nhờ 1 cơng cụ được
gọi là thủ thuật hạt nhân (kernel trick). Chúng ta có nhiều loại kernel như "linear",
9

9


NHỮNG NGHIÊN CỨU LÝ THUYẾT VÀ THỰC NGHIỆM
"rbf", "poly",... Ở đây "rbf" và "poly" đặc biệt hữu dụng với các bài toán siêu phẳng
phi tuyến (non - linear hyper-plane).
Phân lớp sử dụng RBF kernel
Radial Basis Function (RBF) là hàm kernel thông dụng trong support vector
classifier (SVC)
−𝛾

𝐾𝑅𝐵𝐹 (𝑥, 𝑥 ′ ) = 𝑒 |𝑥 − 𝑥′|2 ,

(3.1)

trong đó |𝑥 − 𝑥′|2 là khoảng cách giữa 2 điểm dữ liệu x và x’ trong không
gian Euclidean. Tuy nhiên trong phạm vi nghiên cứu nhóm khơng đi sâu vào cơng
thức này mà tập trung vào 2 đối số quan trọng để tối ưu RBF là C và γ. γ là đối số

của hạt nhân RBF và có thể được coi như "sự lan rộng" (spread) của hạt nhân, ta
tạm gọi nó là vùng quyết định. Khi γ thấp "đường cong" của ranh giới quyết định
rất thấp, do đó vùng quyết định rất rộng. Khi γ cao, "đường cong" của ranh giới
quyết định cao, tạo ra các "hòn đảo" của ranh giới quyết định xung quanh các điểm
dữ liệu. Chúng ta sẽ thấy điều này rất rõ dưới đây.

𝛄 = 𝟎. 𝟎𝟏

𝛄 = 𝟏. 𝟎

𝛄 = 𝟏𝟎. 𝟎

𝛄 = 𝟏𝟎𝟎. 𝟎

Hình 3-4. Ảnh hưởng của 𝛄 đến kết quả phân lớp trong SVM

10

10


NHỮNG NGHIÊN CỨU LÝ THUYẾT VÀ THỰC NGHIỆM
Thông số 𝛄
Để thấy được ảnh hưởng của thông số 𝛾, bộ phân loại SVC-RBF được sử
dụng với dữ liệu giống nhau và thơng số C khơng thay đổi mà chỉ có các giá trị γ sẽ
được tăng dần. Từ đó ta sẽ dễ dàng thấy rõ được sự tác động của 𝛾 lên vùng quyết
định của việc phân loại như Hình 3-4.
Thơng số C
C là thơng số của bộ học SVC nói chung, thông số này quyết định sự đánh
đổi giữa việc huấn luyện sai các ví dụ huấn luyện với mức độ đơn giản của bề mặt

quyết định (hay còn gọi là đường ranh giới phân lớp). Khi C nhỏ, bộ phân loại sẽ
chấp nhận các điểm dữ liệu bị phân loại sai (sai số cao, phương sai thấp) có nghĩa là
đường ranh giới phân loại sẽ "smooth" hơn. Khi C lớn, bộ phân loại bị phạt nặng
đối với các dữ liệu bị phân lớp sai, do đó đường ranh giới phân loại sẽ được uốn
cong về phía sau hơn để tránh bất kỳ điểm dữ liệu sai (sai số thấp, phương sai cao)
như Hình 3-5.

C=1

C = 10

C = 1000
C = 10000
Hình 3-5. Ảnh hưởng của C đến kết quả phân lớp trong SVM

11

11


NHỮNG NGHIÊN CỨU LÝ THUYẾT VÀ THỰC NGHIỆM
Ưu điểm của mơ hình SVM
Là một kĩ thuật phân lớp khá phổ biến, SVM thể hiện được nhiều ưu điểm
trong số đó có việc tính tốn hiệu quả trên các tập dữ liệu lớn. Có thể kể thêm một
số ưu điểm của phương pháp này như:
-

Xử lý trên không gian số chiều cao: SVM là một cơng cụ tính tốn hiệu
quả trong khơng gian chiều cao, trong đó đặc biệt áp dụng cho các bài
tốn phân loại văn bản và phân tích quan điểm nơi chiều có thể cực kỳ

lớn.

-

Tiết kiệm bộ nhớ: Do chỉ có một tập hợp con của các điểm được sử dụng
trong quá trình huấn luyện và ra quyết định thực tế cho các điểm dữ liệu
mới nên chỉ có những điểm cần thiết mới được lưu trữ trong bộ nhớ khi
ra quyết dịnh.

-

Tính linh hoạt - phân lớp thường là phi tuyến tính. Khả năng áp dụng
Kernel mới cho phép linh động giữa các phương pháp tuyến tính và phi
tuyến tính từ đó khiến cho hiệu suất phân loại lớn hơn.

-

Hiệu ứng ghi nhớ - SVM sử dụng một tập con của các điểm huấn luyện
trong hàm quyết định (được gọi là các vector hỗ trợ) vì thế nó có hiệu
ứng ghi nhớ.

Nhược điểm của mơ hình SVM
-

Bài toán số chiều cao: Trong trường hợp số lượng thuộc tính (p) của tập
dữ liệu lớn hơn rất nhiều so với số lượng dữ liệu (n) thì SVM cho kết quả
khá tồi.

-

Chưa thể hiện rõ tính xác suất: Việc phân lớp của SVM chỉ là việc cố
gắng tách các đối tượng vào hai lớp được phân tách bởi siêu phẳng SVM.
Điều này chưa giải thích được xác suất xuất hiện của một thành viên
trong một nhóm là như thế nào. Tuy nhiên hiệu quả của việc phân lớp có
thể được xác định dựa vào khái niệm margin từ điểm dữ liệu mới đến siêu
phẳng phân lớp mà chúng ta đã bàn luận ở trên.

12

12


NHỮNG NGHIÊN CỨU LÝ THUYẾT VÀ THỰC NGHIỆM
3.1.2. Mơ hình 2-Stages Continuous Hidden Markov Model (2SCHMM)
HMM là mơ hình thống kê phổ biến để mơ hình chuỗi dữ liệu biến đổi nhiều
theo thời gian. HMM là một công cụ thống kê rất mạnh trong việc mơ hình hóa các
chuỗi có thể sinh ra, hay nói cách khác là các chuỗi mà có thể đặc trưng bởi các
chuỗi trạng thái sinh ra các chuỗi quan sát khác nhau. HMM đã được ứng dụng
trong rất nhiều lĩnh vực của xử lý tín hiệu.
-

Định nghĩa của HMM là:
𝜆 = (𝐴, 𝐵, 𝜋)

-

S là tập hợp tất cả các trạng thái:
𝑆 = (𝑠1 , 𝑠2 , … , 𝑠𝑁 )

-

(3.4)

Q là chuỗi các trạng thái có thể xảy ra, có chiều dài T
𝑄 = (𝑞1 , 𝑞2 , … , 𝑞𝑇 )

-

(3.3)

V là tập hợp tất cả các quan sát được:
𝑉 = (𝑣1 , 𝑣2 , … , 𝑣𝑀 )

-

(3.2)

(3.5)

Và tương ứng với nó là chuỗi các quan sát có thể quan sát được
𝑂 = (𝑜1 , 𝑜2 , … , 𝑜𝑇 )

(3.6)

-

A là bảng chuyển đổi, chứa những giá trị xác suất chuyển đổi từ trạng
thái i sang trạng thái j và những xác suất chuyển đổi này độc lập với thời
gian
(3.7)

𝐴 = [𝑎𝑖𝑗 ], 𝑎𝑖𝑗 = 𝑃(𝑞𝑡 = 𝑠𝑗 | 𝑞𝑡−1 = 𝑠𝑖 )

-

B là bảng xác suất quan sát, chứa những giá trị xác suất của quan sát k từ
trạng thái i, độc lập với thời gian
(3.8)
𝐵 = [𝑏𝑖 (𝑘)], 𝑏𝑖 (𝑘) = 𝑃(𝑥𝑡 = 𝑣𝑘 | 𝑞𝑡 = 𝑠𝑖 )

-

Π là bảng xác suất đầu tiên
Π = [𝜋𝑖 ], 𝜋𝑖 = 𝑃(𝑞1 = 𝑠𝑖 )

Ta giả sử mơ hình Markov ẩn thỏa mãn 2 điều kiện sau:

13

(3.9)

13


NHỮNG NGHIÊN CỨU LÝ THUYẾT VÀ THỰC NGHIỆM
Thứ 1: là mơ hình Markov first-order, trạng thái hiện tại chỉ phụ thuộc vào
trạng thái liền trước nó, đặc trưng cho tính nhớ của mơ hình.
Thứ 2: quan sát được ở thời điểm t, chỉ phụ thuộc vào trạng thái hiện tại, độc
lập với các trạng thái và quan sát được trong q khứ.
Trong HMM có 3 vấn đề chính:
Vấn đề 1 (Đánh giá – Evaluation)

Cho một mơ hình Markov ẩn và một chuỗi quan sát được O, ta có thể tính
được P(O|λ), là xác xuất xuất hiện của chuỗi quan sát đó cho bởi mơ hình Makov
ẩn. Từ đó ta có thể đánh giá chất lượng mơ hình khi dự đốn về chuỗi O cho trước
và chọn được mơ hình thích hợp nhất.
Xác suất chuỗi quan sát O cho chuỗi trang thái Q được tính bởi:
𝑇

(3.10)

𝑃(𝑂|𝑄, 𝜆) = ∏ 𝑃(𝑜𝑡 |𝑞𝑡 , 𝜆) = 𝑏𝑞1 (𝑜1 ) × 𝑏𝑞2 (𝑜2 ) … 𝑏𝑞𝑇 (𝑜𝑇 )
𝑡=1

Xác suất của chuỗi trạng thái Q ứng mơ hình Markov ẩn là:
𝑃(𝑄|𝜆) = 𝜋𝑞1 𝑎𝑞1𝑞2 𝑎𝑞2𝑞3 … 𝑎𝑞(𝑇−1)𝑞𝑇

(3.11)

Từ đó ta tính được xác suất của chuỗi quan sát O cho bởi HMM là:
𝑃(𝑂|𝜆) = ∑ 𝑃(𝑂|𝑄, 𝜆)
𝑄

= ∑ 𝜋𝑞1 𝑏𝑞1 (𝑜1 ) × 𝑎𝑞1𝑞2 𝑏𝑞2 (𝑜2 ) … 𝑎𝑞(𝑇−1)𝑞𝑇 𝑏𝑞𝑇 (𝑜𝑇 )

(3.12)

𝑞1 … 𝑞𝑇

Chúng ta có thể tính trực tiếp xác suất chuỗi O, tuy nhiên lượng phép tính
cần dùng là rất lớn. Do đó, chúng ta có thể sử dụng phương pháp tốt hơn là nhận
biết lượng tính tốn dư, sau đó đệm chúng để đạt được mục tiêu giảm độ phức tạp

trong tính tốn. Ta thực hiện đệm bằng biểu đồ mắt cáo cho mỗi bước tính, ta tính
giá trị đệm (ký hiệu α) tại mỗi trạng thái bằng cách tổng tất cả trạng thái trước nó. α
lúc này là xác suất cua chuỗi O tại mức trạng thái 𝑠𝑖 tại thời điểm t.
𝑎𝑡 (𝑖) = 𝑃(𝑜1 𝑜2 … 𝑜𝑡 , 𝑞𝑡 = 𝑠𝑖 |𝜆)

(3.13)

Sau đó ta điền đầy đủ các thơng số α vào biểu đồ mắt cáo. Tổng giá trị của
cột cuối chính là xác suất chuỗi quan sát được.
Vấn đề 2 (Giải mã – Decoding)
14

14