(Luận văn thạc sĩ) Nghiên cứu một số phương pháp phát hiện và phân loại nhịp thở sử dụng mạng học sâu đa nhiệm

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG
---------------------------------------

TRẦN ANH ĐẠT

NGHIÊN CỨU MỘT SỐ PHƯƠNG PHÁP PHÁT HIỆN VÀ
PHÂN LOẠI NHỊP THỞ SỬ DỤNG MẠNG HỌC SÂU ĐA NHIỆM

LUẬN VĂN THẠC SỸ KỸ THUẬT
(Theo định hướng ứng dụng)

HÀ NỘI - 2021


HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG

---------------------------------------

TRẦN ANH ĐẠT

NGHIÊN CỨU MỘT SỐ PHƯƠNG PHÁP PHÁT HIỆN VÀ PHÂN LOẠI
NHỊP THỞ SỬ DỤNG MẠNG HỌC SÂU ĐA NHIỆM

CHUYÊN NGÀNH : KHOA HỌC MÁY TÍNH

MÃ SỐ :

8.48.01.01

LUẬN VĂN THẠC SỸ KỸ THUẬT
(Theo định hướng ứng dụng)

NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS. PHẠM VĂN CƯỜNG

HÀ NỘI - 2021


LỜI CAM ĐOAN
Luận văn này là kết quả sau quá trình nghiên cứu của em cùng sự giúp đỡ tận
tình của nhóm nghiên cứu Naver AI Lab và các quý thầy cơ sau gần hai năm theo học
chương trình đào tạo Thạc sỹ, chuyên ngành Khoa học máy tính của trường Học viện
Cơng nghệ Bưu chính Viễn thơng.
Em xin cam đoan đây là cơng trình khoa học nghiên cứu của bản thân. Nội
dung của luận văn có tham khảo và sử dụng một số thông tin, tài liệu từ các nguồn
sách, tạp chí trong nước lẫn quốc tế được liệt kê trong danh mục các tài liệu tham
khảo và được trích dẫn hợp pháp.
Tác giả
(Ký và ghi rõ họ tên)

Trần Anh Đạt


LỜI CẢM ƠN
Lời đầu tiên, em xin gửi lời cảm ơn tới các Thầy, Cô trong Khoa Công nghệ
thông tin 1, Khoa Sau đại học và toàn bộ các cán bộ của Học viện Cơng nghệ Bưu
chính Viễn thơng Hà Nội đã tạo điều kiện để em có thể được học tập trong một môi
trường tốt. Cảm ơn các Thầy Cô đã cung cấp cho em những kiến thức bổ ích và quan
trọng trong suốt quá trình học tập và nghiên cứu tại trường để em có thể hồn thành
luận văn của mình một cách tốt nhất.
Em xin được bày tỏ lòng biết ơn sâu sắc đến thầy Phạm Văn Cường và thầy
Hồng Xn Dậu, đã tận tình hướng dẫn, định hướng cho em trong suốt thời gian

thực hiện đề tài. Những lời khuyên của thầy trong suốt quá trình hoàn thành luận văn
này và những tiết học trên lớp đã giúp em có thêm nhiều kiến thức cũng như kinh
nghiệm trong lĩnh vực nghiên cứu khoa học.
Cuối cùng, tôi xin gửi lời cảm ơn đến gia đình, tất cả bạn bè, anh, chị, những
người đã quan tâm giúp đỡ, khích lệ cũng như phê bình, góp ý, giúp tơi hồn thành
khóa luận một cách tốt nhất.
Với trình độ hiểu biết còn nhiều hạn chế của bản thân và vốn kiến thức vẫn
cịn ít ỏi nên trong luận văn của em khơng tránh khỏi những thiếu sót. Em rất mong
nhận được sự góp ý của các Thầy, Cơ, các bạn đồng nghiệp để luận văn của em được
hoàn thiện hơn.
Hà Nội, tháng 12 năm 2021

Trần Anh Đạt


i

MỤC LỤC

DANH MỤC KÝ HIỆU, CHỮ VIẾT TẮT ........................................................... iii
DANH MỤC BẢNG BIỂU .......................................................................................v
DANH MỤC HÌNH VẼ, SƠ ĐỒ ............................................................................ vi
MỞ ĐẦU ....................................................................................................................1
Chương 1.

TỔNG QUAN .....................................................................................6

1.1 Các dạng hô hấp nhịp thở dựa trên bệnh lý của con người .................6
1.1.1 Giới thiệu ......................................................................................6
1.1.2 Bài toán phát hiện nhịp thở dựa vào dữ liệu âm thanh .................9

1.2 Các nghiên cứu liên quan ..................................................................10
1.2.1 Trích chọn đặc trưng để phát hiện tiếng rale nổ dựa trên học máy
11
1.2.2 Phân loại nhịp thở bằng thiết bị điện tử ......................................18
1.2.3 Đánh giá ......................................................................................22
1.3 Kết chương ........................................................................................23
Chương 2.

PHƯƠNG PHÁP PHÂN LOẠI NHỊP THỞ .....................................25

2.1 Xử lý âm thanh nhịp thở ....................................................................25
2.2 Các đặc trưng âm thanh nhịp thở ......................................................29
2.3 Mơ hình học sâu đa nhiệm cho phát hiện và phân loại nhịp thở .......32
2.3.1 Mạng nơ-ron Hồi quy .................................................................32
2.3.2 Mạng nơ-ron BiLSTM ................................................................34


ii

2.3.3 Mơ hình học sâu BiLSTM đa nhiệm ..........................................35
2.3.4 Xây dựng mơ hình BiLSTM .......................................................36
2.4 Sơ lược về hệ thống phát hiện và phân loại nhịp thở ........................44
2.5 Kết chương ........................................................................................46
Chương 3.

THỰC NGHIỆM, ĐÁNH GIÁ KẾT QUẢ PHÂN LOẠI NHỊP THỞ
47

3.1 Thu thập dữ liệu.................................................................................47
3.2 Thử nghiệm và đánh giá mơ hình học sâu cho bài tốn phân loại nhịp

thở

53
3.2.1 Thử nghiệm mơ hình học sâu đa nhiệm .....................................53
3.2.2 Đánh giá mơ hình học sâu cho bài tốn phân loại nhịp thở .......54
3.2.3 Kết quả thực nghiệm ...................................................................57
3.2.4 Đánh giá ......................................................................................59
3.3 Xây dựng chương trình phát hiện và phân loại nhịp thở dựa trên học

sâu đa nhiệm ..........................................................................................................60
3.3.1 Mơ hình triển khai hệ thống .......................................................60
3.3.2 Xây dựng ứng dụng phát hiện và phân loại nhịp thở .................61
3.4 Kết chương ........................................................................................63
KẾT LUẬN ..............................................................................................................64
TÀI LIỆU THAM KHẢO ......................................................................................66


iii

DANH MỤC KÝ HIỆU, CHỮ VIẾT TẮT
STT

Từ viết tắt

Tiếng Việt

Tiếng Anh

1

AI

Trí tuệ nhân tạo

Artificial Intelligence

2

ANN

Mạng thần kinh nhân tạo

3

BFCC

Lọc tần số Bark

4

BiLSTM

5

CMU

6

COPD

7

DFT

Biến đổi Fourier rời rạc

8

HP

Người khỏe mạnh

Healthy Person

9

HRV

Thiết bị thơng gió thu hồi

Heat Recovery

nhiệt

Ventilator

10

IoT

Internet vạn vật

Internet of Things

Artificial Neural
Network
Bark-frequency cepstral
coefficients
Bidirectional Long
Short-Term Memory

Đại học Carnegie Mellon

Carnegie Mellon

Bệnh phổi tắc nghẽn mạn

Chronic Obstructive

tính

Pulmonary Disease
Discrete Fourier
Transform


iv

Thuật toán K láng giềng

11

KNN

12

MFCC

13

ML

Học máy

14

RNNoise

Bộ lọc RNNoise

15

SMA

16

SVM

17

TBS

18

WHO

gần nhất

K-nearnest Neighbors

Mel Frequency Cepstral
Coefficients
Machine Learning

Công cụ chỉ báo phản ánh

Simple Moving

biến động

Average

Máy vector hỗ trợ

Người nghi ngờ mắc bệnh
lao

Tổ chức Y tế Thế giới

Support Vector

Machine

Tuberculosis Suspect

World Health
Organization


v

DANH MỤC BẢNG BIỂU
Bảng 3-1: So sánh kết quả thử nghiệm lấy mẫu dữ liệu âm thanh ...........................47
Bảng 3-2: Kịch bản thu thập dữ liệu .........................................................................48
Bảng 3-3: Số liệu về dữ liệu âm thanh nhịp thở .......................................................49
Bảng 3-4: Số lượng dữ liệu nhịp thở sau khi cắt dữ liệu ..........................................49
Bảng 3-5: Thơng số kỹ thuật bộ thiết bị có gắn micro BETA 98H/C ......................50
Bảng 3-6: Ma trận nhầm lẫn trong phân loại lớp đối tượng .....................................54
Bảng 3-7: Kết quả thử nghiệm đánh giá các đặc trưng .............................................57
Bảng 3-8: Kết quả thử nghiệm mơ hình học sâu đa nhiệm .......................................58
Bảng 3-9: Cấu hình phần cứng sử dụng trong thực nghiệm .....................................62
Bảng 3-10: Yêu cầu phần mềm cài đặt để chạy ứng dụng ........................................62


vi

DANH MỤC HÌNH VẼ, SƠ ĐỒ
Hình 1-1: Một đoạn dữ liệu nhịp thở chứa một nhịp hít vào và một nhịp thở ra.......9
Hình 1-2: Một đoạn dữ liệu thở liên tục...................................................................10
Hình 1-3: Quá trình training (trên - dưới) và quá trình phân loại (trái - phải) .........13
Hình 1-4: Trích chọn window dữ liệu từ file [8] .....................................................15

Hình 1-5: Mơ hình hệ thống e-Nose để thực hiện phân loại nhịp thở .....................19
Hình 1-6: Thiết bị điện tử để ghi âm âm thanh nhịp thở..........................................20
Hình 1-7: Mơ hình ANN ..........................................................................................21
Hình 2-1: Quy trình xử lý của bộ lọc RNNoise .......................................................26
Hình 2-2: Áp dụng bộ lọc RNNoise.........................................................................28
Hình 2-3: Một đoạn của mạng nơ-ron hồi quy ........................................................33
Hình 2-4: Chuỗi mạng nơ-ron hồi quy .....................................................................33
Hình 2-5: Một chuỗi mạng LSTM với mỗi module bao gồm 4 tầng tương tác .......34
Hình 2-6: Mơ hình mạng BiLSTM ..........................................................................35
Hình 2-7: Cấu trúc bộ thư viện Keras ......................................................................37
Hình 2-8: Cấu trúc một khối LSTM.........................................................................38
Hình 2-9: Kiến trúc mạng BiLSTM phát hiện tiếng nhịp thở ..................................39
Hình 2-10: Hai thành phần chính tham gia xây dựng mơ hình ................................39
Hình 2-11: Sơ đồ hệ thống phát hiện và phân loại nhịp thở ....................................44
Hình 3-1: Thiết bị Raspberry Pi ...............................................................................50
Hình 3-2: Giao diện làm việc của phần mềm xử lý âm thanh Audacity 2.1.0 .........51


vii

Hình 3-3: Minh họa việc gán nhãn âm thanh nhịp thở ............................................52
Hình 3-4: Định dạng nhãn dữ liệu sau khi gán nhãn ...............................................52
Hình 3-5: Mẫu dữ liệu nhịp thở ...............................................................................53
Hình 3-6: Độ đo AUC ..............................................................................................56
Hình 3-7: Quá trình huấn luyện mơ hình nhận dạng nhịp thở .................................59
Hình 3-8: Mơ hình triển khai hệ thống thực tế.........................................................61
Hình 3-9: Chương trình phát hiện thở theo thời gian thực ......................................63


1

MỞ ĐẦU
Trong ngành y tế, việc phân tích dữ liệu nhịp thở cũng như phát hiện nhịp thở
là một việc rất quan trọng. Để ngăn chặn các bệnh lý xấu liên quan đến hơ hấp thì
việc phát hiện bất thường trong nhịp thở là tiền đề. Rất nhiều công nghệ đã và đang
xây dựng nhằm ý nghĩa phát hiện và theo dõi nhịp thở. Luận văn này tập trung chính
vào việc nghiên cứu một số phương pháp phát hiện và phân loại nhịp thở. Luận văn
đề xuất một số phương pháp học sâu đa nghiệm, kết nối một thiết bị khơng dây có
gắn mic với một hệ thống cloud. Thu lại âm thanh nhịp thở và phân tích dữ liệu nhịp
thở thu được. Phương pháp tiếp cận chính để phát hiện và phân loại nhịp thở là sử
dụng Học sâu đa nhiệm. Cuối cùng, luận văn xin trình bày sơ lược về ứng dụng phát
hiện và phân loại nhịp thở dựa trên Học sâu đa nhiệm.
Hoạt động hít thở là hành động thiết yếu, đơn giản và cũng rất cần thiết đối
với tất cả sinh vật sống. “Hơi thở là một hỗn hợp của nitơ, oxi, cacbonic, hơi nước và
một lượng rất nhỏ các chất hữu cơ dễ bay hơi” [1]. Mỗi hoạt động hít thờ gồm hai
bước chính, một là hít vào, hai là thở ra, hai bước này lặp đi lặp lại liên tục. Nhịp thở
có số lượng nhịp trên mỗi phút được thu nhận tùy thuộc theo tình trạng vào hoạt động
của người đó. Có thể hiểu là khi đi bộ thì nhịp thở sẽ khác, khi làm việc nặng thì nhịp
thở sẽ khác hay khi đang ngủ thì nhịp thở cũng sẽ khác. Nhịp thở sẽ có nhịp độ chậm
khi đang ngủ hoặc đang nghỉ ngơi [2]. Vai trò của nhịp thở rất quan trọng, thường
được dùng là một chỉ số cũng như thước đo để đánh giá trong lĩnh vực y tế [3].
Việc phân tích dữ liệu nhịp thở thường bằng cách thu thập dữ liệu từ các thiết
bị thu thập khác nhau và sử dụng dữ liệu đó để phân tích nhịp thở góp phần tìm ra
những thơng tin quan trọng về nhịp thở. Trên thế giới cũng như trong nước có rất
nhiều cơng nghệ được sử dụng để phân tích dữ liệu nhịp thở. Dựa trên góc độ vật thì
thì có thể chia thành hai phương pháp tiếp cận là thiết bị sử dụng có tiếp xúc hoặc
khơng tiếp xúc với người phân tích nhịp thở [2]. Với phương pháp tiếp xúc thì thường
sẽ sử dụng các loại cảm biến như: cảm biến nhiệt điện, cảm biến âm thanh và cảm
biến hô hấp, … Phương pháp này có ưu điểm là độ chính xác khi nhận được dữ liệu

2

trong quá trình thu thập dữ liệu. Nhưng nhược điểm là gây ra khó khăn khi áp dụng
vào trong thực tế vì gây ra khó chịu cho người dùng, người dùng phải đeo thiết bị
trên người dẫn tới không thoải mái trong q trình phân tích dữ liệu nhịp thở. Cịn
đối với phương pháp khơng tiếp xúc thì sẽ thường dựa vào các loại phần cứng như:
radar, camera hay “doppler modalities”. Ưu điểm của phương pháp này thì là người
dùng khơng phải đeo thiết bị hay gây ra vướng víu khi phân tích nhịp thở. Nhược
điểm thì dùng các thiết bị phần cứng này có giá khá cao, dữ liệu thu thập và phân tích
cũng thường lớn, gây ra khó khăn trong q trình phân tích dữ liệu nhịp thở [2].
Trên thế giới có nhiều nghiên cứu phân tích nhịp thở kết hợp các loại cảm biến
và dựa trên trí tuệ nhân tạo mang lại những kết quả khá tốt. Đa phần các nghiên cứu
thì dữ liệu sẽ được thu thập trên micro, dữ liệu sẽ được truyền về máy tính. Micro
thường được gắn trên lồng ngực của người được theo dõi, cảm biến sẽ ghi nhận lại
khi hô hấp. Dùng cảm biến nhiệt dựa trên nguyên tắc nhiệt độ khi hít ra sẽ cao hơn
nhiệt độ khi hít vào [4]. Đa phần các thực nghiệm cũng như độ chính xác tốt khi sử
dụng phương pháp cảm biến với chi phí thấp. Việc kết hợp trí tuệ nhân tạo với dữ
liệu nhịp thở thu nhận được cũng đưa ra những kết quả khả quan. Những năm gần
đây, có rất nhiều phương pháp học sâu được đưa ra, trong số đó có một phương pháp
là Học sâu đa nhiệm, là từ một mơ hình có thể thực hiện được nhiều nhiệm vụ như
phát hiện và phân loại nhịp thở, độ chính xác cũng dần dần được cải thiện khi sử dụng
phương pháp này. Nhờ đó, việc sử dụng trí tuệ nhân tạo nói chúng và sử dụng học
sâu nói riêng đã mang lại những kết quả tốt cũng là một trong những nghiên cứu quan
trọng trong việc phân tích nhịp thở.
Những năm gần đây, việc áp dụng trí tuệ nhân tạo vào các lĩnh vực khoa học
máy tính đã trở nên nhiều và gần gũi hơn. Việc áp dụng học máy cũng như học sâu
vào các vấn đề khía cạnh trong đời sống đã mang đến những thành tựu lớn trong
ngành nghiên cứu khoa học. Chính vì vậy, ngành y tế cũng đã được phát triển trong
thế giới số và trí tuệ nhân tạo. Nhưng nhìn chung thì ngành y tế kết hợp với trí tuệ

nhân tạo cịn khá mới mẻ, cần được thúc đẩy phát triển mạnh mẽ hơn.


3

Một phương pháp mang lại làn gió mới trong trí tuệ nhân tạo đó chính là học
sâu, học sâu đã cho thấy những tín hiệu tốt trong việc nghiên cứu và phân tích dữ liệu
lớn. Do đó, việc áp dụng học sâu vào phân tích dữ liệu y tế là một xu hướng quan
trọng cần được quan tâm tới.
Tại sao lại phải phát hiện và phân loại nhịp thở? Theo Tổ chức Y tế Thế giới
(WHO) (1990), dịch bệnh Covid-10 liên quan đến hơ hấp đang có những diễn biến
phức tạp với hơn 250 triệu ca nhiễm trên toàn thế giới tính đến năm 2021; và tình
trạng ơ nhiễm mơi trường ngày càng tăng dẫn tới bệnh hô hấp ngày càng phổ biến.
Các bệnh hô hấp thường gặp bao gồm: viêm phổi tắc nghẽn mãn tính với 2,9 triệu
người chết mỗi năm, bệnh hen phế quản với 300 triệu người mắc mỗi năm và đăc.
Bởi vì hành động hít thở là hành động cơ bản của mọi động vật nói chung và lồi
người nói riêng. Hoạt động hít thở đối với hô hấp và theo dõi hô hấp là khâu theo dõi
đầu tiên và có vai trị quan trọng. Việc phát hiện và phân loại nhịp thở đối với các
bệnh nhân có tiền sử về các bệnh hơ hấp là vơ cùng quan trọng phân loại bệnh, phán
đốn sớm tình trạng bệnh, hoặc để cung cấp thông tin phục vụ cho các cơng việc y tế
khác.
Các khó khăn gặp phải khi phát hiện và phân loại nhịp thở. Có rất nhiều
khó khăn gặp phải khi phát hiện và phân loại nhịp thở nhưng có ba vấn đề lớn học
viên xin nêu ra. Thứ nhất, vấn đề về dữ liệu nhịp thở. Do dữ liệu nhịp thở là dữ liệu
y tế nên thường chứa các thông tin nhạy cảm về tiền sử bệnh lý hay q trình điều trị.
Chính vì vậy việc quản lý và chia sẻ những thông tin này phải có những qui định
nghiêm ngặt để tránh bị đánh cắp thơng tin với mục đích xấu có thể ảnh hưởng nghiêm
trọng tới bệnh nhân. Thứ 2 là vấn đề xử lý dữ liệu lớn trong thời gian liên tục. Dữ
liệu âm thanh nhịp thở là một dữ liệu có kích thước khá lớn, mang nhiều thơng tin
nhịp thở cũng như thơng tin nhiễu, dẫn đến gây ra khó khăn trong quá trình xử lý dữ

liệu liên tục, giảm độ chính xác. Và cuối cùng, thứ 3 là vấn đề về thiết bị phát hiện
và phân loại nhịp thở. Các thiết bị IoT có thể được sử dụng để theo dõi sức khỏe
thường có giá thành cao và kích thước gây bị vướng víu, khơng được tự nhiên. Như


4

vậy, vấn đề cần phải giải quyết là tìm ra một phương pháp xử lý dữ liệu có độ chính
xác cao với chi phí thiết bị ở mức cho phép và kích thước thiết bị phù hợp.
Mục tiêu của đề tài, phương pháp được sử dụng và đóng góp của đề tài.
Mục tiêu chính của luận văn là tìm hiểu về phương pháp học sâu đa nhiệm và thử
nghiệm phương pháp này trong việc xây dựng một ứng dụng phát hiện và phân loại
nhịp thở. Trong khuôn khổ nội dung, luận văn sẽ trình bày về một số phương pháp
áp dụng học sâu đa nhiệm trên dữ liệu y tế, dữ liệu nhịp thở, các khó khăn hạn chế
của các phương pháp này. Trình bày nhiều hơn về một phương pháp mới có tên là
học sâu đa nhiệm (multi-task deep learning) trong khai thác thông tin dữ liệu nhịp
thở. Mà cụ thể là mơ hình Bi-LSTM (Bidirectional Long Short Time Memory). Luận
văn sử dụng dữ liệu nhịp thở thu thập được từ thiết bị Rapsberry Pi có gắn micro âm
thanh. Sau đó sử dụng phương pháp Bi-LSTM để vừa phát hiện vừa nhận dạng ra âm
thanh nhịp thở. Cuối cùng là xây dựng một ứng dụng để phát hiện nhịp thở của một
đối tượng được gắn thiết bị thu âm thanh.
Trên đây, học viên đã khái quát tầm quan trọng cũng như ý nghĩa khoa học
của việc phân tích nhịp thở. Nhận thức được điều này, luận văn đã chọn đề tài là:
“Nghiên cứu một số phương pháp phát hiện và phân loại nhịp thở sử dụng mạng
Học sâu đa nhiệm”.
Nội dung luận văn sẽ bao gồm phần mở đầu, phần kết luận và các chương nội
dung được tổ chức như sau:
-

Chương 1: Tổng quan. Nội dung chính của chương này là trình bày bài

tốn theo dõi nhịp thở, vì sao lại cần phải theo dõi nhịp thở, một số khái
niệm cơ bản, trình bày ngắn gọn một số nghiên cứu liên quan và cuối cùng
là mô tả ngắn phương pháp và đóng góp của luận văn.

-

Chương 2: Kỹ thuật Học sâu cho bài toán theo dõi nhịp thở. Chương này
trình bày nội dung chính của luận văn, phương pháp nghiên cứu, cách thức
đã được tiến hành để theo dõi nhịp thở; hệ thống thử nghiệm đếm nhịp thở.