Tóm tắt Luận văn Thạc sĩ ngành công nghệ thông tin: Khai phá dữ liệu và ứng dụng trong y tế dự phòng

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

HOÀNG VĂN TIẾN

KHAI PHÁ DỮ LIỆU VÀ ỨNG DỤNG TRONG
Y TẾ DỰ PHÒNG

Ngành: Công nghệ thông tin
Chuyên ngành: Quản lý Hệ thống thông tin
Mã số: 8480205.01

LUẬN VĂN THẠC SĨ NGÀNH CÔNG NGHỆ THÔNG TIN
NGƯỜI HƯỚNG DẪN KHOA HỌC: TS. ĐẶNG THANH HẢI

Hà Nội - 2018


LỜI CAM ĐOAN
Luận văn “Khai phá dữ liệu và ứng dụng trong y tế dự phòng” đánh dấu cho
những thành quả, kiến thức của tôi đã tiếp thu được trong quá trình rèn luyện,
học tập và nghiên cứu tại Trường Đại học Công nghệ - Đại học Quốc gia Hà
Nội. Tôi xin cam đoan các nội dung được trình bày trong luận văn này được xây
dựng, hoàn thành bằng chính quá trình nghiên cứu của bản thân và dưới sự
hướng dẫn của thầy giáo TS. Đặng Thanh Hải.
Trong quá trình làm luận văn này, tôi đã tham khảo một số tài liệu từ nhiều
nguồn khác nhau, các nội dung tham khảo đều được trích dẫn rõ ràng. Nếu có
điều gì không trung thực, tôi xin chịu mọi hình thức kỷ luật theo đúng quy định.
Hà Nội, ngày

tháng

Học viên

năm 2018

Hoàng Văn Tiến

i


LỜI CÁM ƠN
Lời đầu tiên, tôi xin gửi lời cám ơn đến Thầy Cô giáo tại trường Đại học
Công nghệ - Đại học Quốc gia Hà Nội nói chung và Thầy Cô giáo trong bộ môn
Hệ thống thông tin và Khoa Công nghệ thông tin - Trường Đại học Công nghệ Đại học Quốc gia Hà Nội đã nhiệt tình giảng dạy, truyền đạt những kiến thức,
kinh nghiệm quý báu trong suốt thời gian tôi học tập tại trường.
Đặc biệt, tôi xin gửi lời cám ơn chân thành nhất đến TS. Đặng Thanh Hải,
người đã hướng dẫn tôi trong suốt quá trình thực hiện luận văn này. Nhờ sự
hướng dẫn và chỉ bảo tận tình của Thầy, tôi đã có được những kiến thức và kinh
nghiệm quý báu về cách xác định vấn đề nghiên cứu, phương pháp nghiên cứu,
trình bày kết quả và hoàn thành luận văn của mình.
Cuối cùng, tôi xin gửi lời cám ơn tới toàn thể gia đình, bạn bè và đồng
nghiệp đã luôn quan tâm, ủng hộ và động viên, giúp tôi có nghị lực phấn đấu để
hoàn thành tốt luận văn.
Hà Nội, ngày

tháng năm 2018
Học viên

Hoàng Văn Tiến

ii

TÓM TẮT NỘI DUNG
Phân tích và dự báo từ lâu đã được ứng dụng trong mọi lĩnh vực nhằm đưa ra
những định hướng, chiến lược phát triển trong tương lai. Ngành Y tế không
đứng ngoài xu thế đó, đặc biệt là dự báo dịch bệnh truyền nhiễm từ lâu đã được
các nhà khoa học quan tâm nghiên cứu và ngày càng phát triển. Phân tích và dự
báo dịch bệnh truyền nhiễm được quan tâm vì những lợi ích rất lớn nó mang lại
trong công tác phòng ngừa dịch bệnh. Phân tích và dự báo diễn biến của dịch
bệnh giúp chúng ta chủ động trong công tác phòng ngừa, nhằm giảm thiểu
những tổn hại do dịch bệnh gây ra. Việc xác định được chu kỳ diễn biến của
dịch bệnh truyền nhiễm dựa trên các yếu tố thời gian, khí hậu và vùng địa lý rất
được quan tâm. Nắm bắt chu kỳ diễn biến của dịch bệnh, đưa ra dự báo và lên
phương án ứng phó, khoanh vùng, dập dịch nhanh, không để lây lan là hết sức
quan trọng góp phần hạn chế tối đa hậu quả của dịch bệnh gây ra cho con
người.
Đề tài nghiên cứu trước hết tìm hiểu kiến thức nền tảng về khai phá dữ liệu,
sau đó tìm hiểu sâu các kỹ thuật khai phá dữ liệu tiên tiến đang nhận được nhiều
sự quan tâm của cộng đồng nghiên cứu trên thế giới, qua đó đề xuất vận dụng
phương pháp và công cụ khai phá dữ liệu phù hợp với tập dữ liệu dịch cúm do
Google Flu Trends công bố. Google Flu Trends là dịch vụ của Tập đoàn
Google, cung cấp số liệu ước tính về dịch cúm tại hơn 25 quốc gia, thông qua
việc tổng hợp các truy vấn tìm kiếm trên www.google.com, thông qua đó cố
gắng đưa ra dự báo chính xác về dịch cúm.
Đề xuất lựa chọn phương pháp khai phá dữ liệu phù hợp trên tập dữ liệu dịch
bệnh cúm do Google Flu Trends công bố, tìm ra chu kỳ diễn biến của dịch, đưa
ra các dự báo và hỗ trợ định hướng hoạt động y tế dự phòng theo từng thời điểm
trong năm, nhằm có những chính sách và biện pháp phù hợp để hạn chế thiệt hại
của dịch bệnh gây ra.

iii


MỞ ĐẦU
Ngày nay, con người đang phải đối mặt với tình hình dịch bệnh lây nhiễm
hoành hành, bùng phát một cách nhanh chóng. Dịch bệnh ngày càng diễn biến
phức tạp về phạm vi và chủng loại. Thực tế đó, đòi hỏi công tác y tế dự phòng
cần phải được đẩy mạnh, nâng cao nhằm khoanh vùng và hạn chế sự lây lan của
dịch bệnh. Công tác giám sát dịch bệnh lây nhiễm, phân tích và dự báo phục vụ
ra quyết định ngày càng trở nên quan trọng và cần được đẩy mạnh.
Chính từ sự cấp thiết đó, học viên đã chọn đề tài “Khai phá dữ liệu và ứng
dụng trong y tế dự phòng” làm luận văn thạc sĩ của mình, nhằm góp phần công
sức nhỏ bé cho lĩnh vực y tế dự phòng có thêm một số giải pháp phân tích, dự
báo hiệu quả dịch bệnh truyền nhiễm hiện nay. Nội dung luận văn tập trung vào
những phần sau:
Chương 1: Giới thiệu về lĩnh vực y tế dự phòng
Trong chương này giới thiệu tổng quan về lĩnh vực y tế dự phòng, lịch sử
hình thành và phát triển của y tế dự phòng.
Chương 2: Các phương pháp và công cụ khai phá dữ liệu
Nội dung tại chương này xoay quanh khái niệm, tính chất cơ bản của các
phương pháp khai phá dữ liệu phổ biến hiện nay. Qua đó, đề xuất một phương
pháp và công cụ phù hợp khai phá tập dữ liệu dịch bệnh cúm.
Chương 3: Phương pháp phân tích và dự báo với chuỗi dữ liệu thời gian
Đi sâu vào kỹ thuật phân tích chuỗi dữ liệu chuỗi thời gian (time series data)
và áp dụng kỹ thuật này với tập dữ liệu dịch bệnh cúm do Google Flu Trends
công bố trên mô hình ARIMA.
Chương 4: Thực nghiệm và đánh giá
Phân tích và đưa ra kết quả dự báo dựa trên tập dữ liệu Google Flu Trends
công bố dịch bệnh cúm, sử dụng các phương pháp phân tích chuỗi dữ liệu thời
gian và công cụ khai phá dữ liệu.

iv


MỤC LỤC
CHƯƠNG 1: GIỚI THIỆU VỀ LĨNH VỰC Y TẾ DỰ PHÒNG ................................ 1
1.1. Giới thiệu về y tế dự phòng ................................................................................... 1
1.2. Dịch bệnh .............................................................................................................. 1
1.3. Dự báo dịch bệnh trong lĩnh vực y tế dự phòng .................................................... 1
1.4. Thực trạng nghiên cứu dự báo trong y tế dự phòng .............................................. 1
1.5. Mục tiêu nghiên cứu .............................................................................................. 2
CHƯƠNG 2: CÁC PHƯƠNG PHÁP VÀ CÔNG CỤ KHAI PHÁ DỮ LIỆU ............ 3
2.1. Khai phá dữ liệu .................................................................................................... 3
2.2. Các kỹ thuật khai phá dữ liệu ................................................................................ 3
2.3. Dữ liệu chuỗi thời gian (time series data) ............................................................. 5
2.4. Các công cụ, phần mềm hỗ trợ khai phá dữ liệu ................................................... 5
Tóm tắt chương 2 ......................................................................................................... 6
CHƯƠNG 3. PHƯƠNG PHÁP PHÂN TÍCH VÀ DỰ BÁO....................................... 7
VỚI CHUỖI DỮ LIỆU THỜI GIAN ........................................................................... 7
3.1. Dữ liệu chuỗi thời gian .......................................................................................... 7
3.2. Tính dừng của dữ liệu chuỗi thời gian ................................................................... 8
3.3. Mô hình ARIMA ................................................................................................... 10
Tóm tắt chương 3 ......................................................................................................... 11
CHƯƠNG 4. THỰC NGHIỆM VÀ ĐÁNH GIÁ ........................................................ 12
4.1. Mô hình thực nghiệm ............................................................................................ 12
4.2. Mục đích thực nghiệm ........................................................................................... 12
4.3. Tập dữ liệu Google Flu Trends ............................................................................. 12
4.4. Môi trường, cấu hình hệ thống và công cụ ............................................................ 13
4.5. Kết quả thực nghiệm ............................................................................................. 13
4.6. Đánh giá kết quả .................................................................................................... 20

Tóm tắt chương 4 ......................................................................................................... 20
KẾT LUẬN .................................................................................................................. 21
1. Các kết quả đạt được ................................................................................................ 21
2. Hướng nghiên cứu tiếp theo ..................................................................................... 21
TÀI LIỆU THAM KHẢO ............................................................................................ 22
Tiếng Việt..................................................................................................................... 22
Tiếng Anh..................................................................................................................... 22

v


DANH MỤC CÁC HÌNH VẼ
Hình 2.1. Các bước khai phá dữ liệu ............................................................................... 3
Hình 2.2. Tuyến tính hồi quy với một dự đoán duy nhất ................................................ 4
Hình 2.3. Mô hình hồi quy phi tuyến tính ....................................................................... 4
Hình 2.4. Giao diện phần mềm weka .............................................................................. 5
Hình 2.5. Giao diện SPSS ............................................................................................... 6
Hình 2.6. Giao diện phần mềm R .................................................................................... 6
Hình 3.1. Số liệu diễn biến cúm phía Nam Châu phi từ năm 2006 - 2015 ...................... 7
Hình 3.2. Biểu diễn xu hướng giảm của dữ liệu .............................................................. 7
Hình 3.3. Biểu diễn thay đổi chuỗi thời gian theo từng khoảng thời gian ....................... 7
Hình 3.4. Biểu diễn chu kỳ chuỗi thời gian ..................................................................... 8
Hình 3.5. Sơ đồ chuỗi thời gian với định lượng Y(t) theo thời gian t ............................. 8
Hình 3.6. Các bước chính trong phương pháp Box‐Jenkins ............................................ 11
Hình 4.1. Biểu đồ so sánh dữ liệu dự báo của Google Flu Trends và Trung tâm kiểm
soát và phòng ngừa các chứng bệnh của Mỹ ................................................................... 12
Hình 4.2. Mẫu dữ liệu bệnh cúm của 25 nước trên thế giới được tổng hợp từ 2003 đến
2015 ................................................................................................................................. 13
Hình 4.3. Cài đặt gói thư viện ......................................................................................... 14
Hình 4.4. Nạp dữ liệu ...................................................................................................... 14

Hình 4.5. Tập dữ liệu cúm của Argentina ....................................................................... 14
Hình 4.6. Tập dữ liệu cúm của Argentina năm 2004 ....................................................... 15
Hình 4.7. Diễn biến cúm năm 2004 của Argentina theo tháng ........................................ 15
Hình 4.8. Dữ liệu cúm của năm 2004 Argentina được làm sạch ..................................... 15
Hình 4.9. Diễn biến cúm Argentina năm 2014 được làm sạch ........................................ 16
Hình 4.10. Biểu đồ bệnh cúm của Argentina với dữ liệu được làm mịn ......................... 16
Hình 4.11. Sơ đồ dữ liệu được phân tách theo thành phần tính thời vụ, xu hướng và
chu kỳ .............................................................................................................................. 16
Hình 4.12. Mô hình ACF ................................................................................................ 17
Hình 4.13. Mô hình PACF .............................................................................................. 17
Hình 4.14. Mô hình kiểm tra với d = 1 .......................................................................... 17
Hình 4.15. Mô hình ACF với d = 1 ................................................................................ 18
Hình 4.16. Mô hình PACF với d = 1 .............................................................................. 18
Hình 4.17. Mô hình ARIMA (1, 1, 1) ............................................................................... 18
Hình 4.18. Mô hình ARIMA (1, 1, 7) ............................................................................... 19
Hình 4.19. Mô hình dự báo với hệ số (1, 1, 1) ................................................................ 19
Hình 4.20. Mô hình dự báo ............................................................................................. 19
Hình 4.21. Mô hình dự báo ARIMA (0, 2, 0)(0, 0, 1)(7) ................................................ 20
Hình 4.22. Diễn biến dịch bệnh thực tế tại Argentina từ năm 2003 đến 2015 ................ 20

vi


DANH MỤC CÁC BẢNG BIỂU
Bảng 1. Cấu hình phần cứng ........................................................................................ 13
Bảng 2. Các công cụ, phần mềm sử dụng .................................................................... 13

vii

DANH MỤC VIẾT TẮT
TT

Viết tắt

Tiếng Anh

Tiếng Việt

1.

ARIMA

2.

ACF

3.

PACF

Partial
autocorrelation plots

Sự tự tương quan thành
phần

4.

BI

Business intelligence

Thông minh nghiệp vụ

5.

KDD

Knowledge discovery in Khai phá tri thức trong cơ
database
sở dữ liệu

6.

SPSS

Statistical product
services solutions

7.

AR

Autoregressive

Tự hồi quy

8.

MA

Moving average

Trung bình trượt

9.

ARMA

Autoregressive
average

10.

GDP

Gross domestic product

11.

CDC

Centers
for
disease Trung tâm kiểm soát và
control and prevention
phòng ngừa dịch bệnh

Autoregressive integrated Tự hồ i quy tić h hơ ̣p trung

moving average
biǹ h trươ ̣t
Autocorrelation function
Chức năng tự tương quan

and Giải pháp sản phẩm và dịch
vụ thống kê

moving

viii

Trung bình trượt tự hồi quy
Tổng sản phẩm quốc nội


DANH SÁCH CÁC THUẬT NGỮ
TT

Thuật ngữ tiếng Anh

Nghĩa tiếng Việt

1.

Ebola

Bệnh do virus Ebola

2.

MERS-CoV

Hội chứng hô hấp Trung Đông

3.

H5N1, H7N9, H5N6, Virus cúm gia cầm H5N1, H7N9, H5N6,
H9N2, H5N8
H9N2, H5N8

4.

Internet

Mạng Internet

5.

Petabybe

Đơn vị lưu trữ trên máy tính

6.

HD

Độ phân giải cao hay độ nét cao

7.

CPU

Bộ vi xử lý trung tâm

8.

RAM

Bộ nhớ truy cập ngẫu nhiên

9.

OS

Hệ điều hành

ix


CHƯƠNG 1: GIỚI THIỆU VỀ LĨNH VỰC Y TẾ DỰ PHÒNG
1.1. Giới thiệu về y tế dự phòng
Y tế dự phòng là lĩnh vực y tế thực hiện các biện pháp giám sát, dự
báo, phòng ngừa và kiểm soát dịch bệnh [9].
1.1.1. Lịch sử phát triển của y tế dự phòng
Hippocrates, một bác sĩ người Hy Lạp ở Thế kỷ thứ 5 trước Công nguyên,
đã phân loại các nguyên nhân gây bệnh thành những khía cạnh có liên quan
đến mùa, khí hậu, và điều kiện bên ngoài và những nguyên nhân như thức ăn,
chế độ luyện tập và thói quen không bình thường của mỗi cá nhân [5]. Kỷ
nguyên hiện đại trong y học dự phòng được mở ra vào giữa Thế kỷ 19 với sự

khám phá của Louis Pasteur về vai trò của các vi khuẩn sống như là nguyên
nhân gây ra bệnh nhiễm trùng [9].
1.1.2. Những vai trò của lĩnh vực y tế dự phòng
Lĩnh vực y tế dự phòng có những vai trò cụ thể sau: Giám sát, phát hiện
sớm các bệnh truyền nhiễm, các nguồn bệnh chưa rõ nguyên nhân [1]; Tổ chức
thực hiện các biện pháp phòng, chống và kiểm soát dịch bệnh [1]; Quản lý dữ
liệu và cung cấp thông tin rộng rãi cho xã hội về các bệnh và dịch bệnh truyền
nhiễm [1]; Phòng, chống bệnh không lây nhiễm, bệnh xã hội [1]; Giám sát và
phòng, chống bệnh không lây nhiễm, bệnh xã hội [1]; Thực hiện các hoạt động
phòng, chống yếu tố nguy cơ bệnh không lây nhiễm; triển khai các hoạt động
phòng, chống tác hại của lạm dụng rượu bia và đồ uống có cồn khác [1]; Thực
hiện và kiểm tra, giám sát hoạt động phòng, chống bệnh không lây nhiễm,
bệnh xã hội; thống kê, báo cáo, xây dựng và quản lý cơ sở dữ liệu về bệnh
không lây nhiễm, bệnh xã hội [1]; Nghiên cứu, phát triển và sử dụng vắc xin,
sinh phẩm y tế hỗ trợ phòng ngừa các bệnh truyền nhiễm một cách chủ động
[1]; Hướng dẫn, kiểm tra việc sử dụng vắc xin, sinh phẩm y tế và an toàn tiêm
chủng [1].
1.2. Dịch bệnh
Dịch bệnh là bệnh được lan truyền nhanh chóng và ảnh hưởng đến số
lượng lớn người trong vòng một thời gian rất ngắn [5].
1.3. Dự báo dịch bệnh trong lĩnh vực y tế dự phòng
Hoạt động dự báo hỗ trợ các cơ quan, tổ chức đưa ra những thông tin nhận
định cho tương lai trên cơ sở các thông tin đã có trong quá khứ và hiện tại.
1.4. Thực trạng nghiên cứu dự báo trong y tế dự phòng
Qua tham khảo, nhận thấy các phương pháp dự báo dịch bệnh ban đầu đều
1


dựa trên mô hình lan truyền dịch bệnh, điển hình cho tư tưởng này là mô hình
SIR. Mức độ lan truyền dịch bệnh được xác định như sau:

𝑇

𝛼

𝑆 + 𝐼 → 2𝐼 và 𝐼 → 𝑅

(1.1)

1.5. Mục tiêu nghiên cứu
Nghiên cứu tổng quan các phương pháp, kỹ thuật khai phá dữ liệu và tiến
hành thực nghiệm, lựa chọn phương pháp thích hợp với tập dữ liệu dịch bệnh
truyền nhiễm.
Tóm tắt Chương 1
Chương 1 đã giới thiệu tổng quan các vấn đề của dịch bệnh truyền nhiễm,
lịch sử hình thành, phát triển của y tế dự phòng và thực trạng diễn biến dịch
bệnh truyền nhiễm hiện nay. Chương 2 của luận văn sẽ trình bày các phương
pháp và công cụ phổ biến hiện nay phục vụ khai thác dữ liệu, đề xuất lựa chọn
một phương pháp phù hợp nhằm xử lý, phân tích và dự báo tập dữ liệu về dịch
bệnh cúm do Google Flu Trends cung cấp.

2


CHƯƠNG 2: CÁC PHƯƠNG PHÁP VÀ CÔNG CỤ
KHAI PHÁ DỮ LIỆU
2.1. Khai phá dữ liệu
2.1.1. Khái niệm
Khai phá dữ liệu là quá trình trích xuất thông tin bên trong bộ dữ liệu lớn
để xác định các mẫu và thiết lập các mối quan hệ để giải quyết các vấn đề
thông qua phân tích dữ liệu [6]. Khai phá dữ liệu bao gồm 5 bước sau:

Hình 2.1. Các bước khai phá dữ liệu
2.1.2. Ưu điểm của khai phá dữ liệu với các phương pháp khác
2.1.2.1. Học máy (machine learning)
Các phương pháp trong máy học cần được phát triển để phù hợp với các
yêu cầu và thách thức của khai phá dữ liệu. Trong học máy, thuật ngữ cơ sở dữ
liệu là nói tới một tập các mẫu dữ liệu được lưu trong một tệp.
2.1.2.2. Phương pháp hệ chuyên gia
Các hệ chuyên gia sẽ nắm bắt các tri thức trong một bài toán cụ thể. Các
kỹ thuật thu thập giúp các chuyên gia trong việc khai thác tri thức, mỗi phương
pháp là kỹ thuật xây dựng các tập luật.
2.1.3. Những khó khăn trong khai phá dữ liệu
Khi khai phá dữ liệu gặp phải những thách thức sau đây: Cơ sở dữ liệu
lớn; vấn đề over-fitting; dữ liệu và tri thức được cập nhật, thay đổi; dữ liệu
thiếu và nhiễu; tích hợp với hệ thống.
2.2. Các kỹ thuật khai phá dữ liệu
2.2.1. Hồi quy (Regression)
2.2.1.1. Hồi quy tuyến tính (linear regression)

3


Hình 2.2. Tuyến tính hồi quy với một dự đoán duy nhất
Hồi quy tuyến tính với một dự báo đơn có thể được biểu diễn bằng phương
trình:
𝑦 = 𝜃2 𝑥 + 𝜃1 + 𝑒,

(1.2)

2.2.1.2. Hồi quy tuyến tính đa biến

Hồi quy tuyến tính đa biến đề cập đến hồi quy tuyến tính với hai hoặc
nhiều biến dự đoán (𝑥1 , 𝑥2 , … , 𝑥𝑛 ). Khi sử dụng nhiều dự đoán, đường hồi quy
không thể được hiển thị trong không gian hai chiều.
𝑦 = 𝜃1 + 𝜃2 𝑥1 + 𝜃3 𝑥2 + … … … + 𝜃𝑛 𝑥𝑛−1 + 𝑒

(1.3)

2.2.1.3. Hồi quy phi tuyến
Bình thường mối quan hệ giữa x và y không phải luôn được xấp xỉ bằng
một đường thẳng.

Hình 2.3. Mô hình hồi quy phi tuyến tính
2.2.1.4. Hồi quy phi tuyến đa biến
Hồi quy phi tuyến tính đa biến đề cập đến hồi quy phi tuyến với hai hoặc
nhiều yếu tố dự đoán (𝑥1 , 𝑥2 , … , 𝑥𝑛 ).
4


2.2.2. Kết hợp (Association)
Kỹ thuật của phương pháp là phát hiện và tìm ra trong tập dữ liệu cần khai
phá những mối liên hệ giữa các giá trị [11]. Đầu ra của phương pháp là luật kết
hợp tìm được từ tập dữ liệu ban đầu [11].
2.2.3. Phân lớp (Classification)
Phân lớp là một kỹ thuật khai phá dữ liệu mà gán các mục trong một bộ dữ
liệu để nhằm mục tiêu phân loại [11]. Mục tiêu của phân lớp là dự đoán chính
xác lớp mục tiêu cho từng trường hợp dữ liệu.
2.2.4. Phân cụm (Clustering)
Phân cụm là kỹ thuật tìm ra các cụm dữ liệu có đặc điểm tương tự nhau
trong tập dữ liệu cần khai phá. Các thành viên của một cụm giống nhau hơn so
với các thành viên của các cụm khác.

2.3. Dữ liệu chuỗi thời gian (time series data)
Chúng ta có thể hiểu chuỗi dữ liệu thời gian là một dãy các giá trị phụ
thuộc vào các mốc thời gian, việc phân tích dữ liệu chuỗi thời gian chính là
việc tìm ra mối liên hệ giữa P và tương ứng với giá trị 𝑥(𝑡), ta có công thức
như sau: 𝑃 → 𝑥(𝑡).
2.4. Các công cụ, phần mềm hỗ trợ khai phá dữ liệu
2.4.1. Phân tích số liệu bằng phần mềm Weka
Weka (viết tắt của Waikato Environment for Knowledge Analysis) là một
công cụ khai thác dữ liệu ban đầu được phát triển tại Đại học Waikato tại New
Zealand [12].

Hình 2.4. Giao diện phần mềm weka
2.4.2. Giới thiệu về SPSS (Statistical Product and Services Solutions)
SPSS là phần mềm phục vụ thống kê, với một bộ thư viện lớn các thuật
toán học máy, phân tích văn bản, nguồn mở, tích hợp dễ dàng với những dữ
liệu lớn [13].
5


Hình 2.5. Giao diện SPSS
2.4.3. Phân tích số liệu bằng R
R là một phần mềm được sử dụng cho phân tích dữ liệu, thống kê và vẽ
biểu đồ [14]. R là ngôn ngữ lập trình đa năng, có thể sử dụng cho nhiều mục
đích, tính toán, giải trí, phân tích thống kê phức tạp [14].

Hình 2.6. Giao diện phần mềm R
Tóm tắt chương 2
Chương 2 giới thiệu các phương pháp và công cụ phục vụ khai phá dữ
liệu. Bên cạnh đó, cũng đã đề cập đến chuỗi dữ liệu thời gian để chúng ta hiểu
bản chất của chuỗi dữ liệu thời gian. Chương 3 đi sâu phân tích phương pháp

phân tích hồi quy với chuỗi dữ liệu thời gian làm cơ sở cho việc thực nghiệm.

6


CHƯƠNG 3. PHƯƠNG PHÁP PHÂN TÍCH VÀ DỰ BÁO
VỚI CHUỖI DỮ LIỆU THỜI GIAN
3.1. Dữ liệu chuỗi thời gian
Dữ liệu chuỗi thời gian là một dãy giá trị phép đo trên cùng một đối tượng
được ghi nhận theo thời gian [10].

Hình 3.1. Số liệu diễn biến cúm phía Nam Châu phi từ năm 2006 - 2015
Dữ liệu chuỗi thời gian có các thành phần cơ bản như:

Hình 3.2. Biểu diễn xu hướng giảm của dữ liệu
- Thành phần xu hướng: để chỉ xu hướng tăng hay giảm của dữ liệu.

Hình 3.3. Biểu diễn thay đổi chuỗi thời gian theo từng khoảng thời gian
7


- Thành phần mùa (thời vụ): để chỉ chiều hướng tăng hay giảm của giá trị
y được tính theo giai đoạn thời gian (khoảng thời gian ngắn).

Hình 3.4. Biểu diễn chu kỳ chuỗi thời gian
- Thành phần chu kì (dài hạn): biểu thị bằng sự tăng, giảm của dữ liệu
chuỗi thời gian xoay quanh xu hướng.
- Thành phần ngẫu nhiên: Đây là thành phần ngược với chu kỳ, thành phần
ngẫu nhiên chỉ sự thay đổi bất thường của giá trị trong chuỗi thời gian và
thường không dự đoán được sự thay đổi của dữ liệu.

Hình 3.5. Sơ đồ chuỗi thời gian với định lượng 𝐘(𝐭) theo thời gian t
Với sơ đồ Hình 3.5 ta có Yt là giá trị định lượng trên chuỗi thời gian được
tính tại thời điểm t, qua đó ta có thể xác định được các mô hình sau:
- Mô hình cộng: 𝑌𝑡 = 𝑇𝑡 + 𝑆𝑡 + 𝐶𝑡 + 𝐼𝑡 .

(3.1)

- Mô hình nhân: 𝑌𝑡 = 𝑇𝑡 𝑆𝑡 𝐶𝑡 𝐼𝑡 .

(3.2)

3.2. Tính dừng của dữ liệu chuỗi thời gian
Một tính chất quan trọng của dữ liệu chuỗi thời gian là tính dừng [4]. Một
chuỗi giá trị trên thời gian t là Yt được coi là dừng khi kỳ vọng, phương sai và
hiệp phương sai ở các độ trễ khác nhau giữ nguyên theo diễn biến thời gian
[4]. Chuỗi Yt được coi là dừng khi thỏa mãn:
- 𝐸(𝑌𝑡 ) = 𝜇(∀𝑡).

(3.3)
8


- 𝑉𝑎𝑟(𝑌𝑡 ) = 𝐸(𝑌𝑡 − 𝜇)2 = 𝜎 2 (∀𝑡).

(3.4)

- 𝐶𝑜𝑣(𝑌𝑡 , 𝑌𝑡+𝑘 ) = 𝐸[(𝑌𝑡+𝑘 − 𝜇)(𝑌𝑡 − 𝜇)] = 𝑌𝑘 (∀𝑡).

(3.5)

3.2.1. Kiểm tra tính dừng chuỗi thời gian
3.2.1.1. Kiểm tra trực quan trên trên đồ thị biểu diễn chuỗi thời gian
Quan sát đồ thị chuỗi dữ liệu thời gian nếu thấy trung bình có xu hướng
tăng hoặc giảm theo từng khoảng thời gian để dự đoán chuỗi là không dừng.
3.2.1.2. Kiểm tra dựa trên sơ đồ tự tương quan và tự tương quan riêng
phần
3.2.1.2.1. Sơ đồ tự tương quan ACF (Autocorelation Function)
Sử dụng dùng hàm tự tương quan ACF, trong đó: độ trễ k ký hiệu bằng ρk,
xác định bằng công thức như sau:
𝐴𝐶𝐹(𝑘) = 𝑝𝑘

𝑐𝑜𝑣(𝑌𝑡, 𝑌𝑡−𝑘 )

(3.6)

𝑉𝑎𝑟(𝑌𝑡 )

3.2.1.2.2. Sơ đồ tự tương quan riêng phần PACF
Ta sử dụng hàm tương quan PACF để đo độ kết hợp giữa Yt và Yt-k , với
hệ số tương quan riêng ρkk ước lượng theo công thức Durbin:
𝑃𝐴𝐶𝐹(𝑘) = 𝑝𝑘𝑘 =

𝑝𝑘 − ∑𝑘−1
𝑗=1 𝑝𝑘−1 𝑗 𝑝𝑘−𝑗
1 − ∑𝑘−1
𝑗=1 𝑝𝑘−1 𝑗 𝑝𝑗

(3.7)

Nếu chuỗi dừng thì các kk cũng có phân phối chuẩn 𝑁(0, 1⁄𝑛), do đó
kiểm định giả thiết đối với ρkk tương tự như đối với ρk.
3.2.2. Biến đổi chuỗi không dừng thành chuỗi dừng
Với chuỗi thời gian ban đầu không có tính dừng, trước khi xây dựng mô
hình ARIMA ta phải biến chuỗi thành có tính dừng, phương pháp là lấy sai
phân cấp d với d = 1 hoặc d = 2,...
Ta có công thức: 𝑌𝑡 = 𝑌𝑡−1 + 𝑢𝑡 , giá trị ut là nhiễu trắng.
Ta có công thức sai phân cấp 1 của yt như sau: 𝐷(𝑌𝑡 ) = 𝑌𝑡 − 𝑌𝑡−1 = 𝑢𝑡 ,
trong đó với ut là nhiễu trắng nên 𝐷(𝑌𝑡 ) là chuỗi dừng.
Nếu lấy sai phân cấp 1 chuỗi thời gian Yt nhưng chưa cho kết quả là chuỗi
dừng thì tiếp tục lấy sai phân cấp 2, 3… Có thể nói, luôn có một giá trị d để sai
9


phân cấp d của Yt là chuỗi dừng. Khi đó, Yt là liên kết bậc d, ký hiệu là I(d).
Sai phân của cấp d được tính như sau:
+ Cấp 1: 𝐷(𝑌𝑡 ) = 𝑌𝑡 − 𝑌𝑡−1

(3.8)

+ Cấp 2: 𝐷(𝐷(𝑌𝑡 )) = 𝐷 2 (𝑌𝑡 ) = (𝑌𝑡 − 𝑌𝑡−1 ) − (𝑌𝑡−1 −𝑌𝑡−2 )

(3.9)

+ Tương tự như vậy với sai phân cấp d: 𝐷(𝐷 𝑑−1 (𝑌𝑡 ))

(3.10)

3.3. Mô hình ARIMA
3.3.1. Mô hình tự hồi quy AR

Ý tưởng mô hình AR(p) là hồi quy số liệu của nó trong quá khứ ở những
chu kì trước.
𝑌𝑡 = 𝑎0 + 𝑎1 𝑌𝑡−1 + 𝑎2 𝑌𝑡−2 + ⋯ + 𝑎𝑝 𝑌𝑡−𝑝 + 𝑢𝑡 ;

(3.11)

Hàm tuyến tính Yt là của chuỗi quan sát dừng những thời điểm trong quá
khứ: Yt-1, Yt-2…
- Mô hình AR(1) : 𝑌𝑡 = 𝑎0 + 𝑎1 𝑌𝑡−1 + 𝑢𝑡

(3.12)

- Mô hình AR(2) : 𝑌𝑡 = 𝑎0 + 𝑎1 𝑌𝑡−1 + 𝑎2 𝑌𝑡−2 + 𝑢𝑡

(3.13)

3.3.2. Mô hình trung bình trượt MA (Moving Average)
Hàm tuyến tính yt phụ thuộc vào các biến sai số dự báo quá khứ và hiện
tại. Mô hình trung bình trượt là một trung bình trọng số của những sai số mới
nhất.
𝑌𝑡 = 𝑏0 + 𝑢𝑡 + 𝑏1 𝑢𝑡−1 + 𝑏2 𝑢𝑡−2 + ⋯ + 𝑏𝑞 𝑢𝑡−𝑞

(3.14)

- Mô hình MA(1) : 𝑌𝑡 = 𝑏0 + 𝑢𝑡 + 𝑏1 𝑢𝑡−1

(3.15)

- Mô hình MA(2) : 𝑌𝑡 = 𝑏0 + 𝑢𝑡 + 𝑏1 𝑢𝑡−1 + 𝑏2 𝑢𝑡−2

(3.16)

3.3.3. Mô hình trung bình trượt và tự hồi quy ARMA
Yt là quá trình ARMA(1, 1) nếu Y có thể biểu diễn dưới dạng:
Yt = 𝑎0 + 𝑎1 𝑌𝑡−1 + 𝑢𝑡 + 𝑏0 + 𝑏1 𝑢𝑡−1 (u là nhiễu trắng)

(3.17)

Tóm lại, Yt là quá trình ARMA (p, q) nếu Yt có thể biểu diễn dưới dạng:
Yt = 𝑎0 + 𝑎1 𝑌𝑡−1 + 𝑎2 𝑌𝑡−2 + … + 𝑎𝑝 𝑌𝑡−𝑝 + 𝑢𝑡 + 𝑏0 + 𝑏1 𝑢𝑡−1 +
10

(3.18)


𝑏2 𝑢𝑡−2 + . . . + 𝑏𝑞 𝑢𝑡−𝑞
3.3.4. Mô hình trung bình trượt tự hồi quy ARIMA
Với bậc tự hồi quy p, số lần lấy sai phân d để chuỗi Yt được xác định là
chuỗi dừng, bậc trung bình trượt q (p và q là bậc tương ứng của chuỗi dừng).
- Trong mô hình ARIMA (p, d, q), khi d = 0 và q = 0 thì ta có AR(p).
- Trong mô hình ARIMA (p, d, q), khi d = 0 và p = 0 thì ta có MA(q).
- Với ARIMA(1,1,1) nghĩa là Yt có sai phân bậc 1 là một chuỗi dừng.
Chuỗi sai phân dừng này có thể biểu diễn dưới dạng ARMA (1,1).
∆𝑌𝑡 = 𝑎0 + 𝑎1 𝑌𝑡−1 + 𝑎0 𝑢𝑡 + 𝑎1 𝑢𝑡−1 (u là nhiễu trắng)

(3.19)

3.3.5. Dự báo dữ liệu chuỗi thời gian
Các bước chính trong phương pháp Box‐Jenkins:
Vẽ biểu đồ

chuỗi giá trị

Có

Nhận dang mô
hình

Là chuỗi dừng?
Không

Lấy sai phân của
chuỗi

Ước lượng mô
hình

Mô hình
có phù hợp?

Không

Điều chỉnh mô
hình

Có

Dự báo

Hình 3.6. Các bước chính trong phương pháp Box‐Jenkins
Tóm tắt chương 3

Chương 3 đã chi tiết phân tích đặc điểm chuỗi dữ liệu chuỗi thời gian, và
dựa vào đặc điểm của dữ liệu chuỗi thời gian để lựa chọn mô hình phân tích
phù hợp ARIMA. Chương 4 tiến hành thực nghiệm tập dữ liệu dịch bệnh cúm
do Google Flu Trends công bố sử dụng R và dựa trên mô hình ARIMA.

11


CHƯƠNG 4. THỰC NGHIỆM VÀ ĐÁNH GIÁ
4.1. Mô hình thực nghiệm
Một công cụ tự hồi quy (auto regressive - AR) hướng tới sử dụng những
giá trị quá khứ trong công thức hồi quy cho chuỗi Y, tham số tự hồi quy p.
𝑌𝑡 = 𝑎0 + 𝑎1 𝑌𝑡−1 + 𝑎2 𝑌𝑡−2 + ⋯ + 𝑎𝑝 𝑌𝑡−𝑝 + 𝑢𝑡

(4.2)

Một công cụ trung bình trượt (moving average - MA) nêu ra lỗi của mô
hình giống như sự kết hợp thành phần lỗi trước đây et.
𝑌𝑡 = 𝑏0 + 𝑒𝑡 + 𝑏1 𝑒𝑡−1 + 𝑏2 𝑒𝑡−2 + ⋯ + 𝑏𝑞 𝑒𝑡−𝑞

(4.3)

Tự hồi quy và công cụ trung bình trượt thể hiện một mô hình ARIMA:
𝑌𝑡 = 𝑎0 + 𝑎1 𝑌𝑡−1 + 𝑎2 𝑌𝑡−2 + … + 𝑎𝑝 𝑌𝑡−𝑝 + 𝑢𝑡 + 𝑏0 + 𝑏1 𝑢𝑡−1

(4.4)

+ 𝑏2 𝑢𝑡−2 + . . . + 𝑏𝑞 𝑢𝑡−𝑞
4.2. Mục đích thực nghiệm
Dựa trên tập dữ liệu dịch cúm của Google Flu Trends tiến hành thực

nghiệm nhằm phân tích và đưa ra kết quả dự báo.
4.3. Tập dữ liệu Google Flu Trends
Google Flu Trends là một dịch vụ web do Google thực hiện, cung cấp ước
tính về diễn biến của dịch cúm hơn 25 quốc gia, bằng cách thu thập các truy
vấn của công cụ tìm kiếm Google.

Hình 4.1. Biểu đồ so sánh dữ liệu dự báo của Google Flu Trends và
Trung tâm kiểm soát và phòng ngừa các chứng bệnh của Mỹ

12


(2)
(1)

Hình 4.2. Mẫu dữ liệu bệnh cúm của 25 nước trên thế giới
được tổng hợp từ 2003 đến 2015
Google Flu Trends thu thập số liệu cúm bằng cách xác định địa chỉ IP của
mỗi tìm kiếm, trạng thái truy vấn này đã được nhập có thể được xác định.
log(𝑃) = 𝛽0 + 𝛽1 𝑥 log(Q) + 𝜀
4.4. Môi trường, cấu hình hệ thống và công cụ
4.4.1. Cấu hình phần cứng
Thành phần
CPU
RAM
OS
Bộ nhớ ngoài

Chỉ số
Intel Pentium T4400 / 2.2 GHz

2 x 2 GB
Windows 7
250 GB
Bảng 1. Cấu hình phần cứng

4.4.2. Các công cụ phần mềm sử dụng
TT
1

Tên phần mềm
Nguồn
R i386 3.4.4

Bảng 2. Các công cụ, phần mềm sử dụng

4.5. Kết quả thực nghiệm
Nếu thư viện chưa được cài đặt ta tiền hành cài trước khi sử dụng:

13

(4.1)


Hình 4.3. Cài đặt gói thư viện
4.5.1. Lựa chọn và xử lý dữ liệu
Kết quả thu được là số liệu công bố dịch cúm của Argentina từ 2003 đến
2015 có 655 bản ghi. Nạp dữ liệu:

Hình 4.4. Nạp dữ liệu
Ta có tập dữ liệu d sau khi được nạp như sau:

Hình 4.5. Tập dữ liệu cúm của Argentina
Bước 1: Lựa chọn dữ liệu
Trong tập dữ liệu được nạp d là dữ liệu từ năm 2003 đến năm 2015.

14


Hình 4.6. Tập dữ liệu cúm của Argentina năm 2004
Ta trích lấy mẫu dữ liệu của Argentina được thu thập vào năm 2004 và xây
dựng sơ đồ diễn biến.

Hình 4.7. Diễn biến cúm năm 2004 của Argentina theo tháng
Tập dữ liệu đầu vào đã đáp ứng nên thực nghiệm của luận văn bỏ qua
Bước 2: Tiền xử lý dữ liệu và chuyển qua Bước 3: Đổi dạng.
Bước 3: Đổi dạng
Sử dụng hàm tsclean(), tập dữ liệu được làm sạch, trong tập dữ liệu mới
được tạo ra có thêm cột clean_scm, là số liệu đã được làm sạch.

Hình 4.8. Dữ liệu cúm của năm 2004 Argentina được làm sạch
Sau khi được xử lý làm sạch dữ liệu, ta nhận được biểu đồ, như sau:

15