dự báo lượng bệnh nhân nhập viện tại phòng cấp cứu bằng mô hình lstm và mô hình lai giữa mạng nơ ron có tính mùa sann với phương pháp holt winters

Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (1.66 MB, 78 trang )

Trang 1<div class="page_container" data-page="1">

ĐẠI HỌC QUỐC GIA TP. HCM

TRƯỜNG ĐẠI HỌC BÁCH KHOA

---

CAO KHẮC NGỌC LÂN

DỰ BÁO LƯỢNG BỆNH NHÂN NHẬP VIỆN TẠI PHÒNG CẤP CỨU BẰNG MƠ HÌNH LSTM VÀ MƠ HÌNH LAI GIỮA MẠNG NƠ – RON CĨ TÍNH MÙA

SANN VỚI PHƯƠNG PHÁP HOLT – WINTERS

Chuyên Ngành : Khoa Học Máy Tính Mã Số: 8480101

LUẬN VĂN THẠC SĨ

TP. HỒ CHÍ MINH, tháng 01 năm 2024

</div>Trang 2<div class="page_container" data-page="2">

CÔNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán bộ hướng dẫn khoa học 1: PGS.TS Dương Tuấn Anh Cán bộ hướng dẫn khoa học 2: PGS.TS Võ Thị Ngọc Châu Cán bộ chấm nhận xét 1 :TS. Lê Văn Quốc Anh

Cán bộ chấm nhận xét 2 :TS. Bùi Công Giao

Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG Tp. HCM ngày 23 tháng 01 năm 2024

Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: 1. PGS.TS Trần Minh Quang Chủ tịch

5. PGS.TS Dương Tuấn Anh Ủy viên

Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nếu có).

CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA

KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH

</div>Trang 3<div class="page_container" data-page="3">

ĐẠI HỌC QUỐC GIA TP.HCM

TRƯỜNG ĐẠI HỌC BÁCH KHOA

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự do - Hạnh phúc

NHIỆM VỤ LUẬN VĂN THẠC SĨ

Họ tên học viên: Cao Khắc Ngọc Lân ... MSHV: 2170074 ... Ngày, tháng, năm sinh: 21/10/1995 ... Nơi sinh: Bình Dương .... Chuyên ngành: Khoa học Máy tính ... Mã số : 8480101 ...

II. NHIỆM VỤ VÀ NỘI DUNG:

− Tìm hiểu bài toán dự báo lượng bệnh nhân nhập viện hàng ngày tại phịng cấp cứu. − Tìm hiểu các mơ hình được áp dụng trong việc giải quyết bài tốn đặt ra: Holt –

Winters, SANN, mơ hình lai giữa Holt – Winters với SANN, LSTM xếp chồng. − Ứng dụng, hiện thực – thử nghiệm và so sánh hiệu quả dự báo của các mơ hình nêu

trên để dự báo lượng bệnh nhân nhập viện hàng ngày tại phòng cấp cứu.

III. NGÀY GIAO NHIỆM VỤ : 04/09/2023

IV. NGÀY HOÀN THÀNH NHIỆM VỤ: 18/12/2023

V. CÁN BỘ HƯỚNG DẪN: PGS.TS Dương Tuấn Anh, PGS.TS Võ Thị Ngọc Châu

Tp. HCM, ngày …… tháng …… năm 2024

CÁN BỘ HƯỚNG DẪN

(Họ tên và chữ ký) HỘI ĐỒNG NGÀNH (Họ tên và chữ ký)

TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH (Họ tên và chữ ký)

</div>Trang 4<div class="page_container" data-page="4">

Lời cảm ơn

Lời đầu tiên, tôi muốn gửi lời cảm ơn chân thành tới Thầy PGS. TS. Dương Tuấn Anh và Cô PGS. TS. Võ Thị Ngọc Châu trong thời gian qua đã tận tình hướng dẫn, giúp đỡ tơi trong q trình thực hiện luận văn tốt nghiệp này. Những lời góp ý, nhận xét và hướng dẫn của Thầy Cơ đã giúp tơi có hướng đi đúng đắn trong q trình thực hiện đề tài, giúp tơi thấy được những thuận lợi cũng như hạn chế của các phương pháp tiếp cận khác nhau. Từ đó, giúp tơi từng bước khắc phục và ngày một tốt hơn.

Đồng thời, tôi cũng muốn gửi lời cảm ơn sâu sắc tới gia đình và người thân đã động viên, cổ vũ tinh thần và góp ý cho tơi trong suốt q trình học tập, thực hiện đề tài. Đặc biệt là gia đình đã chăm lo và hi sinh rất nhiều để tơi có thể chun tâm trong việc học.

Sau cùng, tơi xin kính chúc q Thầy Cơ trong khoa Khoa học và Kĩ thuật Máy tính được dồi dào sức khỏe, niềm tin để tiếp tục thực hiện sứ mệnh cao đẹp của mình trong cơng cuộc truyền đạt kiến thức cho thế hệ sau này.

Thành phố Hồ Chí Minh, 01/2024 Cao Khắc Ngọc Lân

</div>Trang 5<div class="page_container" data-page="5">

Tóm tắt

Bài tốn dự báo chuỗi thời gian bằng mơ hình lai giữa mạng nơ – ron và một phương pháp xác suất thống kê là bài toán được nhiều nhà nghiên cứu trong cộng đồng khoa học máy tính quan tâm. Nhiệm vụ chính trong cơng trình nghiên cứu này là phát hiện tính mùa của bộ dữ liệu được dùng để huấn luyện mơ hình và đưa ra dự báo cho một điểm dữ liệu kế tiếp (khơng có trong bộ dữ liệu). Bộ dữ liệu được dùng trong bài nghiên cứu này là dữ liệu về lượng bệnh nhân nhập viện vào phòng cấp cứu được thu thập tại bệnh viện Đa Khoa Khu Vực Củ Chi (huyện Củ Chi, thành phố Hồ Chí Minh) từ ngày 01 tháng 01 năm 2018 tới ngày 31 tháng 12 năm 2020. Để đưa ra được dự báo chính xác dựa trên bộ dữ liệu chuỗi thời gian có tính mùa, nghiên cứu này áp dụng mơ hình lai giữa mơ hình Làm Trơn Hàm Mũ Holt – Winters với mơ hình Mạng Nơ – Ron Nhân Tạo Có Tính Mùa (SANN). Ngồi ra, chúng tơi cịn áp dụng mơ hình mạng nơ – ron học sâu LSTM xếp chồng để so sánh với hiệu quả dự báo của mơ hình đề xuất. Để đánh giá hiệu suất dự báo của mơ hình, chúng tơi sử dụng độ đo sai số phần trăm tuyệt đối trung bình (MAPE). Kết quả thực nghiệm cho thấy mơ hình lai đem lại hiệu quả dự báo tốt hơn so với mơ hình Holt – Winters hay SANN đơn lẻ, nhưng kém hơn mơ hình mạng nơ – ron LSTM đơn lẻ.

</div>Trang 6<div class="page_container" data-page="6">

iii

Abstract

Time Series Prediction using the hybird model between Artificial Neural Network (ANN) and a staticstical method is a problem in which many of researchers in computer science community have been interested. Main purpose of this research is detecting seasonal characteristic of dataset used for training models and then predict for one next data point (the point is in the future). The dataset used in the research is about volume of patients in emergency department of General Hospital Cu Chi (District Cu Chi, Ho Chi Minh City) collected from 01/01/2018 to 12/31/2020. To give effective prediction on the seasonal dataset, the research uses a model hybridizing Exponential Smoothing Holt – Winters with Seasonal Artifical Neural Network (SANN). Besides, we also applied a stacked deep learning LSTM model in order to compare the hybrid model's prediction effectiveness. To evaluate the model's prediction efficiency, we are using Mean Absolute Percentage Error (MAPE). Experimental results show that hybrid model's MAPE is better than single Holt – Winters model or SANN model but worse than single LSTM – based model.

</div>Trang 7<div class="page_container" data-page="7">

Lời cam đoan

Tôi là Cao Khắc Ngọc Lân học viên cao học khoa Khoa Học và Kĩ Thuật Máy Tính, Đại học Bách Khoa TP. HCM, MSHV 2170074. Tôi xin cam đoan rằng luận văn thạc sĩ “Dự Báo Lượng Bệnh Nhân Nhập Viện Tại Phịng Cấp Cứu Bằng Mơ Hình Lai Giữa Mạng Nơ – Ron Có Tính Mùa SANN Và Phương Pháp Holt – Winters” là kết quả tìm hiểu, nghiên cứu độc lập của chính bản thân. Tơi xin cam đoan:

1. Luận văn được thực hiện cho mục đích tìm hiểu và nghiên cứu ở bậc cao học.

2. Các cơng trình, bài báo tham khảo để xây dựng nên luận văn này đều được trích dẫn, tham khảo. Tất cả các tài liệu được trích dẫn và có tính kế thừa từ các tạp chí và các cơng trình nghiên cứu đã được cơng bố.

3. Những cơng cụ, phần mềm cho quá trình thực hiện luận văn đều là phần mềm mã nguồn mở.

4. Hình ảnh và số liệu được trích dẫn nguồn tham khảo rõ ràng.

5. Kết quả nghiên cứu được trình bày trung thực dựa trên số liệu thực tế khi chạy chương trình.

</div>Trang 8<div class="page_container" data-page="8">

1.5. Cấu trúc của luận văn ... 4

Chương 2 CƠ SỞ LÍ THUYẾT ... 5

2.1. Dữ liệu chuỗi thời gian ... 5

2.2. Dự báo chuỗi thời gian ... 7

2.3. Hệ số tự tương quan và hàm tự tương quan ... 7

2.3.1. Hệ số tự tương quan ... 8

2.3.2. Hàm tự tương quan ... 8

2.4. Mơ hình Holt – Winters ... 9

2.5. Mơ hình ANN có tính mùa (SANN) ... 12

2.5.1. Giới thiệu mạng nơ – ron nhân tạo (Artificial Neural Network – ANN) .... 12

2.5.2. Cấu trúc mạng nơ – ron nhân tạo ... 13

2.5.3. Huấn luyện mạng nơ – ron nhân tạo ... 16

2.5.4. Mạng nơ – ron nhân tạo có tính mùa ... 17

2.6. Cách ước lượng độ dài mùa cho chuỗi thời gian có tính mùa ... 18

2.7. Mơ hình mạng bộ nhớ dài – ngắn LSTM ... 19

2.7.1. Ô trạng thái (cell state) ... 20

2.7.2. Mạng nơ – ron nhân tạo hồi quy (Recurrent Neural Network – RNN) ... 21

2.7.3. Vấn đề phụ thuộc dài hạn (Long – term dependency) ... 22

2.7.4 Trình tự vận hành của mơ hình LSTM ... 23

</div>Trang 9<div class="page_container" data-page="9">

2.7.5. Mơ hình mạng nơ – rơn nhân tạo LSTM xếp chồng ... 25

Chương 3 CÁC CƠNG TRÌNH NGHIÊN CỨU LIÊN QUAN ... 26

3.1. Một số cơng trình nghiên cứu của thế giới ... 26

3.2. Một số cơng trình nghiên cứu trong nước ... 28

3.2.1. Dự báo lượng bệnh nhân cấp cứu chàng ngày tại bệnh viện: một nghiên cứu tình huống ... 28

3.2.2. Một phương pháp lai để dự báo xu hướng và chuỗi thời gian có tính mùa (A Hybrid Method for Forecasting Trend and Seasonal Time Series) ... 31

Chương 4 PHƯƠNG PHÁP GIẢI QUYẾT VẤN ĐỀ ... 37

5.2.1. Hiện thực mơ hình Holt – Winters ... 43

5.2.2. Hiện thực mơ hình SANN ... 48

5.2.3. Hiện thực mơ hình lai ... 51

</div>Trang 11<div class="page_container" data-page="11">

viii

DANH MỤC HÌNH ẢNH

Hình 2.1. Minh họa chuỗi thời gian lượng mưa hàng năm ghi nhận tại Los Angeles –

California ... 5

Hình 2.2. Chuỗi thời gian có tính xu hướng tăng ... 6

Hình 2.3. Chuỗi thời gian có tính mùa ... 6

Hình 2.4. Các cơng tác trong bài tốn dự báo ... 7

Hình 2.5. Một ví dụ minh họa cho hàm tự tương quan ... 8

Hình 2.6. Một đơn vị tính toán (perceptron) của mạng nơ – ron nhân tạo ... 13

Hình 2.7. Mạng ANN ba tầng với N nơ ron tầng nhập, H nơ – ron tầng ẩn và M đơn vị đầu ra ... 14

Hình 2.8. Cấu trúc của một mạng nơ – ron truyền thẳng ... 15

Hình 2.9. Mơ hình mạng nơ – ron nhân tạo với dữ liệu chuỗi thời gian ... 17

Hình 2.10. Phát hiện độ dài mùa dựa vào biểu đồ ACF ... 19

Hình 2.11. Sự lặp lại kiến trúc module trong mạng LSTM chứa 4 tầng ẩn tương tác (3 sigmoid và 1 tanh) ... 20

Hình 2.12. Một cổng của hàm sigmoid trong LSTM ... 21

Hình 2.13. Cấu trúc của một mạng nơ – ron hồi quy ... 21

Hình 2.14. Mơ hình một nốt của mạng nơ – ron hồi quy có vịng lặp ... 22

Hình 2.15. Thiết kế một mạng nơ – ron hồi quy đã được mở ra ... 22

Hình 2.16. Mơ hình của tầng cổng qn (forget gate layer) ... 23

Hình 2.17. Cập nhật giá trị cho ơ trạng thái bằng cách kết hợp 2 kết quả từ tầng cổng vào và tẩng ẩn hàm tanh ... 23

Hình 2.18. Điều chỉnh thông tin ở đầu ra thông qua hàm tanh ... 24

Hình 2.19. Kiến trúc LSTM xếp chồng ... 25

</div>Trang 12<div class="page_container" data-page="12">

Hình 3.1. Đường biểu diễn lượng bệnh nhân cấp cứu hàng ngày từ ngày 1 tháng 1 năm 2018 đến 31 tháng 12 năm 2020 ... 30 Hình 3.2. Đường biểu diễn lượng bệnh nhân cấp cứu hàng ngày trong một tháng từ ngày 1 tháng 1 – 2018 đến ngày 30 tháng 1 – 2018 ... 30 Hình 3.3. Độ dài mùa của bộ dữ liệu và biểu đồ ACF tương ứng ... 31 Hình 3.4. Kiến trúc của mạng SANN ... 31 Hình 3.5. Mơ hình dự báo kết hợp giữa mơ hình ANN và mơ hình làm trơn hàm mũ Winters ... 32 Hình 4.1. Đường biểu diễn lượng bệnh nhân nhập viện tại phòng cấp cứu bệnh viện từ ngày 01/01/2018 tới ngày 31/12/2020 ... 37 Hình 4.2. Đường biểu diễn lượng bệnh nhân cấp cứu hàng ngày trong một tháng từ ngày 01/01/2018 đến ngày 30/01/2018 ... 37 Hình 4.3. Minh họa ý tưởng của giải thuật Tìm kiếm lưới (Grid Search)... 39 Hình 5.1. Bảng số liệu tiếp nhận tại khoa Cấp cứu trong 1 ngày (5 dịng đầu) ... 43 Hình 5.2. Biểu đồ tương quan giữa ngày và số lượt nhập khoa Cấp cứu trong ngày ... 44 Hình 5.3. Xác định độ dài mùa của bộ dữ liệu bằng hàm acf() ... 45 Hình 5.4. Các chỉ số Random, Seasonal, Trend của bộ dữ liệu được phân tách bằng hàm decompose() ... 46

</div>Trang 13<div class="page_container" data-page="13">

DANH MỤC BẢNG

Bảng 2.1 Ví dụ về các khoảng cách của những điểm tần số cao ... 19

Bảng 3.1 Kết quả sai số dự báo của ba mơ hình ... 30

Bảng 5.1 Các thơng số cho hai mơ hình dự báo thành phần ... 51

Bảng 5.2 Kết quả sai số MAPE dự báo của các mơ hình ... 55

Bảng 5.3 Kết quả sai số MSE dự báo của các mô hình ... 55

Bảng 5.4 Thời gian thực thi của các mơ hình (giây) ... 56

</div>Trang 14<div class="page_container" data-page="14">

Chương 1

GIỚI THIỆU VẤN ĐỀ 1.1. Đặt vấn đề

Phòng cấp cứu (emergency department) là phòng bận rộn nhất trong bệnh viện và mục

đích chính của phịng này là cung ứng sự chăm sóc khẩn cấp, đúng lúc cho bệnh nhân đang ở tình trạng nguy hiểm. Phịng cấp cứu của bệnh viện có thể bị q tải nếu nguồn nhân lực và cơ sở vật chất của bệnh viện không đáp ứng được yêu cầu thực tế. Do đó, việc dự báo lượng bệnh nhân cấp cứu sẽ đem lại những thơng tin hữu ích cho việc hoạch định sử dụng các nguồn tài nguyên của bệnh viện một cách hiệu quả. Dự báo yêu cầu của phịng cấp cứu, dưới hình thức lượng bệnh nhân cấp cứu hàng ngày, đã được thử nghiệm và đánh giá với những phương pháp dự báo chuỗi thời gian khác nhau được dùng để xây dựng mơ hình dự báo phù hợp. Với

mục đích này, các dữ liệu quá khứ được biểu diễn dưới dạng chuỗi thời gian (time series)

được thu thập theo nhịp độ hàng giờ, hàng ngày, hàng tuần hoặc hàng tháng.

Dự báo chuỗi thời gian (time series prediction) là một mảng nghiên cứu quan trọng trải

dài trên nhiều lĩnh vực, từ tài chính, kinh tế cho tới khí tượng học, mơi trường, viễn thông. Nhiều phương pháp dự báo đã và đang được phát triển bởi nhiều nhà nghiên cứu và nhà chuyên môn. Một vài phương pháp phổ biến dùng cho dự báo chuỗi thời gian như mơ hình

ARIMA (Autoregressive Integrated Moving Average), Làm Trơn Hàm Mũ (Exponential Smoothing), mạng nơ – ron nhân tạo (ANN) đã đạt được thành công trong điều kiện thực

nghiệm. Mạng nơ – ron được dùng rộng rãi như một phương pháp đầy hứa hẹn trong việc dự báo chuỗi thời gian. Tuy nhiên, sau những nghiên cứu thực nghiệm trong việc dự báo chuỗi thời gian bằng mạng nơ – ron đã nhận ra rằng: mạng nơ – rơn không thể nắm bắt hiệu quả được đặc tính mùa hay những xu hướng biến đổi trên những dữ liệu chuỗi thời gian thô chưa được tiền xử lí.

Dự báo lượng bệnh nhân cấp cứu được xem là một cơng tác phức tạp. Các cơng trình nghiên cứu đi trước của lãnh vực này cho thấy đối với bài tốn dự báo này khơng hề có mơ hình dự báo nào là tốt nhất so với các mơ hình khác (Calegari et al., 2016 [3]). Nhiều cơng trình nghiên cứu về bài tốn náy cịn khẳng định rằng dữ liệu lượng bệnh nhân cấp cứu có tính mùa và có chứa đựng những mẫu biến thiên hàng tuần ([3]).

</div>Trang 15<div class="page_container" data-page="15">

Trong nội dung nghiên cứu của đề tài này, ba mơ hình dự báo được chọn sẽ được phân tích tính hiệu quả nhằm dự báo tốt lượng bệnh nhân cấp cứu tại Bệnh Viên Đa Khoa Khu Vực Củ Chi, thành phố Hồ Chí Minh. Theo sự khảo sát của chúng tơi, bộ dữ liệu lượng bệnh nhân

cấp cứu hàng ngày này là chuỗi thời gian có tính mùa (seasonal time series). Tính chất này

cũng từ được khẳng định bởi một số cơng trình đi trước về dự báo lượng bệnh nhân cấp cứu ([3], [4], [5]). Ba đóng góp chính của cơng trình này có thể liệt kê như sau:

i) Ba mơ hình dự báo: Holt – Winters, ANN có tính mùa (SANN), mơ hình dự báo lai giữa Holt – Winters và SANN sẽ được áp dụng vào bài toán dự báo lượng bệnh nhân nhập viện tại phòng cấp cứu hàng ngày. Cả ba mơ hình này đều thích hợp cho cơng tác dự báo chuỗi thời gian có tính mùa. Ngồi ra, chúng tơi cịn ứng dụng mơ hình học sâu LSTM (Long Short – Term Memory) cho bài tốn dự báo này.

ii) Tiến trình so sánh sẽ được thực hiện bằng sự phân tích ba mơ hình theo hai tiêu chí

đánh giá chất lượng dự báo thông dụng: độ đo Sai số Phần trăm Tuyệt đối Trung

bình (Mean Absolute Percentage Error – MAPE) và độ đo Sai số Bình phương Trung bình (Mean Square Error – MSE).

iii) Bộ dữ liệu được sử dụng để nghiên cứu là dữ liệu được thu thập từ Bệnh Viện Đa Khoa Khu vực Củ Chi, thuộc huyện Củ Chi, thành phố Hồ Chí Minh, Việt Nam.

1.2. Mục tiêu nghiên cứu

Được gợi cảm hướng từ các cơng trình sử dụng các mạng nơ – ron để dự báo chuỗi thời gian có tính mùa, đề tài nghiên cứu này hướng đến hai mục tiêu chính sau đây:

• Nghiên cứu ứng dụng mạng nơ ron nhân tạo có tính mùa SANN (Seasonal Artificial Neural Network) vào bài toán dự báo chuỗi thời gian có tính mùa. Cụ thể là kết hợp mạng nơ – ron nhân tạo có tính mùa SANN với phương pháp Holt – Winters.

• So sánh hiệu quả dự báo của mơ hình lai giữa mạng nơ – ron nhân tạo có tính mùa SANN với mơ hình Holt – Winters khi dự báo chuỗi thời gian có tính mùa với mơ hình SANN và mơ hình Holt – Winters đơn lẻ trên bộ dữ liệu chuỗi thời gian có tính mùa về lượng bệnh nhân nhập viện tại phòng cấp cứu Bệnh Viện Đa Khoa Khu vực Củ Chi, thành phố Hồ Chí Minh. Tiêu chí sai số dự báo MAPE và MSE sẽ được sử dụng để đánh giá hiệu quả dự báo của các phương pháp dự báo đối sánh. Ngoài ra, chúng tơi cịn so sánh mơ hình lai nêu trên với mơ hình LSTM xếp chồng đơn lẻ.

</div>Trang 16<div class="page_container" data-page="16">

1.3. Ý nghĩa đề tài

Đề tài có những ý nghĩa thực tiễn là:

• Góp phần tìm ra tiềm năng của mơ hình lai giữa mơ hình Làm Trơn Hàm Mũ Holt – Winters với mơ hình mạng nơ – ron nhân tạo có tính mùa (SANN) trong khai phá dữ liệu chuỗi thời gian.

• Xây dựng mơ hình lai nhằm dự báo lượng bệnh nhân nhập viện tại phòng cấp cứu của Bệnh Viện Đa Khoa Khu vực Củ Chi, thành phố Hồ Chí Minh.

• So sánh, đánh giá hiệu suất dự báo của mơ hình lai Holt – Winters và SANN so với từng mơ hình đơn lẻ Holt – Winters, SANN bằng phép đo sai số MAPE và MSE.

Đề tài có ý nghĩa khoa học là:

• Góp phần ứng dụng kiến trúc mơ hình lai giữa mơ hình Holt – Winters và SANN. • Góp phần tìm ra tiềm năng của mạng nơ – ron học sâu LSTM trong dự báo dữ liệu chuỗi thời gian, cụ thể là bài toán dự báo lượng bệnh nhân nhập viện tại phòng cấp cứu.

1.4. Kết quả đạt được

Trong nghiên cứu này, chúng tôi xây dựng mơ hình lai giữa mơ hình Làm Trơn Hàm Mũ Holt – Winters và SANN, đồng thời so sánh hiệu quả dự báo của mơ hình này với từng mơ hình đơn lẻ Holt – Winters và SANN. Đồng thời, chúng tơi cũng xây dựng một mơ hình dự báo có kiến trúc LSTM xếp chồng để tận dụng khả năng ghi nhớ thông tin của mạng nơ – ron học sâu LSTM và so sánh hiệu quả dự báo của mơ hình LSTM xếp chồng với mơ hình lai.

Ngồi ra, chúng tơi sử dụng kỹ thuật dự báo một bước (one step – ahead prediction) để

khảo sát khả năng dự báo của mơ hình. Trong thực nghiệm, chúng tôi sử dụng bộ dữ liệu dữ liệu được thu thập ở Bệnh Viện Đa Khoa Khu vực Củ Chi, thuộc huyện Củ Chi, thành phố Hồ Chí Minh từ ngày 01 tháng 01 năm 2018 tới ngày 31 tháng 31 năm 2020. Chúng tôi xây dựng mô hình đề xuất và tiến hành các bước thực nghiệm, so sánh và đánh giá kết quả thực nghiệm trên bộ dữ liệu này.

Kết quả thực nghiệm cho thấy, mơ hình lai đề xuất cho hiệu quả dự báo tốt hơn so với khi dự báo bằng từng mô hình SANN hay mơ hình Holt – Winters đơn lẻ nhưng kém hơn mơ hình học sâu LSTM xếp chồng. . Cụ thể, mơ hình lai cho sai số dự báo thấp hơn trung bình

</div>Trang 17<div class="page_container" data-page="17">

0.5% so với mơ hình SANN và thấp hơn trung bình 4.507% so với mơ hình Holt – Winters nhưng lại cao hơn trung bình 1.231% so với mơ hình học sâu LSTM xếp chồng.

1.5. Cấu trúc của luận văn

Cấu trúc bài báo cáo luận văn được tổ chức như sau:

• Chương 1 – Giới thiệu vấn đề. Giới thiệu tổng quan bài toán dự báo lượng bệnh nhân nhập viện tại phòng cấp cứu bằng mơ hình lai giữa mạng nơ – ron có tính mùa SANN và phương pháp Holt – Winters và phương pháp giải quyết.

• Chương 2 – Cơ sở lí thuyết. Trình bày những lí thuyết liên quan được sử dụng trong bài nghiên cứu.

• Chương 3 – Các nghiên cứu liên quan. Bao gồm các cơng trình nghiên cứu liên quan đến bài tốn dự đốn lượng bệnh nhân nhập viện tại phịng cấp cứu, ứng dụng của bài toán này cùng kĩ thuật dự báo một bước trong chuỗi dữ liệu thời gian.

• Chương 4 – Phương pháp nghiên cứu. Phân tích đặc điểm của bộ dữ liệu và trình bày mơ hình áp dụng để dự báo.

• Chương 5 – Kết quả thực nghiệm. Kết quả đánh giá của mơ hình áp dụng và so sánh hiệu suất từng mơ hình SANN, Holt – Winters đơn lẻ cùng mơ hình LSTM xếp chồng.

• Chương 6 – Kết luận. Đưa ra các kết luận đúc kết được trong quá trình nghiên cứu và hướng phát triển tiếp theo trong tương lai.

• Tài liệu tham khảo – Danh sách các tài liệu tham khảo được sử dụng trong q trình hiện thực luận văn.

• Phụ lục – Bảng đối chiếu các thuật ngữ Anh – Việt xuất hiện trong báo cáo luận văn.

</div>Trang 18<div class="page_container" data-page="18">

Chương 2 CƠ SỞ LÍ THUYẾT

Trong chương này, chúng tơi sẽ trình bày các khái niệm cơ bản về dữ liệu chuỗi thời gian, các thành phần của chuỗi thời gian và cách ước lượng độ dài mùa của chuỗi thời gian. Đồng thời, chúng tôi cũng trình bày cơ sở lí thuyết về các mơ hình được áp dụng trong bài nghiên cứu này: mơ hình mạng nơ – ron nhân tạo có tính mùa (SANN), mơ hình Holt – Winters. Ngồi ra, chúng tơi cịn trình bày cơ sở lí thuyết của mơ hình bộ nhớ dài – ngắn (LSTM) được dùng để so sánh hiệu suất dự báo với mơ hình lai.

2.1. Dữ liệu chuỗi thời gian

Chuỗi thời gian (time series) có thể được xem là tập hợp dữ liệu trong không gian hai

chiều, với bộ giá trị (T, V), trong đó T là thời điểm giá trị được xác định, V là giá trị quan sát tương ứng. Vì khoảng thời gian quan sát là bằng nhau nên có thể khơng quan tâm đến T. Lúc này, chuỗi thời gian có thể xem là dữ liệu n chiều. Trong phạm vi đề tài này, chuỗi thời gian được nhìn dưới góc độ là dữ liệu n chiều, được ký hiệu là {X𝑡 | t = 1, 2, 3, … , n}.

Hình 2.1 dưới đây là một ví dụ về dữ liệu chuỗi thời gian thể hiện lượng mưa hàng năm ghi nhận tại Los Angeles – California (từ năm 1880 đến năm 1980).

Hình 2.1. Minh họa chuỗi thời gian lượng mưa hàng năm ghi nhận tại Los Angeles – California [21]

Trong thực tế, khi quan sát chuỗi thời gian ta nhận thấy bốn thành phần ảnh hưởng lên mỗi giá trị của chuỗi thời gian đó là thành phần xu hướng, thành phần chu kỳ, thành phần mùa và thành phần bất thường:

</div>Trang 19<div class="page_container" data-page="19">

• Thành phần xu hướng (trend): đây là khn mẫu trong dữ liệu thể hiện những

chuyển động của chuỗi dữ liệu đối với các giá trị tăng dần hay giảm dần trên một khoảng thời gian dài quan sát (xem hình 2.2). Một số loại chuỗi thời gian có chứa thành phần xu hướng thường gặp

• Thành phần chu kì (cyclical): là những giá trị biến thiên trong tăng lên hoặc giảm

xuống trong những khoảng thời gian khác nhau và thành phần này dao động dạng sóng quanh trục xu hướng.

• Thành phần mùa (seasonal): là những thành phần thay đổi lặp lại theo năm. Chu

kì của chuỗi thời gian có thể là 1 tháng, quí (3 tháng), nửa năm (6 tháng) (xem hình 2.3).

• Thành phần bất thường (irregular): các thành phần thể hiện sự bất thường không

thể đốn trước được trong chuỗi thời gian.

Hình 2.2. Chuỗi thời gian có tính xu hướng tăng ([19])

Hình 2.3. Chuỗi thời gian có tính mùa ([19])

</div>Trang 20<div class="page_container" data-page="20">

Việc xác định một chuỗi thời gian có thành phần xu hướng hay thành phần mùa hay không rất quan trọng trong bài toán dự báo chuỗi thời gian. Nó giúp ta lựa chọn được mơ hình dự báo phù hợp hay giúp cải tiến mơ hình đã có chính xác hơn. Và các mẫu quan sát được theo thời gian dựa trên các chuỗi thời gian chính là cơ sở để hiểu được đặc tính cũng như là dự báo các hành vi tương lai của đối tượng đó.

2.2. Dự báo chuỗi thời gian

Cơng tác dự báo chuỗi thời gian là một nhu cầu bức thiết, quan trọng với các cá nhân, tổ chức và hiện hữu trải dài trên nhiều lĩnh vực như: kinh tế, xã hội, môi trường, khoa học kĩ thuật. Các nhiệm vụ chính được bao hàm trong các bài tốn dự báo trên các lĩnh vực là: phân tích vấn đề, thu thập dữ liệu, lựa chọn mơ hình, hiện thực phương thức, đánh giá tính hiệu quả của phương thức, áp dụng phương thức vào thực tế. Ở bước đánh giá, nếu phương thức hay mơ hình khơng thỏa mãn yêu cầu thì ta cần quay lại bước lựa chọn mơ hình hay phương thức khác. Hình 2.2 minh họa thứ tự các bước trong bài toán dự báo.

Hình 2.4. Các cơng tác trong bài tốn dự báo

Đối với bài toán dự báo chuỗi thời gian, các chuyên gia thường chia phương thức dự báo thành 2 lớp:

• Phương thức dự báo đơn biến (Univariate Method): kết quả dự báo phụ thuộc vào

một chuỗi giá trị được thu thập ở quá khứ và hiện tại.

• Phương thức dự báo đa biến (Multivariate Method): giá trị dự báo phụ thuộc vào

nhiều chuỗi giá trị thu thập được.

2.3. Hệ số tự tương quan và hàm tự tương quan

Để nhận dạng các đặc điểm và thành phần của chuỗi thời gian, các nhà dự báo thường dùng các cơng cụ tốn học. Trong phần này, chúng tôi giới thiệu hai công cụ phổ biến và quan

trọng là hệ số tự tương quan và hàm tự tương quan.

</div>Trang 21<div class="page_container" data-page="21">

2.3.1. Hệ số tự tương quan

Trong quá trình nghiên cứu chuỗi thời gian, ta nhận thấy khi một biến được ghi nhận giá trị theo thời gian, các giá trị ở những thời điểm khác nhau có mối tương quan với nhau.

Để đo mức độ tương quan này, ta sử dụng hệ số tự tương quan (Autocorrelation Coefficient).

Sự tự tương quan là sự tương quan giữa một biến với chính nó theo những độ trễ thời gian

khác nhau. Hệ số tự tương quan của biến Xt với độ trễ k được tính theo cơng thức:

𝜌𝑘 = 𝐸[(𝑋𝑡−𝜇)(𝑋𝑡+𝑘−𝜇)]

√𝑉𝑎𝑟(𝑋𝑡)(𝑉𝑎𝑟(𝑋𝑡+𝑘)) (1) Với:

• 𝜌: hệ số tự tương quan của X ở độ trễ K • 𝜇: trung bình của Xt

• 𝑣𝑎𝑟(𝑋𝑡): phương sai của Xt

• 𝑣𝑎𝑟(𝑋𝑡+𝑘): phương sai của Xt+k

Nếu 𝜌𝑘 khác 0 thì giữa Xt và Xt+k có sự tương quan với nhau.

2.3.2. Hàm tự tương quan

Để biểu diễn sự tự tương quan của một biến theo nhiều độ trễ khác nhau một các trực

quan, ta dùng hàm tự tương quan (Autocorrelation Function – ACF). Hàm tự tương quan là

một đồ thị biểu diễn các hệ số tự tương quan với các độ trễ khác nhau [23]. Hình 2.5 là một ví dụ minh họa về hàm tự tương quan.

Hình 2.5. Một ví dụ minh họa cho hàm tự tương quan ([19])

</div>Trang 22<div class="page_container" data-page="22">

Trong thực tế, ta chỉ có thể tính được hệ số tự tương quan lấy mẫu và dùng thống kê để ước lượng các hệ số tự tương quan của tập mẫu. Cơng thức tính hệ số tự tương quan lấy mẫu như bên dưới:

𝑟𝑘 =∑𝑇−𝑘𝑘=1(𝑋−𝑋̅)(𝑋𝑡+𝑘−𝑋̅)

∑𝑇𝑡=1(𝑋𝑡−𝑋̅)2 (2) Với:

• 𝑟𝑘: hệ số tự tương quan lấy mẫu ở độ trễ k

• 𝑋̅: trung bình mẫu của Xt

Nếu 𝜌k bằng 0 thì t sẽ có phân phối student với n – 1 bậc tự do. Đối với mẫu có kích

thước lớn, với mức ý nghĩa 5% nếu hệ số tự tương quan mẫu nằm trong khoảng 2

√𝑛 thì ta có thể kết luận hệ số tự tương quan của đám đông bằng 0 với mức ý nghĩa 5%.

Việc đánh giá các hệ số tự tương quan có ý nghĩa quan trọng trong việc phân tích chuỗi thời gian. Hàm tự tương quan của dữ liệu giúp ta xác định được các thành phần của chuỗi thời gian từ đó có thể lựa chọn mơ hình dự báo hợp lí cũng như đánh giá tính đầy đủ của mơ hình.

2.4. Mơ hình Holt – Winters

Làm trơn hàm mũ (Exponential Smoothing) là một loại mơ hình tuyến tính có thể nắm

bắt các đặc trưng tuyến tính trong một chuỗi thời gian. Một trong những ý tưởng căn bản của mơ hình làm trơn hàm mũ là tạo ra những giá trị tương lai như là những giá trị trung bình có

</div>Trang 23<div class="page_container" data-page="23">

trọng số của những giá trị trong quá khứ theo đó những giá trị quan sát gần đây được đánh trọng số cao hơn những giá trị quan sát rất xa trong quá khứ. Bằng cách hình thành những giá trị dự báo dựa vào những giá trị trung bình có trọng số, chúng ta đang sử dụng một phương pháp “làm trơn” (smoothing). Thuật ngữ “hàm mũ” (exponential) xuất phát từ sự kiện các mơ hình làm trơn hàm mũ không chỉ đánh trọng số giảm dần theo thời gian mà còn giảm dần theo kiểu hàm mũ.

Để ứng dụng mơ hình làm trơn hàm mũ, có ba dạng của mơ hình này được áp dụng rộng

rãi cho những chuỗi thời gian khác nhau ([23]). Làm trơn hàm mũ đơn giản (Simple

exponential smoothing) (Loại I) được dùng khi chuỗi thời gian khơng có xu hướng và khơng

có tính mùa. Giả sử chúng ta có chuỗi thời gian Yt, đo đạc tại những thời điểm t = 1,…,T. Mơ

hình làm trơn hàm mũ đơn giản được định nghĩa bằng công thức đệ quy như sau: 𝑌̂𝑡 + 1 = 𝛼𝑌𝑡+ (1 − 𝛼)𝑌̂𝑡 (4)

Với:

• 𝑌̂𝑡 + 1: giá trị dự báo tại thời điểm t + 1

• : hằng số làm trơn (smoothing constant) • Yt: giá trị dữ liệu thực sự tại thời điểm t

• 𝑌̂𝑡: giá trị dự báo tại thời điểm t

Khi có tồn tại xu hướng (trend) trong chuỗi thời gian, mơ hình hàm mũ Holt (Loại II) có thể được dùng. Phương pháp Holt đòi hỏi ước lượng độ dốc (slope) hiện hành và biên độ

(level) hiện hành, do đó phương pháp dùng hai hằng số làm trơn cho mỗi công thức ước lượng. Hai hằng số làm trơn này giúp tính giá trị ước lượng của biên độ và độ dốc mà biến đổi theo thời gian khi có những quan sát mới được đưa vào. Ba phương trình của phương pháp Holt như sau:

𝑌̂𝑡 + 𝑝 = 𝐿𝑡 + 𝑝𝑇𝑡 (5) 𝐿𝑡 = 𝛼𝑌𝑡+ (1 − 𝛼)(𝐿𝑡 − 1+ 𝑇𝑡 − 1) (6) 𝑇𝑡 = 𝛽(𝐿𝑡 − 𝑙𝑡−1) + (1 − 𝛽)𝑇𝑡−1 (7)

</div>Trang 24<div class="page_container" data-page="24">

11 Với :

• 𝑌̂𝑡 + 𝑝: giá trị dự báo tại p thời đoạn sau thời điểm t

• 𝐿𝑡: giá trị ước lượng của biên độ tại thời điểm hiện hành • 𝑇𝑡: giá trị ước lượng của độ dốc tại thời điểm hiện hành • : hằng số làm trơn cho biên độ (0 <  < 1)

• : hằng số làm trơn cho độ dốc, tức xu hướng (0 <  < 1)

Trong phương trình (5), biên độ hiện hành (Lt) được tính bằng cách lấy trung bình có

đánh trọng số của hai giá trị ước lượng: một ước lượng là giá trị quan sát hiện hành (Yt) và

giá trị ước lượng thứ hai là bằng tổng giá trị xu hướng trước đó một thời đoạn (Tt-1) với giá

trị biên độ ước lượng trước đó một thời đoạn (Lt-1). Phương trình (5) cho thấy giá trị dự báo p thời đoạn về phía tương lai (Ŷt+p) được tính bằng cách lấy giá trị ước lượng xu hướng hiện

hành (Tt) nhân với số thời đoạn hướng về tương lai để dự báo (p) và tích số này cộng với giá trị ước lượng của biên độ hiện hành (Lt).

Holt – Winters là một phương pháp làm trơn hàm mũ dùng để dự báo chuỗi thời gian có

thể hiện cả tính xu hướng và tính mùa (Loại III). Phương pháp này có hai phiên bản: Holt –

Winters dạng nhân (Multiplicative Holt – Winters) và Holt – Winters dạng cộng (Additive

Holt – Winters). Bốn phương trình trong lược đồ đệ quy của phương pháp Holt – Winters dạng nhân như sau:

𝑌̂𝑡 + 𝑝 = (𝐿𝑡+ 𝑝𝑇𝑡)𝑆𝑡−𝑠+𝑝 (8) 𝐿𝑡 = 𝛼𝑌𝑡

𝑆𝑡−𝑠 + (1 − 𝛼)(𝐿𝑡−1 + 𝑇𝑡−1) (9) 𝑇𝑡 = 𝛽(𝐿𝑡 − 𝐿𝑡−1) + (1 − 𝛽)𝑇𝑡−1 (10) 𝑆𝑡 =𝛾𝑌𝑡

Với:

• 𝑌̂𝑡 + 𝑝: giá trị dự báo tại p thời đoạn sau thời điểm t

• 𝐿𝑡: giá trị ước lượng của biên độ tại thời điểm hiện hành • 𝑇𝑡: giá trị ước lượng của xu hướng tại thời điểm hiện hành • 𝑆𝑡: giá trị ước lượng của thành phần mùa

</div>Trang 25<div class="page_container" data-page="25">

12 • : hằng số làm trơn cho biên độ (0 <  < 1) • : hằng số làm trơn cho xu hướng (0 <  < 1)

• : hằng số làm trơn để ước lượng tính mùa (0 <  < 1)

Trong phiên bản nhân của phương pháp Holt – Winters, ước lượng tính mùa được thực

hiện bằng chỉ số mùa (seasonal index) và được tính bằng phương trình (11). Phương trình (11) cho thấy thành phần mùa hiện hành, St, bằng γ nhân với chỉ số mùa được ước lượng bằng đại lượng Yt/Lt cộng với (1- γ) nhân thành phần mùa tại thời điểm trước đó St-s.

2.5. Mơ hình ANN có tính mùa (SANN)

2.5.1. Giới thiệu mạng nơ – ron nhân tạo (Artificial Neural Network – ANN)

Mạng nơ – ron nhân tạo (Artificial Neural Network – ANN) là một mơ hình mạng mô

phỏng theo mạng nơ – ron thần kinh trong não bộ của con người, đây là mơ hình toán học định nghĩa một hàm số từ một tập giá trị đầu vào đến một tập giá trị đầu ra.

Theo các nhà sinh học, não bộ con người chứa các phần tử liên kết chặt chẽ với nhau được gọi là nơ – ron. Các nơ – ron này gồm các thành phần: tế bào hình cây, tế bào thân, sợi trục thần kinh. Tế bào hình cây mang tín hiệu điện sinh học tới tế bào thân. Tế bào thân thân sẽ tính tổng và phân ngưỡng các tín hiệu truyền tới. Sợi trục thần kinh sẽ đưa tín hiệu từ tế bào thân ra ngồi. Sợi trục thần kinh của nơ – ron này tiếp xúc với tế bào hình cây của nơ – ron khác tại khớp thần kinh. Việc sắp xếp của các nơ – ron và độ mạnh yếu của các khớp thần kinh quyết định khả năng của mạng nơ – ron. Mạng nơ – ron thay đổi cấu trúc và phát triển theo quá trình học tập, làm việc của con người: các liên kết mới được tạo ra và và các liên kết cũ bị loại bỏ, hay, tăng giảm độ mạnh yếu của các liên kết thông qua các khớp thần kinh.

Mạng nơ – ron nhân tạo là một mơ hình mơ phỏng đơn giản lại mạng nơ – ron sinh học này. Cấu trúc của mạng nơ – ron nhân tạo gồm các đơn vị tính tốn (tượng trưng cho các nơ – ron thần kinh), các đơn vị tính tốn được liên kết bằng các cạnh có trọng số (tượng trưng

</div>Trang 26<div class="page_container" data-page="26">

2.5.2. Cấu trúc mạng nơ – ron nhân tạo

Các đơn vị tính tốn của mạng nơ – ron nhân tạo (cịn gọi là perceptron) thực hiện nhận tín hiệu truyền vào và tính tốn tốn giá trị đầu ra. Mỗi perceptron có thể nhận nhiều giá trị đầu vào nhưng chỉ có duy nhất một giá trị đầu ra được truyền đi. Ngồi giá trị đầu vào, các

perceptron có thể gộp thêm một giá trị khác được gọi là độ lệch (bias) để tính tốn giá trị đầu

ra. Độ lệch cịn có thể được hiểu là một giá trị trọng số giữa một perceptron giả tới perceptron đang được truyền tín hiệu tới, và perceptron giả này có giá trị đầu ra ln bằng 1. Hình 2.6 minh họa quá trình nhận giá trị đầu vào và giá trị đầu ra trên một perceptron của mạng nơ – ron nhân tạo.

Khi nhận được các giá trị đầu vào, các perceptron sẽ nhân các giá trị này với giá trị trọng

số tương ứng và tính tổng các tích. Giá trị tổng tính được này sẽ được truyền vào một hàm

kích hoạt (Activation function) để tính giá trị đầu ra sau cùng. Giữa các perceptron có thể sử

</div>Trang 27<div class="page_container" data-page="27">

dụng các hàm kích hoạt khác nhau. Có 2 loại hàm kích hoạt thường dùng trong mạng nơ – ron nhân tạo:

(1) Hàm sigmoid: 𝑔(𝑥) = 1

1 + 𝑒−𝑥

(2) Hàm tanh: 𝑔(𝑥) =1 − 𝑒

1 + 𝑒−𝑥

Các perceptron liên kết với nhau qua các cạnh có trọng số kèm theo tạo thành mạng nơ – ron nhân tạo. Tùy theo số lượng perceptron và cách liên kết giữa các perceptron mà mạng nơ – ron nhân tạo được hình thành có chức năng khác nhau. Có 2 dạng mạng nơ – ron nhân tạo cơ bản là mạng nơ – ron truyền thẳng và mạng nơ – ron hồi quy.

Trong nghiên cứu này, mơ hình mạng nơ ron nhân tạo thông dụng mạng nơ – ron truyền

thẳng (Feed – forward neural network) một tầng ẩn được dùng để dự báo chuỗi thời gian. Mơ

hình này được biểu diễn bằng một mạng gồm ba tầng chứa các đơn vị xử lý nối với nhau bằng

những đường nối không có chu trình (acyclic link). Hình 2.7 minh họa cấu trúc của ANN ba

</div>Trang 28<div class="page_container" data-page="28">

các tầng ẩn và sau cùng sẽ đến tầng xuất. Như vậy, dữ liệu đầu ra của một nốt không được phép truyền cho các nốt trong cùng một tầng hay ở tầng trước đó. Đây là một loại mạng nơ – ron phổ biến và được dùng nhiều trong công tác dự báo dữ liệu chuỗi thời gian. Hình 2.8 minh họa cấu trúc của một mạng nơ – ron truyền thẳng.

Hình 2.8. Cấu trúc của một mạng nơ – ron truyền thẳng [16]

Về tổng qt, mơ hình có thể được huấn luyện bằng những quan sát trong quá khứ của một chuỗi thời gian để nắm bắt những đặc tính phi tuyến của chuỗi thời gian đó. Các thơng số của mơ hình (trọng số của các đường nối và độ lệch của các nút) sẽ được cập nhật theo kiểu lặp nhiều lần bởi một quá trình cực tiểu hóa các sai số dự báo. Với công tác dự báo chuỗi

thời gian, dựa vào quá trình tính tốn trước đó, mối liên hệ giữa giá trị đầu ra (yt) và giá trị

đầu vào (yt-1, yt-2,…, yt-p) được biểu diễn bằng cơng thức tốn học sau đây để dự báo chuỗi thời gian.

𝑦𝑡 = 𝑎0+ ∑𝑞𝑗=1𝑎𝑖𝑓(𝑤0𝑗 + ∑𝑝𝑖=1𝑤𝑖𝑗𝑦𝑡−𝑖) + 𝑒𝑡 (12) Với:

• aj (j = 0, 1, 2, … , q): độ lệch (bias) tại đơn vị thứ j của tầng ẩn

• wij (i = 0, 1, 2, …, p; j = 0, 1, 2, …, q): các trọng số đường nối giữa các tầng của

mạng ANN

• f(.): hàm truyền (transfer function) tại tầng ẩn, ví dụ: hàm sigmoid 𝑓(𝑥) =1−exp1−𝑥

</div>Trang 29<div class="page_container" data-page="29">

• p: số nút ở tầng nhập • q: số nút ở tầng ẩn

Thực tế, mơ hình ANN với công thức (12) thực hiện một ánh xạ phi tuyến từ những

quan sát trong quá khứ (yt-1, yt-2, …, yt-p) thành một trị dự báo trong tương lai (yt), tức là: 𝑦𝑡 = 𝜑(𝑦𝑡−1, 𝑦𝑡−2, … , 𝑦𝑡−𝑝, 𝑤) + 𝑒𝑡 (13)

Với:

• w: vector chứa tất cả các thơng số của mạng

• : hàm xấp xỉ được xác định bởi cấu trúc mạng và các trọng số của các đường nối

• et: sai số dự báo tại thời điểm t

2.5.3. Huấn luyện mạng nơ – ron nhân tạo

Quá trình huấn luyện mạng nơ – ron nhân tạo để dự báo dữ liệu chuỗi thời gian bắt đầu

bằng việc truyền một chuỗi con gồm s giá trị (Xt – s + 1, Xt – s + 2, …, Xt) nằm trong cửa sổ trượt được rút trích từ chuỗi thời gian để đóng vai trị những vector đầu vào để huấn luyện mạng

nơ – ron. Kích thước s của cửa sổ trượt tương ứng với số đơn vị đầu vào của mạng nơ – ron.

Theo chiều tiến của giải thuật huấn luyện, các vector đầu vào được truyền qua tầng ẩn và đi

đến tầng xuất. Sai số giữa giá trị đầu ra với giá trị thực tại thời điểm t + 1 sẽ được tính. Sai

số này sẽ được lan truyền ngược qua các đường nối giữa tầng xuất và tầng ẩn cùng các đường nối giữa tầng ẩn và tầng nhập. Dựa vào sai số, trọng số của các đường nối này sẽ được cập nhật. Khi cửa sổ trượt đã trượt qua hết mọi điểm trong chuỗi thời gian, ta có thể nói giải thuật

huấn luyện đã hoàn tất một lượt lặp (epoch). Điều kiện dừng của giải thuật huấn luyện thường

là khi giải thuật đã hoàn tất một số lượt epoch xác định trước. Hình 2.9 bên dưới minh họa quá trình huấn luyện mạng nơ – ron để dự báo chuỗi thời gian.

Việc sử dụng ANN để dự báo chuỗi thời gian hàm ý rằng số đơn vị tầng nhập gắn liền với số giá trị trong quá khứ mà đủ để nhận dạng ra diễn tiến của các bước tương lai. Về số lượng nút ở tầng nhập, vẫn chưa có lý thuyết nào giúp xác định được số nút này một cách thích hợp.

</div>Trang 30<div class="page_container" data-page="30">

Hình 2.9. Mơ hình mạng nơ – ron nhân tạo với dữ liệu chuỗi thời gian [19] 2.5.4. Mạng nơ – ron nhân tạo có tính mùa

Trong cụng trỡnh [6], Hamzaỗebi khuyn ngh rng s nỳt tầng nhập nên bằng với độ

dài mùa s để dự báo tốt hơn đối với chuỗi thời gian có tính mùa, thí dụ, 12 đối với dữ liệu

hàng tháng có độ dài mùa là 12 tháng, là 4 đối với dữ liệu hàng quý có độ dài mùa l 4 quý. Hamzaỗebi t tờn mụ hỡnh ANN c biệt này là ANN có tính mùa (Seasonal ANN), viết tt l SANN. Trong bi bỏo [6], Hamzaỗebi ó so sánh hiệu quả của SANN với mơ hình ARIMA có tính mùa trên bốn bộ dữ liệu chuỗi thời gian mẫu và tìm thấy SANN đem lại hiệu quả dự báo tốt hơn mơ hình ARIMA có tính mùa trên đa số của bốn bộ dữ liệu này. Kết luận quan trọng rút ra từ cơng trình [6] là SANN có thể dự báo thành cơng chuỗi thời gian có tính mùa mà khơng cần phải khử thành phần mùa ra khỏi chuỗi thời gian trong một bước tiền xử lý.

Q trình xây dựng mơ hình mạng nơ – ron cho bài toán dự báo thường gồm 8 bước:

</div>Trang 31<div class="page_container" data-page="31">

18 (1) Lựa chọn các biến

(2) Thu thập dữ liệu (3) Tiền xử lý dữ liệu

(4) Phân chia tập dữ liệu thành hai tập con: tập huấn luyện và tập thử (5) Xây dựng cấu trúc mạng

(6) Xác định tiêu chuẩn đánh giá chất lượng dự báo (7) Huấn luyện mạng

(8) Dự báo và cải tiến, quá trình này thường khơng phải là một q trình liên tiếp các bước, một số bước có thể được lặp lại đặc biệt là: lựa chọn các biến và huấn luyện mạng.

2.6. Cách ước lượng độ dài mùa cho chuỗi thời gian có tính mùa

Để kiểm tra có sự hiện diện của tính mùa cũng như ước lượng độ dài mùa trên một chuỗi

thời gian, chúng ta phải xem xét các vị trí ứng với các độ trễ (lag numbers) của những giá trị

tương quan (correlation values) trên biểu đồ hàm tự tương quan (Autocorelation Function –

ACF). Ý tưởng chính là chúng ta tính những khoảng cách Δd giữa những vị trí kế tiếp nhau

của các giá trị có tần số cao trong biểu đồ ACF. Nếu có nhiều lần xuất hiện với cùng khoảng

cách, khoảng cách Δd xuất hiện thường xuyên nhất sẽ được chọn làm độ dài mùa, dựa vào

nguyên tắc đa số.

Phương pháp ước lượng độ dài mùa mà dựa vào biểu đồ ACF nêu trên được đề xuất bởi Ngoc Tran năm 2003 [7]. Phương pháp này bao gồm các bước sau:

• Thực hiện tính sai phân trên chuỗi thời gian.

• Tính và vẽ biểu đồ ACF cho chuỗi thời gian đã lấy sai phân.

• Lập đường bao với phạm vi độ tin cậy (confidence limit) 95% hay 98%.

• Xác định những vị trí có tần số xuất hiện cao.

• Tính khoảng cách giữa những vị trí kế tiếp của những điểm tần số cao.

Khoảng cách xuất hiện thường xuyên nhất sẽ được chọn là độ dài mùa. Hình 2.10 minh họa một thí dụ về một biểu đồ ACF với phạm vi độ tin cậy 98%. Chúng ta chọn các vị trí nằm ngồi đường bao với phạm vi độ tin cậy 98% và có được 14 vị trí đầu tiên của những điểm tần số cao, như được nêu trong Bảng 1.

</div>Trang 32<div class="page_container" data-page="32">

Bảng 2.1 Ví dụ về các khoảng cách của những điểm tần số cao

Vị trí tần số cao 0 1 2 8 10 20 30 40 50 60 68 70 80 90 Khoảng cách 1 1 6 2 10 10 10 10 10 8 2 10 10

Hình 2.10. Phát hiện độ dài mùa dựa vào biểu đồ ACF ([7])

Sau khi tính khoảng cách giữa các vị trí kế tiếp của những điểm tần số cao, chúng ta có được 13 khoảng cách trong đó có 7 lần xuất hiện của khoảng cách với độ dài 10, 2 lần xuất hiện của khoảng cách với độ dài 2, 1 lần xuất hiện của khoảng cách với độ dài 6 và 1 lần xuất hiện của khoảng cách với độ dài 8. Như vậy, khoảng cách với độ dài 10 có số lần xuất hiện cao nhất và 10 sẽ được chọn như là độ dài mùa trong ví dụ này.

2.7. Mơ hình mạng bộ nhớ dài – ngắn LSTM

Mạng bộ nhớ dài – ngắn (Long Short Term Memory Networks – LSTM) là một dạng

đặc biệt của mạng nơ – ron nhân tạo hồi quy (Recurrent Neural Network – RNN) có khả năng

học được các phụ thuộc xa, được giới thiệu bởi Hochreiter và Schmidhuber (1997), sau đó đã được cải tiến và phổ biến bởi rất nhiều người trong ngành. Chúng hoạt động cực kì hiệu quả trên nhiều bài toán khác nhau nên dần đã trở nên phổ biến như hiện nay.

</div>Trang 33<div class="page_container" data-page="33">

LSTM được thiết kế để tránh được vấn đề phụ thuộc dài hạn (long – term dependency).

Việc nhớ thông tin trong suốt thời gian dài là đặc tính mặc định của mạng bộ nhớ dài – ngắn, chứ ta khơng cần phải huấn luyện nó để có thể nhớ được. Tức là ngay nội tại của nó đã có thể ghi nhớ được mà khơng cần bất kì can thiệp nào từ bên ngồi.

Các mạng hồi quy có dạng là một chuỗi các module lặp đi lặp lại của mạng nơ – ron.

Với mạng RNN chuẩn, các mơ – đun này có cấu trúc rất đơn giản, thường là một tầng tanh.

LSTM cũng có kiến trúc dạng chuỗi như vậy, nhưng các module có cấu trúc khác với mạng nơ – ron hồi quy chuẩn. Thay vì chỉ có một tầng mạng nơ – ron, chúng có tới 4 tầng ẩn tương tác với nhau một cách đặc biệt (xem hình 2.11).

Hình 2.11. Sự lặp lại kiến trúc module trong mạng LSTM chứa 4 tầng ẩn tương tác (3 sigmoid và 1 tanh)

2.7.1. Ô trạng thái (cell state)

Ô trạng thái (cell state) là một dạng băng chuyền chạy thẳng xuyên suốt toàn bộ chuỗi

với chỉ một vài tương tác tuyến tính nhỏ giúp cho thơng tin có thể truyền dọc theo đồ thị mạng nơ – ron ổn định. LSTM có khả năng xóa và thêm thơng tin vào ơ trạng thái và điều chỉnh các luồng thông tin này thông qua các cấu trúc gọi là cổng. Cổng là cơ chế đặc biệt để điều chỉnh luồng thông tin đi qua. Chúng được tổng hợp bởi một tầng ẩn của hàm kích hoạt sigmoid và với một tốn tử nhân như hình 2.12. Hàm sigmoid sẽ cho đầu ra là một giá trị xác xuất nằm trong khoảng từ 0 đến 1, thể hiện rằng có bao nhiêu phần thơng tin sẽ đi qua cổng. Giá trị bằng 0 ngụ ý rằng không cho phép thông tin nào đi qua, giá trị bằng 1 sẽ cho tồn bộ thơng tin đi qua. Một mạng LSTM sẽ có 3 cổng có kiến trúc dạng này để bảo vệ và kiểm soát các ô trạng thái.

</div>Trang 34<div class="page_container" data-page="34">

Hình 2.12. Một cổng của hàm sigmoid trong LSTM 2.7.2. Mạng nơ – ron nhân tạo hồi quy (Recurrent Neural Network – RNN)

Khác với mạng nơ – ron nhân tạo truyền thẳng, mạng nơ – ron nhân tạo hồi quy

(Recurrent Neural Network – RNN) có chứa các liên kết ngược từ một nốt của tầng sau tới các nốt ở tầng trước đó. Giá trị đầu ra được tính tốn của một nốt sẽ được truyền lại cho các nốt ở tầng trước đó nhằm tinh chỉnh cấu hình mạng nơ – ron. Hình 2.13 minh họa cấu trúc của một mạng nơ – ron nhân tạo hồi quy.

Hình 2.13. Cấu trúc của một mạng nơ – ron hồi quy [17]

</div>Trang 35<div class="page_container" data-page="35">

Mạng nơ – ron hồi quy được thiết kế để giải quyết vấn đề: dự báo được kết quả kế tiếp cần có thơng tin trong quá khứ và thông tin của thời điểm hiện tại. Mơ hình mạng nơ – ron này chứa các vịng lặp bên trong cho phép các thơng tin có thể lưu lại được và cho phép thơng tin có thể truyền được từ bước này qua bước khác của mạng nơ – ron. Do đó, mạng nơ – ron hồi quy có thể giải quyết được vấn đề này. Tuy nhiên, có thể giải quyết được vấn đề hiệu quả hay khơng thì cịn tùy thuộc vào hồn cảnh. Bởi trong nhiều trường hợp, để có thể dự báo hiệu quả kết quả kế tiếp của nốt hiện tại cần có thơng tin của nốt trước đó và nốt này lại cách xa so với nốt hiện tại, khi đó, kết quả dự báo sẽ khơng cịn độ chính xác cao hoặc có thể chấp

nhận được. Vấn đề như thế này được gọi là vấn đề phụ thuộc dài hạn (long – term dependency).

Hình 2.14. Mơ hình một nốt của mạng nơ – ron hồi quy có vịng lặp

Hình 2.15. Thiết kế một mạng nơ – ron hồi quy đã được mở ra 2.7.3. Vấn đề phụ thuộc dài hạn (Long – term dependency)

Trong một số trường hợp, thơng tin phụ thuộc cần có được dùng để dự báo giá trị kế tiếp cách xa so với thời điểm hiện tại, như vậy kết quả dự báo sẽ khơng cịn độ chính xác cao hay chấp nhận được. RNN khơng thể xử lí tốt cho những bài toán như thế này. Một trong những

nguyên nhân chính được giải thích đó là sự triệt tiêu đạo hàm của hàm chi phí (cost function)

</div>Trang 36<div class="page_container" data-page="36">

sẽ diễn ra khi trải quả chuỗi dài các tính tốn truy hồi. Do đó, mạng LSTM ra đời nhằm khắc phục vấn đề này.

2.7.4 Trình tự vận hành của mơ hình LSTM

Đầu tiên, LSTM sẽ quyết định xem thông tin nào sẽ được phép đi qua ơ trạng thái (cell

state). Q trình này được kiểm soát bởi hàm sigmoid trong một tầng gọi là tầng cổng quên (forget gate layer). Tầng cổng quên nhận 2 giá trị đầu vào là giá trị tầng ẩn nốt trước đó ht-1và giá trị đầu vào của nốt hiện tại xt, sau đó, trả về một giá trị nằm trong khoảng 0 và 1 cho

mỗi giá trị của ô trạng thái Ct-1. Nếu giá trị bằng 1 mang ý nghĩa “giữ tồn bộ thơng tin” và bằng 0 thể hiện “bỏ qua tồn bộ thơng tin”.

Hình 2.16. Mơ hình của tầng cổng qn (forget gate layer)

Bước tiếp theo chúng ta sẽ quyết định loại thông tin nào sẽ được lưu trữ trong ô trạng

thái, gồm 2 công đoạn. Công đoạn một là một tầng ẩn của hàm sigmoid được gọi là tầng cổng

vào (input gate layer) quyết định giá trị bao nhiêu sẽ được cập nhật. Công đoạn hai là tầng ẩn

hàm tanh sẽ tạo ra một véc tơ của một giá trị trạng thái mới 𝐶~𝑡 mà có thể được thêm vào trạng thái. Trạng thái sẽ được cập nhật bằng giá trị kết hợp giữa kết quả của hai tầng này.

Hình 2.17. Cập nhật giá trị cho ơ trạng thái bằng cách kết hợp 2 kết quả từ tầng cổng vào và tẩng ẩn hàm tanh

</div>Trang 37<div class="page_container" data-page="37">

Cuối cùng, chúng ta cần quyết định kết quả đầu ra được trả về. Kết quả này được dựa trên một phiên bản được lọc của ô trạng thái. Đầu tiên, chúng ta cho chạy qua một tầng sigmoid, tầng này quyết định phần nào của ô trạng thái sẽ ở đầu ra. Sau đó, ơ trạng thái được

đưa qua hàm tanh (để chuyển giá trị về khoảng -1 và 1) và nhân kết quả sau khi đi qua hàm

tanh này với đầu ra của một cổng sigmoid, khi đó mơ hình chỉ trả ra phần thơng tin mà chúng

ta đã quyết định.

Hình 2.18. Điều chỉnh thông tin ở đầu ra thông qua hàm tanh 2.7.5. Mơ hình mạng nơ – rơn nhân tạo LSTM xếp chồng

Mơ hình mạng nơ – ron nhân tạo LSTM xếp chồng (Stacked LSTM Neural Network

Model) là một kiểu mở rộng của mơ hình mạng LSTM truyền thống (chỉ gồm 1 tầng ẩn). Mạng LSTM xếp chồng được nghiên cứu bởi Graves và các cộng sự [25]. Theo nghiên cứu này, Graves và các cộng sự cũng tìm ra rằng độ sâu của mạng quan trọng hơn số nơ – ron trong mỗi tầng ẩn.

Trong đó, mơ hình này gồm nhiều tầng ẩn LSTM, mỗi tầng ẩn gồm nhiều nốt đơn vị. Một tầng LSTM ở trước cung cấp một đầu ra, và nó được sử dụng làm đầu vào cho tầng LSTM ở sau. Việc xếp chồng các tầng ẩn như thế này giúp cho mô hình mạng học được sâu hơn, ước lượng các hàm phi tuyến tốt hơn, tăng độ chính xác của kết quả đầu ra hơn. Khi bổ sung thêm các tầng ẩn, kết quả tính tốn hiện tại được tính dựa trên kết quả đầu ra của nốt trước đó. Từ đó giúp kết hợp lại được các kết quả học sâu giữa các tầng. Ngoài ra, mạng

LSTM xếp chồng hiện là một kỹ thuật ổn định và hiệu quả cho các bài tốn dự đốn dữ liệu

có trình tự (sequential data). Hình 2.19 minh họa kiến trúc của một mơ hình LSTM xếp chồng.

</div>Trang 38<div class="page_container" data-page="38">

Hình 2.19. Kiến trúc LSTM xếp chồng [17]

</div>Trang 39<div class="page_container" data-page="39">

Chương 3

CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN

Ở chương này, chúng tơi trình bày các cơng trình nghiên cứu liên quan trong nước và quốc tế. Các cơng trình này nghiên cứu về các mơ hình dự báo liên quan mà chúng tơi tìm hiểu trong q trình hiện thực đề tài luận văn, mơ hình lai giữa mơ hình mạng nơ – ron nhân tạo có tính mùa và mơ hình làm trơn hàm mũ Holt – Winters.

3.1. Một số cơng trình nghiên cứu của thế giới

Nghiên cứu của Afilal và các cộng sự năm 2016 [13], đề xuất hai phương pháp dự báo một bước (ngắn hạn) và dự báo nhiều bước lượng bệnh nhân tại phòng cấp cứu của bệnh viện. Về dự báo ngắn hạn, các tác giả sử dụng mơ hình ARMA (mơ hình trung bình động, tự hồi quy khơng có tính mùa) để dự báo chuỗi thời gian trong ngắn hạn. Về dự báo nhiều bước, các

tác giả đề xuất một mô hình cộng bao gồm hai yếu tố xu hướng (Tt) và mùa vụ (St) của chuỗi thời gian. Các tác giả đã thực nghiệm mơ hình này tại bệnh viện thành phố Troyes ở Pháp trong khoảng thời gian từ tháng 1 năm 2010 đến tháng 12 năm 2013 và dùng dữ liệu năm 2014 để kiểm tra. Kết quả cho thấy mơ hình dự đốn khá tốt cả trong thời kỳ dịch bệnh.

Nghiên cứu của Kadri và các cộng sự năm 2014 [14], đề xuất một phương pháp dự báo lượng bệnh nhi cấp cứu tại khoa Cấp cứu nhi, bệnh viện Liile, nươc Pháp dựa vào mô hình ARMA để dự báo với dữ liệu được lấy từ tháng 1 đến tháng 12 năm 2012. Kết quả được thực nghiệm cho thấy ARMA đã cho kết quả dự báo khá hiệu quả trong việc dự báo lượng bệnh nhi nhập viện hàng ngày tại phòng cấp cứu của bệnh viện.

Nghiên cứu của Gul và Celik năm 2018 [15], đã phân tích và đánh giá tổng quan các phương pháp dự báo lượng bệnh nhân cấp cứu tại bệnh viện trong bài báo có tên: “An exhaustive review and analysis on applications of statistical forecasting in hospital emergency departments”. Các tác giả đã thu thập, phân tích, và đánh giá trên 102 bài báo có nội dung về dự báo lượng bệnh nhân cấp cứu tại bệnh viện, từ đó, đưa ra một đánh giá đầy đủ và khách quan về các yếu tố liên quan trong bài toán dự báo này. Về các phương pháp được sử dụng cho bài toán dự báo này, các tác giả đã phân loại thành ba nhóm: nhóm thứ nhất là các phương pháp dựa vào hồi quy như hồi quy tuyến tính, hồi quy logistic, hồi quy Poisson, v.v…, nhóm

thứ hai là các phương pháp dựa vào chuỗi thời gian (time series – based method) như mô

</div>