Ứng dụng mạng Noron nhân tạo dự báo số học sinh tuyển sinh vào Trung tâm GDNN GDTX quận Đống Đa (Luận văn thạc sĩ)

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ

DƢƠNG THU TRANG

ỨNG DỤNG MẠNG NƠRON NHÂN TẠO DỰ BÁO SỐ HỌC SINH
TUYỂN VÀO TRUNG TÂM GDNN – GDTX QUẬN ĐỐNG ĐA

LUẬN VĂN THẠC SĨ NGÀNH CÔNG NGHỆ THÔNG TIN

HÀ NỘI - 2017


ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ

DƢƠNG THU TRANG

ỨNG DỤNG MẠNG NƠRON NHÂN TẠO DỰ BÁO SỐ HỌC SINH
TUYỂN VÀO TRUNG TÂM GDNN – GDTX QUẬN ĐỐNG ĐA

Ngành
: Công nghệ thông tin
Chuyên ngành : Quản lý hệ thống thông tin
Mã số
:

LUẬN VĂN THẠC SĨ NGÀNH CÔNG NGHỆ THÔNG TIN

Ngƣời hƣớng dẫn khoa học: PGS.TS. NGUYỄN QUANG HOAN

HÀ NỘI - 2017


1
LỜI CAM ĐOAN
Em xin cam đoan:
Những nội dung trong luận văn là do em thực hiện dƣới sự hƣớng dẫn của thầy
giáo PGS.TS. Nguyễn Quang Hoan.
Mọi tham khảo dùng trong luận văn đều đƣợc trích dẫn rõ ràng tác giả, tên công
trình, thời gian, địa điểm công bố.
Mọi sao chép không hợp lệ, vi phạm quy chế đào tạo hay gian lận em xin chịu
hoàn toàn trách nhiệm.
Hà Nội, ngày tháng năm 2017
Học viên

`

Dƣơng Thu Trang


2
LỜI CẢM ƠN
Em xin bày tỏ lòng biết ơn sâu sắc đến PGS.TS. Nguyễn Quang Hoan, thầy đã
hƣớng dẫn, chỉ bảo tận tình để em có thể hoàn thành luận văn này. Em cũng xin chân
thành cảm ơn các thầy, cô giáo của khoa Công nghệ thông tin – Trƣờng Đại học Công
nghệ - Đại học Quốc gia Hà Nội đã truyền thụ kiến thức, hỗ trợ em trong suốt quá
trình học tập vừa qua.
Em cũng xin chân thành cảm ơn bạn bè đồng nghiệp, gia đình và những ngƣời
thân đã cùng chia sẻ, giúp đỡ, động viên, tạo mọi điều kiện thuận lợi để em hoàn thành
nhiệm vụ học tập và cuốn luận văn này.

Hà Nội, ngày
tháng
năm 2017
Học viên

Dƣơng Thu Trang


3
MỤC LỤC
LỜI CAM ĐOAN ............................................................................................................ 1
LỜI CẢM ƠN .................................................................................................................. 2
MỤC LỤC ....................................................................................................................... 3
DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT .................................................. 6
DANH MỤC CÁC BẢNG BIỂU.................................................................................... 7
DANH MỤC CÁC HÌNH VẼ ......................................................................................... 8
MỞ ĐẦU ......................................................................................................................... 9
1. Lý do chọn đề tài .....................................................................................................9
2. Mục tiêu và nhiệm vụ của luận văn .........................................................................9
3. Đối tƣợng và phạm vi nghiên cứu ...........................................................................9
4. Phƣơng pháp nghiên cứu .........................................................................................9
5. Ý nghĩa khoa học và thực tiễn của luận văn ............................................................9
6. Bố cục luận văn .......................................................................................................9
CHƢƠNG 1 ................................................................................................................... 11
TỔNG QUAN VỀ BÀI TOÁN DỰ BÁO ..................................................................... 11
1.1. Lịch sử của quá trình dự báo ..............................................................................11
1.1.1. Khái niệm về dự báo ....................................................................................11
1.1.2. Mục đích của dự báo ...................................................................................11
1.1.3. Những thách thức trong phân tích dự báo ...................................................12
1.1.4. Các phƣơng pháp dự báo .............................................................................12

1.1.5. Quy trình thực hiện dự báo ..........................................................................13
1.2. Phƣơng pháp dự báo sử dụng mạng nơron theo đề xuất của luận văn ...............16
1.3. Đánh giá mô hình dự báo ...................................................................................16
1.4. Kết luận chƣơng 1...............................................................................................16
CHƢƠNG 2 ................................................................................................................... 17
TỔNG QUAN VỀ MẠNG NƠRON NHÂN TẠO ....................................................... 17
2.1. Mạng nơron nhân tạo là gì? ................................................................................17
2.2. Sự tƣơng đƣơng nơron nhân tạo với nơron sinh học ..........................................18
2.3. Lịch sử phát triển của mạng nơron nhân tạo ......................................................18
2.4. Nơron sinh vật ....................................................................................................18
2.5. Nơron nhân tạo ...................................................................................................19
2.5.1. Cấu tạo nơron nhân tạo ................................................................................19
2.5.2. Phân loại mạng nơron nhân tạo ...................................................................20
2.6. Luật học ..............................................................................................................22


4
2.6.1. Học tham số (Parameter Learning)..............................................................22
2.6.2. Học cấu trúc .................................................................................................23
2.7. Mạng truyền thẳng nhiều lớp và thuật toán lan truyền ngƣợc ............................23
2.7.1. Kiến trúc mạng ............................................................................................23
2.7.2. Xác định cấu trúc mạng tối ƣu.....................................................................24
2.7.3. Cấu trúc của luật học lan truyền ngƣợc .......................................................25
2.7.4. Luật học lan truyền ngƣợc ...........................................................................26
2.7.5. Một số vấn đề của mạng nơron nhiều lớp ...................................................31
2.7.6. Ƣu nhƣợc điểm của mạng truyền thẳng ......................................................31
2.8. Kết luận chƣơng 2...............................................................................................32
CHƢƠNG 3 ................................................................................................................... 33
ỨNG DỤNG MẠNG NƠRON TRONG DỰ BÁO SỐ HỌC SINH ............................ 33
TUYỂN VÀO TRUNG TÂM GDNN-GDTX ĐỐNG ĐA ........................................... 33

3.1. Giới thiệu về Trung tâm GDNN-GDTX Đống Đa .............................................34
3.2. Dữ liệu tuyển sinh của Trung tâm ......................................................................36
3.3. Các phƣơng án chọn cấu trúc dữ liệu .................................................................37
3.4. Phát biểu bài toán ...............................................................................................38
3.5. Thiết kế mạng nơron ...........................................................................................39
3.5.1. Số lớp nơron ................................................................................................39
3.5.2 Cấu trúc mạng ...............................................................................................39
3.5.3. Hàm tƣơng tác đầu ra ..................................................................................40
3.5.4. Giá trị trọng khởi đầu ..................................................................................40
3.6. Công cụ mô phỏng bài toán dự báo tuyển sinh ..................................................41
3.7. Chạy và thử nghiệm ............................................................................................41
3.8. So sánh các phƣơng pháp dự báo. ......................................................................44
3.9 Kết luận chƣơng 3................................................................................................48
KẾT LUẬN ................................................................................................................... 49
TÀI LIỆU THAM KHẢO ............................................................................................. 50
PHỤ LỤC A ..............................................................................................................52
GIỚI THIỆU CÔNG CỤ VÀ KẾT QUẢ DỰ BÁO .................................................52
1. Giao diện chính của phần mềm .........................................................................52
2. Giao diện huấn luyện .........................................................................................53
3. Giao diện Kiểm tra mạng...................................................................................54
4. Chức năng Dự báo .............................................................................................54
5. Chức năng Giới thiệu vào Thoát .......................................................................55


5
PHỤ LỤC B...............................................................................................................56
MỘT SỐ MÃ NGUỒN CỦA CÔNG CỤ .................................................................56
1. Huấn luyện mạng ...............................................................................................56
2. Chuẩn hóa dữ liệu ..............................................................................................59
3. Kiểm tra mạng ...................................................................................................60

4. Dự báo ...............................................................................................................61
PHỤ LỤC C................................................................................................................... 63
BÀI BÁO KHOA HỌC ................................................................................................. 63


6
DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT
STT

TÊN VIẾT TẮT

TÊN ĐẦY ĐỦ

DIỄN GIẢI

1

ANN

Artificial Neural Network

Mạng nơron nhân tạo

2

AR

Autoregressive

Tự hồi quy

3

BP

Back Propagation

Lan truyền ngƣợc

4

HIDDENNODE

Hidden Node

Số nơron lớp ẩn

5

INPUTNODE

Input Node

Số nơron lớp vào

6

LEARNING RATE

Learning Rate

Tốc độ học

7

MA

Moving Average

Đƣờng trung bình di động

8

MAE

Mean Absolute Error

Sai số tuyệt đối

9

MSE

Mean Square Error

Sai số trung bình

10

MFNN

Multi Feedforward Neural
Network

Mạng truyền thẳng nhiều lớp

11

MLP

Multilayer Neural Network

Mạng nơron nhiều lớp

12

NƠRON

Neural

Tế bào thần kinh

13

OUTPUTNODE

Output Node

Số nơron lớp ra

14

GA

Genetic Algorithm

Giải thuật di truyền

15

EP

Evolutionary Programming

Lập trình tiến hóa


7

DANH MỤC CÁC BẢNG BIỂU
Bảng 2.1. Một số hàm phi tuyến thƣờng đƣợc sử dụng trong các mô hình nơron 20
Bảng 3.1. Cơ sở vật chất của Trung tâm ...............................................................34
Bảng 3.2. Dữ liệu tuyển sinh của Trung tâm .........................................................36
Bảng 3.3. Dữ liệu tuyển sinh từ năm 1988 đến 2017 của Trung tâm ....................38
Bảng 3.4. Bảng dữ liệu học ...................................................................................38
Bảng 3.5. Bảng trọng số ........................................................................................40
Bảng 3.6. Kết quả thử nghiệm dự báo tuyển sinh .................................................43
Bảng 3.7. Kết quả huấn luyện dự báo tuyển sinh ..................................................44
Bảng 3.8. Kết quả dự báo bằng phƣơng pháp trung bình dài hạn .........................45
Bảng 3.9. Kết quả dự báo bằng phƣơng pháp trung bình động .............................45

Bảng 3.10. Kết quả dự báo bằng phƣơng pháp hồi quy tƣơng quan .....................46
Bảng 3.11. Kết quả dự báo bằng phƣơng pháp san bằng mũ ................................47


8

DANH MỤC CÁC HÌNH VẼ
Hình 1.1.Quy trình thực hiện dự báo .............................................................................14
Hình 1.2.Quy trình lựa chọn mô hình dự báo ................................................................15
Hình 2.1. Cấu trúc nơron sinh vật..................................................................................19
Hình 2.2. Mô hình một nơron nhân tạo .........................................................................19
Hình 2.3. Phân loại mạng nơron ....................................................................................21
Hình 2.4.Các dạng học ..................................................................................................22
Hình 2.5.Mạng truyền thẳng nhiều lớp..........................................................................24
Hình 2.6. Cấu trúc mạng lan truyền ngƣợc. ..................................................................26
Hình 2.7. Tối thiểu cục bộ (Local Minimum) ...............................................................30
Hình 2.8. Tốc độ học của hằng số học η .......................................................................31
Hình 3.1. Kết quả huấn luyện mạng ..............................................................................42
Hình 3.2. Kết quả kiểm tra mạng...................................................................................43
Hình 3.3. Kết quả dự báo cho 3 năm 2018, 2019, 2020 ................................................44
Hình 3.4. Sơ đồ kết quả dự báo trung bình động........................................................... 48
Hình 3.5. Kết quả dự báo san bằng mũ ......................................................................... 50


Luận văn đầy đủ ở file: Luận văn full