Nghiên cứu một số mô hình mạng học sâu và ứng dụng trong bài toán dự báo điểm tốt nghiệp của sinh viên trường cao đẳng cơ khí nông nghiệp

LỜI CAM ĐOAN
Tên tôi là: Phùng Thị Minh Phƣơng
Sinh ngày: 27/06/1991
Là học viên lớp cao học : 18M-CT52 Trƣờng Đại học Mở Hà Nội
Nơi công tác: Trƣờng Cao đẳng Cơ Khí Nơng Nghiệp – Vĩnh Phúc
Tơi xin cam đoạn :
1. Tơi xin cam đoan “Nghiên cứu một số mơ hình mạng học sâu và ứng dụng
trong bài toán dự báo điểm tốt nghiệp của sinh viên trƣờng Cao đẳng Cơ khí
Nơng nghiệp” là cơng trình nghiên cứu khoa học của tôi dƣới sự hƣớng dẫn khoa
học trực tiếp của PGS.TS. Nguyễn Long Giang. Các nội dung nghiên cứu , kết quả
nghiên cứu đƣợc trình bày trong luận văn hồn tồn là trung thực , khơng vi phạm
bất cứ điều gì trong luật sở hữu trí tuệ và pháp luật của Việt Nam .
2. Mọi tham khảo dùng trong khóa luận đều đƣợc trích dẫn rõ ràng tên tác giả , tên
cơng trình, thời gian, địa điểm cơng bố .
3. Mọi sao chép không hợp lệ, vi phạm quy chế đào tạo, hay gian trá, tơi xin chịu
hồn tồn trách nhiệm.
Hà Nội , ngày 21 tháng 2 năm 2021
Học viên thực hiện

Phùng Thị Minh Phƣơng

i


LỜI CẢM ƠN
Lời cảm ơn trân trọng đầu tiên, tôi muốn dành tới các thầy, cô giáo Trƣờng
Đại học Mở Hà Nội cùng các thầy, cô giáo Viện Hàn lâm Khoa học và Cơng nghệ
Việt Nam đã tận tình giảng dạy và truyền đạt kiến thức trong suốt khóa học cao học
vừa qua. Đặc biệt tơi xin bày tỏ lịng biết ơn chân thành và sâu sắc nhất của mình
tới thầy PGS.TS. Nguyễn Long Giang, đã tận tình dìu dắt và hƣớng dẫn tơi trong
suốt q trình làm luận văn, sự chỉ bảo và định hƣớng của thầy giúp tôi tự tin

nghiên cứu những vấn đề mới và giải quyết bài tốn một cách khoa học. Tơi xin
chân thành cảm ơn các thầy, cô giảng viên khoa Công nghệ Thông Tin Trƣờng Đại
học Mở Hà Nội đã tạo điều kiện thuận lợi cho tơi trong q trình học tập, nghiên
cứu. Cuối cùng , tôi xin cảm ơn tập thể lớp Cơng nghệ thơng tin khóa 18 đã cổ vũ,
khích lệ và chia sẻ kinh nghiệm bản thân giúp luận văn của tơi ngày một hồn thiện.
Mặc dù đã cố gắng rất nhiều nhƣng chắc chắn trong quá trình học tập cũng nhƣ làm
luận văn khơng khỏi những thiếu sót. Tơi rất mong nhận đƣợc sự thông cảm và chỉ
bảo tận tình của các thầy cơ và các bạn.
Tơi xin chân thành cảm ơn!
Hà Nội, ngày 21 tháng 02 năm 2021

Phùng Thị Minh Phương

ii


iii


MỤC LỤC
Trang
LỜI CAM ĐOAN .................................................................................................................i
LỜI CẢM ƠN ..................................................................................................................... ii
MỤC LỤC ........................................................................................................................... iv
DANH MỤC CÁC KÝ HIỆU, CÁC VIẾT TẮT ........................................................... vi
DANH MỤC BẢNG .........................................................................................................vii
DANH MỤC CÁC HÌNH .............................................................................................. viii
MỞ ĐẦU ..............................................................................................................................1
1. Đặt vấn đề .....................................................................................................................1
2. Mục tiêu nghiên cứu....................................................................................................2

3. Mục đích nghiên cứu...................................................................................................2
4. Đối tƣợng và phạm vi nghiên cứu .............................................................................2
5. Phƣơng pháp nghiên c ứu và phƣơng pháp luận ......................................................2
CHƢƠNG 1 : GIỚI THIỆU TỔNG QUAN VỀ HỌC MÁY VÀ HỌC SÂU.............4
1.1. Giới thiệu về học máy..............................................................................................4
1.1.1. Khái niệm học máy ...........................................................................................4
1.1.2. Các phƣơng pháp học máy ...............................................................................5
1.1.3. Ứng dụng của học máy .....................................................................................7
1.2. Tổng quan về mạng học sâu (Deep Learning)......................................................7
1.2.1. Khái niệm học sâu .............................................................................................7
1.2.2. Học sâu với bộ não ngƣời.................................................................................8
1.2.3. Học sâu dựa trên mạng Neural nhân tạo.........................................................9
CHƢƠNG 2 : MỘT SỐ MƠ HÌNH HỌC SÂU ĐƢỢC SỬ DỤNG CHO BÀI
TOÁN DỰ BÁO ............................................................................................................... 17
2.1. Tổng quan về bài toán dự báo. ............................................................................ 17
2.1.1. Các bƣớc giải quyết bài toán dự báo ............................................................ 17
2.1.2. Các tiêu chuẩn đánh giá ................................................................................. 19
2.1.3. Mơ hình trong bài tốn dự báo...................................................................... 23
2.1.4. Kỹ thuật xây dựng đặc trƣng........................................................................ 25
2.2. Giới thiệu về mạng Neural ................................................................................... 28

iv


2.3. Mạng Neural hồi quy ............................................................................................ 31
2.3.1. Mơ hình mạng neural hồi quy ....................................................................... 31
2.3.2. Phân lo ại bài toán mạng neural hồi quy....................................................... 33
2.3.3. Mơ hình mạng lan truyền ngƣợc liên hồi – BPTT ..................................... 34
2.3.4. Mơ hình mạng bộ nhớ dài ngắn LSTM ....................................................... 37
2.4. Mạng Neural tích chập ......................................................................................... 44

2.4.1. Ý tƣởng mạng neural tích chập..................................................................... 44
2.4.2. Cấu trúc cơ bản của mạng Neural tích chập................................................ 44
Kết luận chƣơng ............................................................................................................ 46
CHƢƠNG 3 : ỨNG DỤNG MƠ HÌNH MẠNG HỌC SÂU CHO BÀI TOÁN DỰ
BÁO ĐIỂM TỐT NGHIỆP CHO SINH VIÊN TRƢỜNG CAO ĐẲNG CƠ KHÍ
NƠNG NGHIỆP ............................................................................................................... 47
3.1. Tổng quan bài toán................................................................................................ 47
3.1.2. Bài toán dự báo tỉ lệ sinh viên tốt nghiệp đúng tiến độ đào tạo ............... 47
3.1.1. Sự cần thiết của việc dự báo điểm tốt nghiệp ............................................. 50
3.2. Ứng dụng mơ hình mạng học sâu trong bài toán dự báo điểm tốt nghiệp
trƣờng Cao Đẳng Cơ Khí Nơng Nghiệp .................................................................... 51
3.2.1. Lựa cho mơ hình mạng học sâu sử dụng cho bài tốn dự báo .................. 51
3.2.2. Xây dựng mơ hình hệ thống .......................................................................... 52
3.2.2. Phƣơng pháp dự báo kết quả học tập của sinh viên ................................... 54
3.2.3. Mơ hình dự báo kết quả học tập của sinh viên ........................................... 54
3.2.4. Huấn luyện mơ hình dự báo điểm ................................................................ 56
3.2.5. Cài đặt và thử nghiệm bài toán ..................................................................... 58
3.3. Kết quả thử nghiệm............................................................................................... 61
3.3.1. Kết quả thử nghiệm ........................................................................................ 62
3.3.2. Đánh giá hiệu suất các mơ hình .................................................................... 63
Kết luận chƣơng ............................................................................................................ 67
KẾT LUẬN VÀ KHUYẾN NGHỊ ................................................................................ 68
TÀI LIỆU THAM KHẢO ............................................................................................... 69
PHỤ LỤC .......................................................................................................................... 71

v


DANH MỤC CÁC KÝ HIỆU, CÁC VIẾT TẮT
STT

Từ viết tắt

Tiếng Anh

Tiếng Việt

1

AI

Artificial Intelligence

Trí tuệ nhân tạo

2

ML

Machine Learning

Học máy

3

DL

Deep Learning

Học Sâu

4

ANN

Artificial Neural Network

Mạng Neural nhân tạo

5

RNN

Recurrent Neural Network

Mạng Neural hồi quy

6

CNN

Convolutional Neural
Network

Mạng Neural tích chập

7

LSTM

Long-Short Term Memory
networks

Kiến trúc mạng bộ nhớ
dài-ngắn

8

BPTT

Backpropagation Through
Time

Mơ hình mạnh lan truyền
ngƣợc liên hồi

9

NLP

Natural Language Processing

Xử lý ngơn ngữ tự nhiên

10

MSE

Mean squared error

Sai số bình phƣơng trung
bình

11

RMSE

Root Mean Square Error

Sai số bình phƣơng trung
bình gốc

12

R2

R Square

R bình phƣơng

13

CĐCKNN

Cao đẳng Cơ khí Nơng
nghiệp

14

TBC

Điểm trung bình chung

vi


DANH MỤC BẢNG
Trang
Bảng 3.1: Dữ liệu mẫu học phần Quản trị mạng........................................................... 53
Bảng 3.2: Dữ liệu mẫu học phần Bảo trì hệ thống mạng............................................. 53
Bảng 3.3 Chi tiết bộ dữ liệu tại Cao Đăng Cơ Khí Nơng Nghiệp............................... 54
Bàng 3.4 : Các thƣ viện hỗ trợ ........................................................................................ 58
Bảng 3.5 Thời gian huấn luyện các mơ hình mạng ...................................................... 61
Bảng 3.6: Bảng kết quả huấn luyện học phần Quản trị mạng với Linux .................. 61
Bảng 3.7: Bảng kết quả huấn luyện học phần Bảo trì hệ thống mạng........................ 61
Bảng phụ lục 1: Danh sách hệ thống phần mềm........................................................... 66
Bảng phụ lục 2: Danh sách hệ thống phần cứng........................................................... 66

vii


DANH MỤC CÁC HÌNH
Trang
Hình 1.1 Các phƣơng pháp học máy .............................................................................. 5
Hình 1.2 Sơ đồ mơ tả học máy có hƣớng dẫn ............................................................... 6
Hình 1.3 Mối quan hệ giữa AI – ML – DL ................................................................... 8
Hình 1.4 Tế bào thần kinh sinh học(trái) và neural trong mạng neural ..................... 10
Hình 1.5: Mạng neural nơng ............................................................................................ 11
Hình 1.6: Mạng neural sâu ............................................................................................ 13
Hình 1.7 Kiến trúc mạng học sâu .................................................................................. 14

Hình 2.1 Cấu trúc một neural .......................................................................................... 22
Hình 2.2 Cấu trúc chung của một mạng neural............................................................. 23
Hình 2.3 : Mơ hình trong các bài tốn Machine learning ............................................ 25
Hình 2.4 Mơ hình RNN.................................................................................................... 30
Hình 2.5: Một số bài tốn RNN ...................................................................................... 32
Hình 2.6: Mơ hình mạng neural lan truyền ngƣợc liên hồi ......................................... 33
Hình 2.7: Quá trình truyền ngƣợc trên chuỗi dữ liệu ................................................... 34
Hình 2.8: Biểu đồ tanh và đạo hàm ................................................................................ 35
Hình 2.9: Các module lặp lại trong một nút mạng RNN tiêu chuẩn .......................... 38
Hình 2.10: Sự lặp lại kiến trúc module trong mạng LSTM chứa 4 tầng ẩn (3 sigmoid
và 1 tanh) tƣơng tác .......................................................................................................... 39
Hình 2.11: Ký hiệu trong LSTM ..................................................................................... 39
Hình 2.12: Trạng thái của tế bào.................................................................................... 40
Hình 2.13: Cổng sàng lọc thơng tin................................................................................ 40
Hình 2.14: Dữ liệu đƣợc truyền qua cổng quên ............................................................ 41
Hình 2.15: Dữ liệu đƣợc truyền qua cổng đầu vào ....................................................... 41
Hình 2.16: Dữ liệu đƣợc lan truyền qua thanh trạng thái ............................................ 42

viii


Hình 2.17: Dữ liệu hội tụ ở đầu ra sau khi đi qua các cổng ........................................ 43
Hình 2.18: Cấu trúc cơ bản của một mạng Neural tích chập....................................... 45
Hình 3.1: Tổng quan mơ hình dự báo điểm của học phần thay thế Đồ án/khóa luận
tốt nghiệp............................................................................................................................ 49
Hình 3.2 : Mơ hình mạng học sâu cho học phần: Quản trị mạng với Linux ............. 56
Hình 3.3: Mơ hình mạng học sâu cho học phần: Bảo trì hệ thống mạng................... 57
Hình 3.4: Lƣu đồ mơ hình mạng BPTT.......................................................................... 59
Hình 3.5 : Lƣu đồ mơ hình mạng LSTM........................................................................ 60
Hình 3.6: Biểu đồ dự báo điểm học phần Quản trị mạng với Linux sử dụng các mơ

hình dự báo LSTM ............................................................................................................ 63
Hình 3.7: Biểu đồ dự báo điểm học phần Quản trị mạng với Linux sử dụng các mơ
hình dự báo BPTT ............................................................................................................. 63
Hình 3.8: Biểu đồ dự báo điểm học phần Bảo trì hệ thống mạng sử dụng các mơ
hình dự báo LSTM ............................................................................................................ 64
Hình 3.9: Biểu đồ dự báo điểm học phần Bảo trì hệ thống mạng sử dụng các mơ
hình dự báo BPTT ............................................................................................................. 64

ix


MỞ ĐẦU

1. Đặt vấn đề
Trong những năm gần đây, công nghệ thông tin phát triển mạnh mẽ ứng
dụng trong nhiều lĩnh vực quan trọng của đời sống, kinh tế, xã hội đã làm lƣợng dữ
liệu thu thập và lƣu trữ ở các hệ thống thông tin tăng lên một cách nhanh chóng.
Trƣớc tình hình đó, việc khai thác chọn lọc những dữ liệu có ích từ lƣợng thơng tin
khổng lồ đó sẽ quyết định chất lƣợng của mọi hoạt động. Mặt khác, các dữ liệu sẽ
đƣợc dự báo giúp việc đƣa ra quyết định phƣơng hƣớng trong tƣơng lai một cách
chính xác và hiệu quả hơn.
Hiện nay trên thế giới, trí tuệ nhân tạo đã nhận đƣợc rất nhiều sự chú ý, ai ai
cũng đều nói về nó. Và trong lĩnh vực trí tuệ nhân tạo, học máy có lẽ là lĩnh vực
đƣợc nói đến nhiều nhất. Machine learning - học máy là chƣơng trình chạy trên một
mạng thần kinh nhân tạo, có khả năng huấn luyện máy tính "học" từ một lƣợng lớn
dữ liệu đƣợc cung cấp để giải quyết những vấn đề cụ thể. Để học máy hiệu quả,
chính xác hơn, Deep Learning (học sâu) đã ra đời. Deep learning sẽ giúp robot học
nhanh, kỹ và áp dụng chính xác hơn.
Vì những lý do đó, nhiều bài tốn dự báo đƣợc các chuyên gia đã tin tƣởng
và sử dụng các hệ thống thơng minh khác nhau, trong đó có mạng học sâu Deep

Learning.
Tính cấp thiết của đề tài
Với số lƣợng lớn học sinh, sinh viên đang theo học việc thực hiện cơng tác
phân tích, đánh giá hiệu quả học tập của sinh viên trong trƣờng Cao đẳng Cơ Khí
Nơng Nghiệp gặp rất nhiều khó khăn. Từ dữ liệu về lý lịch sinh viên, kết quả học
tập của sinh viên vậy làm thế nào để có thể thu thập đƣợc các thơng tin có ích, hỗ
trợ cho việc ra quyết định chẳng hạn nhƣ: Dự đoán đƣợc những học sinh, sinh viên
sẽ thôi học hoặc bị buộc thôi học để từ đó có tác động kịp thời giảm số trƣờng hợp
thơi học xuống mức thấp nhất; Dự đốn số lƣợng trúng tuyển từ hồ sơ đăng ký vào;
dự đoán lƣợng thí sinh nguyện vọng một, nguyện vọng hai; Dự đoán chất lƣợng

1


sinh viên từ điểm đầu vào và các thông tin lý lịch; Tìm mối tƣơng quan các mơn
học cơ bản (Tốn, Vật lý, Hóa Học, Tiếng Anh..) với các mơn học chun ngành
của sinh viên; Tìm ra nhóm sinh viên bị tụt dốc trong học tập …
Nhận thấy đƣợc tầm quan trọng và thực tế đó, đƣợc sự gợi ý của thầy hƣớng
dẫn và nhận thấy tính thiết thực của vấn đề em chọn đề tài: “Nghiên cứu một số mơ
hình mạng học sâu và ứng dụng trong bài tốn dự báo điểm tốt nghiệp của sinh
viên trường Cao đẳng Cơ Khí Nơng Nghiệp” làm khố luận tốt nghiệp cho luận
văn tốt nghiệp của mình.

2. Mục tiêu nghiên cứu
Nghiên cứu mơ hình mạng học sâu giải quyết bài tốn dự báo viên tốt nghiệp
đúng tiến độ trong các cơ sở giáo dục.

3. Mục đích nghiên cứu
- Nghiên cứu cơ sở lý thuyết về học máy nói chung và học sâu nói riêng,
phân tích sự phát triển của học máy với việc triển khai các giải thuật tốn học sâu,

phân tích hiện trạng xu hƣớng sử dụng thuật toán học sâu cho những vấn đề đã
đƣợc giải quyết và các vấn đề cịn đang nghiên cứu.
- Tìm hiểu mơ hình mạng học sâu.
- Nghiên cứu đánh giá, lựa chọn mơ hình nhằm giải quyết bài toán dự báo
đào tạo trong giáo dục và phân tích điểm mạnh điểm yếu của các mơ hình.

4. Đối tƣợng và phạm vi nghiên cứu
- Đối tƣợng nghiên cứu là lớp bài toán khảo sát, đánh giá, thống kê sử dụng
mạng học sâu và các mô hình học sâu dự báo.
- Phạm vi nghiên cứu là lý thuyết ứng dụng mạng học sâu cho bài toán dự
báo điểm trƣờng Cao đẳng Cơ Khí Nơng Nghiệp.

5. Phƣơng pháp nghiên cứu và phƣơng pháp luận
5.1 Phương pháp nghiên cứu

2


a. Về lý thuyết:
- Nghiên cứu lý thuyết và tổng hợp các nghiên cứu liên quan đến các phƣơng
pháp trong học máy, học sâu. Từ đó xây dựng mơ hình, thuật tốn học sâu cải tiến
và chứng minh tính đúng đắn cho mơ hình bằng lý thuyết ứng dụng cho bài toán
thực tế.

b. Về thực nghiệm:
- Thu thập số liệu thực tế để thử nghiệm trên mơ hình.
- Cài đặt, chạy thử nghiệm mơ hình mạng học sâu cải tiến trên các bộ dữ liệu
mẫu và dữ liệu thực nhằm chứng minh tính hiệu quả của mơ hình đề xuất.

5.2 Phương pháp luận

- Về mặt lý thuyết: Phƣơng pháp phân tích, tổng hợp và mơ hình hóa lý
thuyết từ đó xây dựng cơ sở lý thuyết cho luận văn
- Về thực nghiệm: Phƣơng pháp quan sát khoa học, phân tích và tổng kết
kinh nghiệm từ đó xây dựng ứng dụng thực nghiệm cho luận văn.

3


CHƢƠNG 1 : GIỚI THIỆU TỔNG QUAN VỀ HỌC MÁY
VÀ HỌC SÂU
1.1. Giới thiệu về học máy
1.1.1. Khái niệm học máy
Trong những năm gần đây, công nghệ thông tin phát triển mạnh mẽ với thành tựu
là AI đƣợc ứng dụng vào nhiều lĩnh vực quan trọng của đời sống, kinh tế, xã hội,...
Nhƣ nhận dạng giọng nói, nhận dạng chữ viết, dự đốn kết quả, điều khiển tự
động,... Nó đƣợc coi là xu hƣớng công nghệ thế giới và nhiều ngƣời cho rằng đó là
cuộc cách mạng cơng nghiệp lần thứ 4.
Chính vì vậy, việc tìm hiểu AI có lẽ cũng là nhu cầu thiết yếu trong bối cảnh
hiện tại. AI là các kỹ thuật giúp cho máy tính thực hiện đƣợc những công việc của
con ngƣời chúng ta. Trong lĩnh vực AI có một nhánh nghiên cứu về khả năng tự học
của máy tính đƣợc gọi là học máy (machine learning). Hiện nay khơng có 1 định
nghĩa chính thức nào về học máy cả nhƣng nổi bật rõ ràng nhất nhƣ sau:
- Theo Arthur Samuel (1959): Học máy là ngành học cung cấp cho máy tính
khả năng học hỏi mà khơng cần đƣợc lập trình một cách tƣờng minh.
- Học máy (Machine learning) là một lĩnh vực của trí tuệ nhân tạo liên quan
đến việc nghiên cứu và xây dựng các kĩ thuật cho phép các hệ thống “học”
tự động từ dữ liệu để giải quyết những vấn đề cụ thể: Học từ dữ liệu để trích
lọc ra các tri thức (khai phá dữ liệu); Học từ dữ liệu trong quá khứ để dự báo
dữ liệu trong tƣơng lai (dự báo).
- Machine learning là chƣơng trình chạy trên một mạng thần kinh nhân tạo, có

khả năng huấn luyện máy tính “học” từ một lƣợng lớn dữ liệu đƣợc cung cấp
để giải quyết những vấn đề cụ thể.
Hệ thống Machine Learning đƣợc tạo thành từ 3 thành phần chính:
 Mơ hình (Model): hệ thống đƣa ra dự đốn hoặc nhận dạng

4


 Tham số (Parameters): tín hiệu hoặc nhân tố đƣợc Model sử dụng để
đƣa ra quyết định.
 Learner: hệ thống điều chỉnh lại parameters và tiếp đó là model bằng
cách so sánh sự khác biệt giữa dự đoán và kết quả thực tế.

1.1.2. Các phương pháp học máy
Học máy đƣợc phân thành những phƣơng pháp sau đây:

Học máy
(Machine
Learning)

Học có giám sát
(Supervised
learning)

Học khơng có giám sát
(Unspervised learning)

Học tăng cƣờng
(Reinforcement
learning)

Hình 1.1: Các phương pháp học máy

Học có giám sát hay học có thầy (supervised learning): Trong giai đoạn học
(huấn luyện), thuật toán học xây dựng hàm đích (hàm dự báo, phân loại) dựa trên
các tập mẫu cùng với nhãn phân loại tƣơng ứng (tập dữ liệu huấn luyện). Trong giai
đoạn dự báo (phân loại), từ tập mẫu khơng có nhãn phân loại (tập dữ liệu kiểm tra),
hàm đích đƣa ra nhãn phân loại (dự báo) của các mẫu này. Quá trình học đƣợc biểu
diễn bằng sơ đồ sau:

5


Mẫu kiểm tra
(khơng nhãn)

Mẫu huấn luyện
(có nhãn)

Thuật tốn học
máy

Hàm đích (dự
báo, phân loại)
Mẫu kiểm tra
(khơng nhãn)

Hình 1.2: Sơ đồ mơ tả học máy có hướng dẫn

Tìm kiếm trong khơng gian giả thuyết một giả thuyết phù hợp (khớp) nhất

với dữ liệu huấn luyện là bản chất của việc học.
Các chủ đề nghiên cứu (hay các cơng cụ) trong học có thầy bao gồm:
- Học cây quyết định ứng dụng trong phân loại và dự đoán.
- Học mạng Neural nhân tạo ứng dụng trong phân loại và dự đoán.
- Học phân lớp Bayes đơn giản.
- Học máy Vector hỗ trợ SVM (Suppor Vector Machines).
- Học phân lớp sử dụng công cụ lý thuyết tập thơ (rough set theory).
 Học khơng có giám sát hay học khơng có thầy (unsupervised learning):
Là phƣơng pháp học chỉ dựa trên các tập mẫu mà không có nhãn phân loại đi kèm.
Các đặc trƣng, các mối tƣơng quan của các mẫu học đƣợc hệ thống học tự khám
phá một cách tự động.
Các chủ đề nghiên cứu (hay các cơng cụ) trong học khơng có thầy bao gồm:
 Học phân cụm (Clustering), thuật toán phân cụm K-means.
 Học luật kết hợp (Association Rule Learning).
 Học dựa trên ví dụ: Phƣơng pháp k-láng giềng gần nhất (k-Nearest
Neighbors, kNN).
 Học mạng Neural nhân tạo.

6


1.1.3. Ứng dụng của học máy
Có rất nhiều ứng dụng thực tế khác nhau của học máy trong nhiều lĩnh vực,
sau đây là một số ứng dụng điển hình:
 Nhận dạng: Nhận dạng ký tự, phát hiện và nhận dạng mặt ngƣời, nhận
dạng tiếng nói.
 Y khoa: Chuẩn đốn y tế, dự đoán ngƣời bệnh dựa trên triệu chứng quan
sát đƣợc. Ứng dụng trong tin sinh học nhƣ phân tích gen, phân tích chuỗi
DNA,…
 Kinh doanh: Phân loại khách hàng, dự đoán chỉ số thị trƣờng chứng

khoán, giá cả tiêu dùng…
 Đào tạo: Dịch tự động, …

1.2. Tổng quan về mạng học sâu (Deep Learning)
1.2.1. Khái niệm học sâu
Mạng học sâu cũng đƣợc bắt nguồn từ nền tảng mạng neural nhân tạo và
phát triển nhƣ “một lĩnh vực nghiên cứu mới của học máy”, với các mạng lƣới có
khả năng "học" mà không bị giám sát từ dữ liệu không có cấu trúc hoặc khơng đƣợc
gắn nhãn. Học sâu tập trung vào các vấn đề hẹp hơn về một tập hợp các công cụ, kỹ
thuật máy học và áp dụng chúng để giải quyết các vấn đề cần đòi hỏi về tƣ duy.
Ngƣời ta có thể hiểu rằng trí tuệ nhân tạo đƣợc hiểu đơn giản là đƣợc cấu
thành từ các lớp xếp chồng lên nhau, trong đó mạng thần kinh nhân tạo nằm ở dƣới
đáy, machine learning nằm ở tầng tiếp theo và Deep Learning nằm ở tầng trên cùng.
Deep Learning là một phƣơng pháp của Học máy(Machine learning). Nó
cho phép chúng ta huấn luyện một AI có thể dự đoán đƣợc các đầu ra dựa vào một
tập các đầu vào. Cả hai phƣơng pháp có giám sát và khơng giám sát đều có thể sử
dụng để huấn luyện
Deep Learning là máy sử dụng các lớp khác nhau để đào sâu hơn về việc
học các đặc điểm của dữ liệu, được huấn luyện ở nhiều cấp độ tương ứng với các

7


mức độ trừu tượng khác nhau của lớp dữ liệu hình thành một hệ thống các tính
năng phân cấp từ thấp đến cao.

Hình 1.3: Mối quan hệ giữa AI – ML – DL

Là một phạm trù nhỏ của Machine learning, Deep learning tập trung giải
quyết các vấn đề liên quan đến mạng thần kinh nhân tạo nhằm nâng cấp các cơng

nghệ nhƣ nhận diện giọng nói, tầm nhìn máy tính và xử lý ngôn ngữ tự nhiên. Deep
learning đang trở thành một trong những lĩnh vực hot nhất trong khoa học máy tính.
Chỉ trong vài năm, Deep learning đã thúc đẩy tiến bộ trong đa dạng các lĩnh vực
nhƣ nhận thức sự vật (object perception), dịch tự động (machine translation), nhận
diện giọng nói, … Đó là những vấn đề từng rất khó khăn với các nhà nghiên cứu trí
tuệ nhân tạo.

1.2.2. Học sâu với bộ não người
Trong nỗ lực tạo ra các hệ thống học tƣơng tự nhƣ cách con ngƣời học, kiến
trúc cơ bản cho việc học sâu đƣợc lấy cảm hứng từ cấu trúc của bộ não con ngƣời.
Vì lý do này, khá nhiều thuật ngữ cơ bản trong học sâu có thể đƣợc ánh xạ trở lại
thần kinh học. Tƣơng tự nhƣ cách các tế bào thần kinh hình thành các khối xây

8


dựng cơ bản của não, kiến trúc học sâu chứa một đơn vị tính tốn cho phép mơ hình
hóa các hàm phi tuyến đƣợc gọi là perceptron.
Sự kỳ diệu của học sâu bắt đầu với perceptron khiêm tốn. Tƣơng tự nhƣ cách
"neural" trong não ngƣời truyền các xung điện trong hệ thống thần kinh của chúng
ta, tế bào cảm thụ nhận một danh sách các tín hiệu đầu vào và chuyển chúng thành
tín hiệu đầu ra.
Perceptron nhằm mục đích hiểu đƣợc biểu diễn dữ liệu bằng cách xếp chồng
nhiều lớp lại với nhau, trong đó mỗi lớp chịu trách nhiệm hiểu một số phần của đầu
vào. Một lớp có thể đƣợc coi là một tập hợp các đơn vị tính toán học cách phát hiện
sự xuất hiện lặp lại của các giá trị.
Mỗi lớp perceptron chịu trách nhiệm giải thích một mẫu cụ thể trong dữ liệu.
Một mạng lƣới các perceptron này bắt chƣớc cách các neural trong não tạo thành
một mạng lƣới, vì vậy kiến trúc đƣợc gọi là mạng neural (hay mạng neural nhân
tạo).

1.2.3. Học sâu dựa trên mạng Neural nhân tạo
Trong công nghệ thông tin, mạng Neural nhân tạo là một hệ thống các
chƣơng trình và cấu trúc dữ liệu mô phỏng cách vận hành của não ngƣời. Các mạng
neural này đƣợc xây dựng và phát triển nhƣ bộ não ngƣời, các neural đƣợc kết nối
với nhau. Bản thân từng neural này chỉ trả lời đƣợc những câu hỏi hết sức cơ bản
chứ không hề thông minh, nhƣng khi đƣợc gộp chung với nhau thì chúng lại có sức
mạnh xử lý đƣợc cả những tác vụ khó. Và điều quan trọng ở đây là bằng những
thuật toán phù hợp, chúng ta có thể dạy và huấn luyện đƣợc chúng.
Theo các giáo sƣ LeCun, Bengio và Hinton, “Học sâu (Deep learning) cho
phép các mơ hình tính tốn gồm nhiều tầng xử lý để học biểu diễn dữ liệu với nhiều
mức trừu tƣợng khác nhau”.

9


Hình 1.4: Tế bào thần kinh sinh học(trái) và neural trong mạng neural

Thật vậy, trong bộ não ngƣời, tế bào thần kinh là đơn vị tính tốn cơ bản.
Phần bên trái của Hình 1.4 mơ tả một tế bào thần kinh sinh học, bao gồm các thành
phần chính là thân tế bào (cell body), trục (axon), sợ nhánh (dendrite) và khớp
(synapse) hay “axon terminals” nhƣ trong hình. Bộ não ngƣời chứa khoảng 86 tỉ tế
bào thần kinh 1014-1015 khớp thần kinh. Các khớp có vai trị nối một tế bào thần
kinh này với các tế bào thần kinh khác thông qua các sợi nhánh.
Mỗi neural sinh học có 3 phần cơ bản:
- Các nhánh vào cây (dendrites).
- Thân tế bào (cell body).
- Sợi trục ra (axon).
Các nhánh hình cây truyền tín hiệu vào đến thân tế bào. Thân tế bào tổng
hợp, xử lý cho tín hiệu đi ra từ thân tế bào này sang neural khác. Điểm liên kết giữa

sợi trục của neural này với nhánh hình cây của neural khác gọi là synapse. Liên kết
giữa các neural này và độ nhạy của mỗi synapse đƣợc xác định bởi quá trình hóa
học phức tạp.

10


Vậy neural sinh học hoạt động theo cách thức sau: nhận tín hiệu đầu vào, xử
lý các tín hiệu này và cho ra một tín hiệu output. Tín hiệu output này sau đó đƣợc
truyền đi làm tín hiệu đầu vào cho các neural khác.
Dựa trên những hiểu biết về neural sinh học mà con ngƣời đã xây dựng
neural nhân tạo với hy vọng tạo nên một mơ hình có sức mạnh nhƣ bộ não.
Phần bên phải của Hình 1.4 mơ tả một tế bào thần kinh nhân tạo. Thân tế bào
thần kinh nhân tạo, từ đây sẽ gọi tắt là neural, gồm có phần tính tổng có trọng số
(weighted sum) các đầu vào và hàm kích hoạt (activation function) f chuyển đổi kết
quả tổng tính đƣợc thành đầu vào cho các neural khác.
Mạng neural nông
Ở dạng cơ bản nhất, mạng neural chứa ba lớp: lớp đầu vào, lớp ẩn và lớp đầu
ra. Nhƣ thể hiện trong hình sau, một mạng chỉ có một lớp ẩn đƣợc gọi là mạng
nơron nơng.

Hình 1.5: Mạng neural nông

11


Các tính tốn đƣợc thảo luận trong các phần trƣớc xảy ra cho tất cả các
nơron trong mạng nơron bao gồm cả lớp đầu ra và một lần truyền nhƣ vậy đƣợc gọi
là truyền chuyển tiếp. Sau khi hoàn thành một lần chuyển tiếp, lớp đầu ra phải so
sánh kết quả của nó với các nhãn chân thực trên mặt đất thực tế và điều chỉnh trọng

số dựa trên sự khác biệt giữa giá trị trung thực mặt đất và các giá trị dự đốn. Q
trình này là một q trình truyền ngƣợc qua mạng neural và đƣợc gọi là quá trình
lan truyền ngƣợc. Quá trình này đƣợc thể hiện nhƣ sau:
- Mạng hoạt động để giảm thiểu một hàm mục tiêu, ví dụ, lỗi phát sinh trên
tất cả các điểm trong mẫu dữ liệu.
- Tại lớp đầu ra, mạng phải tính tốn tổng sai số (chênh lệch giữa giá trị thực
tế và giá trị dự đoán) cho tất cả các điểm dữ liệu và lấy đạo hàm của nó đối với
trọng số ở lớp đó. Đạo hàm của hàm lỗi đối với trọng số đƣợc gọi là gradient của
lớp đó.
- Trọng số cho lớp đó sau đó đƣợc cập nhật dựa trên gradient. Bản cập nhật
này có thể là bản thân gradient hoặc một yếu tố của nó. Yếu tố này đƣợc gọi là tỷ lệ
học tập và nó kiểm soát mức độ lớn của các bƣớc bạn thực hiện để thay đổi trọng
lƣợng của mình.
- Quá trình sau đó đƣợc lặp lại cho một lớp trƣớc đó và tiếp tục cho đến khi
đạt đƣợc lớp đầu tiên.
- Trong quá trình này, các giá trị của gradient từ các lớp trƣớc đó có thể đƣợc
sử dụng lại, giúp tính toán gradient hiệu quả.

12


Kết quả của một lần truyền chuyển tiếp và lan truyền ngƣợc là sự thay đổi
trọng số của các lớp mạng và đƣa hệ thống tiến gần hơn đến việc mơ hình hóa tập
dữ liệu đƣợc cung cấp cho nó. Bởi vì quá trình này sử dụng gradient để giảm thiểu
lỗi tổng thể, quá trình hội tụ các tham số của mạng neural đến mức tối ƣu đƣợc gọi
là gradient descent
Mạng neural sâu
Mạng neural sâu chỉ đơn giản là một mạng neural nơng có nhiều hơn một lớp
ẩn. Mỗi neural trong lớp ẩn đƣợc kết nối với nhiều neural khác. Mỗi mũi tên có một
thuộc tính trọng lƣợng gắn liền với nó, điều này kiểm sốt mức độ ảnh hƣởng của

kích hoạt tế bào thần kinh đó đến những ngƣời khác gắn liền với nó.

Hình 1.6: Mạng neural sâu
Từ „sâu‟ trong học sâu đƣợc gán cho những lớp ẩn sâu này và bắt nguồn từ
hiệu quả của nó. Việc chọn số lớp ẩn phụ thuộc vào bản chất của vấn đề và kích
thƣớc của tập dữ liệu. Hình trên cho thấy một mạng nơron sâu với hai lớp ẩn.

13


1.2.3. Cách thức hoạt động của mạng học sâu

Hình 1.7: Kiến trúc mạng học sâu

Học sâu (Deep Learning) là một tập con của lĩnh vực học máy, mạng học sâu
sử dụng các lớp của mạng neural nhân tạo để thực hiện quá trình học máy. Các
mạng neural này đƣợc xây dựng và phát triển nhƣ bộ não con ngƣời, các nút neural
đƣợc kết nối với nhau.
Học sâu là máy tính sử dụng các lớp khác nhau để đi sâu hơn việc học các
đặc trƣng, đặc điểm của các dữ liệu đƣợc đƣa vào. Dữ liệu đƣợc huấn luyện ở nhiều
cấp độ tƣơng ứng với nhiều mức độ khác nhau của lớp dữ liệu hình thành một hệ
thống phân cấp từ thấp đến cao. Độ sâu của mơ hình đƣợc thể hiện bằng số lớp có
trong mơ hình.
Trong mạng neural nhân tạo (Neural Networks) gồm 3 loại tầng: tầng ẩn
(hidden layer), tầng vào (input), tầng ra (output). Deep learning chính là Neural
netwoks với nhiều Hidden layers.
Dựa vào nguyên tắc hoạt động của mạng neural. Cách thức hoạt động của
mạng học sâu sẽ lần lƣợt trải qua các bƣớc: Với dữ liệu đƣa vào đầu tiên, luồng dữ

14

liệu sẽ đƣợc truyền qua nhiều lớp của đơn vị xử lý phi tuyến tính để chuyển đổi và
trích chọn đặc trƣng đến lớp cuối cùng. Mỗi lớp này sẽ lấy đầu ra của lớp trƣớc đó
để sử dụng làm giá trị đầu vào của lớp tiếp theo. Mỗi lớp này sẽ lấy đầu ra của lớp
trƣớc đó để sử dụng làm giá trị đầu vào .
Ví dụ để giải quyết bài toán dự đoán giá đất, lớp đầu tiên của mạng neural sẽ
xử lý dữ liệu đầu vào thô, ví dụ nhƣ là số lƣợng giao dịch và chuyển nó sang lớp
tiếp theo làm đầu ra. Lớp thứ hai xử lý thông tin của lớp trƣớc bằng cách thêm
thông tin bổ sung nhƣ thời gian của ngƣời dùng và chuyển qua kết quả. Lớp kế tiếp
lấy thông tin của lớp thứ hai và thêm dữ liệu thô nhƣ tiềm năng phát triển và làm
cho mẫu của máy trở nên chính xác hơn .
Điều này tiếp tục trên tất cả các cấp của mạng neural. Các thuật tốn trong
q trình giải quyết vấn đề của mạng học sâu có thể phát triển và làm cho mẫu của
máy trở nên chính xác hơn. Điều này tiếp tục trên tất cả các cấp của mạng neural.
Các thuật tốn trong q trình giải quyết vấn đề của mạng học sâu có thể là học
khơng giám sát hoặc học có giám sát, căn cứ vào việc học đa lớp các đặc trƣng hoặc
sự biểu diễn của dữ liệu .
Tại đây, “ các đặc trƣng cấp cao hơn thu đƣợc từ các đặc trƣng cấp thấp hơn
để tạo thành một biểu diễn theo thứ bậc ”[16] .
Ví dụ với q trình học của con ngƣời: Trải qua mỗi cấp họ, ngƣời học sẽ tập
trung tìm hiểu các khái niệm và định nghĩa cụ thể hơn, đồng thời họ sử dụng các
kiến thức đã từng học ở cấp dƣới để từ đó đi sâu hơn vào việc nghiên cứu, phân tích
các khái niệm trừu tƣợng. Quá trình xây dựng và trình bày dữ liệu này đƣợc gọi là
trích xuất tính năng. Với khả năng trích xuất tính năng tự động đó, các mạng lƣới
thần kinh sâu đã tạo nên một kiến trúc phức tạp của học sâu. Nhƣng trong học máy,
tác vụ này đƣợc thực hiện khi truy xuất các thuật toán cụ thể. Phƣơng pháp huấn
luyện một mạng neural: luôn một mang neural nhân tạo, ta sẽ tìm ra một tập các
tham số.

15


Kết luận chương 1
Trong chƣơng 1, luận văn đã trình bày các nội dung tổng quan về mạng học
sâu. Từ đó thấy đƣợc hiệu quả của việc áp dụng mạng học sâu trong các bài toán
hiện nay. Đồng thời chỉ đƣợc hƣớng đi rõ ràng của luận văn trong việc sử dụng
mạng học sâu cho các bài toán dự báo dựa vào các dữ liệu cũ đã học đƣợc.

16