ĐỒ ÁN CƠ SỞCHUYÊN NGÀNH TÌM HIỂU DEEP LEARNING GIẢI QUYẾT BÀI TOÁN ĐIỂM DANH

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC NGUYỄN TẤT THÀNH
KHOA CƠNG NGHỆ THƠNG TIN

ĐỒ ÁN CƠ SỞ/CHUN NGÀNH

TÌM HIỂU DEEP LEARNING GIẢI QUYẾT BÀI
TOÁN ĐIỂM DANH

Giảng viên hướng dẫn: VƯƠNG XUÂN CHÍ
Sinh viên thực hiện:
LƯƠNG THỊ YẾN NHI
MSSV:
2000001149
Chuyên ngành:
Khoa Học Dữ Liệu
Mơn học:
Đồ Án Cơ Sở
Khóa:
2022

Tp.HCM, tháng

ĐỒ ÁN CƠ SỞ

năm

1

Trường Đại học Nguyễn Tất Thành
Khoa Công Nghệ Thông Tin
   

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập – Tự do – Hạnh phúc
   

NHIỆM VỤ ĐỒ ÁN CƠ SỞ
(Sinh viên phải đóng tờ này vào báo cáo)
Họ và tên: LƯƠNG THỊ YẾN NHI..............................................MSSV: 2000001149
Chuyên ngành: KHOA HỌC DỮ LIỆU.......................................Lớp: 20DTH2A
Email: ĐT: 0364995010
Tên đề tài: TÌM HIỂU DEEP LEARNING GIẢI QUYẾT BÀI TỐN ĐIỂM DANH
Gíao viên hướng dẫn: VƯƠNG XUÂN CHÍ
Thời gian thực hiện: 20/06/2022 đến 20/09/2022
MÔ TẢ ĐỀ TÀI:
Deep Learning là một nhánh của Machine Learning sử dụng mạng lưới thần kinh với nhiều
lớp. Một mạng lưới thần kinh sâu phân tích dữ liệu với các biểu diễn đã học tương tự như
cách một người nhìn vào một vấn đề.
NỘI DUNG VÀ PHƯƠNG PHÁP:
-

Tìm hiểu học sâu (Deep Learning)

-

Các phương pháp tiếp cận vấn đề trong học máy.

-

Kiến trúc mơ hình FaceNet, huấn luyện dữ liệu, nhận diện khn mặt.

-

Kết luận.

U CẦU:

-

Có kiến thúc, đam mê, hiểu biết về công nghệ mới như Mạng neural, Machine Learning.
Deep Learning…. Đọc hiểu tài liệu tiếng Anh, kỹ năng trình bày văn bản trên máy tính
tốt.

-

Có tác phong làm việc chăm chỉ, tinh thần trách nhiệm cao, có khả năng làm việc độc lập
hoặc làm việc trong nhóm tốt.

Nội dung và u cầu đã được thơng qua Bộ mơn.
TP.HCM, ngày
TRƯỞNG BỘ MƠN

tháng

năm

(Ký và ghi rõ họ tên)

GIÁO VIÊN HƯỚNG DẪN
(Ký và ghi rõ họ tên)

ThS. Vương Xuân Chí

ThS. Vương Xuân Chí

ĐỒ ÁN CƠ SỞ

2


LỜI CẢM ƠN
Lời đầu tiên, em xin gửi lời cảm ơn chân thành đến giảng viên Vương Xuân Chí - thầy phụ trách
hướng dẫn bộ môn “đồ án cơ sở” đã giúp đỡ em rất nhiều trong quá trình lựa chọn cũng như là
giải đáp các vấn đề đồ án để em có thể hồn thành một cách hồn thiện nhất.
Tuy trong q trình thực hiện đồ án cịn có một vài khó khăn nhưng mai mắn là có bạn cùng
nhóm san sẻ khối lượng cơng việc nên một phần nào đó cũng được giải quyết.
Cảm ơn thầy đã tạo điều kiện tốt nhất cho em thực hiện đồ án, em mong nhận được sự quan tâm
và những ý kiến của thầy để em có thể rút ra được những kinh nghiệm tốt hơn cho những đồ án
sau nữa.
Trân trọng cảm ơn!

ĐỒ ÁN CƠ SỞ

3


LỜI MỞ ĐẦU
Hiện nay deep learning được áp dụng rộng rãi trong đời sống con người đặt biệt là trong

môi trường học tập. Kể từ sau khi thành công của AlexNet trong cuộc thi ImageNet năm
2012, Machine Learning (ML) đã trở thành một chủ đề hấp dẫn dối với sinh viên và các
kỹ sư cơng nghệ. Các tập đồn lớn đổ dồn tài nguyên vào phát triển các trung tâm nghiên
cứu và các hệ thống tính tốn để giải quyết các bài toán kinh doanh cũng như thu hút
nhân tài.
Những năm gần đây, AI - Artificial Intelligence (Trí Tuệ Nhân Tạo), và cụ thể hơn là
Machine Learning nổi lên như một bằng chứng của cuộc cách mạng công nghiệp lần thứ
tư (1 - động cơ hơi nước, 2 - năng lượng điện, 3 - cơng nghệ thơng tin). Trí Tuệ Nhân
Tạo đang len lỏi vào mọi lĩnh vực trong đời sống mà có thể chúng ta khơng nhận ra. Xe
tự hành của Google và Tesla, hệ thống tự tag khuôn mặt trong ảnh của Facebook, trợ lý
ảo Siri của Apple, hệ thống gợi ý sản phẩm của Amazon, hệ thống gợi ý phim của
Netflix, máy chơi cờ vây AlphaGo của Google DeepMind,... chỉ là một vài trong vô vàn
những ứng dụng của AI/Machine Learning. Machine Learning là một tập con của AI.
Theo định nghĩa của Wikipedia:
Machine learning is the subfield of computer science that "gives computers the ability
tolearn without being explicitly programmed". Nói đơn giản, Machine Learning là một
lĩnh vực nhỏ của Khoa Học Máy Tính, nó có khả năng tự học hỏi dựa trên dữ liệu đưa
vào mà không cần phải được lập trình cụ thể. Những năm gần đây, khi mà khả năng tính
tốn của các máy tính được nâng lên một tầm cao mới và lượng dữ liệu khổng lồ được
thu thập bởi các hãng công nghệ lớn, Machine Learning đã tiến thêm một bước tiến dài
và một lĩnh vực mới được ra đời gọi là Deep Learning (Học Sâu). Deep Learning đã giúp
máy tính thực thi những việc tưởng chừng như không thể vào 10 năm trước: phân loại cả
ngàn vật thể khác nhau trong các bức ảnh, tự tạo chú thích cho ảnh, bắt chước giọng nói
và chữ viết của con người, giao tiếp với con người, hay thậm chí cả sáng tác văn hay âm
nhạc. Mối quan hệ giữa Artificial Intelligence, Machine Learning, và Deep Learning đ.
Xuất phát từ yêu cầu thực tế, đang rất cần có nhưng nghiên cứu về vấn đề này. Chính vì
ĐỒ ÁN CƠ SỞ

4

vậy chúng tôi đã chọn đề tài “Nghiên cứu mô hình học sâu (deep-learning)” làm chuyên
đề với mong muốn phần nào áp dụng vào bài toán thực tế.
Một trong những ứng dụng phổ biến nhất của deep learning là vấn đề giải quyết bài tốn
điểm danh mà trong đó nổi bật nhất là điểm danh bằng nhận diện khuôn mặt.
Dưới đây là một số hiểu biết về deep learning giải quyết bài toán điểm danh cụ thể là
điểm danh nhận diện khuôn mặt.

ĐỒ ÁN CƠ SỞ

5


NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN
............................................................................................................................................
............................................................................................................................................
............................................................................................................................................
............................................................................................................................................
............................................................................................................................................
............................................................................................................................................
............................................................................................................................................
............................................................................................................................................
............................................................................................................................................
............................................................................................................................................
............................................................................................................................................
............................................................................................................................................
............................................................................................................................................
............................................................................................................................................
Điểm đồ án: ........................................................................................................................
............................................................................................................................................

............................................................................................................................................
............................................................................................................................................
TPHCM, Ngày …… tháng …… năm
Giáo viên hướng dẫn
(Ký tên, đóng dấu)

TRƯỜNG ĐẠI HỌC NGUYỄN TẤT
ĐỒ ÁN CƠ SỞ

KỲ THI KẾT THÚC HỌC PHẦN
6


THÀNH

HỌC KỲ III NĂM HỌC 2021-2022

TRUNG TÂM KHẢO THÍ
PHIẾU CHẤM THI TIỂU LUẬN/ĐỒ ÁN

Môn thi: ĐỒ ÁN CƠ SỞ
Lớp học phần: 20DTH1D
Nhóm sinh viên thực hiện:
1. Lương Thị Yến Nhi
Tham gia đóng góp: Tìm kiếm thơng
tin, soạn word
2. Ngơ Dương Th Vy
Tham gia đóng góp: Tìm kiếm thơng
tin, soạn word
Ngày thi: 22/9/2022

Phòng thi: L.507
Đề tài tiêủ luận/báo cáo của sinh viên:
Phần đánh giá của giảng viên (căn cứ trên trang rubrics của mơn học):
Tiêu chí
Điểm tối Điểm đạt
(theo CĐR
Đánh giá của GV
đa
được
HP)
Cấu trúc của
báo cáo
Nội dung
- Các nội
dung thành
phần
- Lập luận
- Kết luận
Trình bày
TỔNG ĐIỂM
Giảng viên chấm thi
(ký, ghi rõ học tên)

ĐỒ ÁN CƠ SỞ

7


MỤC LỤC
Trang

TRANG BÌA…...…………………………………………………………………………I
NHIỆM VỤ ĐỒ ÁN……………………………………………………………………..II
LỜI CẢM ƠN…………………………………………………………………………III
LỜI MỞ ĐẦU…………………………………………………………………………IV
NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN…………………………………….V
PHIẾU CHẤM THI TIỂU LUẬN……………………………………………………VII
MỤC LỤC……………………………………………………………………………VIII
DANH MỤC CÁC BẢNG HÌNH………………………………………………………V
DANH MỤC CÁC CHỮ VIẾT TẮT………………………………………………….VII
Chương I:Tìm hiểu sâu về deep learning………………………………………………..1
1.Deep learning là gì? …………………………………………………………..1
2.Các trường hợp sử dụng deeplearing………………………………………….1
3.Kỹ thuật của deep learning…………………………………………………….2
Vectorization………………………………………………………………2
Mini-batch gradient descent………………………………………………3
Bias và variance…………………………………………………………..5
Dropout…………………………………………………………………...7
Activation…………………………………………………………………8
Chương II:Các phương pháp tiếp cận vấn đề trong học máy…………………………..11
1.Học máy là gì? ………………………………………………………………11
2.Máy học có các loại thuật tốn nào? …………………………………………12
3.Cơng nghệ máy học được sử dụng trong lĩnh vực gì?......................................16
4.Cách tiếp cận vấn đề trong máy học…………………………………………..21
Các vấn đề của máy học…………………………………………………21
Phương pháp tiếp cận vấn đề học máy……………………………….….23
Chương III:Kiến trúc mơ hình facenet, huấn luyện dữ liệu, nhận diện khn mặt……24
1.Kiến trúc mơ hình facenet…………………………………………………….24
Mơ hình facenet là gì? …………………………………………………..24
Khái qt thuật tốn……………………………………………………...24
Triple loss………………………………………………………………..25

Lựa chọn triple images input…………………………………………….27
2.Huấn luyện dữ liệu……………………………………………………………29
Huấn luyện dữ liệu…………………………………………………….29
ĐỒ ÁN CƠ SỞ

8


Huấn luyện dữ liệu…………………………………………………….29
3.Nhận diện khuôn măt……………………………………………………….36
Nhận diện khuôn mặt là gì? …………………………………………..36
Các ứng dụng phổ biến………………………………………………..37
Các loại hệ thống xác thực………………………………………….…38
Các phương pháp xác thực khn mặt………………………………...38
Các thuật tốn nhận diện khuôn mặt…………………………………..40
Chương IV:Kết luận………………………………………………………………….46
Tài liệu tham khảo……………………………………………………………………47

ĐỒ ÁN CƠ SỞ

9


DANH MỤC CÁC BẢNG HÌNH
Trang
CHƯƠNG I: TÌM HIỂU SÂU VỀ DEEP LEARNING
Hình 1.Mơ tả deep learning ……………………………………………………………1
Hình 2.Mơ tả kỹ thuật vectorization……………………………………………………2
Hình 3.Biểu đồ batch gradienet descent………………………………………………..3
Hình 4.Biểu đồ mini-batch gradient descent…………………………………………...4

Hình 5.Biểu đồ Stochastic gradient descent……………………………………………4
Hình 6.Bias and variane………………………………………………………………..6
Hình 7.Thơng số đánh giá bias và variance……………………………………………6
Hình 8.Mơ hình dropout………………………………………………………………..7
Hình 9.Mơ hình neural network 2-3-3-1……………………………………………….8
Hình 10.Q trình backpropagation……………………………………………………9
Hình 11.Thuật tốn đạo hàm…………………………………………………………...9
Hình 12.Đồ thị Sigmoid activation function………………………………………….10
Hình 13.Đồ thị Tanh activation function……………………………………………..10
Hình 14. Đồ thị ReLU activation function……………………………………………11
Hình 15.Leaky ReLU…………………………………………………………………11
CHƯƠNG II: CÁC PHƯƠNG PHÁP TIẾP CẬN VẤN ĐỀ TRONG HỌC MÁY
Hình 1.Sơ đồ máy học………………………………………………………………...12
Hình 2.Thuật tốn máy học giám sát…………………………………………………13
Hình 3.Thuật tốn máy học khơng giám sát………………………………………….14
Hình 4.Thuật tốn máy học nửa giám sát…………………………………………….15
Hình 5.Thuật tốn máy học tăng cường………………………………………………16
Hình 6.Cơng nghệ máy học sản xuất…………………………………………………17
Hình 7.Cơng nghệ máy học chăm sóc sức khoẻ và khoa học đời sống………………18
Hình 8.Cơng nghệ máy học dịch vụ tài chính………………………………………...19
Hình 9.Cơng nghệ máy học bán lẻ……………………………………………………20
ĐỒ ÁN CƠ SỞ

10


Hình 10.Cơng nghệ máy học truyền thơng và giải trí………………………………21
CHƯƠNG III: KIẾN TRÚC MƠ HÌNH FACENET, HUẤN LUYỆN DỮ LIỆU, NHẬN
DIỆN KHN MẶT
Hình 1.Ví dụ về triple loss………………………………………………………….26

Hình 2.Nhận diện khn mặt……………………………………………………….29
Hình 3.Mơ hình khối huấn luyện dữ liệu……………………………………………30
Hình 4.Biểu đồ training set and test set……………………………………………..34
Hình 5.Biểu đồ sai số dự đốn validation…………………………………………...36
Hình 6.Mơ tả nhận diện khn mặt bằng phương pháp truyền thống………………39
Hình 7.Mơ tả nhận diện khn mặt 3D……………………………………………..40
Hình 8.Thuật tốn nhận diện khn mặt Learning similarity………………………42
Hình 9.Thuật tốn nhận diện khn mặt siam network…………………………….44

ĐỒ ÁN CƠ SỞ

11


DANH MỤC CÁC TỪ VIẾT TẮT
STT
1
2
3
4
5
6
7
9
10
11
12
14
15

Chữ viết tắt
FC layer
AWS
PCA
A,P,N
RMSE
MAE
ATM
SVM
MLP
CNN
K_NN
ReLU
AI

ĐỒ ÁN CƠ SỞ

Viết đầy đủ
Fully Connected
Amazon Web Service
Principal Component
Anchor, Positive, Negative
Root-mean-square deviation
Mean Area Of Effectiveness
Automatic Teller Machine
Support Vector Machine
Multi-layer Perceptron
Convolution Neural Network
Instance-based
Rectified Linear Unit

Artificial Intelligence

12


CHƯƠNG I: TÌM HIỂU SÂU VỀ DEEP LEARNING
Deep Learning là một trong những công nghệ được sử dụng phổ biến nhất hiện
nay trong nhiều lĩnh vực. Nó đẩy nhanh sự tiến bộ trong đa dạng các lĩnh vực dịch tự
động, nhận diện giọng nói,…
1: Deep learning là gì?
Cơng nghệ Deep Learning là một phần nhỏ của Machine learning. Deep learning
thường tập trung xử lý các vấn đề liên quan đến mạng thần kinh nhân tạo. Qua đó, nhằm
nâng cấp các cơng nghệ như nhận diện giọng nói, tầm nhìn máy tính hay xử lý ngơn ngữ
tự nhiên.
Học sâu (deep learning): Một kỹ thuật nhỏ của tính năng Machine Learning. Cho
phép máy tự đào tạo chính mình.

Hình 1.Mơ tả deep learning
2: Các trường hợp sử dụng Deep Learning:


-

Sử dụng khi dữ liệu của bạn phần lớn không có cấu trúc và có rất nhiều dữ liệu.

-

Các thuật tốn của deep learning có thể lấy dữ liệu lộn xộn hay khơng có nhãn
rộng rãi: video, hình ảnh, âm thanh, bản ghi, văn bản và sắp xếp đủ thứ tự cho dữ
liệu đó để đưa ra dự đốn hữu ích, thiết lập hệ thống phân cấp các tính năng. Từ

đó, tạo nên kết quả một hình ảnh hoặc âm thanh tạo thành một từ thơng qua lời
nói.

3: Kỹ thuật của Deep Learning:
Một số kỹ thuật cơ bản của deep learning:
a) Vectorization:
-

Việc biểu diễn bài tốn dưới dạng vectorization nó khơng chỉ giúp code gọn lại mà
cịn tăng tốc độ tính tốn một cáchs đáng kể khi thực hiện các phép tính trên
vector, ma trận so với for-loop.

Hình 2. Mơ tả kỹ thuật vectorization
-

Nếu dùng for-loop mất hơn 4s để nhân 2 vector trong khi thư viện numpy để tính
chỉ mất 0.01s, tại sao?
+ Giả sử có 10 tấn hàng vận chuyển từ quận 12 đến quận 7 và bạn có một
xe tải với vận tải chỉ được 5 tấn mỗi tần. Nếu chúng ta chất đầy hàng trong mỗi


lần chở thì chỉ cần 2 lần là đã chuyển được hết số hàng. Nhưng nếu chúng ta chất
1 tấn trong mỗi lần chở thì phải mất tận 10 lần để có thể vận chuyển được hết số
hàng.
+ Như vậy, khi nhân 2 vector ở trên chúng ta cần thực hiện 10000000 phép
tính nhân 2 số. Giả sử máy tính có thể tính tối đa 1000 phép tính nhân 1 lúc.
Chúng ta dùng for-loop giống như mỗi thời điểm chúng ta yêu cầu máy tính thực
hiện một phép nhân, nên muốn nhân 2 vector ta cần 10000000 đơn vị thời gian.
Tuy nhiên thư viện numpy sẽ tối ưu việc tính tốn bằng cách u cầu máy tính
thực hiện 1000 phép nhân cùng lúc, tức là chỉ cần 10000000/1000 = 10000 đơn vị

thời gian để hoàn thành phép nhân 2 vector. Vậy nên, việc vectorization thơng
thường sẽ tính tốn nhanh hơn.
b) Mini-batch gradient descent:
-

Các loại thuật toán trong mini-bacth gradient:
+ Batch gradient descent: Dùng tất cả dữ liệu trong training set cho mỗi lần thực
hiện bước tính đạo hàm

Hình 3.Biểu đồ batch gradient descent
+ Mini-batch gradient descent: Dùng một phần dữ liệu trong training set cho mỗi
lần thực hiện bước tính đạo hàm


Hình 4. Biểu đồ mini-batch gradient descent


+ Stochastic gradient descent: Chỉ dùng một dữ liệu trong training set cho mỗi lần
thực hiện bước tính đạo hàm.

-

Hình 5. Biểu đồ Stochastic gradient descent
Batch gradient descent thường được dùng khi số lượng dữ liệu trong training set
nhỏ hơn 2000. Với lượng dữ liệu lớn thì mini-batch gradient descent được sử
dụng. Nó có thể giải quyết được vấn đề lượng dữ liệu quá lớn như trong batch
gradient descent, hơn nữa đỡ nhiễu và có thể dùng vectorization s với stochastic

-

gradient descent nên thường được sử dụng trong deep learning.
Các thông số trong mini-batch gradient descent:
+ batch_size: Là size trong mini-batch gradient, nghĩa là dùng bao mhieeu dữ liệu
cho mỗi lần tính và cập nhật hệ số.


+ Steps_per_epoch: Là bao nhiêu lần thực hiện bước 2 trong gradient descent
trong mỗi epoch. Mặc định sẽ là số lượng dữ liệu chia cho bath_size. Đơn giản là
mỗi epoch sẽ dùng hết các dữ liệu để tính gradient descent.
+ epochs: Số lượng epoch thực hiện trong quá trình training.
c) Bias và variance:
-

-

-

Bias là gì?
Bias là độ lệch, biểu thị sự chênh lệch giữa giá trị trung bình mà mơ hình dự đốn
và giá trị thực tế của dữ liệu.
Variance là gì?
Variance là phương sai, biểu thị độ phân tán của các giá trị mà mơ hình dự đốn so
với giá trị thực tế.
Giá trị thật dữ liệu ở giữa trung tâm các đường tròn. Các dấu x là giá trị dự đoán.
Nếu high bias là giá trị dự đoán rất xa tâm. Tuy nhiên nếu high variance thì các giá
trị dự đoán phân tán rộng dãn đến việc ra giá trị thực tế => Ta mong muốn low và
low variance.

Hình 6. Bias and variance
-

Đánh giá bias và variance:


+ Có 2 thơng số thường được sử dụng để đánh giá bias và variance cuar mơ hình là
training set error và validation set error.

Hình 7. Thơng số đánh giá bias và variance
+ Ta muốn giải quyết model là low bias và low variance. Một số cách giải quyết
vấn đề high bias và high variance:
 Giải quyết high bias ( underfitting ): Ta cần tóc độ phức tạp của model:
Tăng số lượng hidden layer và số node trong mỗi hidden layer.
Dùng nhiều epochs hơn để train model.
 Giải quyết high variance ( overfitting ):
Thu thập thêm dữ liệu hoặc dùng data augmentation.
Dùng regularization: L1,L2, dropout.
d) Dropout:
-

Dropout là gì?
Dropout với hệ số p nghĩa là trong quá trình train model, với mỗi lần thực hiện cập
nhật hệ số trong gradient ta ngẫu nhiên loại bỏ p% số lượng node trong layer đấy,
hay nói cáh khác là dữ lại (1-p%) node. Mỗi layer có thể có các hệ số dropout p
khác nhau.


Ví dụ:

-

Hình 8. Mơ hình dropout
Dropout hạn chế việc overfitting:
Overfitting là mơ hình đang dùng phá phức tạp so với mơ hình thật dữ liệu. Khi ta
dùng dropout như trên thì rõ ràng mơ hình bên phải đơn giản hơn=> tránh
overfitting.
Thêm vào đó. Vì mỗi bước train model thì ngẫu nhiên (1-p%) các node bị loại bỏ
nên model không thể phụ thuộc vào bất kì node nào của layer trước thay vào đó có

-

xun hướng trải đều weight, giống như trong L2 reularization => tránh overfitting.
Lời khuyên cho người dùng dropout:
+ Hệ số p nên ở khoảng [0.2; 0.5]. Nếu p q nhỏ thì ko có tác dụng chống
overfitting, tuy nhiên nếu p quá lớn thì gần như loại bỏ layer đấy và có thể dẫn đến
underfitting.
+ Nên dùng model lớn, phức tạp hơn vì ta có dropout chống overfitting.
+ Dropout chỉ nên dùng fully connected layer, ít khhi được dùng cho convNet
layer.
+ Hệ số p ở các layer nên tỉ lệ với số lượng node trong FC layer đó.

e) Activation funciton:
-

Non-linear activation function:


Hàm activation function được dùng sau bước tính tổng linear trong neural network
hoặc sau convolutional layer trong CNN. Và hàm activation là non-linear
-

function.
Vanishing và exploding gradient:
Backpropagation là thuật toán được dùng để tính đạo hàm các hệ số trong neural
network với loss function rồi áp dụng gradient descent để tìm các hệ số.

Hình 9. Mơ hình neural network 2-3-3-1

Hình 10. Quá trình backpropagation


Ta có:

-

Hình 11. Thuật tốn đạo hàm
Một số activation thơng dụng:
+ Sigmoid activation function


Hình 12. Đồ thị Sigmoid activation function
+ Tanh activation function:

Hình 13. Đồ thị Tanh activation function


+ ReLU activation function:

Hình 14. Đồ thị ReLU activation function
+ Leaky ReLU:

Hình 15. Leaky ReLU
CHƯƠNG II: CÁC PHƯƠNG PHÁP TIẾP CẬN VẤN ĐỀ TRONG HỌC MÁY
1: Học máy là gì?


Máy học là môn khoa học nhằm phát triển những thuật tốn và mơ hình thống kê
mà các hệ thống máy tính sử dụng để thực hiện các tác vỵ dựa vào khuôn mẫu và suy
luận mà không cần hướng dẫn cụ thể.

Hình 1. Sơ đồ máy học
Các hệ thống máy tính sử dụng thuật tốn máy học để xử lý khối lượng lớn dữ
liệu trong quá khứ và xác định các khuôn mẫu dữ liệu. Việc này cho phép chúng dự đốn
chính xác hơn từ cùng một tập dữ liệu đầu vào cho trước.
2: Máy học có các loại thuật toán nào?