Ứng dụng mô hình cnn xây dựng hệ thống phát hiện buồn ngủ khi lái xe ô tô

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƢỜNG ĐẠI HỌC QUY NHƠN

NGUYỄN MINH PHÚC

ỨNG DỤNG MƠ HÌNH CNN XÂY DỰNG HỆ THỐNG
PHÁT HIỆN BUỒN NGỦ KHI LÁI XE Ô TÔ

Ngành : Khoa học dữ liệu ứng dụng
Mã số: 8904648

Ngƣời hƣớng dẫn: TS. Lê Xuân Vinh

LỜI CAM ĐOAN

Tôi xin cam đoan đây là cơng trình nghiên cứu của riêng tơi và
đƣợc sự hƣớng dẫn khoa học của TS. Lê Xuân Vinh; Các nội dung nghiên
cứu, kết quả trong đề tài này là trung thực và chƣa công bố dƣới bất kỳ hình
thức nào trƣớc đây. Những số liệu, hình ảnh trong các bảng biểu phục vụ cho
việc phân tích, nhận xét, đánh giá đƣợc chính tác giả thu thập từ các nguồn
khác nhau có ghi rõ trong phần tài liệu tham khảo.

Ngồi ra, trong luận văn cịn sử dụng một số nhận xét, đánh giá
cũng nhƣ số liệu của các tác giả khác, cơ quan tổ chức khác đều có trích dẫn
và chú thích nguồn gốc.

Nếu phát hiện có bất kỳ sự gian lận nào tơi xin hoàn toàn chịu trách
nhiệm về nội dung luận văn của mình. Trƣờng Đại học Quy Nhơn khơng liên
quan đến những vi phạm tác quyền, bản quyền do tôi gây ra trong q trình
thực hiện (nếu có).

Bình Định, ngày tháng năm 2023

Tác giả

LỜI CẢM ƠN

Em xin chân thành cảm ơn các Thầy, các Cô Khoa Công nghệ
Thơng tin Trƣờng Đại học Quy Nhơn đã tận tình dạy dỗ, truyền đạt cho em
nhiều kiến thức quý báu.

Em xin tỏ lòng biết ơn sâu sắc đến thầy TS. Lê Xuân Vinh, ngƣời
đã tận tình giúp đỡ và truyền đạt nhiều kinh nghiệm để đề tài có thể đƣợc thực
hiện và hoàn thành. Xin chân thành cảm ơn các bạn trong lớp Cao học Khoa
học dữ liệu ứng dụng K24B, các bạn Khoa Công Nghệ Thông Tin, Trƣờng
Đại học Quy Nhơn đã giúp đỡ, động viên tôi rất nhiều trong quá trình thực
hiện đề tài.

Em xin chân thành cảm ơn!

Bình Định, ngày tháng năm 2023
Tác giả

MỤC LỤC

LỜI CAM ĐOAN
LỜI CẢM ƠN
DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT
DANH MỤC CÁC BẢNG
DANH MỤC CÁC HÌNH
MỞ ĐẦU .......................................................................................................... 1

1.Lý do chọn đề tài........................................................................................ 1
2. Yêu cầu của đề tài ..................................................................................... 3
3. Đối tƣợng nghiên cứu. .............................................................................. 3
4. Phạm vi nghiên cứu.................................................................................. 4
5. Phƣơng pháp nghiên cứu........................................................................... 4
CHƢƠNG 1: CƠ SỞ LÝ THUYẾT VÀ KỸ THUẬT CHO DEEP
LEARNING ..................................................................................................... 5
1.1 Tổng quan về học máy ............................................................................ 5

1.1.1 Một số khái niệm chung................................................................... 5
1.1.2 Các thuật toán học máy .................................................................... 6
1.2 Mạng nơ-ron (Neural Network) .............................................................. 7
1.2.1 Tổng quan về mạng nơ-ron .............................................................. 7
1.2.2 Các thành phần cơ bản của mạng nơ-ron nhân tạo .......................... 8
1.2.3 Kiến trúc ANN ............................................................................... 13
1.2.4 Hoạt động của ANN....................................................................... 14
1.3 Mạng nơ-ron tích chập (CNN) .............................................................. 15
1.4 Kết luận ................................................................................................. 17
CHƢƠNG 2: MƠ HÌNH CONVOLUTIONAL NEURAL NETWORKS ..... 18
2.1. Cấu trúc của CNN ................................................................................ 18
2.1.1 Lớp tích chập (Convolution layer) ................................................. 18
2.1.2 Lớp gộp (Pooling Layer)................................................................ 20

2.1.3 Lớp hiệu chỉnh ............................................................................... 21
2.1.4 Lớp chuẩn hóa ................................................................................ 22
2.1.5 Lớp kết nối đầy đủ (Fully connected - FC).................................... 23
2.1.6 Lớp đầu ra ...................................................................................... 23
2.2. Một số mơ hình mạng CNN tiêu biểu .................................................. 23
2.3.1 LeNet ............................................................................................. 24

2.3.2 AlexNet ......................................................................................... 25
2.4. Kết luận ................................................................................................ 26
CHƢƠNG 3: ỨNG DỤNG MẠNG CNN TRONG VIỆC PHÁT HIỆN
BUỒN NGỦ KHI LÁI XE Ô TÔ ................................................................. 27
3.1. Giới thiệu và phân tích bài tốn ........................................................... 27
3.2. Xây dựng mạng cho mơ hình ............................................................... 29
3.3. Huấn luyện mơ hình ............................................................................. 31
3.4. Đánh giá mơ hình ................................................................................ 38
KẾT LUẬN .................................................................................................... 41
TÀI LIỆU THAM KHẢO ............................................................................ 42
QUYẾT ĐỊNH GIAO TÊN ĐỀ TÀI (BẢN SAO)

DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT

STT Từ viết tắt Từ Tiếng Anh Giải thích

1 CNN Convolutional Neural Mạng Nơ ron tích-chập

Network

Deep Convolutional Mạng tích-chập đối kháng
2 DCGANs Generative Adversarial sinh mẫu đa lớp

Networks

3 DNN Deep Neural Network Mạng Nơ-ron đa lớp

4 FCNN Fully-connected Neural Mạng Nơ-ron kết nối hoàn

Network chỉnh

Modified National Institute

5 MNIST of Standards and Tập chữ viết tay MNIST

Technology

6 NN Neural Networks Mạng Nơ-ron

7 RNN Recurrent Neural Network Mạng Nơ-ron hồi quy

8 DL Deep Learning Học sâu

DANH MỤC CÁC BẢNG
Bảng 3.1: Hiệu suất của Accuracy và Loss qua 100 lần lặp ........................... 39

DANH MỤC CÁC HÌNH

Hình 1.1: Mơ hình mạng nơ-ron [2].................................................................. 7
Hình 1.2 Đơn vị xử lý (Processing Unit) .......................................................... 8
Hình 1.3 Hàm đồng nhất (Identity function)................................................... 10
Hình 1.4 Hàm bƣớc nhị phân (Binary step function) ..................................... 11
Hình 1.5 Hàm Sigmoid ................................................................................... 12
Hình 1.6 Hàm sigmoid lƣỡng cực ................................................................... 12
Hình 1.7 Đồ thị hàm ReLU ............................................................................. 13
Hình 1.8 Kiến trúc 3 phần của mạng ANN..................................................... 13
Hình 1.9 Mạng nơ-ron nhiều lớp .................................................................... 14
Hình 1.10 Tế bào mạng nơ-ron nhân tạo [3]................................................... 14
Hình 1.11 Cấu trúc cơ bản của mạng Nơ-ron Tích chập (Lecun, 1989) ........ 16
Hình 1.12 Kiến trúc mạng tích chập tiêu biểu [4]........................................... 17

Hình 2.1 Minh họa việc áp dụng phép tính Conv ........................................... 19
Hình 2.2 Minh họa hoạt động của lớp pooling [5].......................................... 21
Hình 2.3 Minh hoạ hoạt động của hàm hiệu chỉnh ......................................... 22
Hình 2.4 LeNet ................................................................................................ 24
Hình 2.5 AlexNet ............................................................................................ 25
Hình 3.1 Sơ đồ thuật tốn phát hiện lái xe buồn ngủ...................................... 27
Hình 3.2 Sơ đồ quá trình tiền xử lý dữ liệu .................................................... 29
Hình 3.3 Sơ đồ xây dựng mơ hình phát hiện lái xe buồn ngủ ........................ 30
Hình 3.4 Sơ đồ huấn luyện mơ hình phát hiện lái xe buồn ngủ...................... 31
Hình 3.5 Sử dụng mơ hình phát hiện lái xe buồn ngủ ................................... 35
Hình 3.6 Đồ thị độ chính xác và giá trị lỗi...................................................... 39

1

MỞ ĐẦU

1.Lý do chọn đề tài.
Theo Hiệp hội các nhà sản xuất ô tô Việt Nam (VAMA), tổng lƣợng bán

ôtô mới trong tháng 8/2023 là 22.540 xe, bao gồm xe 17.335 du lịch; 5.036 xe
thƣơng mại và 169 xe chuyên dụng, tăng 8% so với tháng 7. Tính chung
doanh số của VAMA và TC Group trong tháng 8 vừa qua tồn thị trƣờng ơ tơ
Việt Nam tiêu thụ 25.685 xe, nâng tổng doanh số 8 tháng năm 2023 lên
219.745 xe các loại đƣợc bàn giao cho khách hàng trong cả nƣớc. Trƣớc tình
hình tăng nhanh của thị trƣờng xe ơ tơ ở Việt Nam thì cũng đi kèm theo đó
nhiều bất cập trong xã hội.

Theo nghiên cứu của Trung tâm Nationnal Jewish Health, Mỹ, cho biết:
“Thiếu ngủ là một trong những nguyên nhân chính gây tai nạn giao thơng trên
thế giới. Ƣớc tính khoảng 10-15% tai nạn xe có liên quan đến thiếu ngủ.

Nghiên cứu về giấc ngủ của các ngƣời lái xe 19 quốc gia châu Âu cho thấy tỷ
lệ buồn ngủ khi lái xe cao, trung bình 17%. Trong đó 10,8% ngƣời buồn ngủ
khi lái xe ít nhất một lần trong tháng, 7% từng gây tai nạn giao thông do buồn
ngủ, 18% suýt xảy ra tai nạn do buồn ngủ”.

Thực tế tại Việt Nam, theo thống kê về tai nạn giao thông của cục cảnh
sát giao thông cho biết trong năm 2022, tai nạn giao thông đƣờng bộ xảy ra
11.323 vụ, làm chết 6.265 ngƣời, bị thƣơng 7.777 ngƣời. Trong đó, tai nạn
giao thơng do phƣơng tiện xe ô tô kinh doanh vận tải gây ra 3.904 vụ
(34,48%), làm chết 2.497 ngƣời (39,86%), bị thƣơng 1.820 ngƣời
(23,40%).Từ năm 2022 đến hết 6 tháng đầu năm 2023, cả nƣớc xảy ra 16.229
vụ tai nạn giao thông đƣờng bộ, làm chết 9.086 ngƣời, làm bị thƣơng 11.235

2

ngƣời. Trong đó, tai nạn giao thông do phƣơng tiện kinh doanh vận tải xảy ra
5.778 vụ (35,60%), làm chết 3.724 ngƣời (40,99%), bị thƣơng 2.767 ngƣời
(24,63%).thƣơng nhẹ.

Vì vậy, việc phát triển các hệ thống phát hiện buồn ngủ khi lái xe trở nên
quan trọng và rất cấp thiết.

Từ năm 2006, Deep Learning (học sâu) nổi lên nhƣ một lĩnh vực mới
của học máy. Ngày nay, sự thay đổi lớn nhất trong học sâu là độ sâu của
mạng lƣới thần kinh đã phát triển từ một vài lớp đến hàng trăm lớp, khả năng
nhận dạng các mẫu lớn hơn, với nguồn thông tin lớn hơn giúp tăng khả năng
tiếp nhận các đối tƣợng trở nên rộng hơn, chi tiết hơn. Sự phát triển nhanh
chóng của học sâu, đặc biệt là sự phát triển của mạng nơ-ron tích chập
(CNN), tạo nên sự chủ động trong các ứng dụng liên quan đến thị giác máy.
Mạng nơ-ron tích chập có thể đƣợc ứng dụng để phát hiện tài xế buồn ngủ khi

lái xe.

Mạng nơ-ron tích chập là một mơ hình Deep Learning có thể lấy hình
ảnh đầu vào, gán các trọng số cho các đặc trƣng khác nhau trong hình ảnh và
có thể phân biệt đƣợc từng đặc trƣng này với nhau. Mạng nơ-ron tích chập có
khả năng tự học để chọn ra các đặc trƣng tốt nhất.

Từ năm 1998, kiến trúc LeNet là mạng đầu tiên áp dụng tích chập 2
chiều; Năm 2012, kiến trúc AlexNet là mạng áp dụng CNN đầu tiên chiến
thắng trong cuộc thi ImageNet; Năm 2014, kiến trúc VGG-16 hình thành một
xu hƣớng cải thiện độ chính xác của các mạng học sâu nhờ việc tăng độ sâu
của chúng; Năm 2014, kiến trúc GoogleNet - InceptionV1 kết hợp nhiều bộ
lọc có kích thƣớc khác biệt vào cùng một khối. Định hình kiến trúc khối cho
các kiến trúc mạng CNN chuẩn sau này; Năm 2015, kiến trúc ResNet-50 sử

3

dụng kết nối tắt để ánh xạ các đầu vào từ những layer trƣớc đó tới những
layer sau. Là kiến trúc mạng rất sâu nhƣng có số tham số nhỏ hơn nhờ kế thừa
những kỹ thuật từ GoogleNet; Năm 2016, kiến trúc DenseNet là bƣớc phát
triển tiếp theo của ResNet khi kế thừa kiến trúc khối và phát triển kết nối tắt
theo một mạng dày đặc. Gần đây những kiến trúc mạng nhƣ MobileNet,
SqueezeNet, NasNet và kiến trúc EfficientNet dựa trên việc tìm kiếm tối ƣu
trên không gian các tham số Depth, Width và Channel đã đƣợc Google phát
triển và tạo ra những phƣơng pháp, kỹ thuật tốt nhất mang lại hiệu quả cao
nhất từ trƣớc đến nay trên bộ dữ liệu ImageNet đƣợc sử dụng rộng rãi.

Mô hình CNN (Convolutional Neural Network) là một loại kiến trúc
mạng nơ-ron sâu thƣờng đƣợc sử dụng trong xử lý ảnh và nhận dạng hình
ảnh. CNN đã đạt đƣợc nhiều thành công lớn trong nhiều ứng dụng khác nhau,

bao gồm nhận dạng đối tƣợng, phân loại hình ảnh, xử lý video, và nhiều
nhiệm vụ khác có liên quan đến dữ liệu hình ảnh.

Do những nhận xét nhƣ trên, chúng tôi sẽ đề xuất hƣớng tiếp cận sử
dụng mạng CNN để xây dựng mơ hình phát hiện lái xe buồn ngủ, nhằm cảnh
báo, nhắc nhở lái xe, giúp giảm thiểu tai nạn giao thơng, an tồn cho ngƣời
tham gia giao thông với đề tài “Ứng dụng mơ hình CNN phát hiện buồn
ngủ khi lái xe ơ tô”.

2. Yêu cầu của đề tài
Nghiên cứu cơ sở lý thuyết về học máy, học sâu và mơ hình CNN.
Xây dựng hệ thống phát hiện tài xế ngủ gật và cảnh báo cho tài xế.

3. Đối tƣợng nghiên cứu.
Nghiên cứu cơ sở lý thuyết về học máy, học sâu và mơ hình CNN.

4

Xây dựng hệ thống nhận dạng, phát hiện hình ảnh tài xế ngủ gật bằng
mạng CNN

4. Phạm vi nghiên cứu.
Về thời gian: từ năm 2020 - 2023.
Về không gian: tại Trung Tâm Huấn luyện Và Sát Hạch Lái Xe thuộc

Trƣờng CĐ-CĐ Xây Dựng Và Nông Lâm Trung Bộ.
5. Phƣơng pháp nghiên cứu.

- Phƣơng pháp nghiên cứu tài liệu.
- Phƣơng pháp phân tích, tổng hợp.

- Phƣơng pháp thực nghiệm.

5

CHƢƠNG 1:

CƠ SỞ LÝ THUYẾT VÀ KỸ THUẬT CHO DEEP LEARNING

Trong chƣơng này, chúng tơi sẽ trình bày khái qt về Học máy, các
thuật toán học máy, mạng nơ-ron nhân tạo; chúng tơi sẽ trình bày chi tiết về
mơ hình mạng nơ-ron tích chập Convolution Neural Networks(CNN) .

1.1 Tổng quan về học máy

1.1.1 Một số khái niệm chung

Học máy (Machine Learning) là một phần trong trí tuệ nhân tạo bao gồm
các thuật tốn máy tính đƣợc sử dụng để tự học từ dữ liệu để giải quyết những
vấn đề và xử lý các thơng tin cụ thể nào đó. Mặc dù học máy là một lĩnh vực
trong khoa học máy tính, nó khác với các phƣơng pháp tính tốn truyền
thống. Trong tính tốn truyền thống, các thuật tốn là tập hợp các hƣớng dẫn
đƣợc lập trình rõ ràng đƣợc sử dụng bởi các máy tính để tính tốn hoặc giải
quyết vấn đề. Thay vào đó, thuật tốn học máy cho phép máy tính huấn luyện
dữ liệu đầu vào và sử dụng phân tích thống kê để đƣa ra các giá trị nằm trong
một phạm vi cụ thể. Do đó, học máy tạo điều kiện cho các máy tính xây dựng
mơ hình từ dữ liệu mẫu để tự động hóa các quy trình ra quyết định dựa trên
dữ liệu đầu vào. Ngày nay, học máy đƣợc áp dụng rộng rãi ở mọi lĩnh vực
nhƣ: nhận dạng khuôn mặt (face detection), nhận dạng ký tự quang học
(OCR). Các công cụ đề xuất, đƣợc hỗ trợ bởi học máy, đề xuất những bộ
phim hoặc chƣơng trình truyền hình nào để xem tiếp theo dựa trên sở thích

của ngƣời dùng. Xe tự lái dựa vào học máy để vận hành có thể sớm có mặt
trên thị trƣờng.

Các mơ hình học máy u cầu lƣợng dữ liệu đủ lớn để "huấn luyện" và
đánh giá mơ hình. Sự tăng trƣởng trong dữ liệu lớn (big data) đã cung cấp dữ
liệu cho các thuật toán học máy để cải thiện độ chính xác của mơ hình.

6

1.1.2 Các thuật toán học máy
- Học có giám sát (Supervised learning)

Trong học máy có giám sát, máy tính học cách mơ hình hóa các mối
quan hệ dựa trên dữ liệu đƣợc gán nhãn (Labeled data). Sau khi tìm hiểu cách
tốt nhất để mơ hình hóa các mối quan hệ cho dữ liệu đƣợc gán nhãn, các thuật
toán đƣợc huấn luyện đƣợc sử dụng cho các bộ dữ liệu mới. Một số ví dụ sử
dụng phổ biến của việc học có giám sát là sử dụng dữ liệu lịch sử để dự đốn
các sự kiện có thể xảy ra trong tƣơng lai. Xác định tín hiệu hay biến số tốt
nhất để dự báo lợi nhuận trong tƣơng lai của cổ phiếu hoặc dự đoán xu hƣớng
thị trƣờng chứng khoán.

- Học không giám sát (Unsupervised learning)

Trong học máy khơng giám sát, máy tính khơng đƣợc cung cấp dữ liệu
đƣợc gán nhãn mà thay vào đó chỉ đƣợc cung cấp dữ liệu mà thuật tốn tìm
cách mô tả dữ liệu và phát hiện cấu trúc của chúng. Ví dụ phân loại các cơng
ty thành các nhóm công ty tƣơng đồng dựa trên đặc điểm của chúng thay vì sử
dụng tiêu chuẩn của các nhóm ngành hoặc các quốc gia.

- Học bán giám sát (Semi-Supervised Learning)

Trong học máy bán giám sát, máy tính đƣợc cung cấp dữ liệu nhƣng dữ
liệu mới đƣợc gán nhãn một phần. Do đó phải sử dụng học khơng giám sát
(để khám phá và tìm hiểu cấu trúc dữ liệu đầu vào) và học có giám sát (để dự
đốn cho dữ liệu không đƣợc gán nhãn) để giải quyết.

- Học củng cố (Reinforcement learning)

Học củng cố còn gọi là học tăng cƣờng, thuật toán tự học cách xác định
hành động tùy theo các quan sát về thế giới. Mỗi hành động đều có tác động
tới mơi trƣờng, và mơi trƣờng cung cấp thông tin phản hồi để hƣớng dẫn cho
thuật tốn trong q trình học. Chuyển đổi tƣơng tự học máy có giám sát

7

nhƣng không xây dựng hàm một cách rõ ràng. Thay vì thế, cố gắng đoán kết
quả mới dựa vào các dữ liệu huấn luyện, kết quả huấn luyện, và dữ liệu thử
nghiệm có sẵn trong quá trình huấn luyện.
1.2 Mạng nơ-ron (Neural Network)

ạ ơ-ron
Mạng nơ-ron nhân tạo (Artificial Neural Network: ANN) đƣợc thiết kế
để mô hình một số tính chất của mạng nơ-ron sinh học. Để mô phỏng các tế
bào thần kinh và các khớp nối thần kinh của bộ não con ngƣời, trong mạng
nơ-ron nhân tạo cũng có các thành phần có vai trị tƣơng tự các thành phần
trong mạng nơ-ron thần kinh. Mạng nơ-ron nhân tạo là một cấu trúc khối
gồm các đơn vị tính tốn đơn giản đƣợc liên kết chặt chẽ với nhau trong đó
các liên kết giữa các nơ-ron quyết định chức năng của mạng.
Logistic regresion Nơ-ron là một đơn vị tính tốn có nhiều đầu vào và
một đầu ra. Trong đó, thành phần cơ bản của ANN là nơ-ron nhân tạo có cách

thức hoạt động và xử lý tƣơng tự nơ-ron sinh học. ANN đƣợc hình thành từ số
lƣợng lớn các nơ-ron đƣợc liên kết với nhau theo cấu trúc từng tầng (layer),
các nơ-ron kết nối với nhau giữa các tầng thông qua trọng số liên kết
(weight).

Mơ hình tốn học

Hình 1.1: Mơ hình mạng nơ-ron [2]

8

1.2.2 Các thành phầ cơ bản của mạ ơ-ron nhân tạo
1.2.2.1 Đơn vị xử lý
Còn đƣợc gọi là một nơ-ron hay một nút (node), thực hiện cơng việc đơn
giản: nó nhận tín hiệu vào từ các đơn vị phía trƣớc hay một nguồn bên ngồi
và sử dụng chúng để tính tín hiệu ra sẽ đƣợc lan truyền sang các đơn vị khác.

Hình 1.2 Đơn vị xử lý (Processing Unit)

Trong đó: : các giá trị đầu vào

: các trọng số tƣơng ứng với các đầu vào

: độ lệch (bias)

: đầu vào mạng (net-input)

: đầu ra của nơ-ron

hàm chuyển (hàm kích hoạt).

Trong một mạng nơ-ron có ba kiểu đơn vị:

- Các đơn vị đầu vào (Input units), nhận tín hiệu từ bên ngoài.

- Các đơn vị đầu ra (Output units), gửi dữ liệu ra bên ngoài.

- Các đơn vị ẩn (Hidden units), tín hiệu vào (input) và ra (output) của
nó nằm trong mạng.

9

Mỗi đơn vị có thể có một hoặc nhiều đầu vào nhƣng

chỉ có một đầu ra Một đầu vào tới một đơn vị có thể là dữ liệu từ bên

ngoài mạng, hoặc đầu ra của một đơn vị khác, hoặc là đầu ra của chính nó.

1.2.2.2 Hàm kết hợp

Mỗi một đơn vị trong một mạng kết hợp với các giá trị đƣa vào nó thơng
qua các liên kết với các đơn vị khác, sinh ra một giá trị gọi là net input. Hàm
thực hiện nhiệm vụ này gọi là hàm kết hợp (combination function). Trong
phần lớn các mạng nơ-ron, mỗi đơn vị cung cấp một bộ công cụ nhƣ là đầu
vào cho đơn vị mà nó liên kết. Tổng đầu vào đơn vị đơn giản chỉ là tổng có
trọng số của các đầu vào từ các đơn vị kết nối cộng thêm ngƣỡng hay độ lệch
(bias) :

Trong trƣờng hợp , nơ-ron đƣợc coi là đang ở trong trạng thái

kích hoạt. Tƣơng tự, nếu nhƣ , nơ-ron ở trạng thái kiềm chế. Các đơn

vị với luật lan truyền nhƣ trên là các sigma units.

Trong một vài trƣờng hợp cũng có thể sử dụng các luật lan truyền phức
tạp hơn. Một trong số đó là luật sigma-pi, có dạng:

Rất nhiều hàm kết hợp sử dụng một “độ lệch” hay “ngƣỡng” để tính net

input tới đơn vị. Đối với một đơn vị đầu ra tuyến tính, thơng thƣờng đƣợc

chọn là hằng số và trong bài toán xấp xỉ đa thức .

10
1.2.2.3 Hàm kích hoạt (activation function)
Phần lớn các đơn vị trong mạng nơ-ron chuyển net input bằng cách sử
dụng một hàm vô hƣớng (scalar-to-scalar function) gọi là hàm kích hoạt, kết
quả của hàm này là một giá trị gọi là mức độ kích hoạt của đơn vị (unit’s
activation). Trừ đơn vị đó thuộc lớp ra, giá trị kích hoạt đƣợc đƣa vào một hay
nhiều đơn vị khác. Các hàm kích hoạt thƣờng bị ép vào một khoảng giá trị
xác định. Các hàm kích hoạt hay đƣợc sử dụng là:
- Hàm đồng nhất (Linear function, Identity function)

Nếu coi các giá trị đầu vào là một đơn vị thì chúng sẽ sử dụng hàm này.
Đôi khi một hằng số đƣợc nhân với net input để tạo ra một hàm đồng nhất.

Hình 1.3 Hàm đồng nhất (Identity function)

- Hàm bƣớc nhị phân (Birary step function, Hard limit function)
Hàm này cũng đƣợc biết đến với tên “Hàm ngƣỡng” (Threshold function

hay Heaviside function). Đầu ra của hàm này đƣợc giới hạn vào một trong hai
giá trị:

Hàm này đƣợc dùng trong các mạng chỉ có một lớp. Với đƣợc chọn

11
bằng 1 hàm bƣớc nhị phân có dạng:

Hình 1.4 Hàm bƣớc nhị phân (Binary step function)

- Hàm sigmoid (Sigmoid function (logsig))

Hàm này đặc biệt thuận lợi khi sử dụng cho các mạng đƣợc huấn luyện
(trained) bởi thuật toán Lan truyền ngƣợc (back-propagation), bởi vì nó dễ lấy
đạo hàm, do đó có thể giảm đáng kể tính tốn trong q trình huấn luyện.
Hàm sigmoid đƣợc ứng dụng cho các chƣơng trình ứng dụng mà các đầu ra
mong muốn rơi vào khoảng [0,1].

12

Hình 1.5 Hàm Sigmoid

- Hàm sigmoid lƣỡng cực (Tanh-Sigmoid)

Hàm này có thuộc tính tƣơng tự hàm sigmoid. Nó làm việc tốt đối với
các ứng dụng có đầu ra yêu cầu trong khoảng [-1,1].

Hình 1.6 Hàm sigmoid lƣỡng cực

- Hàm ReLU

Hàm ReLu đƣợc dùng khá nhiều trong huấn luyện các mạng nơ-ron.
ReLu đơn giản lọc các giá trị bé hơn 0. Tức là, nếu đầu vào lớn hơn 0, đầu ra
bằng đầu vào. Hoạt động của ReLU gần với cách hoạt động của các tế bào
thần kinh sinh học của chúng ta.