Ứng dụng deep learning chuyển đổi màu cho ảnh đen trắng

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC QUY NHƠN

NGUYỄN TRẦN THANH NHẬT

ỨNG DỤNG DEEP LEARNING
CHUYỂN ĐỔI MÀU CHO ẢNH ĐEN TRẮNG

Ngành: KHOA HỌC MÁY TÍNH
Mã ngành: 8480101

Người hướng dẫn: TS. LÊ XUÂN VINH

LỜI CAM ĐOAN

Nội dung của đề án có tham khảo và sử dụng các tài liệu, thông tin
được đăng tải trên những tạp chí, và các trang web theo danh mục tài liệu
tham khảo. Tất cả các tài liệu tham khảo đều có nguồn gốc rõ ràng và được
trích dẫn hợp lệ. Tôi xin cam đoan đây là đề tài nghiên cứu của riêng tôi. Các
số liệu, kết quả nêu trong đề án là trung thực và chưa từng được công bố trong
bất kỳ cơng trình nào khác.

Bình Định, ngày 05 tháng 10 năm 2023

LỜI CẢM ƠN

Để hồn thành đề tài này, tơi xin chân thành cảm ơn các thầy, cô là
giảng viên trường Đại học Quy Nhơn, đã ln tận tình chỉ bảo và tạo điều
kiện thuận lợi cho bản thân tôi trong suốt quá trình học tập tại trường. Xin
chân thành cảm ơn đến các thầy cô giảng viên khoa Công nghệ thơng tin đã
tận tình hướng dẫn, giúp bản thân tơi khám phá được nhiều kiến thức hay và

bổ ích để vận dụng vào thực tiễn.

Đặc biệt, tôi xin được gửi lời cảm ơn chân thành và sâu sắc đến giảng
viên hướng dẫn - TS. Lê Xuân Vinh, người đã tận tình hướng dẫn, giúp đỡ tơi
hồn thành đề tài này.

Cuối cùng, tôi xin chân thành cảm ơn đến các anh, chị, em và các bạn
học viên lớp cao học KHMT-K24B đã luôn động viên, hỗ trợ và nhiệt tình
chia sẻ những kinh nghiệm trong suốt quá trình học tập, nghiên cứu và thực
hiện đề tài đề án thạc sĩ này hoàn thiện.

Bình Định, ngày 05 tháng 10 năm 2023

MỤC LỤC

LỜI CAM ĐOAN
LỜI CẢM ƠN
DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT
DANH MỤC CÁC BẢNG
DANH MỤC CÁC HÌNH
MỞ ĐẦU .......................................................................................................... 1

1. Lý do chọn đề tài ..................................................................................... 1
2. Mục tiêu nghiên cứu ................................................................................ 2
3. Đối tượng và phạm vi nghiên cứu ........................................................... 2
4. Nội dung nghiên cứu ............................................................................... 3
5. Phương pháp nghiên cứu ......................................................................... 3
CHƯƠNG 1. HỌC MÁY VÀ HỌC SÂU...................................................... 4
1.1. Giới thiệu chương .................................................................................... 4
1.2. Tổng quan về học máy và học sâu .......................................................... 4

1.2.1. Học máy (Machine Learning) ........................................................... 4
1.2.2. Học sâu (Deep Learning).................................................................. 6
1.3. Mạng Nơ-ron nhân tạo (ANN) và mạng Nơ-ron nhân tạo nhiều lớp
(DNN) ............................................................................................................... 7
1.3.1. Mạng Nơ ron nhân tạo (ANN): ......................................................... 7
1.3.2. Mạng học sâu (Deep Neural Network - DNN) ............................... 10
1.4. Mạng Nơ-ron tích chập (CNN - Convolutional Neural Network) ........ 12
1.5. Học chuyển giao và tinh chỉnh mơ hình huấn luyện ............................. 14
1.6. Kết luận chương .................................................................................... 15
CHƯƠNG 2. BÀI TOÁN CHUYỂN ĐỔI MÀU VÀ MẠNG U-NET ...... 16
2.1. Giới thiệu chương .................................................................................. 16
2.2. Bài toán chuyển đổi màu cho ảnh đen trắng ......................................... 16

2.3. Các hệ màu phổ biến ............................................................................. 17
2.3.1. Hệ màu chuẩn RGB......................................................................... 17
2.3.2. Hệ màu LAB .................................................................................... 19
2.3.3. Hệ màu HSV .................................................................................... 20

2.4. Mạng U-net............................................................................................ 21
2.4.1. Giới thiệu......................................................................................... 21
2.4.2. Kiến trúc mạng U-net...................................................................... 21
2.4.3. Xây dựng mạng học sâu U-net........................................................ 24
2.4.4. Tính tốn hàm Loss trong U-net ..................................................... 25

2.5. Các bước tiếp cận và giải quyết bài toán............................................... 25
2.5.1. Chuẩn bị dữ liệu.............................................................................. 25
2.5.2. Xây dựng mơ hình U-net ................................................................. 26
2.5.3. Huấn luyện Mơ hình........................................................................ 26
2.5.4. Đánh giá và tinh chỉnh.................................................................... 26
2.5.5. Dự đốn và tơ màu .......................................................................... 26

2.5.6. Triển khai, ứng dụng mơ hình ......................................................... 26

2.6. Kết luận chương .................................................................................... 27
CHƯƠNG 3. THỰC NGHIỆM VÀ KẾT QUẢ ......................................... 28

3.1. Giới thiệu chương .................................................................................. 28
3.2. Môi trường huấn luyện .......................................................................... 28

3.2.1. Google Colab .................................................................................. 28
3.2.2. Kaggle ............................................................................................. 29
3.3. Cơ sở dữ liệu huấn luyện và tiền xử lý.................................................. 29
3.3.1. Dataset ............................................................................................ 29
3.3.2. Nạp dữ liệu và tiền xử lý dữ liệu ..................................................... 32
3.4. Xây dựng mơ hình và huấn luyện theo mơ hình ................................... 33
3.4.1. Xây dựng mơ hình ........................................................................... 33
3.4.2 Huấn luyện theo mơ hình ................................................................. 37

3.5. Tiêu chí đánh giá ................................................................................... 42
3.6. Kết quả và đánh giá ............................................................................... 43

3.6.1. Kết quả ............................................................................................ 43
3.6.2. Đánh giá.......................................................................................... 53
3.7. Triển khai mơ hình ................................................................................ 56
3.8. Kết luận chương .................................................................................... 57
KẾT LUẬN VÀ KIẾN NGHỊ ...................................................................... 58
DANH MỤC TÀI LIỆU THAM KHẢO..................................................... 61
QUYẾT ĐỊNH GIAO TÊN ĐỀ TÀI ĐỀ ÁN THẠC SĨ (BẢN SAO)

DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT, TỪ TIẾNG ANH

Ký hiệu/ Từ viết tắt/ Giải thích
Từ tiếng Anh
AI Artificial Intelligence
ANN (Trí tuệ nhân tạo)

Conv Artificial Neural Network
(Mạng Nơron nhân tạo)
CNN
CPU Convolution
DL
DNN Convolutional Neural Network
GPU (Mạng nơron tích chập)
ML Central Processing Unit
ReLu Bộ xử lý trung tâm
TPU Deep Learing
(Học sâu)
Deep Neural Network

(Mạng Nơron nhân tạo nhiều lớp)
Graphics Processing Unit
(Bộ xử lý đồ hoạ)
Machine Learning
(Học máy)
Rectified Linear Unit
(Hàm kích hoạt phi tuyến)

Tensor Processing Unit

Train Huấn luyện

Validation Giám sát

Test Kiểm tra

Loss Mất Mát

Accuracy Chính xác

Epoch Vòng huấn luyện

DANH MỤC CÁC BẢNG

Ký hiệu Nội dung Trang

Bảng 1.1 Một số hàm truyền thông dụng 9

Bảng 3.1 Bảng phân chia tập dữ liệu 36

Bảng 3.2 Bảng theo dõi các giá trị Loss và Accuracy cho tập train 56

và tập validation

DANH MỤC CÁC HÌNH

Ký hiệu Nội dung Trang

Hình 1.1 Mạng nơ-ron nhân tạo ANN 7

Hình 1.2 Cấu tạo một nơ-ron 8

Hình 1.3 Minh họa Non-deep và Deep neural network 11

Hình 1.4 Mơ hình mạng nơron tích chập 12

Hình 2.1 Các kênh của hệ màu RGB 17

Hình 2.2 Hệ màu RGB 18

Hình 2.3 Phân bố màu các kênh Lab 19

Hình 2.4 Hệ màu HSV 20

Hình 2.5 Kiến trúc U-net 22

Hình 3.1 Dataset Human-faces 30

Hình 3.2 Dataset Landscape 30

Hình 3.3 Quá trình huấn luyện thực tế đến Epoch 200 43

Hình 3.4 Kết quả chuyển đổi màu một số ảnh trên tập kiểm tra 46

Hình 3.5 Kết quả chuyển đổi màu một số hình ảnh Bác Hồ 49

Hình 3.6 Kết quả chuyển đổi màu ảnh các cô gái TNXP ở Ngã ba 50

Đồng Lộc

Hình 3.7 Kết quả chuyển đổi màu ảnh một số nghệ sĩ 51

Ký hiệu Nội dung Trang

Hình 3.8 Kết quả chuyển đổi màu ảnh phong cảnh 52

Hình 3.9 Kết quả chuyển đổi một số ảnh cá nhân 53

Hình
Đồ thị hàm Loss ở 200 epoch đầu và 50 epoch tiếp theo 54

3.11

Hình Đồ thị hàm Accuracy ở 200 epoch đầu và 50 epoch tiếp
55

3.12 theo

Hình Demo chương trình chuyển đổi màu 57

3.13

1

MỞ ĐẦU

1. Lý do chọn đề tài

Từ nhu cầu thực tế, đó là việc khơi phục màu sắc, chuyển đổi màu cho các
hình ảnh đen trắng, ảnh cũ để hình ảnh trở nên sinh động, chân thực hơn.
Hiện nay bài toán chuyển đổi màu cho ảnh đen trắng vẫn đang được nghiên
cứu và đề ra nhiều giải pháp để thực hiện nhằm mang lại hiệu quả cao nhất.

Bài toán đặt ra không mới và đã xuất hiện từ lâu. Việc chuyển đổi ảnh màu
thành ảnh đen trắng có cơng thức để thực hiện nên có thể dễ dàng chuyển đổi
nhanh chóng nhưng ngược lại, việc chuyển đổi từ ảnh đen trắng sang ảnh màu
thì khơng. Cách đây chưa lâu, việc khơi phục lại màu sắc cho ảnh đen trắng
(có thể gọi ảnh đen trắng là ảnh xám) là một nhiệm vụ tương đối khó khăn,
người thực hiện cần phải có kiến thức trong lĩnh vực đồ họa mỹ thuật, đồng
thời cần nhiều thời gian để xử lý thủ công với các phần mềm đồ hoạ trên máy
tính.

Ngày nay nhờ vào việc phát triển của Khoa học máy tính và Khoa học dữ
liệu, các mơ hình học máy, học sâu trong lĩnh vực Trí tuệ nhân tạo đã phát
triển mạnh mẽ và hỗ trợ vào việc giải quyết hiệu quả các bài tốn khó trong
hầu hết các lĩnh vực. Gần đây, phương pháp học sâu đã mang đến nhiều thành
tựu nổi bật trong các lĩnh vực như nhận dạng hình ảnh, xử lý ngơn ngữ tự
nhiên, … trong đó có cả bài tốn chuyển đổi màu cho ảnh đen trắng. Phương
pháp học sâu đã đem lại cách tiếp cận mới đối với bài toán chuyển đổi màu
cho ảnh đen trắng.

Để giải quyết bài toán này, hiện nay có khá nhiều phương pháp, mơ hình
thực hiện. Chẳng hạn như việc ứng dụng các mơ hình học sâu để tô màu ảnh
của Richard Zhang ở [4] hoặc ứng dụng mơ hình mạng Nơ-ron tích chập
(CNN) ở [7] hoặc kết hợp đồng thời mơ hình CNN với bài toán phân loại ảnh

2

ở [8]. Việc lựa chọn các giải pháp, xây dựng các mơ hình huấn luyện như trên
đều cùng chung mục đích chính là giúp chuyển đổi màu ảnh chính xác, mang
lại hiệu quả cao.

Do đó, để nghiên cứu thực hiện bài toán chuyển đổi màu cho ảnh đen trắng
một cách tự động dựa trên các mơ hình học sâu, qua đó tìm ra được phương
pháp đem lại hiệu quả cao trong việc xử lý dữ liệu cũng như cho kết quả đầu
ra với ảnh được chuyển đổi màu chính xác, tự nhiên và gần với ảnh gốc, tôi
đã chọn đề tài “Ứng dụng Deep Learning chuyển đổi màu cho ảnh đen trắng”
làm đề tài nghiên cứu cho Luận văn này.

Đề án gồm có 3 chương với nội dung nghiên cứu chính:
Chương 1. Học máy và Học sâu
Chương 2. Bài toán chuyển đổi màu và mạng U-net
Chương 3. Thực nghiệm và kết quả
2. Mục tiêu nghiên cứu
Mục tiêu của đề tài là tìm hiểu phương pháp học sâu được xây dựng trên
cơ sở mạng nơ ron tích chập và có thể ứng dụng được trong bài tốn đã đặt ra,
phân tích, so sánh …, tìm hiểu các mơi trường huấn luyện trên Kaggle và
Google Colab, xây dựng và đánh giá được mơ hình chuyển đổi màu ảnh đen
trắng sử dụng mạng U-net trên một vài tập dữ liệu huấn luyện, trên cơ sở các
tiêu chí về chất lượng ảnh. Qua đó làm rõ được hiệu quả của mơ hình đã sử
dụng trong việc chuyển đổi màu cho ảnh đen trắng.
3. Đối tượng và phạm vi nghiên cứu
▪ Đối tượng nghiên cứu:
Chuyển đổi màu cho ảnh đen trắng với mạng U-net, một mơ hình học sâu
được phát triển từ mạng Nơ ron tích chập CNN.

3

▪ Phạm vi nghiên cứu:
- Tập dữ liệu huấn luyện: Dữ liệu về phong cảnh, liệu về người, vật,
thu thập từ các nguồn.
- Mơ hình huấn luyện: Xây dựng từ mơ hình U-net, một mơ hình học

sâu được phát triển trên cơ sở kiến trúc mạng Nơ-ron tích chập CNN

4. Nội dung nghiên cứu
Nghiên cứu lý thuyết về học máy, học sâu với mạng Nơ-ron tích chập, cụ

thể là mơ hình học sâu mạng U-net để giải quyết bài toán chuyển đổi màu cho
đen trắng. Tiến hành thực nghiệm, vận dụng vào việc chuyển đổi màu cho ảnh
đen trắng trên mơ hình huấn luyện của mạng U-net và một số bộ dữ liệu huấn
luyện được chọn lọc. Sử dụng môi trường huấn luyện Google Colab để giúp
tăng tốc độ huấn luyện cũng như có thể tận dụng tối đa khả năng xử lý của
GPU, TPU mà các nền tảng trên cho phép sử dụng. Kết quả thu được sẽ được
so sánh sự ảnh hưởng của mơ hình huấn luyện đã sử dụng đến việc chuyển
đổi màu cho ảnh đen trắng cũng như khảo sát được mức độ hiệu quả của kiến
trúc mạng, tác động của các bộ dữ liệu huấn luyện sử dụng trong mô hình đối
với mục tiêu đề ra.

5. Phương pháp nghiên cứu
▪ Phương pháp nghiên cứu lý thuyết: nghiên cứu các tài liệu học máy,
học sâu; các mơ hình ứng dụng học sâu (CNN, UNET, VGG,
RESNET, …).

▪ Phương pháp nghiên cứu thực nghiệm: Vận dụng mơ hình UNET để
xây dựng mơ hình huấn luyện việc thực hiện nhiệm vụ chuyển đổi màu
cho ảnh đen trắng;

▪ Phương pháp nghiên cứu thống kê, phân tích - tổng hợp.

4

CHƯƠNG 1. HỌC MÁY VÀ HỌC SÂU

1.1. Giới thiệu chương
Trong các năm gần đây, sự bùng nổ của AI (Trí tuệ nhân tạo) và Big

Data đã giúp cho con người giải quyết được nhiều bài tốn khó và có nhiều
đột phá mới đóng góp vào sự phát triển của cuộc cách mạng công nghiệp 4.0
hiện nay. Ở chương này, tơi sẽ trình bày cơ sở lý thuyết tổng quan về các lĩnh
vực của trí tuệ nhân tạo, cụ thể đó là học máy (Machine Learning), phương
pháp học sâu (Deep Learning). Đồng thời trình bày nghiên cứu về cấu trúc và
hoạt động của mạng Nơ-ron tích chập (CNN); Tìm hiểu về phương pháp học
chuyển giao, tình chỉnh mơ hình huấn luyện. Mối liên hệ giữa các lĩnh vực
của trí tuệ nhân tạo trong việc giải quyết các bài toán thực tiễn.
1.2. Tổng quan về học máy và học sâu
1.2.1. Học máy (Machine Learning)

Machine learning là một lĩnh vực của trí tuệ nhân tạo (AI). Mục tiêu
của machine learning nói chung là hiểu cấu trúc dữ liệu và điều chỉnh dữ liệu
đó thành các mơ hình (model) để sử dụng đối với dữ liệu mới. [2]

Các thuật tốn học máy là các chương trình được xây dựng nhằm giúp
cho máy tính học và cải thiện hiệu quả trong việc thực hiện một nhiệm vụ cụ
thể dựa trên dữ liệu huấn luyện. Mơ hình thu được có hiệu quả cao nếu dữ
liệu huấn luyện được chuẩn bị tốt trong khâu tiền xử lý.

Các mơ hình học máy thường u cầu lượng dữ liệu đủ lớn để "huấn
luyện" và đánh giá mô hình. Trước đây, người ta thiếu dữ liệu huấn luyện mơ
hình. Ngày nay, với sự phong phú, đa dạng của các thư viện dữ liệu được chia
sẻ từ cộng đồng nghiên cứu khoa học dữ liệu, các nguồn dữ liệu lớn (big data)

5

đã cung cấp cho các thuật tốn học máy, học sâu có đủ dữ liệu huấn luyện để
cải thiện độ chính xác của mơ hình và dự đốn.

Phân loại: Có hai loại phương pháp học máy chính
▪ Phương pháp quy nạp: Máy tính học các khái niệm dựa trên dữ liệu đã thu
thập được trước đó.
▪ Phương pháp suy diễn: Máy tính học các khái niệm dựa vào các luật.
Phương pháp này cho phép tận dụng được các kiến thức chuyên ngành để hỗ
trợ máy tính.
Hiện nay, các thuật tốn đều cố gắng tận dụng được ưu điểm của hai phương
pháp này.

Các nhóm giải thuật học máy:
▪ Học có giám sát: Trong học có giám sát, máy tính học cách mơ hình hóa
các mối quan hệ dựa trên dữ liệu được gán nhãn (labeled data). Phương pháp
này xác định giá trị/nhãn cho dữ liệu mới dựa trên quy luật được phát hiện từ
tính chất của tập dữ liệu mẫu. Giám sát được thể hiện qua giá trị hoặc nhãn
của dữ liệu mẫu. Hai thuật tốn thường dùng sát đó là Phân loại và Hồi quy.
▪ Học không giám sát: Trong học không giám sát, máy tính khơng được cung
cấp dữ liệu được dán nhãn mà thay vào đó chỉ được cung cấp dữ liệu mà thuật
tốn tìm cách mơ tả dữ liệu và cấu trúc của chúng. Hai loại thuật tốn dùng
trong học khơng giám sát đó là Phân cụm và Liên kết.
▪ Học nửa giám sát: Một dạng lai giữa hai nhóm giải thuật trên.
▪ Học tăng cường: Máy tính đưa ra quyết định hành động (action) và nhận kết
quả phản hồi (response/reward) từ mơi trường (environment). Sau đó máy tính
tìm cách chỉnh sửa cách ra quyết định hành động của mình.

6

1.2.2. Học sâu (Deep Learning)

Học sâu là một lĩnh vực con của học máy, trong đó các thuật tốn liên
quan được hình thành dựa trên cở sở cấu tạo và hoạt động của bộ não người
và được gọi là mạng nơ-ron nhân tạo (Artificial Neural Networks - ANN).
Deep learning đòi hỏi rất nhiều dữ liệu đầu vào cũng như cần hệ thống có sức
mạnh tính tốn hơn machine learning.

Ngày nay, học sâu đã trở nên quan trọng và hiệu quả hơn nhiều thơng
qua phương pháp học có giám sát hoặc học từ dữ liệu và thuật toán được gắn
nhãn. Mỗi thuật toán trong học sâu được thực hiện cùng một quy trình. Nó
bao gồm hệ thống phân cấp biến đổi phi tuyến của đầu vào và sử dụng để tạo
mô hình thống kê đầu ra.

Mạng nơ-ron nhân tạo trong Học sâu được xây dựng nhằm mô phỏng
khả năng tư duy của bộ não con người. Trong một mạng nơ-ron có nhiều lớp
(layer) khác nhau, số lượng lớp càng nhiều thì mạng sẽ càng “sâu”. Trong mỗi
lớp là các nút mạng (node), các nút này sẽ liên kết với những nút liền kề khác,
có một trọng số (weight) tương ứng ở mỗi kết nối giữa các nút mạng, trọng số
càng lớn thì ảnh hưởng của kết nối này đến mạng nơ-ron càng nhiều.

Mỗi nơ-ron sẽ có một hàm kích hoạt, có nhiệm vụ “chuẩn hố” đầu ra
từ nơ-ron này. Dữ liệu được người dùng đưa vào mạng nơ-ron sẽ đi qua tất cả
lớp và trả về kết quả ở lớp cuối cùng, gọi là output layer.

Trong quá trình huấn luyện một mơ hình mạng nơ-ron cụ thể, các trọng
số sẽ được thay đổi và nhiệm vụ của mơ hình là tìm ra bộ giá trị của trọng số
sao cho kết quả dự đoán là tốt nhất.

Các hệ thống Deep Learning luôn cần cấu hình phần cứng rất cao để có

sức mạnh về RAM, CPU, GPU đủ để xử lý được lượng dữ liệu lớn và thực
hiện các tính tốn phức tạp. Nhiều mơ hình Deep Learning có thể mất nhiều

7
tuần, nhiều tháng để triển khai trên những thiết bị có cấu hình phần cứng tiên
tiến hiện nay.
1.3. Mạng Nơ-ron nhân tạo (ANN) và mạng Nơ-ron nhân tạo nhiều lớp
(DNN)
1.3.1. Mạng Nơ ron nhân tạo (ANN):

Hình 1.1 – Mạng nơ-ron nhân tạo ANN

Mạng nơron nhân tạo, Artificial Neural Networks (ANN) là một mơ
hình xử lý thơng tin phỏng theo cách thức xử lý thông tin của các hệ nơ-ron
sinh học. ANN được tạo nên từ một số lượng lớn các nơ-ron kết nối với nhau
thông qua các liên kết (trọng số) làm việc như một thể thống nhất để giải
quyết một nhiệm vụ cụ thể. Một mạng nơron nhân tạo được cấu hình cho một
ứng dụng cụ thể (nhận dạng, phân loại dữ liệu, phân vùng ảnh, ...) thơng qua
một q trình học từ tập các mẫu huấn luyện. Bản chất q trình học chính là
q trình hiệu chỉnh các trọng số liên kết giữa các nơ-ron trong mạng. [3]

Sau đây là sơ đồ cấu tạo của một nơ-ron nhân tạo:

8

Hình 1.2 - Cấu tạo một Nơ-ron nhân tạo

Các thành phần cơ bản của một nơ-ron nhân tạo bao gồm:
▪ Tập các đầu vào: Là các tín hiệu vào (input signals) của nơ-ron, các tín
hiệu này thường được đưa vào ở dạng một vector N chiều.

▪ Tập các liên kết: Mỗi liên kết được thể hiện bằng một trọng số liên kết –
Synaptic weight. Trọng số liên kết giữa tín hiệu vào thứ j với nơron k thường
được ký hiệu là wkj. Thông thường, các trọng số này được khởi tạo một cách
ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục trong quá
trình huấn luyện. Hàm tổng (Summing function): được dùng để tính tổng của
tích các đầu vào với trọng số liên kết của nó. Ngưỡng (cịn gọi là độ lệch -
bias): ngưỡng này thường được đưa vào như một thành phần của hàm truyền.
▪ Hàm truyền (Transfer function): được dùng để giới hạn phạm vi đầu ra
của mỗi nơ-ron. Hàm truyền nhận đầu vào là kết quả của hàm tổng và
ngưỡng.
▪ Đầu ra: Là tín hiệu đầu ra của một nơ-ron, mỗi nơ-ron có tối đa là một đầu
ra. Xét về mặt toán học, cấu trúc của một nơ-ron k, được mô tả bằng 2 biểu
thức dưới đây: [1]

𝑝

𝑢𝑘 = ∑ 𝑤𝑘𝐽𝑥𝐽

𝐽=1

𝑣à 𝑦𝑘 = ∫(𝑏1 − 𝑏2)

9

Trong đó: x1, x2, ..., xp: là các tín hiệu vào; (wk1, wk2,..., wkp) là các
trọng số liên kết của nơ-ron thứ k; uk là hàm tổng; bk là một ngưỡng; f là hàm
truyền và yk là tín hiệu đầu ra của nơ-ron.

Dưới đây là mô phỏng cụ thể hơn về tính tốn một nơ-ron [1]:

Nơ-ron nhân tạo nhận các tín hiệu đầu vào, xử lý (nhân các tín hiệu này
với trọng số liên kết, tính tổng các tích thu được rồi gửi kết quả tới hàm
truyền) sau đó cho một tín hiệu đầu ra là kết quả của hàm truyền.

Bảng 1.1 - Một số hàm truyền thông dụng [1]

Hàm truyền Đồ thị Định nghĩa

Symmetrical Hàm này cũng được biết đến với
Hard Limit tên "Hàm ngưỡng" (Threshold
(hardlims) function hay Heaviside function).
Đầu ra của hàm này được giới hạn
Linear vào một trong hai giá trị:
(purelin)
𝑔(𝑥) = {1, 𝑛ế𝑢 (𝑥 ≥ 𝜃
0, 𝑛ế𝑢 (𝑥 < 𝜃

Nếu coi các đầu vào là một đơn vị
thì chúng sẽ sử dụng hàm này.
Đôi khi một hằng số được nhân
với net-input để tạo ra một hàm
đồng nhất

10

Saturating Hàm này có các thuộc tính tương
Linear tự hàm sigmoid. Nó làm việc tốt
(satlin) đối với các ứng dụng có đầu ra
yêu cầu trong khoảng [-1,1].

Log Hàm này đặc biệt thuận lợi khi sử
Sigmoid dụng cho các mạng được huấn
(logsig) luyện (trained) bởi thuật toán Lan
truyền ngược (back-propagation),
bởi vì nó dễ lấy đạo hàm, do đó có
thể giảm đáng kể tính tốn trong
quá trình huấn luyện. Hàm này
được sử dụng cho các chương
trình ứng dụng mà các đầu ra
mong muốn rơi vào khoảng [0,1].

ReLU Hàm ReLU đang được sử dụng
(Rectified khá nhiều trong những năm gần
Linear Unit) đây khi huấn luyện các mạng
neuron. ReLU lọc các giá trị < 0.
Nhìn vào công thức chúng ta dễ
dàng hiểu được cách hoạt động
của nó. Nó có ưu điểm khá vượt
trội của nó so với Sigmoid và
Tanh. Hàm Relu thường được
dùng trong Mô hình U-Net cho
các lớp ẩn.

1.3.2. Mạng học sâu (Deep Neural Network - DNN)

Deep Neural Networks được phân biệt với các mạng nơ-ron phổ biến,
thông thường chỉ có một lớp trung gian thơng qua “chiều sâu” của chúng.
Nghĩa là dựa trên số lượng các lớp trung gian (hidden layers) có chứa các
node cho phép truyền dữ liệu qua và được sử dụng trong DNN như một quy
trình nhiều bước cho mục tiêu nhận dạng. Đối với học máy truyền thống, các

mơ hình dựa vào các mạng “nông” (shallow network), thường chỉ bao gồm