(TIỂU LUẬN) đề tài NHẬN DẠNG cảm xúc TỔNG QUAN về bài TOÁN NHẬN DẠNG cảm xúc KHUÔN mặt

ỦY BAN NHÂN DÂN THÀNH PHỐ HỒ CHÍ MINH

TRƯỜNG ĐẠI HỌC SÀI GÒN

BÁO CÁO ĐỀ TÀI

NHẬN DẠNG CẢM XÚC
HỌC PHẦN: PHÂN TÍCH XỬ LÝ ẢNH

TP HỒ CHÍ MINH, THÁNG 5 NĂM 2022


ỦY BAN NHÂN DÂN THÀNH PHỐ HỒ CHÍ MINH

TRƯỜNG ĐẠI HỌC SÀI GÒN

BÁO CÁO ĐỀ TÀI

NHẬN DẠNG CẢM XÚC
HỌC PHẦN: PHÂN TÍCH XỬ LÝ ẢNH

TP HỒ CHÍ MINH, THÁNG 5 NĂM 2022


MỤC LỤC
LỜI MỞ ĐẦU.................................................................................................................................................. 1
PHẦN 1: TỔNG QUAN VỀ NHẬN DẠNG CẢM XÚC KHUÔN MẶT............................2
1.1.

Giới thiệu............................................................................................................................................ 2

1.2.

Các biểu cảm cảm xúc trên mặt người................................................................................ 2

1.3.

Phương pháp nhận dạng cảm xúc khuôn mặt................................................................. 2

1.3.1.

Phương pháp truyền thống............................................................................................... 2

1.3.2.

Phương pháp hiện đại......................................................................................................... 3

1.4.

Ứng dụng nhận dạng cảm xúc khuôn mặt........................................................................ 4

PHẦN 2: TỔNG QUAN VỀ BÀI TỐN NHẬN DẠNG CẢM XÚC KHN MẶT .6

2.1. Giới thiệu về học sâu (Deep learning)...................................................................................... 6
2.2. Bài tốn nhận dạng cảm xúc khn mặt................................................................................ 7
2.3. Mơ hình mạng nơ-ron tích chập cho nhận dạng cảm xúc khuôn mặt.....................8
PHẦN 3: KẾT QUẢ THỰC NGHIỆM............................................................................................. 10
3.1. Tập dữ liệu FER2013..................................................................................................................... 10
3.2. Mơ hình đề xuất............................................................................................................................... 10
3.3. Kết quả thực nghiệm...................................................................................................................... 12
TÀI LIỆU THAM KHẢO....................................................................................................................... 14

DANH MỤC HÌNH ẢNH
STT

Hình

1

Hình 1.1.

2

Hình 1.2.

3

Hình 2.1.

4

Hình 3.1.

5

Hình 3.2.

6
7

Hình 3.3.
Hình 3.4.


LỜI MỞ ĐẦU
Con người có nhiều cách để truyền đạt thơng tin với nhau: ngơn ngữ, cử chỉ, lời nói... Biểu
hiện cảm xúc trên khuôn mặt cũng là một cách để truyền đạt thơng tin, nó có thể biểu hiện
một nhận định của con người trước sự vật, hiện tượng. Cảm xúc của con người là những phản
ứng rời rạc và nhất quán đối với các sự kiện bên ngoài hoặc bên trong con người đó. Chúng
tạo thành một phần quan trọng trong giao tiếp phi ngôn ngữ của xã hội lồi người. Tuy việc
nhận dạng cảm xúc khn mặt dễ dàng với con người nhưng đó vẫn là thách thức lớn đối với
việc nhận dạng và phân loại bởi máy tính hoặc các hệ thống điện tử.

Bài tốn nhận dạng cảm xúc khn mặt đã có lịch sử nghiên cứu lâu dài. Nhận dạng cảm
xúc khuôn mặt là bước phát triển tiếp sau của việc phát hiện khuôn mặt, tuy nhiên có
nhiều quan điểm trong việc định nghĩa khái niệm cảm xúc, vốn rất không rõ ràng. Cảm
xúc khuôn mặt chia thành 7 nhóm thể hiện chính: hạnh phúc, buồn, ghê tởm, sợ hãi, bất
ngờ, giận dữ và bình thường.
Trong đề tài này, chúng tơi trình bày bài tốn nhận dạng cảm xúc khuôn mặt dựa vào sử
dụng mạng Nơ-ron tích chập (CNN) – một trong những kiến trúc phổ biến của học sâu để
nhận diện và phân loại cảm xúc khuôn mặt.
Đề tài gồm 3 phần:
Phần 1: Tổng quan về nhận dạng cảm xúc khuôn mặt.
Phần 2: Tổng quan về bài tốn nhận dạng cảm xúc khn mặt.
Phần 3: Kết quả thực nghiệm.

1


PHẦN 1: TỔNG QUAN VỀ NHẬN DẠNG CẢM XÚC KHUÔN

MẶT
1.1.

Giới thiệu

Khuôn mặt của con người biểu hiện nhiều cảm xúc mà khơng cần phải nói ra. Đó là một
trong những phương tiện mạnh mẽ và tự nhiên nhất để con người truyền đạt thể hiện cảm
xúc. Hiện nay, nhận dạng và phân tích cảm xúc khn mặt tự động là một vấn đề thú vị và
đầy thách thức, có ảnh hưởng to lớn đến xã hội.
Cảm xúc khn mặt có thể được phân tích dễ dàng thơng qua hình ảnh khn mặt và máy
tính có thể tương tác với con người, như cách con người tương tác với nhau. Đó là lý do tại
sao nhận dạng cảm xúc qua khuôn mặt ngày càng được sự quan tâm trong mọi lĩnh vực.

1.2.

Các biểu cảm cảm xúc trên mặt người

Con người có nhiều cách để truyền đạt thông tin với nhau: ngôn ngữ, cử chỉ, lời nói, …
Biểu hiện cảm xúc trên khuôn mặt cũng là một cách để truyền đạt thông tin, nó có thể
biểu hiện một nhận định của con người trước sự vật, hiện trường. Có 7 loại cảm xúc cơ
bản được xác định, phổ biến trong tất cả các nền văn hóa con người: hạnh phúc, buồn, ghê
tởm, sợ hãi, bất ngờ, giận dữ và bình thường.

1.3.

Phương pháp nhận dạng cảm xúc khuôn mặt

Phương pháp nhận dạng cảm xúc qua khuôn mặt được chia thành nhiều hướng theo
các tiêu chí khác nhau, chia thành hai loại chính: phương pháp truyền thống và phương
pháp hiện đại.

1.3.1.

Phương pháp truyền thống

Hệ thống nhận dạng cảm xúc qua khuôn mặt với phương pháp truyền thống thì xử lý
qua các giai đoạn: tiền xử lý hình ảnh khn mặt, trích xuất đặc trưng và phân loại.

2


Hình 1.1.


Kiến trúc hệ thống nhận dạng cảm xúc khn mặt bằng phương pháp truyền thống

Tiền xử lý là quá trình được sử dụng để cải thiện hiệu suất của hệ thống

nhận dạng cảm xúc qua khuôn mặt và được thực hiện các loại quy trình khác
nhau: căn chỉnh độ rõ, chia tỷ lệ hình ảnh, điều chỉnh độ tương phản và sử dụng
các quy trình nâng cao để cải thiện các khung biểu thức.


Trích xuất đặc trưng trong thị giác máy tính là một giai đoạn quan trọng, nó

phát hiện ra việc chuyển từ mô tả đồ họa sang mơ tả dữ liệu ẩn, trích chọn
những đặc trưng riêng nhất của hình ảnh, sau đó những mơ tả dữ liệu này có thể
được sử dụng làm đầu vào cho bài toán phân loại.


Phân loại là giai đoạn cuối cùng của hệ thống nhận diện cảm xúc qua khuôn

mặt (FER) để phân loại ra các loại cảm xúc trên khuôn mặt: hạnh phúc, buồn
bã, bất ngờ, tức giận, sợ hãi, ghê tởm và bình thường. Sử dụng các phương pháp
phân loại như: Cây quyết định (ID3), SVM, HMM (Hidden Markov Model), ...
thì phân loại SVM cho độ chính xác và phân loại tốt nhất.
1.3.2. Phương pháp hiện đại
Phương pháp mô tả các bước chính phổ biến trong hệ thống nhận dạng cảm xúc qua
khuôn mặt thực hiện qua các giai đoạn: tiền xử lý, phân lớp sử dụng học sâu. Những năm
gần đây, học sâu có độ chính xác hơn phương pháp truyền thống vì nó khơng phải qua

3


bước trích xuất các đặc trưng một cách tường minh, nó sẽ thực hiện đi kèm với
phương pháp phân loại.

Hình 1.2.

Kiến trúc hệ thống nhận dạng cảm xúc khuôn mặt bằng phương pháp Deep
Learning

Tiền xử lý ảnh: cũng phải xử lý 1 số vấn đề của ảnh đầu vào hệ thống, xử lý
trước


quá trình trainning. Các bước thực hiện: Căn chỉnh khuôn mặt để phát hiện khuôn
mặt, tăng dữ liệu hình ảnh đảm bảo đủ dữ liệu training, cuối cùng là chuẩn hóa dữ
liệu khn mặt. Sử dụng các phương pháp CNN, DBN, DAE, RNN, GAN...


Phân loại: Trong phương pháp truyền thống bước trích xuất đặc trưng và

bước phân loại tính năng là độc lập với nhau, trong Deep learning có thể thực
hiện FER theo cách từ đầu đến cuối. Một lớp mất được thêm vào cuối mạng để
điều chỉnh lỗi lan truyền ngược, sau đó xác suất dự đốn của từng mẫu có thể
được mạng trực tiếp xuất ra.
1.4.

Ứng dụng nhận dạng cảm xúc khuôn mặt

Nhận dạng cảm xúc qua khn mặt có ứng dụng trong các lĩnh vực khác nhau:


Giáo dục: Phản ứng của người học trong thời gian thực và sự tham gia vào nội

dung là một thước đo lường cho hiệu quả của bài giảng.

4




Tiếp thị: Đây là một cách thức để các công ty kinh doanh phân tích các nhu

cầu và phản hồi sự hài lòng của khách hàng đối với quảng cáo, sản phẩm, bao bì và
thiết kế cửa hàng của họ.


Bảo mật: Nó có thể giúp xác định hành vi đáng ngờ trong đám đơng và có thể

được sử dụng để ngăn chặn tội phạm và những kẻ khủng bố tiềm năng.


Chăm sóc sức khỏe: Nó có thể hữu ích trong việc tự động hóa dịch vụ y tế. Cả

sức khỏe thể chất và tinh thần có thể được phân tích thông qua ứng dụng này.

5


PHẦN 2: TỔNG QUAN VỀ BÀI TOÁN NHẬN DẠNG CẢM XÚC
KHUÔN MẶT
2.1.

Giới thiệu về học sâu (Deep learning)

Học sâu (deep learning) là tập các thuật toán học máy với ý tưởng xây dựng mơ hình dữ
liệu có mức độ trừu tượng cao dựa trên các dữ liệu có mức độ trừu tượng hóa thấp hơn,
bằng cách phân lớp dữ liệu và các biến đổi phi tuyến. Nghiên cứu từ rất lâu cho thấy
mạng nơron được chứng minh khả năng xấp xỉ vạn năng chỉ với không quá 4 lớp, nhưng
chưa có phương pháp nào cụ thể ước lượng số nơron cần thiết trên mỗi lớp. Việc nghiên
cứu về các mạng có số lớp lớn chỉ trở nên phổ biến sau thành cơng của mạng AlexNet khi
mơ hình này thắng giải ImageNet 2012 với khoảng cách rất xa so với các mơ hình cạnh
tranh, mặc dù kiến trúc CNN đã được LeCun giới thiệu từ trước đó rất lâu.
Ngồi kiến trúc CNN, các mơ hình mạng học sâu cịn nhiều dạng kiến trúc khác như các
lớp truyền thẳng kết nối đầy đủ (fully connected layer), RNN, LSTM, GRU, DBN, …
Hình 2.1 biểu diễn một mơ hình học sâu tiêu biểu sử dụng trong nhận dạng mặt người,
trong đó dữ liệu đầu vào của mạng có thể là dữ liệu ở dạng thơ nhất là các điểm ảnh RGB
(thậm chí khơng cần qua tiền xử lý). Các đặc trưng được tổ hợp và tạo thành các chi tiết
nhỏ ở lớp ẩn đầu tiên, sau đó tiếp tục được tái tạo và tổ hợp mức chi tiết lớn ở lớp ẩn thứ

hai, và cuối cùng các hình ảnh đặc trưng của tồn bộ khuôn mặt ở lớp ẩn thứ 3. Lớp
output cho ra đánh giá xác suất khuôn mặt thuộc phân lớp nào (người nào).

6


Hình 2.1.

Một mơ hình học sâu trong nhận dạng mặt người

Một mơ hình học sâu thường có 3 nhiệm vụ được kết hợp trong một kiến trúc mạng duy
nhất:


Các lớp đặc trưng (features): có nhiệm vụ chuyển đổi các đặc trưng thành

dạng dữ liệu phù hợp để xử lý, chẳng hạn như các tầng tích chập (convolution),
mẫu
(subsampling), pooling, …


Các lớp mơ hình (modeling): sử dụng các thuật tốn học để khái quát hóa dữ

liệu, chẳng hạn nơron network, restricted BM, DBN, autoencoder, …


Các lớp giải mã (decoding): dựa trên dữ liệu khái quát biến đổi thành đầu ra

(markov random field hoặc những cơng cụ tương tự).

2.2.

Bài tốn nhận dạng cảm xúc khuôn mặt

Một hệ thống nhận diện cảm xúc khuôn mặt thường được triển khai gồm 3 bước:

7




Nhận ảnh và tiền xử lý: Ảnh khuôn mặt được lấy từ nguồn dữ liệu tĩnh (chẳng

hạn như từ file, database), hoặc động (từ livestream, webcam, camera, …), nguồn
dữ liệu này có thể trải qua một số bước tiền xử lý nhằm tăng chất lượng hình ảnh
để giúp việc phát hiện cảm xúc trở nên hiệu quả hơn.


Trích xuất các đặc trưng: Bước rất quan trọng, đặc biệt với các phương pháp

truyền thống, các đặc trưng khn mặt được tính tốn dựa trên các thuật tốn có
sẵn, kết quả thường là một vector đặc trưng làm đầu vào cho bước sau.


Phân lớp và nhận diện cảm xúc: Đây là một bài tốn phân lớp điển hình, rất

nhiều các thuật tốn có thể áp dụng trong bước này như KNN, SVM, LDA, HMM,
…

2.3. Mơ hình mạng nơ – ron tích chập cho nhận dạng cảm xúc khuôn

mặt
Mạng CNN được xây dựng trên ngôn ngữ Python và sử dụng thư viện Keras. Mạng
CNN được xây dựng gồm sáu lớp tích chập, ba lớp Max-pooling và cuối cùng là hai
lớp Full-connected. Số lượng filter tương ứng lần lượt là 32, 64 và 128. Kích thước
của filter 3x3 và lớp Max-pooling có kích thước stride là 2x2. Lớp Max-pooling được
sử dụng sau mỗi hai lớp tích chập. Max pooling được dùng để giảm kích thước ma trận
nhưng vẫn làm nổi bật lên được đặc trưng có trong ma trận đầu vào.
Sau mỗi lớp Max Pooling sẽ có một lớp Drop Out nhằm giảm hiện tượng overfitting
bằng cách loại bỏ ngẫu nhiên một số unit.
Để giữ được kích thước khơng gian của ngõ ra, các zero-padding được thêm vào. Sau
khi qua các lớp tích chập, ngõ ra sẽ qua Flatten trở thành vector 1 chiều để đưa vào lớp
dense (hay lớp full connected).
Hàm kích hoạt được sử dụng trong mạng CNN là Leaky Rectifier Linear Unit (Leaky ReLU) theo công thức sau: ( ) = max( ,

20)

Giá trị 20 được sử dụng theo tập validation của FER-2013. Từ công thức trên, giá trị trả về
thay vì bằng 0 khi < 0 như ReLU, leaky ReLU sẽ tạo thành đường dốc với giá trị giảm về
nhỏ hơn 0. Ở mạng nơ-ron, kết quả đầu ra cần được chuẩn hóa sang dạng phần trăm để dự
đốn giữa các lớp. Khi đó lớp cuối cùng của mạng CNN là lớp Softmax với

8


7 ngõ ra.

=

∑ =1

Với là tỉ lệ dự đoán lớp thứ , là tổng số lớp được dự đoán (7 cảm xúc) và là hệ số của các
node trước cho lớp thứ .
Thuật toán sử dụng để cập nhật trọng số của mạng CNN là Adam. Thuật toán Adam nổi
trội hơn một số thuật toán khác bởi khả năng vượt qua vùng local minimum và đạt tới
điểm tối ưu nhất (flat minimum). Một đặc điểm ở thuật tốn Adam đó chính là khả năng
tận dụng “động lực” để hội tụ nhanh hơn. “Động lực” chính là khả năng tận dụng một số
phần trong lần cập nhật trọng số trước để cập nhật cho trọng số hiện tại
Kết quả cuối cùng của model cần được đánh giá để biết hiệu quả của quá trình training dữ
liệu. Ở đây hàm mất mát chính là cơng cụ để thực hiện điều đó. Hàm mất mát sử dụng
trong bài báo này là hàm “categorical_crossentropy”.
=−∑

=1

( ∗

̂ )

Với là ký hiệu của hàm mất mát, là kết quả thực và ̂ là kết quả dự đốn. Biểu thức trên chính là hàm
tính sai số được áp dụng phổ biến và được sử dụng để vẽ đồ thị đánh giá kết quả cuối cùng.

Ngoài hàm mất mát, việc đánh giá model cũng có thể dựa vào độ chính xác:
Độchínhxác =

Biểu thức là biểu thức tổng quát để tính độ chính xác, được sử dụng để tính độ chính xác
cho q trình đánh giá kết quả của hệ thống.

9

PHẦN 3: KẾT QUẢ THỰC NGHIỆM
3.1.

Tập dữ liệu FER2013

Cảm xúc của con người là mn hình vạn trạng. Mỗi người điều có mỗi cách bày tỏ cảm
xúc của mình khác nhau. Chính vì thế, dữ liệu cần để huấn luyện cho mơ hình nhận diện
cảm xúc khn mặt người là rất lớn.
Tập dữ liệu nguồn mở FER2013.csv, được tạo ra cho một dự án bởi PierreLuc Carrier và
Aaron Courville, được chia sẻ công khai trong cuộc thi Kaggle (2013).
Dữ liệu trong tập FER2013.csv này bao gồm 35.887 ảnh xám: hình ảnh khn mặt kích
thước 48x48 pixel từ nhiều góc độ khác nhau. Hình ảnh được phân loại thành một trong
bảy lớp thể hiện cảm xúc khuôn mặt khác nhau, tất cả được gán nhãn từ 0 – 6 (0 = Giận
dữ, 1 = Ghê tởm, 2 = Sợ hãi, 3 = Vui vẻ, 4 = Buồn, 5 = Ngạc nhiên, 6 = Bình thường).
Gồm 8.989 ảnh ‘Happy’, 6.077 ảnh ‘Sad’, 6.198 ảnh ‘Neutral’, 4002 ảnh ‘Suprised’,
5121 ảnh ‘Scared’, 547 ảnh ‘Disgust’ và 4593 ảnh ‘Angry’.

3.2.

Mơ hình đề xuất

Kiến trúc CNN gồm 8 khối chính trong đó có 7 khối CNN và khối cuối là đầu ra softmax,
xem tại Hình 3.1. Đầu tiên, ảnh 48x48 đa cấp xám được chuyển vào khối A, khối có 32
filter, sử dụng kernel filter cỡ 3x3, hàm kích hoạt ReLU, kết quả tính tốn được chuyển
qua một lớp batch normalization. Khối A được thiết kế với ý đồ tạo ra 32 đặc trưng cơ
bản cho việc phát hiện cảm xúc khuôn mặt. Khối B được thiết kế tương tự khối A, ngoại
trừ việc sử dụng 64 filter, mục tiêu của khối này giúp tổ hợp các đặc trưng cơ bản thành
các đặc trưng phức tạp hơn. Kết quả đầu ra khối B được xử lý độc lập trong 2 khối C và
D, khối C là một depthwise separable CNN 128 filter [7], sau đó được chuẩn hóa bởi một
lớp batch normalization và max pooling. Khối D chỉ là một filter nhằm điều chỉnh trọng

số của đặc trưng khi tính gộp kết quả với khối C. Khối E và F cũng được thiết kế tương tự
như vậy. Cuối cùng, chúng tơi sử dụng khối F có 7 filter (tương ứng với 7 loại cảm xúc),
kết quả tính tốn của CNN được chuyển vào một global average pooling (chuyển kết quả
2D thành vector), kết quả này được xử lý qua một lớp softmax để trả về xác suất của từng
loại cảm xúc.

10
Ảnh đầu vào


48x48

32 feature
maps
(3x3 / ReLU)
BatchNorm

64 feature
maps
(3x3 / ReLU)
BatchNorm

A

B

128
separable
feature
maps

(3x3 / ReLU)
BatchNorm /
MaxPooling

128 feature
maps

D

(1x1 / ReLU)
BatchNorm

C

256 feature
maps

256
separable
feature
maps
(3x3 /
ReLU)
BatchNorm
/
MaxPooling

F

(1x1 / ReLU)

BatchNorm

E

7 feature maps
(3x3 / ReLU)
Global
AveragePooling
G

H
Hình 3.1.

Softmax

Kiến trúc CNN dùng để nhận dạng cảm xúc khuôn mặt

11


3.3.

Kết quả thực nghiệm

Để triển khai huấn luyện và thử nghiệm mơ hình đề xuất, ngơn ngữ Python và thư viện
Keras/TensorFlow được sử dụng cho việc xây dựng mơ hình mạng CNN. Dữ liệu
FER2013 được tiền xử lý không đáng kể, ngoại trừ việc chuyển đổi đa cấp xám từ dạng
số nguyên 0 đến 255 về miền số thực [0, 1] nhằm hỗ trợ tốt hơn cho dữ liệu đầu vào của
mạng tích chập. Ngơn ngữ Python kết hợp thêm OpenCV cũng được sử dụng để viết
chương trình minh họa hỗ trợ cho việc xử lý dữ liệu đầu vào từ webcam/camera. Quá

trình xử lý qua 5 bước như sau:
1.Ảnh đầu vào được chuyển thành đa cấp xám.
2.Dùng haar cascade (OpenCV) tìm kiếm vùng mặt người trên ảnh đầu vào.
3.Vùng ảnh mặt người được chuyển đổi về kích thước 48x48.
4.Ảnh 48x48 đa cấp xám chuyển đổi về miền [0, 1] sau đó đưa vào mơ hình CNN.
5.

Đầu ra của CNN là xác suất của các cảm xúc, chọn cảm xúc có xác xuất cao

nhất làm kết quả cuối cùng.
Độ chính xác trên tập dữ liệu kiểm tra không bị giảm sau khi mạng đã ổn định, như vậy
có thể thấy mơ hình khơng bị hiện tượng q khớp. Muốn tăng độ chính xác của mơ hình,
điều chỉnh phù hợp về số filter trên mỗi lớp và có thể tăng thêm một số lớp ẩn trong mạng
CNN nhằm tăng khả năng nhận biết các cấu trúc phức tạp trên khn mặt.

Hình 3.2.

Biến động về độ chính xác của mơ hình trên tập huấn luyện và tập kiểm tra theo số lượt

huấn luyện

12


Kết quả thử nghiệm thực tế cho thấy mơ hình khá nhạy khi nhận biết cảm xúc hạnh phúc
(happy), khá kém với cảm xúc căm phẫn (disgust). Việc hầu hết các mơ hình được cơng
bố với tập dữ liệu FER-2013 đều chỉ đạt độ chính xác thấp, điều này có thể cho thấy bộ
dữ liệu này có những yếu tố mất cân bằng hoặc nhiễu khi gán nhãn dữ liệu.

Hình 3.3.

Hình 3.4.

Kết quả nhận diện đúng cảm xúc khn mặt

Kết quả nhận diện sai cảm xúc khuôn mặt

13


TÀI LIỆU THAM KHẢO
[1] Xây dựng mạng nhận diện cảm xúc khuôn mặt cho người mới bắt đầu:

a/p/real-time-emotion-detection-xay-dung-mang-nhan-dien-camxuc-khuon-mat-cho-nguoi-moi-bat-dau[2] Nghiên cứu và ứng dụng các kỹ thuật nhận dạng cảm xúc qua khuôn mặt:

a/p/nghien-cuu-va-ung-dung-cac-ky-thuat-nhan-dang-cam-xucqua-khuon-mat[3] Facial Emotion Recognition: />
14