ỨNG DUNG COMPUTER VISION NHẬN DIỆN CẢM XÚC KHÁCH HÀNG TRONG VIỆC TRẢI NGHIỆM SẢN PHẨM MỚI TẠI THE COFFEE HOUSE

HỌC VIỆN NGÂN HÀNG

BÀI TẬP NHĨM
Học phần: Trí Tuệ Nhân Tạo

ĐỀ TÀI: ỨNG DUNG COMPUTER VISION NHẬN DIỆN CẢM
XÚC KHÁCH HÀNG TRONG VIỆC TRẢI NGHIỆM SẢN PHẨM
MỚI TẠI THE COFFEE HOUSE

Giảng viên

: Nguyễn Văn Thủy

Lớp

: 211IS42A13

Sinh viên thực hiện

: 1. Nguyễn Thị Lê - 22A4030307
2.Lê Thùy linh - 22A4030346
3.Đỗ Huyền Trang - 22A4030280

Hà Nội, ngày 03 tháng 10 năm 2021


MỤC LỤC
LỜI MỞ ĐẦU................................................................................................ 6
I. XÁC ĐỊNH VẤN ĐỀ................................................................................. 7
1. Giới thiệu chung về The Coffee House..............................................................7
2. Vấn đề gặp phải..................................................................................................8

3. Bài toán đặt ra....................................................................................................8

II. CHUẨN BỊ DỮ LIỆU............................................................................ 10
1. Xác định dữ liệu cần thu thập...........................................................................10
2. Ý tưởng mô hình..............................................................................................10
3. Xác định kỹ thuật triển khai và xây dựng mơ hình..........................................11

III. XÂY DỰNG MƠ HÌNH.......................................................................15
1. Input và Output của bài tốn............................................................................15
2. Triển khai xây dựng mơ hình...........................................................................15

IV. ĐÁNH GIÁ............................................................................................ 19
1. Đánh giá kết quả............................................................................................19
2. Ưu điểm..........................................................................................................20
3. Nhược điểm....................................................................................................21
4. So sánh và đánh giá với thuật toán Optimizer SGD......................................22
5. Định hướng phát triển vào thực tế.................................................................23

1


Danh sách thành viên nhóm
STT
1
2

Họ và tên
Nguyễn Thị Lê
Lê Thùy Linh

Mã sinh viên

Cơng việc thực

Tỷ lệ
đóng góp

22A4030307

hiện
Powerpoint,

22A4030346

Chuẩn bị dữ liệu
Quay video, Đánh
giá, code so sánh

3

Đỗ Huyền Trang

22A4030280

mơ hình
Word, Xác định
vấn đề và xây
dựng mơ hình

2

LỜI MỞ ĐẦU
Trí tuệ nhân tạo (AI) đang dần hiện hữu ở mọi lĩnh vực trong cuộc sống của con
người. Không thể phủ nhận sự bùng nổ với nhiều đột phá của AI ở thời điểm hiện
tại. Hiện nay, AI đang được áp dụng vào rất nhiều lĩnh vực của cuộc sống như tài
chính, sản xuất, cơng nghệ hàng khơng,.. và thậm chí là cả trong pháp luật, hệ
thống chính phủ. Trí tuệ nhân tạo ra đời đã thúc đẩy gần như tồn bộ các ngành
cơng nghiệp và xã hội từ đó mang thay đổi cuộc sống của mọi người trên toàn thế
giới.
Tại Việt Nam, AI đã và đang được ứng dụng mạnh mẽ trong nhiều lĩnh vực như y
tế, giáo dục, nông nghiệp, giao thông, thương mại điện tử... Công nghệ AI cũng đã
mang lại cho Việt Nam sự phát triển vượt bậc thời gian qua. Trong đó thị giác máy
tính được xem là một trong những lĩnh vực thuộc AI mang lại ứng dụng thực tiễn
cuộc sống. Đặc biệt, sự phát triển của thị trường đồ uống tại Việt Nam đã kéo theo
sự xuất hiện ngày càng nhiều của các quán cafe. Nhằm nắm bắt và tìm hiểu thêm
và các ứng dụng AI trong hoạt động kinh doanh và phục vụ cho kiến thức mơn học
Trí Tuệ Nhân Tạo Trong Kinh Doanh nhóm em đã chọn tìm hiểu và nghiên cứu về
đề tài “Ứng dụng Computer Vision nhận diện cảm của khách hàng trong việc trải
nghiệm sản phẩm mới”. Đây là lần đầu tiên được tiếp xúc với môn học, em mong
thầy xem xét và bổ sung thêm để bài thu hoạch của em được hồn thiện hơn.
Nhóm chúng em xin chân thành cảm ơn!

3


I. XÁC ĐỊNH VẤN ĐỀ

1. Giới thiệu chung về The Coffee House
Chuỗi cà phê The Coffee House chính thức ra mắt vào năm 2014 và nhanh chóng

chiếm được sự quan tâm của các bạn trẻ trong nước. Cho đến hiện nay, quán đã có
mặt trên khắp các tỉnh thành cả nước từ Bắc vào Nam. Với mỗi cửa hàng The
Coffee House, thương hiệu này lại biến tấu theo những cách riêng dựa vào concept
có sẵn để tạo ra khơng gian mang tính địa phương, gần gũi với khách hàng.

Hiện nay, con số đã tăng lên hàng trăm chi nhánh giữa sự cạnh tranh của các quán
cafe ngày càng nở rộ. Cả nước có khoảng 18.000 quán cà phê, trong khi mới chỉ có
hơn 100 cửa hàng The Coffee House. Theo số liệu thống kê hiện nay thì The
Coffee House đã phục vụ 26 triệu lượt khách hàng.
4


Thương hiệu The Coffee House gây ấn tượng mạnh mẽ trong lịng người dân cả
nước cũng bởi vì hương vị cafe độc đáo, không gian thiết kế quán cafe ấn tượng,
nhân viên thân thiện và chất lượng sản phẩm tốt nhưng ở mức giá phù hợp với số
đông. Không chỉ vậy, sau khi sát nhập bộ phận cà phê của Cầu Đất Farm, The
Coffee House đã cung cấp các sản phẩm cà phê sạch và chất lượng.
2. Vấn đề gặp phải
Nhu cầu và khẩu vị của khách hàng luôn thay đổi. Chính vì vậy, việc thường xun
cập nhật thức uống mới là rất quan trọng, đặc biệt là thương hiệu đồ uống lớn như
The Coffee House. Và để đáp ứng được khẩu vị đa dạng của khách hàng hiện nay
thì The Coffee House đã có kế hoạch ra mắt một loại đồ uống mới thích hợp cho
mùa đơng đó là trà hoa đậu biếc - một loại đồ uống được rất nhiều người quan tâm
dạo gần đây. Tuy nhiên, đây là loại đồ uống còn chưa được phổ biến nhiều tại các
qn cà phê hay đồ uống khác. Chính vì vậy, thương hiệu này luôn băn khoăn rằng
không biết liệu thức uống mới này có thể làm hài lịng khách hàng hay khơng ?
3. Bài tốn đặt ra
Trên hết mỗi một khách hàng đều mong muốn thưởng thức nhiều loại đồ uống
ngon khi đến The Coffee House. Vậy nên, mục tiêu của doanh nghiệp là phải đáp
ứng được tất cả các nhu cầu của khách hàng, thấu hiểu khẩu vị của từng khách

hàng. Việc đưa ra những đồ uống mới nhằm giúp thu hút nhiều đối tượng khách
hàng hàng hơn khơng chỉ là các bạn trẻ mà cịn là những tầm lớp thế hệ khác. Xuất
phát từ tình trạng và mong muốn đó, The Coffee House đang tìm ra giải pháp để có
thể phát hiện những phản ứng của khách hàng khi thử đồ uống mới từ đó giúp
doanh nghiệp thực hiện được kế hoạch ra mắt chính thức sản phẩm mới cho mùa
đông này.

5


Các giải pháp và giá trị:
 Sử dụng bảng hỏi hoặc phiếu khảo sát
Ưu điểm: Có thể biết được chi tiết khách hàng thích sản phẩm đó ở mức độ nào, độ
hài lòng đối với đồ uống ra sao.
Nhược điểm: rườm rà, làm mất thời gian của khách hàng vì họ phải trả lời nhiều
câu hỏi.
 Thuê thêm nhân viên tư vấn
Ưu điểm: có thể lắng nghe trực tiếp được những ý kiến góp ý của khách hàng về
sản phẩm mới
Nhược điểm: Chi phí trả lương tăng, cần nhiều thời gian để đào tạo nhân viên mới
 Xây dựng mô hình ứng dụng AI nhận biết cảm xúc của khách hàng
Ưu điểm: Có thể nhận diện được các cảm xúc của tất cả khách hàng khi thử loại đồ
uống mới, không gây tốn thời gian của khách hàng khi phải nêu lại cảm nhận,
thống kê được lượng khách hàng thích hay khơng thích đồ uống đó.
Nhược điểm: Cần có đội ngũ chuyên môn cao để nghiên cứu cũng như chi phí để
đầu tư thiết bị cho từng cửa hàng.
 Lựa chọn giải pháp:
Xây dựng mơ hình ứng dụng AI phát hiện cảm xúc của khách hàng khi thử đồ
uống mới. Vì trong thời đại cơng nghệ, việc ứng dụng cơng nghệ bắt kịp xu hướng
thời đại cũng là việc đáng được khuyến khích. Đồng thời giải pháp trên có thể

6


phát hiện một cách chính xác hơn và tối ưu nhất giúp nhận diện nhanh chóng giúp
doanh nghiệp dễ dàng quyết định có nên ra mắt đồ uống mới hay không.

II. CHUẨN BỊ DỮ LIỆU
1. Xác định dữ liệu cần thu thập
Dữ liệu cần thu thập là hình ảnh động thực tế của người dùng cà phê trong quá
trình quá trình thử nghiệm hương vị cà phê. Dữ liệu bao gồm những hình ảnh động
chủ yếu có liên quan đến khung miệng của con người. Khung miệng trong khi
khách hàng cảm thấy hài lòng và khung miệng trong khi khách hàng cảm thấy
khơng hài lịng.
Cách thức thu thập dữ liệu: Sử dụng hệ thống camera giám sát đặt ở các vị trí khác
nhau trong các cửa hàng bán cà phê để liên tục theo dõi các biểu cảm của khách
hàng khi sử dụng cà phê. Sử dụng các bức hình sau khi người đó thưởng thức để
phân tích.
2. Ý tưởng mơ hình
Xây dựng mơ hình nhận diện cảm xúc hài lịng hoặc khơng hài lịng của khách
hàng về hương vị cà phê, để từ đó có thể đưa ra các giải pháp marketing hiệu quả
như: nghiên cứu và cải tiến sản phẩm, nghiên cứu sản phẩm mới và mức độ chấp
nhận của khách hàng đối với sản phẩm cà phê mới. Hệ thống sẽ phát hiện cảm xúc
hài lòng của khách hàng bằng nụ cười – thơng qua việc tính độ chênh lệc giữa
khoảng cách môi trên và môi dưới, đa số nụ cười thường sẽ nhe răng dù ít hay
nhiều sẽ làm thay đổi việc độ chênh lệch giữa điểm trung bình của đường nối giữa
mép hai mơi với đỉnh môi trên và môi dưới. Và với ngược lại với nhận diện cảm

7

xúc khơng hài lịng là khơng có độ chênh lệch khoảng cách giữa môi trên và môi
dưới.
Tạo file mẫu để phát hiện, nhận diện các đặc điểm của khuôn mặt như miệng, gò
má, mắt… Ở đây chúng ta chỉ chú ý đến miệng.
Tạo file train cho máy để xác định khung miệng xem cười hay khơng cười. Sau đó
đọc ảnh từ webcam của máy tính hoặc camera của hệ thống khi triển khai thực tế
và thực hiện:
+ Nếu có độ chênh lệch giữa khoảng cách môi trên và môi dưới thì nhận diện cảm
xúc hài lịng.
+ Nếu khơng có độ chênh lệch giữa khoảng cách môi trên và môi dưới thì nhận
diện cảm xúc khơng hài lịng.
3. Xác định kỹ thuật triển khai và xây dựng mơ hình
 Kỹ thuật xây dựng mơ hình dựa trên Google colabratory
Google Colaboratory (gọi tắt là Google Colab hay Colab) là một sản phẩm của
Google Research. Colab dựa trên Jupyter Notebook, người dùng có thể viết và thực
thi đoạn mã python thơng qua trình duyệt và đặc biệt rất phù hợp với data analysis,
machine learning và giáo dục. Colab không cần yêu cầu cài đặt hay cấu hình máy
tính, mọi thứ có thể chạy thơng qua trình duyệt, bạn có thể sử dụng tài nguyên máy
tính từ CPU tốc độ cao và cả GPUs và cả TPUs đều được cung cấp cho bạn.

8


9


Colab cung cấp nhiều loại GPU, thường là Nvidia K80s, T4s, P4s and P100s, tuy
nhiên người dùng không thể chọn loại GPU trong Colab, GPU trong Colab thay
đổi theo thời gian. Vì là dịch vụ miễn phí, nên Colab sẽ có những thứ tự ưu tiên

trong việc sử dụng tài nguyên hệ thống, cũng như giới hạn thời gian sử dụng, thời
gian sử dụng tối đa lên tới 12 giờ.

Ngoài việc sử dụng online, bạn cịn có thể download về máy dưới dạng file
py,ipynb để tiện thao tác.
+ Google Colab miễn phí.
+ Cung cấp phần cứng mạnh cho việc chạy thử code từ CPU, GPU đến TPU.
+ Dễ dàng sử dụng và truy cập, kết nối lưu trữ trực tiếp trên Google Drive, Github
+ Sử dụng được nhiều thư viện phổ dụng dành cho DeepLearning như Keras,
TensorFlow, PyTorch, và OpenCV
+ Thời gian sử dụng có giới hạn, sau 12 giờ VM của colab bị reset.
+ Không thể tự lựa chọn cấu hình phần cứng, với account free.


Thư viện tensorFlow

10


Tensorflow (TF) là 1 library do Google phát triển và là một thư viện mã nguồn mở
được dùng để tính toán số học sử dụng đồ thị luồng dữ liệu trong đó các node là
các phép tính tốn học cịn các cạnh biểu thị luồng dữ liệu.
Các lợi ích mà thư viện này mang lại:
 Tích hợp nhiều thư viện Machine Learning.
 Có khả năng tương thích và mở rộng tốt.
 Nhận biết phát âm và dịch tự động.
 Phân loại email của Gmail.
 Nhận biết khuôn mặt trong ảnh.
Đặc trưng của TensorFlow là xử lý được tất cả các loại dữ liệu có thể biểu diễn

dưới dạng data flow graph hay low level như xử lý chữ viết tay.


Thư viện Keras

Keras là một open source cho Neural Network được viết bởi ngơn ngữ Python. Nó
là một library được phát triển vào năm 205 bởi Francois Chollet, là một kỹ sư
nghiên cứu Deep Learning. Keras có thể sử dụng chung với các thư viện nổi tiếng
như Tensorflow, CNTK, Theano. Một số ưu điểm của Keras như:
- Dễ sử dụng, dùng đơn giản hơn Tensor, xây dựng model nhanh.
- Run được trên cả CPU và GPU.
- Hỗ trợ xây dựng CNN, RNN hoặc cả hai. Với những người mới tiếp cận đến
Deep thì chọn sử dụng Keras để build model vì nó đơn giản, dễ nắm bắt hơn
các thư viện khác.


Mạng nơ-ron tích chập

11


Mạng nơron tích chập (cịn gọi là ConvNet / CNN) là một thuật tốn Deep
Learning có thể lấy hình ảnh đầu vào, gán độ quan trọng (các trọng số - weights và
độ lệch - bias có thể học được) cho các đặc trưng/đối tượng khác nhau trong hình
ảnh và có thể phân biệt được từng đặc trưng/đối tượng này với nhau. Công việc
tiền xử lý được yêu cầu cho mạng nơron tích chập thì ít hơn nhiều so với các thuật
toán phân loại khác. Trong các phương thức sơ khai, các bộ lọc được thiết kế bằng
tay (hand - engineered), với một quá trình huấn luyện để chọn ra các bộ lọc/đặc
trưng phù hợp thì mạng nơron tích chập lại có khả năng tự học để chọn ra các bộ
lọc/ đặc trưng tối ưu nhất.

Ưu điểm của mạng nơ-ron tích chập:
 Các tính năng được mơ hình nơ-ron tích chập học một cách trực tiếp.
 Kết quả nhận dạng chính xác cao.
 Có thể học lại, xây dựng các nhiệm vụ nhận dạng mới trên cơ sở các nhiệm
vụ nhận dạng cũ.
III. XÂY DỰNG MƠ HÌNH
1. Input và Output của bài tốn
- Input: Hình ảnh nụ cười trên khn mặt của con người
- Output: Dự đốn hài lịng hay khơng hài lịng
2. Triển khai xây dựng mơ hình
 Bước 1 Đọc dữ liệu, tiền xử lý dữ liệu
Khai báo các thư viện sử dụng

12


Kết nối với Google Drive để đọc file và lưu file

Chuẩn bị dữ liệu
Dữ liệu được chia thành 2 thư mục Train và Validation Mỗi lớp tương ứng một thư
mục với 150 ảnh Train, 25 ảnh Validation.

Khai báo đường dẫn đến 2 thư mục chứa ảnh để Huấn luyện và Kiểm định
mơ hình

Gán nhãn ảnh: tên và thứ tự các nhãn tương ứng với tên và thứ tự các thư
mục chứa ảnh huấn luyện và kiểm định

Chuyển

từ

file

ảnh

JPEG

thành

image_data_generator
Chuẩn hóa dữ liệu ảnh về 0:1 - rescale 

13

dữ

liệu

số

từ

0:255-

Hàm


Đọc hai dữ liệu train, validation và gán nhãn tương ứng với cấu trúc của các
thư

mục

con

 Bước 2: Xây dựng mơ hình
Mơ hình gồm 6 tầng: Input image -> CNN1 -> CNN2 -> CNN3->Fully connected
layer -> Output.
-Tầng CNN 1 kết nối với đầu vào nên phải mô tả thông tin của đầu vào
(input_shape)
Mỗi tầng CNN: tích chập với 48 bộ lọc (filter) với kích thước mỗi bộ lọc là (3x3),
lớp lấy mẫu có kích thước (2x2), sử dụng hàm kích hoạt ReLU.
Hàm kích hoạt Relu để loại các giá trị âm
Flatten: chuyển ảnh từ dạng ma trận về mảng 1 chiều

14


Compile: Chọn các tham số để huấn luyện mơ hình.
Optimizer: thuật tốn huấn luyện mơ hình
Loss: hàm tính tốn sai số giữa giá trị học được và giá trị thực tế
categorical_crossentropy dùng trong trường hợp dự đoán nhiều lớp
Metrics: thước đo để ta đánh giá độ chính xác accuracy của mơ hình
Hàm opimizer là RMSPROP và tiêu chi huấn luận là Accuracy

 Bước 3: Huấn luyện mơ hình và xác định độ chính xác của mơ hình
EPOCHS: Số vịng lặp lặp lại 150 lần
15

batch_size = 32

Thử nghiệm độ chính xác của mơ hình

Kết quả

16


IV. ĐÁNH GIÁ
1. Đánh giá kết quả
Nhóm đã tiến hành test trên 20 mẫu, kết quả  17/20 mẫu cho kết quả đúng,
chiếm 85%
Một số kết quả của mơ hình:

17


2. Ưu điểm
Đây là một mơ hình mới mẻ, đang được sáng tạo, phát triển và áp dụng trong nhiều
lĩnh vực
Mơ hình được dùng từ việc lấy ảnh qua hệ thống các video được ghi lại, hoặc
camera nên nhận diện hình ảnh linh hoạt, dễ dàng, thuận tiện.
Mơ hình sẽ mang đến những lợi ích nhất định cho The Coffee House trong việc
nắm bắt được tâm tư, tình cảm của khách hàng đối sản phẩm mới của mình cũng
như các sản phẩm cũ hiện đang chào bán.
Mơ hình được huấn luyện thành cơng với tỷ lệ chính xác cao nhất là 100% , sai số
giữa giá trị dự đoán và giá trị thực tế của nó là 0,25%

Ở tập kiểm thử, sự chính xác lớn nhất là 84%

18


3. Nhược điểm
Hệ thống vẫn còn hạn chế khi mặt người dùng được chụp ở góc nghiêng, điều này
khiến mơ hình xác định chậm và kết quả cho ra có thể khơng chính xác
Tính sai số dựa trên giá trị dự đoán và giá trị thực tế ở tập kiểm thử cịn khá là cao

Trong khi đó thì sai số dựa trên giá trị dự đoán và giá trị thực tế ở tập huấn
luyện lại ở mức tốt

Hiện tại, khi thử nghiệm thì mơ hình vẫn đang hoạt động khá tốt. Tuy nhiên do
sự chênh lệch giữa loss và val_loss thì điều này đặt ra một ra một nghi vấn là
mơ hình có đang bị overfitting hay khơng. Trước đây, nhóm đã thử và sử dụng
19


cách tăng lượng dataset lên để huấn luyện và đã có kết quả chính xác hơn, vậy
nên có lẽ đây là một trong những cách làm để tăng sự chính xác của mơ hình
trước khi áp dụng vào thực tế.

4. So sánh và đánh giá với thuật toán Optimizer SGD
Stochastic Gradient Descent (SGD): Đây là thuật toán tối ưu hiện nay vẫn hay
được sử dụng để giải quyết những cơ sở dữ liệu lớn tuy nhiên nó vẫn chưa giải
quyết được hai nhược điểm lớn là learning rate và điểm dữ liệu ban đầu.
Nếu thử dùng thuật toán này, ta thấy loss giảm xuống rất chậm, acc tăng rất chậm;
val_loss gần như đứng ngun khơng giảm, val_acc thì giữ ngun (đóng băng), sự
chênh lệch giữa loss và val_loss khơng nhiều.
Nếu đánh giá thì sử dụng thuật tốn này chưa phù hợp với mơ hình nhiều, ngun

nhân có thể do thuật tốn này khơng phù hợp với mơ hình

20


Cho nên, nếu dựa trên kết quả mơ hình thì có lẽ sử dụng thuật tốn RMSprop vẫn
sẽ tối ưu hơn, vì mặc dù khoảng cách giữa loss và val_loss xa, val_loss có hơi
cao nhưng vẫn có thể cải thiện được.
5.

Định hướng phát triển vào thực tế

·   Bảo mật: xác định hành vi đáng ngờ trong đám đông và ngăn chặn tội phạm
·   Chơi game: Cải thiện trải nghiệm chơi trò chơi game thực tế ảo
·   Giáo dục, tiếp thị: Đo thời gian học chính xác, giới thiệu khóa học và các sản phẩm
tiếp thị
·   Ngân hàng, các shop: nhận diện cảm xúc,…
 

 

21