Hệ thống hỗ trợ phân tích dữ liệu người xem quảng cáo

Giải thưởng Sinh viên nghiên cứu khoa học Euréka lần 20 năm 2018

Kỷ yếu khoa học

HỆ THỐNG HỖ TRỢ PHÂN TÍCH DỮ LIỆU
NGƯỜI XEM QUẢNG CÁO
Võ Minh Cơng*, Lê Ngọc Phú
Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh
*Tác giả liên lạc:
TÓM TẮT
Thị trường quảng cáo sử dụng LCD ngày càng nở rộ ở Việt Nam bởi tính hiệu
quả về mặt quảng bá sản phẩm, kích thích thị hiếu người dùng thơng qua hình
ảnh và âm thanh sống động. Tuy nhiên, không phải chiến dịch nào được triển
khai cũng mang về doanh thu như mong đợi bởi sự khó khăn trong q trình đo
lường độ hiệu quả của quảng cáo đối với từng đối tượng khách hàng cụ thể.
Trong nghiên cứu này, chúng tôi đề xuất một hệ thống sử dụng các thuật tóa n xử
lí ảnh kết hợp với các thuật tóa n học sâu giúp trích xuất thơng tin người xem
quảng cáo như số lượng người xem, thời gian xem, giới tính, độ tuổi nhằm hỗ trợ
việc phân tích mức độ tác động của quảng cáo đến từng đối tượng khách hàng
một cách nhanh và hiệu quả. Mơ hình nhận dạng giới tính và độ tuổi hiện đã hoạt
động được với tốc dộ ~30FPS, và cho ra kết quả khá tốt với độ chính xác đạt
được là 92% với giới tính và sai số về tuổi là 3.2. Với kết quả này, mơ hình đã có
khả năng triển khai rộng rãi trên các hệ thống quảng cáo LCD, trong tương lai,
độ chính xác của mơ hình có thể được cải thiện hơn nhờ việc thu thập thêm dữ
liệu hình ảnh và sẽ có thêm cơng cụ hỗ trợ phân tích các dữ liệu thu thập được
bằng thuật tóa n máy học.
Từ khóa: Quảng cáo, phân tích, xử lí ảnh, học sâu, độ tuổi và giới tính.
SMART ADVERTISING SYSTEMS
Vo Minh Cong*, Le Ngoc Phu
Ho Chi Minh City University of Technology and Education
*Corresponding Author:

ABSTRACT
The LCD advertising market is booming in Vietnam because of the efficiency in
promoting the product, stimulating attraction through visuals and sound.
However, not every campaign is deployed as well as expected as the difficulty in
measuring the effectiveness of advertising for each specific customer. In this
study, we propose a system that utilizes image processing algorithms in
conjunction with deep learning algorithms to extract viewer information such as
the number of views, viewing time, gender and age, to help analyze the impact of
advertising to each customer quickly and effectively. Gender and age
identification is now working at ~ 30FPS, and yields good results with 92%
accuracy with gender and age error of 3.2. With this result, the model has the
potential to be widely deployed on LCD advertising systems. In the future, the
accuracy of the model can be further improved by acquiring more image data
and will have additional tools for analyzing data collected by machine learning
algorithms.
Keywords: advertisings, analysis, image processing, deep learning, age and
gender.
152


Giải thưởng Sinh viên nghiên cứu khoa học Euréka lần 20 năm 2018

TỒNG QUAN
Trong thị trường cạnh tranh cao ngày
nay, quảng cáo đóng vai trị quan trọng
và ảnh hưởng trực tiếp đến sự thành
công của các doanh nghiệp. Cùng với
sự phát triển của nền công nghiệp sản
xuất, các công ty ngày càng quan tâm
đến việc quảng bá hình ảnh, sản phẩm

và dịch vụ của mình đến với khách
hàng. Riêng thị trường Việt Nam các
bảng quảng cáo ngoài trời chiếm tỷ lệ
cao nhất (95,2% - theo nghiên cứu của
Kantar Media). Và sự xuất hiện của các
bảng quảng cáo bằng bảng điện tử,
LCD khiến cho việc các quảng cáo tiếp
cân khách hàng càng dễ dàng hơn.
Nhưng hiện nay chưa có một phương
pháp nào để đánh giá độ hiểu qua của
quảng cáo ngay lập tức mà các nhãn
hàng thường phải dựa vào doanh số
bán hàng, việc này cần phải tốn nhiều
thời gian. Ngày nay với sự phát triển
mạnh mẽ của khoa học máy tính, càng
ngày càng có nhiều đột phá trong các
thuật tóa n máy học đặc biệt là học sâu,
một thuật tóa n đang được ứng dụng
rộng rãi trong các sản phẩm ứng dụng
trí tuệ nhân tạo. Mục tiêu của đề tài là
nghiên cứu một hệ thống ứng dụng
thuật tóa n học sâu để hỗ trợ trích xuất
thơng tin về độ tuổi, giới tính, thời gian
xem, và số lượng người xem quảng cáo
trên các bảng LCD và lưu lại thông tin
trên máy chủ, từ đó những nhà phân
tích có thể kiểm chứng độ hiệu quả của
quảng cáo nhanh chóng.
CÁC THUẬT TĨA N VÀ PHƯƠNG
PHÁP NGHIÊN CỨU

Chuẩn bị dữ liệu
Bộ dữ liệu huấn luyện lấy từ tập
MegAsian (Zhang, Liu, Li, & Loy,
2017). Sử dụng phương pháp của
Viola-Jone (Viola & Jones, 2004) đó là
dùng các đặc trưng Haar để nhận diện
vùng có chứa khn mặt người. và cắt

Kỷ yếu khoa học

khuôn mặt ra khỏi bộ dữ liệu gốc. Dữ
liệu được đa dạng hóa bằng các phép
xoay hình để tạo thêm dữ liệu cho quá
trình huấn luyện.
Xây dựng mơ hình của thuật tóa n
học sâu
Để trích xuất đặc trưng của khn mặt
người chúng tơi đã thiết kế một mạng
CNN. Cấu trúc mạng CNN lần đầu
được tạo ra có tên là AlexNet
(Krizhevsky, Ilya, & Hinton, 2012)
Mạng CNN là một mơ hình có chứa
nhiều lớp ma trận nhân chập khác nhau
đảm nhiệm các tính năng khác nhau
trong mạng như khử nhiễu, làm mờ,
trích xuất cạnh, … và nhiều đặc trưng
khác. Đối với các thuật tóa n xử lí ảnh
thơng thường q trình trích xuất đặc
trưng thì giá trị các mặt nạ phải được
nghiên cứu và cài đặt một cách thủ

cơng. Nhưng đối với thuật tóa n học
sâu thì các giá trị của các mặt nạ (trọng
số) được máy điều chỉnh thơng qua q
trình huấn luyện sao cho giá trị của các
lớp cuối là đúng với nhãn của dữ liệu.
Giữa các lớp nhân chập chúng tôi sử
dụng thêm kĩ thuật thường hóa (Ioffe
& Szegedy, 2015) nhằm giảm thiểu
thời gian huấn luyện và chống mơ hình
tạo ra một đầu ra quá chính xác với tập
dữ liệu huấn luyện (hay còn gọi là
overfitting). Lớp cuối của mạng CNN
cho ra 2 ngõ ra là tuổi và giới tính. Với
ngõ ra dự đóa n tuổi hàm kích hoạt
được sử dụng là hàm tuyến tính cho bài
tóa n hồi quy độ tuổi. Với ngõ ra giới
tính, hàm kích hoạt là hàm sigmoid cho
ngõ ra 0/1 tương ứng với hai giới tính
nữ/nam. Với mục tiêu ban đầu là một
hoạt động theo thời gian thực, lấy ý
tưởng dựa vào mạng MobileNet
(Howard, et al., 2017) nhằm giảm thiểu
thời gian xử lý nhưng vẫn cho ra kết
quả khá tốt.
Đánh giá sai số
Để xác định được thời gian mà khuôn

153

Giải thưởng Sinh viên nghiên cứu khoa học Euréka lần 20 năm 2018

Kỷ yếu khoa học

mặt xem quảng cáo, hệ thống tích hợp vẫn cịn trong vùng dự đóa n, thuật tóa
thêm một thuật tóa n nhằm theo dõi n sẽ cập nhật vị trí mới của khn mặt.
khn mặt từ khi khuôn mặt xuất hiện Giao tiếp giữa máy chủ và các biển
trên camera đến khi rời khỏi camera.
quảng cáo được hình thành qua giao
Khi một khn mặt được phát hiện, hệ thức HTTP và một giao diện người
thống sẽ gán mã số định danh cho dùng được tạo ra để các bảng quảng
khn mặt đó, một đường bao sẽ được cáo có thể truyền thơng tin hình ảnh về
tạo ra xung quanh khuôn mặt. Hệ thống máy chủ.
sẽ tạo ra thêm một đường bao lớn hơn
dự đóa n khu vực vùng mặt đó xuất KẾT QUẢ VÀ THẢO LUẬN
hiện trong khung ảnh tiếp theo, nếu Sau gần 50 vịng lặp để huấn luyện mơ
trong vùng ảnh tiếp theo khn mặt đó hình học sâu ta có kết quả như sau:
Bảng 1. Kết quả sai số của mơ hình trên hai tập dữ liệu sau 50 vòng lặp
Sai số
Trên tập huấn luyện

~4.08

Trên tập đánh giá

~3.22

Bảng 2. Kết quả độ chính xác của mơ hình trên hai tập dữ liệu sau 50 vịng lặp
Độ chính xác
Trên tập huấn luyện

~91%

Trên tập đánh giá

~91%

Kết quả mơ hình mạng CNN có thiết kế như hình bên dưới.

Hình 1. Sơ đồ mơ hình của mạng CNN
154


Giải thưởng Sinh viên nghiên cứu khoa học Euréka lần 20 năm 2018

Mơ hình mạng CNN này là lõi xử lý
mấu chốt của toàn bộ hệ thống. Cùng
với các thuật tóa n xử lý ảnh, mơ hình
mạng CNN được triển khai trên máy
chủ. Những bảng quảng cáo được tích
hợp camera có nhiệm vụ thu thập dữ
liệu người xem và gửi về máy chủ và
máy chủ sẽ trích xuất thơng tin và lưu
vào nhật ký để phân tích.
KẾT LUẬN
Mơ hình dự báo tuổi và giới tính tuy
chưa đạt độ chính xác tuyệt đối và
những trường hợp sai lệch là những
trường hợp có thể bỏ qua được. Theo
một cách khách quan, ngay cả mắt

người cũng khơng thể dự đóa n chính
xác được độ tuổi của người chỉ bằng

Kỷ yếu khoa học

hình ảnh. Vì vậy những kết quả kể trên
có thể chấp nhận được. Với các kết quả
này thì mơ hình có thể được sử dụng
trong hệ thống, hỗ trợ trích xuất đặc
trưng của người dùng để hỗ trợ phân
tích độ hiệu quả của quảng cáo. Trong
tương lai, hệ thống sẽ được cải thiện về
mật độ chính xác, nâng cấp thời gian
xử lý, tạo nhiều kết nối giữa hệ thống
máy chủ và máy trạm hơn nữa. Ngồi
ra, màn hình quản lý và phân tích các
thơng tin hữu ích và cần thiết sẽ được
thiết kế để cung cấp cho các bên quản
lý có cái nhìn trực quan và chi tiết hơn.
Và khả năng ứng dụng của mơ hình
này có thể tùy biến để áp dụng vào
nhiều vấn đề hơn nữa ngoài việc hỗ trợ
phân tích hiệu quả quảng cáo.

TÀI LIỆU THAM KHẢO
HOWARD, A. G., ZHU, M., CHEN, B., KALENICHENKO, D., WANG, W.,
WEYAND, T., ADAM, H. (2017). MobileNets: Efficient Convolutional
Neural Networks for Mobile Vision Applications. CoRR.
IOFFE, S., & SZEGEDY, C. (2015). Batch normalization: Accelerating deep
network training by reducing internal covariate shift. International

Conference on Machine Learning (trang 448-456). JMLR.org.
KRIZHEVSKY, A., ILYA, S., & HINTON, G. E. (2012). ImageNet
classification with deep convolutional neural networks. Neural
Information Processing Systems (NIPS) (trang 1097-1105). Curran
Associates Inc.
VIOLA, P., & JONES, M. J. (2004). Robust Real-Time Face Detection.
International Journal of Computer Vision, 57, 137-154.
ZHANG, Y., LIU, L., LI, C., & LOY, C. C. (2017). Quantifying Facial Age by
Posterior of Age Comparisons. CoRR.

155