luận văn thạc sĩ xây dựng mô hình biểu diễn vectơ sản phẩm thương mại điện tử dựa trên phương pháp khai phá đồ thị​

I HC QUăC GIA H
TRìNG

NáI

I HC CNG NGH

Trn Minh TuĐn

X Y DÜNG M˘ H NH BI U DI N VECTÌ S N PH M TH×ÌNG M I I N TÛ DÜA
TR N PH×ÌNG PH P KHAI PH ˙ THÀ

LU NV NTH CSòKHOAHCM YTNH

H NáI - 2020


I HC QUăC GIA H
TRìNG

NáI

I HC CNG NGH

Trn Minh TuĐn

X Y DÜNG M˘ H NH BI U DI N VECTÌ S N PH M TH×ÌNG M I I N TÛ DÜA
TR N PH×ÌNG PH P KHAI PH ˙ THÀ

Ng nh:

Khoa hồc mĂy tnh

Chuyản ng nh:

Khoa hồc mĂy tnh

MÂ s:

LU NV NTH CSòKHOAHCM YTNH
NGìI HìNG D N KHOA HC: TS. V

H N¸I - 2020

NH HI U


VIETNAM NATIONAL UNIVERSITY, HANOI UNIVERSITY
OF ENGINEERING AND TECHNOLOGY

Tran Minh Tuan

A PROPOSED MODEL FOR VECTOR REPRESENTATION OF ECOMMERCE PRODUCTS BASED ON GRAPH EMBEDDING

THE MASTER THESIS
Major: Computer Science

Supervisor: Dr. Vo Dinh Hieu

HANOI - 2020

Lới cam

oan

Tổi l Trn Minh TuĐn, hồc viản cao hồc lỵp K26-KHMT, ng nh Khoa håc thỉng
tin. Tỉi xin cam oan lun vôn XƠy dỹng mổ hnh biu din vectỡ sÊn ph'm
thữỡng mi iằn tò dỹa trản phữỡng phĂp khai phĂ ỗ th l cổng trnh nghiản cứu,
xƠy dỹng ca ri¶ng m…nh. C¡c nºi dung nghi¶n cøu, k‚t qu£ trong lun vôn l xĂc
thỹc.
CĂc thổng tin sò dửng trong lun v«n l câ cì sð v khỉng câ nºi dung n o sao
ch†p tł c¡c t i li»u m khæng ghi rê trch dÔn tham khÊo. Tổi xin chu trĂch
nhiằm v• líi cam oan n y.
H Nºi, ng y . . . thĂng . . . nôm 2020
Hồc viản cao håc

Trƒn Minh Tu§n

i


Lới cÊm ỡn
Lới u tiản, tổi xin gòi lới cÊm ỡn v lặng bit ỡn sƠu sc tợi thy TS. Vê nh Hiu,
ngữới  tn tnh hữợng dÔn v ch b£o tỉi trong suŁt thíi gian håc t“p bŁn n«m ⁄i
håc, hai n«m cao håc v °t bi»t l thíi gian thỹc hiằn lun vôn thc s.
Tổi cụng xin chƠn th nh c£m ìn c¡c thƒy, cỉ trong tr÷íng ⁄i håc Cỉng Ngh» v
sü hØ trỉ cıa • t i QG.18.61 cıa ⁄i håc QuŁc gia H Nºi ¢ t⁄o mồi iãu kiằn thun
lổi cho tổi hồc tp v nghiản cứu.
Tổi cụng xin cÊm ỡn ỗng nghiằp ti Cổng ty CŒ phƒn Khoa håc Dœ li»u ¢ hØ
trỉ thi‚t bà phƒn cøng, âng gâp dœ li»u cho • t i n y.

Tỉi xin gßi líi c£m ìn ‚n c¡c thƒy cỉ, c¡c anh chà, c¡c b⁄n trong phỈng th‰
nghi»m cıa b mổn Cổng nghằ phn mãm  hỉ trổ tổi rĐt nhiãu vã kin thức
chuyản mổn trong quĂ trnh thỹc hiằn lun vôn.
Tổi xin cÊm ỡn cĂc bn trong lợp K26 ¢ ıng hº v khuy‚n kh‰ch tỉi trong suŁt quĂ
trnh hồc tp ti trữớng.
Cui cũng, tổi xin ữổc gòi cĂm ỡn vổ hn tợi gia nh, ngữới thƠn v bn b,
nhng ngữới  luổn bản cnh, giúp ù v ng viản tổi trong nhng nôm thĂng hồc
tp nghiản cứu v trong cuºc sŁng.
H Nºi, ng y . . . thĂng . . . nôm 2020
Hồc viản

Trn Minh TuĐn

ii


Tõm tt
Tõm tt:
Nhng nôm gn Ơy, cĂc hot ng trong lắnh vỹc thữỡng mi iằn tò ng y c ng ph¡t tri”n t⁄i
Vi»t Nam v quŁc t‚. C¡c n•n t£ng website thữỡng mi iằn tò ang nỉ lỹc em li tr£i
nghi»m tŁt hìn cho ng÷íi mua s›m. Mºt trong nhœng y‚u tŁ quan trång cıa l¾nh vüc n
y l kh£ nông xò lỵ d liằu khi s lữổng sÊn ph'm v giao dàch gia t«ng mØi ng y. C¡c
dœ li»u n y s‡ ÷ỉc øng dưng trong b i to¡n nhữ gổi ỵ sÊn ph'm, phƠn loi sÊn ph'm, tr
ch xuĐt thổng tin, tm kim sÊn ph'm.
Nghiản cứu ca lun v«n t“p trung v o mỉ h…nh bi”u di„n vectì s£n ph'm gi u thæng
tin ” l m ƒu v o cho c¡c b i to¡n håc m¡y øng döng trong thữỡng mi iằn tò. Mổ hnh n
y sò dửng °c tr÷ng cıa thuºc t‰nh s£n ph'm v dœ li»u mi quan hằ. Nghiản cứu sò
dửng phữỡng phĂp "graph embedding" - håc khæng gi¡m s¡t c¡c thuºc t‰nh cıa s£n
ph'm t ỗ th quan hằ. Nghiản cứu cụng ch ra sü hi»u qu£ cıa mỉ h…nh khi thüc
nghi»m vỵi dœ liằu ỗ th sÊn ph'm h ng chửc triằu nh v trôm triằu cnh quan hằ.

T khõa: thữỡng mi iằn tò, khai phĂ ỗ th, vectỡ hõa sÊn ph'm, mng nì-ron t‰ch ch“p

iii


Abstract
Abstract: In recent years, activities in the field of e-commerce have been increasingly
developing in Vietnam and internationally. E-commerce website platforms are striving
to bring a better experience to shoppers. One of the key factors of this area is the
ability to process data as the number of products and transactions increases every
day. These data will be applied in problems such as product suggestions, product
classification, information extraction, product search.
The thesis’s research focuses on constructing the model product vector representation
as an input to the applied many tasks in e-commerce. This model uses the
characteristics of product attributes and the relationship between them. Research using
the method graph embedding - unsupervised learning of product attributes from the ecommerce graph. The research also shows the effectiveness of the model when
experimenting with millions of product vertices and hundreds of millions of edges.

Keywords: e-commerce, graph embedding, product embedding, convolution neural
net-work

iv


Mưc lưc
Líi cam oan
Líi c£m ìn
Tâm t›t
Abstract
Mưc lưc

Danh mưc c¡c tł vi‚t t›t v thu“t ngœ
Danh s¡ch h…nh v‡
Ch÷ìng 1 t vĐn ã
1.1

Lỵ do chồn ã t i . . . . . . . . . . . . . . . . . . . . . .

1.2

C¡c nghi¶n cøu li¶n quan . . . . . . . . . . . . . . .

1.3

Mưc ti¶u cıa lu“n v«n . . . . . . . . . . . . . . . . . .

1.4

CĐu trúc lun vôn . . . . . . . . . . . . . . . . . . . . . .

K‚t lu“n ch÷ìng 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Chữỡng 2 Cỡ s lỵ thuyt v khÊo sĂt cĂc phữỡng phĂp
2.1

2.2

Cỡ s lỵ thuyt . . . . . . . . . . . . . . . . . . . . . . . .
2.1.1

Ph֓

2.1.2

Ph֓

2.1.3

Ph֓

Kh£o s¡t cĂc phữỡng phĂp biu din vectỡ sÊn p
2.2.1

PhƠn

2.2.2

Biu

2.2.3

Biu

Kt lun chữỡng 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
v
Ch÷ìng 3 Mỉ h…nh bi”u di„n vector s£n ph'm b‹ng ph÷ìng ph¡p


khai phĂ ỗ th
3.1

nh nghắa b i toĂn . . . . . . . . . . . . . . . . . . . .

3.2

Mỉ t£ ph÷ìng ph¡p . . . . . . . . . . . . . . . . . . . .

3.3

¡nh gi¡ ph÷ìng ph¡p . . . . . . . . . . . . . . . . . . . .

3.3.1 Ph÷ìng ph¡p ¡nh gi¡ mỉ h…nh . . . . . .
3.3.2 i”m m⁄nh cıa ph÷ìng ph¡p . . . . . . . . . .
3.3.3 H⁄n ch‚ cıa ph÷ìng ph¡p . . . . . . . . . . . .
K‚t lu“n ch÷ìng 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Ch÷ìng 4 Thüc nghi»m v ¡nh gi¡ k‚t qu£
4.1

Ph÷ìng ph¡p v dœ li»u thüc nghi»m . . . . . . .

4.2

X¥y düng h» thŁng trong thüc t‚ vợi d liằu lợn

4.3

Kt quÊ thỹc nghiằm v phƠn tch . . . . . . . .

K‚t lu“n ch÷ìng 4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Ch÷ìng 5 K‚t lu“n
T i li»u tham kh£o

vi


Danh möc c¡c tł vi‚t t›t v thu“t ngœ
STT

Tł vi‚t t›t

1

TM T

2

GMV

3

4

Deep
learning
Word embedding
Graph

5

embedding

5

PEBG

6

CNN

7

SVM

8

API


vii


Danh s¡ch h…nh v‡
2.1

Ki‚n tróc mỉ h…nh m⁄ng nì-ron t‰ch ch“p Alexnet . . . . . . .

2.2

KhŁi residual block trong mæ h…nh m⁄ng ResNet . . . . . . . .

2.3

Ki‚n tróc mỉ h…nh m⁄ng ResNet . . . . . . . . . . . . . . . . . . . . .

2.4

Ki‚n tróc mỉ h…nh m⁄ng Inception . . . . . . . . . . . . . . . . . . .

2.5

Mỉ h…nh word2vec ki‚n tróc CBOW v Skip-gram . . . . . . .

2.6

Sỡ ỗ kin tróc Transformer k‚t hỉp vỵi cì ch‚ attention . . . . . .

2.7

V‰ dư v• k‚t qu£ thu“t to¡n Random Walk . . . . . . . . . . . . . .

2.8

V‰ dư v• k‚t qu£ thu“t to¡n Random Walk trong mæ h…nh Meta

2.9

Mæ h…nh håc sƠu cỡ bÊn v mổ hnh cõ sò dửng lợp embedd

2.10Mỉ h…nh bi”u di„n vectì b‹ng dœ li»u t¶n s£n ph'm . . . . . . . . . .
2.11Mỉ h…nh bi”u di„n vectì b‹ng dœ li»u £nh s£n ph'm . . . . . . . . . .
2.12So s¡nh º ch‰nh x¡c ph¥n lo⁄i £nh giœa c¡c mỉ h…nh nhóng £nh
(image embedding) . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.1

V dử ỗ th quan hằ sÊn ph'm thữỡng mi iằn tò . . . . . . . .

3.2

Qu¡ tr…nh mæ h…nh x‚p h⁄ng i”m cıa cĂc cnh quan hằ . . .

3.3

Mổ hnh nhúng ỗ thà TransE . . . . . . . . . . . . . . . . . . . . . .

4.1

ThŁng k¶ s£n ph'm theo ng nh h ng . . . . . . . . . . . . . . . . . . .

4.2

V‰ dư b£n ghi dœ li»u s£n ph'm th÷ìng m⁄i iằn tò . . . . . . .

4.3

Biu ỗ dỈng ch£y h» thŁng bi”u di„n vectì s£n ph'm . . . . . .

4.4

Kt quÊ sÊn ph'm gổi ỵ lüa chån kh¡c . . . . . . . . . . . . . . . . . .

viii

Danh s¡ch b£ng
1.1 C¡c y‚u tŁ £nh h÷ðng ‚n quy‚t ành mua h ng trüc tuy‚n . . . .
1.2 C¡c th nh phƒn dœ li»u trong th÷ìng m⁄i i»n tß . . . . . . . . . .
2.1 nh x d liằu ỗ th v mổ hnh ngỉn ngœ tü nhi¶n . . . . .
3.1 Thỉng tin ca nh trong d liằu ỗ th TM T . . . . . . . . . . .
3.2 Thổng tin cĂc quan hằ trong d liằu ỗ thà TM T . . . . . . . .

3.3 H m bi‚n Œi cıa mæ h…nh RESCAL, DistM ult, T ransE, v Com

4.1 So s¡nh k‚t qu£ Hits@10, Hits@50 giœa c¡c mæ h…nh khai p
TM T ....................................

ix


Chữỡng 1
t vĐn

ã

Trong chữỡng n y s giợi thiằu vã lỵ do chồn ã t i. Tip õ lun vôn s trnh b y cĂc
nghiản cứu liản quan vã biu din sÊn ph'm v nghiản cứu vã khai phĂ ỗ th.
Nhiằm vử ca lun vôn s ữổc trnh b y trong phn cui ca chữỡng.

1.1

Lỵ do chồn

ãti

Ng nh thữỡng mi iằn tò (TM T) to n cu ang tông trững m⁄nh m‡ v s‡ ⁄t 6.54 t¿
ỉ v o n«m 2022 [5]. T⁄i Vi»t Nam doanh thu ng nh TM T ang t«ng 9.0% h ng
1

n«m v dü o¡n n«m 2024 t¿ l» ng÷íi tham gia mua s›m trüc tuy‚n lản tợi 66.6% .
Nhng nãn tÊng mua sm trỹc tuyn quŁc t‚ nh÷ Amazon, eBay v ð Vi»t Nam
nh÷ Tiki, Shopee, Lazada tham gia vợi mổ hnh th trữớng B2C ho°c C2C ang
câ h ng tri»u l÷ỉt truy c“p mØi ng y. C¡c n•n t£ng TM T ln cŁ g›ng c£i ti‚n
dàch vư ” em l⁄i tr£i nghi»m tŁt hìn khi mua s›m. SŁ ìn và tham gia b¡n h ng ng
y c ng gia t«ng v câ ‚n h ng chửc triằu sÊn ph'm ữổc ông bĂn, cĂc nãn t£ng ph£i
Łi m°t vỵi vi»c l m th‚ n o phƠn phi úng sÊn ph'm n úng ngữới dũng v óng thíi
i”m. Vi»c n y Ỉi häi bº ph“n ph¡t tri”n phƒn m•m d nh ph£i nhi•u nØ lüc bði dœ
li»u s£n ph'm a d⁄ng tr÷íng thỉng tin ch÷a chu'n hõa, s lữổng rĐt lợn v khổng
th thao tĂc xò lỵ th cổng.
Nhng yu t Ênh hững n quyt ành mua s›m trüc tuy‚n câ th” k” l t‰nh tin
c“y, t÷ìng t¡c øng dưng, t‰nh an to n v dàch vư ch«m sâc kh¡ch h ng (b£ng
1.1). Trong â y‚u tŁ tr£i nghi»m mua s›m tr¶n website v øng dửng iằn thoi Ênh
hững rĐt nhiãu n viằc ra quyt nh mua h ng.
nƠng cao chĐt lữổng dch vử, cĂc nãn tÊng thữỡng mi iằn tò cn tp trung
nƠng cao trÊi nghiằm mua sm v giÊi quyt vĐn ã vã d liằu. Bng viằc Ăp dửng
phữỡng phĂp hồc mĂy, mt s cổng viằc n y  ữổc xò lỵ tỹ ng hoc bĂn tỹ ng.
Gn Ơy nhiãu cổng b nghiản cứu vã kắ thut hồc sƠu (Deep learning) t
1

/>e-conomy-sea-unlocking-200b-digital-opportunity

1

B£ng 1.1: C¡c y‚u tŁ £nh h÷ðng ‚n quy‚t

2

ành mua h ng trüc tuy‚n


tr÷íng ⁄i håc v cỉng ty cỉng ngh» [22, 30, 33]  ứng dửng cho nhiãu b i toĂn lắnh
vỹc thữỡng mi iằn tò. Nhng mổ hnh õ thữớng cõ lợp u v o l cĂc c trững mức
d liằu thỉ (v‰ dư: t¶n s£n ph'm, gi¡ s£n ph'm, £nh ...). Sau â mæ h…nh s‡ bi‚n
Œi ma tr“n qua c¡c lỵp t‰ch ch“p v h m k‰ch ho⁄t (activation function), cuŁi cịng
‚n lỵp ƒu ra. Qu¡ tr…nh håc câ gi¡m s¡t n y s‡ gióp mỉ h…nh c“p nh“t l⁄i gi¡ trà ma
tr“n cıa c¡c lỵp trong m⁄ng håc s¥u. ¥y l c¡ch ti‚p c“n phŒ bi‚n cho c¡c b i toĂn nhữ
phƠn loi danh mửc sÊn ph'm, phƠn loi quan im Ănh giĂ ca ngữới dũng v  câ
nhœng k‚t qu£ ¡ng k”. Tuy nhi¶n h⁄n ch‚ cıa mổ hnh sò dửng c trững mức thĐp
l yảu cu thíi gian hu§n luy»n d i ” mỉ h…nh "håc" ữổc thổng qua nhiãu vặng
lp "epochs". Nu d liằu trong pha huĐn luyằn quĂ t, mổ hnh s khổng hồc
ữổc nhœng °c tr÷ng thỉ n y v l m gi£m chĐt lữổng.

Trong lắnh vỹc xò lỵ Ênh, xò lỵ Ơm thanh v xò lỵ ngổn ng tỹ nhiản, mổ h
nh hồc sƠu cõ sò dửng thảm lợp pretrain (Lợp ữổc huĐn luyằn t tp d liằu lợn
trữợc õ) cho kt quÊ tt hỡn mổ hnh dũng c trững mức thĐp. Cử th cĂc b i
toĂn xò lỵ Ênh, mổ hnh pretrain[28, 34] (ResNet, Efficient Net) thüc nghi»m
b‹ng dœ li»u imagenet [7] (gỗm hỡn 14 triằu Ênh ữổc gĂn nhÂn)  giúp tông
chnh xĂc phƠn loi Ênh t 50% lản tỵi 88.5%. Mỉ h…nh ngỉn ngœ [1, 19, 31]
(Word2Vec, fastText, BERT) ¡p dưng cho b i to¡n ph¥n lo⁄i chı • tin tøc [6] ¢
gióp gi£m t¿ l» lØi tł 14% xung 4.4%. Trong lắnh vỹc thữỡng mi iằn tò, thỉng
tin cıa s£n ph'm l ƒu v o r§t quan trång cho b i to¡n håc m¡y. Lu“n v«n t“p trung
nghi¶n cøu mỉ h…nh bi”u di„n vectì s£n ph'm ” ¡p dưng cho c¡c lỵp b i to¡n håc
m¡y TM T. Mæ h…nh s‡ bi”u di„n s£n ph'm thæng quan phữỡng phĂp khai phĂ ỗ

th d liằu lợn m cĂc c⁄nh l quan h» cıa s£n ph'm vỵi c¡c th nh phƒn kh¡c nh÷ ng
nh h ng, th÷ìng hi»u, m u sc, kch thữợc, s Ănh giĂ, s lữổng  bĂn...

1.2

CĂc nghiản cứu liản quan

Nghiản cứu ca lun vôn tp trung v o phữỡng phĂp biu din sÊn ph'm dữợi dng
d liằu ỗ th. Mửc tiảu ca mổ hnh nghiản cøu gióp t«ng hi»u qu£ cho a
d⁄ng b i to¡n hồc mĂy ca lắnh vỹc thữỡng mi iằn tò. Th nh phn d liằu trong
thữỡng mi iằn tò rĐt a dng nhữ d liằu vã sÊn ph'm, thổng tin giao dch, hot
ng tữỡng tĂc, thổng tin cĂ nhƠn (hnh 1.2)
Vectỡ bi”u di„n s£n ph'm l nguy¶n li»u quan trång trong c¡c b i to¡n håc m¡y nh÷

3


B£ng 1.2: C¡c th nh phƒn dœ li»u trong th÷ìng m⁄i

i»n tß


4


h» khuy‚n nghà s£n ph'm, h» thŁng t…m ki‚m s£n ph'm, ph¥n lo⁄i s£n ph'm... MØi
d⁄ng bi”u di„n dœ li»u cıa s£n ph'm s‡ câ nhœng ÷u i”m v h⁄n ch‚. Tịy thuºc v o
tłng b i to¡n v tr÷íng hỉp cư th”, mỉ h…nh s‡ lüa chån ti‚p c“n d⁄ng bi”u di„n kh¡c
nhau. Mỉ h…nh bi”u di„n vectì s£n ph'm cõ th phƠn loi th nh 3 nhõm chnh
gỗm dœ li»u d⁄ng nºi dung (content based), d⁄ng h…nh £nh (image-based)

v

dng ỗ th (graph-based).

a) Mổ hnh biu din d liằu dng ni dung

Ni dung ca sÊn ph'm gỗm: tản sÊn ph'm, mỉ t£ ng›n, thỉng sŁ k¾ thu“t, chi
ti‚t s£n ph'm. D liằu n y ữổc sò dửng nhiãu nhĐt xƠy dỹng chức nông tm
kim sÊn ph'm. Khi ngữới dòng ph¡t sinh t…m ki‚m, h» thŁng t…m ki‚m s‡ x‚p
h⁄ng k‚t qu£ düa tr¶n thỉng tin (t¶n s£n ph'm, mổ tÊ) chồn sÊn ph'm tữỡng
ỗng vợi ni dung tm kim nhĐt. Phữỡng phĂp n y ang ữổc sò dưng phŒ bi‚n
cho nhœng website TM T quy mỉ nhä v trung b…nh [13] bði t‰nh d„ tri”n
khai t‰ch hæp. H⁄n ch‚ cıa ph÷ìng ph¡p t…m ki‚m fulltext-search n y l kt quÊ
khõ sp xp theo tiảu ch nƠng cao cụng nhữ khổng hot ng tt khi tản sÊn
ph'm ch chứa t khõa ỗng nghắa. khc phửc vĐn ã n y, mổ hnh hồc mĂy
dỹa trản phữỡng phĂp nhúng t (word embedding), nhúng cƠu (sentence
embedding) Â cho kt quÊ tt hỡn. ị tững n y cụng ữổc s n thữỡng mi
2

iằn tò lợn nhĐt ca Indonesia (Tokopedia ) Ăp dửng [26]. Bữợc u tiản tản sÊn
ph'm s ữổc chu'n hõa: chuyn tản sÊn ph'm vã ch thữớng, sau õ loi bọ kỵ tỹ
khổng phÊi ch, s v cui cũng lo⁄i bä c¡c tł xu§t hi»n ‰t hìn 5 lƒn. Mỉ h…
nh bi”u di„n nhóng tł word embedding theo hai ph÷ìng ph¡p CBOW v Skipgram. Ph÷ìng ph¡p n y ÷ỉc tr…nh b y lƒn ƒu ti¶n trong mỉ h…nh word2vec
[19]. Mæ h…nh CBOW s‡ cŁ g›ng dü o¡n tł trung tƠm dỹa v o cĂc t bản cnh,
trong khi õ phữỡng phĂp Skip-gram s c gng dỹ oĂn t bản cnh dỹa v o t trung
tƠm. Trong nghiản cứu n y, Tokopedia  huĐn luyằn d

liằu ca 25 triằu tản s£n ph'm v o b‹ng ành t‰nh vỵi 4000 c°p tản sÊn ph'm
tữỡng ỗng. u ra ca mổ hnh pre-train n y l vectì bi”u di„n c¡c token tł i”n.
T¶n s£n ph'm l t“p hỉp cıa c¡c token. Vectì s£n ph'm ữổc tnh bng cĂch

lĐy trung bnh giĂ tr cĂc token. Gi¡ trà cıa vectì bi”u di„n s£n ph'm â ÷ỉc l
m ƒu v o cıa b i to¡n ph¥n lo⁄i danh mưc (category classification) ⁄t º ch‰nh
x¡c 86.71%. Ph÷ìng ph¡p n y câ ÷u i”m nŒi b“t l bi”u di„n s£n
2


5


ph'm a dng tản hin th (tản vit tt, ỗng nghắa). Tuy nhiản hn ch ca cĂch
biu din n y l khỉng quan t¥m ‚n thø tü cıa c¡c tł. Tản sÊn ph'm cõ th bao
gỗm nhiãu stop-word trong ng nh nhữ cĂc cửm t: "chĐt lữổng", "giÊm giĂ",
"khuyn mi", "b¡n ch⁄y"... Nhœng tł n y s‡ l m gi£m chnh xĂc nu tản sÊn
ph'm xuĐt hiằn nhiãu thổng tin nhi„u, sai ch‰nh t£.
b) Mæ h…nh bi”u di„n dœ liằu dng hnh Ênh

Hnh Ênh trong lắnh vỹc thữỡng mi iằn tò bao gỗm: danh sĂch cĂc Ênh
mổ tÊ v £nh chưp thüc t‚ tł s£n ph'm ng÷íi mua. Nhœng m°t h ng ng nh thíi
trang s‡ khỉng d„ d ng gồi tản sÊn ph'm, bi th ỵ trÊi nghi»m cıa ng÷íi
dịng khi t…m ki‚m s£n ph'm l chưp hnh v tm Ênh tữỡng tỹ. Chức nông
tm kim hnh Ênh  ữổc cĂc cổng ty lợn nhữ Google, Pinterest, Bing,
Alibaba, v.v x¥y düng s£n ph'm (h…nh )
Bi”u di„n h…nh £nh s£n ph'm l ƒu v o cıa c¡c b i toĂn tm kim hnh Ênh,
gổi ỵ sÊn ph'm thới trang... Mổ hnh cỡ bÊn nhĐt l thổng qua lợp pre-train
image. Łi vỵi ng nh thíi trang, mºt sŁ thỉng tin s£n ph'm khỉng câ trong
mỉ t£ v‰ dư nh÷ ki”u d¡ng cŒ ¡o, tay ¡o, håa ti‚t m ch¿ câ th” quan s¡t
b‹ng h…nh £nh. Vi»c embedding tł £nh s giúp khuyn ngh sÊn ph'm liản
quan hỡn v tông t¿ l» chuy”n Œi.
Ngo i ÷u i”m cıa mỉ h…nh l håc ÷ỉc c¡c °c tr÷ng £nh s£n ph'm, nhœng h⁄n
ch‚ cıa thu“t to¡n n y l gi£i quy‚t khæng tt lợp b i toĂn mt h ng kắ thut,

trong õ thổng s kắ thut rĐt quan trồng. V dử h…nh £nh TV, tı l⁄nh t…m
ki‚m h…nh £nh s‡ bà nhiu rĐt nhiãu v mổ hnh khõ phƠn loi chnh xĂc
ữổc. Ngo i ra Ênh embedding yảu cu s chiãu khĂ lợn cõ th phƠn loi tt.
V dử mổ hnh inception net B7[27] s trồng s lản tợi 400M, v s chiãu
Ênh ữổc nhúng lản tợi 2048 chiãu. S Ênh hồc cõ th lản tợi t vectỡ gƠy khõ
khôn trong vi»c tri”n khai rºng r¢i.
c) Mỉ h…nh bi”u di„n d liằu dng ỗ th

D liằu dng ỗ th trong lắnh vỹc thữỡng mi iằn tò gỗm ch yu l lch sò
tữỡng tĂc (click, xem trang, mua h ng) ca ngữới dũng vợi cĂc sÊn ph'm, ỗ th
mổ tÊ quan h» s£n ph'm vỵi thuºc t‰nh, ng nh h ng, th÷ìng hi»u, m u s›c,
nìi b¡n, ng÷íi b¡n...D⁄ng dœ li»u ç thà câ t‰nh làch sß v dœ li»u giao dch n
y cõ c im cõ s lữổng rĐt lợn v rĐt cõ ỵ nghắa hiu cĂc tữỡng tĂc trong
6


hằ thng TM T. Mt s nghiản cứu gn Ơy cıa cỉng ty Pinterest, Alibaba,
Wallmart, Amazon ¢ øng dưng mỉ h…nh graph embedding ” l m b i to¡n v•
khuy‚n nghà s£n ph'm v ⁄t k‚t qu£ t‰ch cüc.
Mæ h…nh Pinterest [21] cổng b nôm 2020 sò dửng graph embedding ”
bi”u di„n c¡c thüc th” dœ li»u nh÷ ng÷íi dịng, s£n ph'm ” l m mºt lo⁄t b i to¡n
khuy‚n ngh a mửc tiảu nhữ mổ hnh giúp tông lữổt tữỡng tĂc v o trang
danh mửc, tông t lằ xem s£n ph'm, t«ng t¿ l» chuy”n Œi mua h ng...
Mỉ hnh ca Alibaba [3, 36] Â giúp tông 5% tng giĂ tr giao dch bng
viằc Ăp dửng d liằu ỗ th mng lữợi mi quan hằ ngữới mua. Nghiản cứu n y
xem x†t ÷a ra c¡c s£n ph'm khuy‚n nghà dỹa trản lch sò tữỡng tĂc ca bn
b, ỗng nghiằp trản s n thữỡng mi iằn tò. Nghiản cứu vã h nh vi thữỡng mi
iằn tò cho thĐy rng ngữới mua s›m th÷íng tin t÷ðng s£n ph'm khi ÷ỉc b⁄n
b–, ỗng nghiằp giợi thiằu hỡn l thĐy trản quÊng cĂo truyãn thổng.

1.3

Mửc tiảu ca lun vôn

XƠy dỹng cĂc hằ thng khuyn ngh sÊn ph'm, tm kim sÊn ph'm, gổi ỵ t…m
ki‚m, ph¥n lo⁄i s£n ph'm l cỉng vi»c khỉng ìn giÊn v ặi họi nhiãu vã thới gian,
nguỗn lỹc. Mổ h…nh trung gian bi”u di„n s£n ph'm l c¡ch ph÷ìng Ăn tt hỡn Ăp
dửng cho nhiãu lợp b i toĂn hồc mĂy ca thữỡng mi iằn tò. Nhn thĐy tƒm quan
trång cıa vi»c bi”u di„n thæng tin s£n ph'm, lun vôn tp trung nghiản cứu v ã
xuĐt mổ hnh bi”u di„n vectì s£n ph'm, sau â c i °t mæ h…nh v o h» thŁng câ
th” tri”n khai thüc t giúp tông hiằu quÊ cho cĂc lợp b i toĂn hồc mĂy lắnh vỹc
thữỡng mi iằn tò. Phữỡng phĂp bi”u di„n s£n ph'm l ph÷ìng ph¡p khai ph¡ dœ liằu
dng ỗ th bng kắ thut hồc sƠu. Thit k cıa mæ h…nh n y cƒn ¡p øng t‰nh
tŒng qu¡t ca lắnh vỹc thữỡng mi iằn tò, khÊ thi tri”n khai vỵi dœ li»u lỵn thüc
t‚ v d„ d ng t‰ch hỉp vỵi c¡c mỉ h…nh håc m¡y kh¡c.
Mỉ hnh biu din d liằu dng ỗ th, trong â mØi m¢ s£n ph'm, thỉng tin
s£n ph'm l c¡c ¿nh v c⁄nh l mŁi quan h» cıa s£n ph'm vợi nhng thuc tnh
cặn li. Kt quÊ thỹc nghiằm mổ hnh  chứng tọ sỹ hiằu quÊ vợi tp d liằu
TM T lợn, kt quÊ huĐn luyằn ca d liằu biu din dng ỗ th hỡn 176 triằu cnh
quan hằ ⁄t k‚t qu£ Hits@10 ⁄t 0.737 v Hits@50 ⁄t 0.962.

7


1.4

CĐu trúc lun vôn

Lun vôn s trnh b y v cĐu trúc nhữ sau. Chữỡng 1 giợi thiằu vã lỵ do, mửc tiảu
ca nghiản cứu ã t i v ã cp mt s nghiản cứu liản quan. Chữỡng 2 trnh b y cỡ

s lỵ thuyt vã cĂc mổ hnh biu din d liằu dng vôn bÊn, Ênh, ỗ th v kh£o
s¡t c¡c ph÷ìng ph¡p håc m¡y bi”u di„n vectì s£n ph'm hi»n nay. Mỉ h…nh bi”u
di„n vectì s£n ph'm b‹ng phữỡng phĂp khai phĂ ỗ th v Ănh giĂ s ÷ỉc tr…nh b y
ð ch÷ìng 3. Ch÷ìng 4 b¡o c¡o v Ănh giĂ kt quÊ nghiản cứu thỹc nghiằm. Chữỡng
cui còng tr…nh b y k‚t lu“n v th£o lu“n mºt s hữợng m rng trong tữỡng lai.

Kt lun chữỡng 1
Trong chữỡng n y, lun vôn  giợi thiằu khĂi quĂt lỵ do ã t i. Bản cnh õ lun vôn
trnh b y cĂc nghiản cứu liản quan vã biu din sÊn ph'm v nghiản cứu vã khai
phĂ ỗ th v mửc tiảu ca lun vôn.
Chữỡng tip theo s trnh b y vã cĂc cỡ s lỵ thuyt v kin thức nãn tÊng. Cử th
lun vôn trnh b y vã mổ h…nh bi”u di„n dœ li»u v«n b£n, dœ li»u £nh, d
liằu ỗ th bng kắ thut hồc sƠu. Tip õ ch÷ìng n y s‡ kh£o s¡t c¡c ph÷ìng ph¡p
bi”u di„n vectì s£n ph'm.

8


Chữỡng 2
Cỡ s lỵ thuyt v khÊo sĂt cĂc phữỡng phĂp
Trong chữỡng n y s trnh b y vã cĂc cỡ s lỵ thuyt v kin thức nãn tÊng. Phn
u chữỡng trnh b y vã mổ hnh biu din d liằu vôn bÊn, d liằu Ênh, d
liằu ỗ th bng kắ thut hồc sƠu. Tip õ lun vôn ã cp c¡c ph÷ìng ph¡p bi”u di„n
vectì s£n ph'm th÷ìng m⁄i i»n tò.

2.1

Cỡ s lỵ thuyt

2.1.1

Phữỡng phĂp biu din d liằu Ênh

nh ÷æc bi”u di„n b‹ng gi¡ trà cıa c¡c pixel 2 chi•u (£nh en tr›ng), v 3 chi•u (£nh
m u - rbg). Kch thữợc ca ma trn Ênh phƠn giÊi cao s tn chi ph lữu tr
v khõ xò lỵ trong c¡c b i to¡n ph¥n lo⁄i £nh, x¡c ành thüc th” trong £nh, v.v. Mºt
sŁ mæ h…nh bi”u di„n d liằu Ênh bng phữỡng phĂp hồc sƠu l Alexnet,
ResNet, InceptionNet, v.v
ã Mổ hnh Alexnet

Nôm 2012, mt trong nhng mổ hnh u tiản sò dửng mng tch chp
(CNN) l mổ hnh mng Alexnet [15] Â ữổc ã xuĐt giÊi quy‚t b i to¡n ph¥n lo⁄i
dœ li»u 15 tri»u £nh. Mổ hnh nhn u v o l Ênh kch thữợc 224x224x3 v i
qua 8 lỵp t‰ch ch“p (h…nh 2.1). Trong â lỵp thø 6 v lỵp thø 7 l lỵp k‚t nŁi ƒy ı
(fully-connection) vỵi 4096 nì-ron ƒu ra k‚t hổp vợi viằc sò dửng dropout
giÊm overfitting, lợp cui cũng cõ 1000 nỡ-ron u ra tữỡng ứng vợi tng lo⁄i danh
mưc £nh. Thỉng tin vectì bi”u di„n £nh s‡ ÷ỉc tr‰ch tł gi¡ trà cıa lỵp giœa.
TŒng cºng mỉ hnh cõ 60 triằu tham s sò dửng huĐn luy»n. Trong b i
to¡n bi”u di„n £nh, mæ h…nh Alexnet  sò dửng nhiãu phữỡng phĂp xò lỵ d
liằu v m⁄ng nì-ron m c¡c mỉ h…nh c£i ti‚n sau n y vÔn cặn k tha. Kắ thut l
m gi u dœ li»u (data augmentation) ” gi£i quy‚t
9


H…nh 2.1: Ki‚n tróc mỉ h…nh m⁄ng nì-ron t‰ch ch“p Alexnet
vĐn ã thiu d liằu Ênh. Mổ hnh dch chuyn Ênh t kch thữợc gc vã kch
thữợc 224x224. Bản cnh õ mổ hnh cụng sò dửng phữỡng phĂp sinh d li»u
b‹ng vi»c thay Œi º s¡ng, l“t £nh, Œi m u. Mỉ h…nh AlexNet khỉng sß dưng

h m Tanh m giỵi thi»u h m k‰ch ho⁄t mỵi l ReLU gióp quĂ trnh huĐn luyằn

nhanh hỡn.
ã Mổ hnh ResNet

Mổ hnh ResNet[34] ữổc ã xuĐt nôm 2015 bi Microsoft. Mửc tiảu ra ới
ca mổ hnh l khc phửc vĐn ã vanishing gradient (giĂ tr o h m quĂ nhọ
khi qua nhiãu lợp hồc sƠu). Kin trúc ca mổ hnh ResNet gỗm nhiãu
residual block (hnh 2.2). ị tững ca residual block l t x(input) qua mt
s lợp nỡ-ron tch chp thu ữổc giĂ trà F(x) sau â cºng th¶m x v o ” ÷ỉc
H(x) = F(x) + x bä qua mºt sŁ lỵp v gp vợi lợp trữợc. iãu n y giúp mổ hnh
d hồc hỡn khi thảm cĂc feature t layer trữợc v o. B‹ng ph÷ìng ph¡p n y, mỉ
h…nh ResNet câ th hỉ trổ huĐn luyằn vợi 152 layer (hnh 2.3)
ã Mổ hnh InceptionNet

Mổ hnh Inception [27] ữổc ã xuĐt nôm 2016 bi cĂc kắ sữ Google. Mổ
hnh n y cõ c¡c inception layer (h…nh 2.4) gióp mØi lỵp t‰ch ch“p cõ th
sò nhiãu kernel size nhữ 1x1, 3x3, 5x5 v tŒng hỉp k‚t qu£ l⁄i. Ph÷ìng ph¡p
n y gióp mỉ hnh hồc ữổc nhiãu thổng tin hỡn sau mỉi layer.

10


H…nh 2.2: KhŁi residual block trong mæ h…nh m⁄ng ResNet

H…nh 2.3: Ki‚n tróc mỉ h…nh m⁄ng ResNet

2.1.2

Ph÷ìng ph¡p bi”u di„n ni dung vôn bÊn

Trong lắnh vỹc xò lỵ ngổn ng tü nhi¶n, bi”u di„n tł (word embedding) l ƒu v

o quan trồng mổ hnh hồc sƠu huĐn luyằn hiằu qu£. Gi¡ trà vectì n y gióp
bi”u di„n ngœ c£nh cıa mºt tł trong t i li»u v«n b£n so vỵi c¡c tł kh¡c. B‹ng c¡ch
n y mỉ h…nh håc mĂy cõ th huĐn luyằn vợi tp d liằu nhọ hỡn những vÔn t

chnh xĂc tt do "hồc" ữổc ng cÊnh, t ỗng nghắa t tp d liằu  huĐn
luyằn t trữợc (pre-training). Mt s mổ hnh hồc sƠu ” bi”u di„n vectì ngỉn
ngœ phŒ bi‚n l Word2Vec [19], Fasttext [1], ELMO[23], GPT[24], BERT[31],
XLNet[37], ALBERT[16], ELECTRA[4].
• Mỉ h…nh Word2Vec

Mºt trong nhng nghiản cứu u tiản vã biu din t bng phữỡng phĂp hồc sƠu l
mổ hnh word2vec[19]. Phữỡng phĂp n y bi”u di„n vectì tł thỉng qua
11