Về mô hình nhận dạng tư thế võ dựa trên ảnh chiều sâu

B¸GI ODÖCV
OT O
TR×˝NG
I H¯C B CH KHOA H

N¸I

V M˘HNHNH ND NGT×TH Vˆ DÜATR N NHCHI
US U

LU N

NTI NS KßTHU T

H Nºi 2020

I NTÛ


B¸GI ODÖCV
OT O
TR×˝NG
I H¯C B CH KHOA H

N¸I

V M˘HNHNH ND NGT×TH Vˆ DÜATR N NHCHI
US U

Ng nh: Kÿ thu“t
M¢ sŁ : 9520203

LU N

NTI NS KßTHU T

NG×˝I HײNG D N KHOA H¯C:
1. TS. L¶ Dông
2. TS. Ph⁄m Th nh Cæng

H Nºi 2020

i»n tß

I NTÛ


LI CAM OAN
Tổi xin cam oan lun Ăn: "V mổ hnh nhn dng tữ th vê dỹa trản Ênh chiu
sƠu" l cổng trnh nghiản cứu ca riảng tổi.
Mt phn cĂc s liằu, kt quÊ trnh b y trong lun Ăn l trung thỹc, Â ữổc cổng
b trản cĂc tp ch khoa hồc chuyản ng nh, k yu hi ngh khoa hồc trong nữợc v
quc t.
Phn cặn li ca lun Ăn chữa ữổc cổng b trong bĐt ký cổng trnh nghiản
cứu trong v ngo i nữợc.
H Ni, thĂng 01 nôm 2020
NGHI N CU SINH

Nguyn Tữớng Th nh

T PTH HìNGD N

TS Lả Dụng

TS. Phm Th nh Cổng

i


LIC MèN
Lun Ăn tin sắ ữổc thỹc hiằn ti Viằn iằn tò Vin thổng, trữớng i hồc BĂch khoa
H Ni dữợi sỹ hữợng dÔn khoa hồc ca TS Lả Dụng v TS Phm Th nh Cổng. Nghiản
cứu sinh xin b y tọ lặng bit ỡn sƠu sc tợi cĂc thy, cổ v nh hữợng khoa hồc trong
sut quĂ trnh nghiản cứu. Nghiản cứu sinh xin ữổc trƠn trồng cÊm ỡn cĂc nh khoa
hồc, tĂc giÊ cĂc cổng trnh cổng b  ữổc trch dÔn v cung cĐp nguỗn tữ liằu
quỵ bĂu trong quĂ trnh ho n th nh lun Ăn.
Nghiản cứu sinh xin trƠn trồng cÊm ỡn Viằn iằn tò Vin thổng; Phặng o to
Trữớng i hồc BĂch Khoa H Ni; CĂc thy cổ trong Viằn iằn tò Vin thổng, cĂc anh
ch v cĂc bn trong nhõm NCS, cĂc vê sữ Hỗ Minh Mng Hũng, Phm nh Khiảm,
Phm Ngồc Dữỡng, Bũi Th L nh, Nguyn Quc Tin, Trung tƠm Vê thut c tryn
Bnh nh, TP. Quy Nhỡn, tnh Bnh nh... Â quan tƠm, ng viản giúp ù
v to iu kiằn thun lổi v thới gian, a im nghiản cứu, trang thit b, hỉ trổ v mt
nhƠn lỹc NCS thỹc hiằn viằc thu thp d liằu, thỹc nghiằm cĂc kt quÊ nghiản
cứu.
Nghiản cứu sinh xin cÊm ỡn TS. Lả Vôn Hũng nghiản cứu ti Viằn nghiản cứu
quc t MICA, i hồc BĂch khoa H Ni v i hồc TƠn Tr o  hỉ trổ k thut, ỗng tĂc giÊ
giúp NCS thỹc hiằn cĂc nghiản cứu ca lun Ăn.
Cui cũng nghiản cứu sinh xin b y tọ sỹ bit ỡn tợi Ban giĂm hiằu Trữớng i hồc
Quy Nhỡn; Ban ch nhiằm Khoa K thut v Cổng nghằ, gia nh, bn b v ỗng
nghiằp  ng viản khch lằ, to mồi iu kiằn thun lổi NCS yản tƠm cổng tĂc v
hồc tp.

H Ni, thĂng 01 nôm 2020
NGHI N CU SINH

Nguyn Tữớng Th nh

ii


NáI DUNG
LI CAM OAN
LIC MèN

i
ii

NáI DUNG

v

KịHI UV VI TT T

vi

DANHS CHB NGBI U

viii

DANHS CHHNHV

xiv

M U

1

Chữỡng 1: TNG QUAN

12

1.1 Hồc mĂy, hồc sƠu v ứng dửng . . . . . . . . . . . . . . . . . . . . . . .
1.1.1 Hồc mĂy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.1.2 Hồc sƠu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2 Hằ thng khổi phửc hot ng ca ngữới trong khổng gian 3-D v chĐm
im vê thut . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2.1 Hằ thng khổi phửc hot ng ca ngữới trong khổng gian 3-D .
1.2.2 Hằ thng chĐm im vê thut . . . . . . . . . . . . . . . . . . .
1.3 ìợc lữổng khung xữỡng trản cỡ th ngữới trong khổng gian 2-D . . . .
1.3.1 ìợc lữổng khung xữỡng trản Ênh m u . . . . . . . . . . . . . .
1.3.2 ìợc lữổng khung xữỡng trản Ênh sƠu . . . . . . . . . . . . .
1.3.3 ìợc lữổng tữ th dỹa trản i tữổng v ng cÊnh hot ng . .
1.3.4 Nhn xt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.4 ìợc lữổng khung xữỡng v tữ th ngữới trong mổi trữớng 3-D . . . . .
1.4.1 Phửc hỗi tữ th 3-D ca ngữới t mt Ênh . . . . . . . . . . . .
1.4.2 Phửc hỗi tữ th 3-D ca ngữới . . . . . . . . . . . . . . . . . . .
1.4.2.1 Phửc hỗi khung xữỡng, tữ th ngữới trong khổng gian
3-D t mt Ênh . . . . . . . . . . . . . . . . . . . . . .
1.4.2.2 Phửc hỗi khung xữỡng, tữ th ngữới trong khổng gian
3-D t mt chuỉi Ênh . . . . . . . . . . . . . . . . . .
1.4.3 Nhn xt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.5 CĂc b cỡ s d liằu cho viằc Ănh giĂ ữợc lữổng khung xữỡng trong

khổng gian 3-D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.5.1 Giợi thiằu Kinect . . . . . . . . . . . . . . . . . . . . . . . . . .
1.5.2 Hiằu chnh d liằu thu t cÊm bin Kinect . . . . . . . . . . . .
1.6 Tng kt chữỡng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
iii

12
12
14
16
16
16
16
17
18
21
22
23
23
24
25
25
25
31
31
31
37


Chữỡng

2: ìC LìẹNG KHUNG XìèNG CếA NGìI Tỉ D
LI U V C TRUY N TRONG KHNG GIAN 3-D
2.1 ìợc lữổng khung xữỡng trong khổng gian 2-D . . . . . . . . . . . . . .
2.1.1 Giợi thiằu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.1.2 CĂc nghiản cứu liản quan . . . . . . . . . . . . . . . . . . . . .
2.1.3 Sò dửng hồc sƠu cho viằc ữợc lữổng cĂc h nh ng trong b i vê
c truyn trong khổng gian 2-D . . . . . . . . . . . . . . . . . .
2.1.3.1 Phữỡng thức . . . . . . . . . . . . . . . . . . . . . . .
2.1.3.2 Cỡ s d liằu cĂc b i vê c truyn . . . . . . . . . . .
2.1.3.3 Phữỡng thức Ănh giĂ . . . . . . . . . . . . . . . . . .
2.1.3.4 Xoay v dch d liằu trong khổng gian 3-D . . . . . . .
2.1.3.5 Kt quÊ ữợc lữổng v nhn xt . . . . . . . . . . . . .
2.1.4 Kt lun . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.2 Phửc hỗi khung xữỡng, tữ th ngữới trong khổng gian 3-D v b che khuĐt
2.2.1 Giợi thiằu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.2.2 CĂc nghiản cứu liản quan . . . . . . . . . . . . . . . . . . . . .
2.2.3 Phửc hỗi khung xữỡng, tữ th ngữới trong khổng gian 3-D . . .
2.2.3.1 Nghiản cứu so sĂnh v khổi phửc khung xữỡng ngữới
trong khổng gian 3-D . . . . . . . . . . . . . . . . . .
2.2.3.2 Th nghiằm v kt quÊ ữợc lữổng khung xữỡng 3-D . .
2.2.3.3 Kt lun . . . . . . . . . . . . . . . . . . . . . . . . . .
2.2.4 ìợc lữổng khung xữỡng, tữ th ngữới khi b che khuĐt . . . . .
2.3 Tng kt chữỡng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Chữỡng
3: NH ND NGV CH M I M áNGT CVC
TRUY N VI T NAM

38
39
39

40
43
43
47
53
56
61
64
74
74
74
77
78
82
84
85
92

93

3.1 Giợi thiằu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

93

3.2 CĂc nghiản cứu liản quan . . . . . . . . . . . . . . . . . . . . . . . . . .
3.3 Cỡ s lỵ thuyt nhn diằn ng tĂc tĐn cổng v chĐm im ng tĂc vê
3.3.1 Nhn diằn ng tĂc tĐn cổng . . . . . . . . . . . . . . . . . . .
3.3.1.1 Xò lỵ d liằu . . . . . . . . . . . . . . . . . . . . . . .
3.3.1.2 Trch xuĐt c trững cỡ th ngữới vợi camera Kinect .
3.3.2 Mổ hnh chĐm im ng tĂc vê c truyn . . . . . . . . . . . .

3.3.2.1 Mổ tÊ ng tĂc ngữới . . . . . . . . . . . . . . . . . .
3.3.2.2 Cổng thức chĐm im . . . . . . . . . . . . . . . . . .
3.4 Thỹc nghiằm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.4.1 Nhn diằn ng tĂc tĐn cổng . . . . . . . . . . . . . . . . . . .

96
97
97
97
97
102
102
105
107
107

iv


3.5
3.6

3.4.1.1
Nh“n di»n ºng t¡c t§n cæng b‹ng c¥y ph¥n lo⁄i . . . 107
3.4.1.2
Nh“n di»n ºng t¡c t§n cæng b‹ng m⁄ng nì ron . . . . 108
3.4.2 Ch§m i”m ºng t¡c vª cŒ truy•n Vi»t Nam . . . . . . . . . . . 110
K‚t lu“n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
TŒng k‚t ch÷ìng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115

K TLU NV HײNGPH TTRI N
DANH MÖC C C C˘NG TR NHC˘NG B¨ CÕA LU N N 117

115

T ILI UTHAMKH O

120

PHÖ LÖC

134

v


DANHMệCC CKịHI UV

VI TT T

S

Vit tt

GiÊi nghắa

Nghắa ting Viằt

1
2

AD
AP

Average deviation
Average Precision

lằch trung bnh
chnh xĂc trung bnh

3

APMArticulated Part-based Modeldeviation Mổ hnh dỹa trản phn khợp ni

4
5

CPM
CPU

Convolutional Pose Machines
Central Processing Unit

MĂy hồc cò ch tch chp
ỡn v xò lỵ trung tƠm

6

CNN

Convolutional Nerural Network

Mng Nỡ ron tch chp

7

CNNs

Convolutional Nerural Networks

Mng Nỡ ron tch chp nhiu lợp

8

DPM

Deformable Part Model

Mổ hnh phn bin dng

9

DTW

Dynamic Time Warping

So khợp chuỉi thới gian ng

10

DV

Digital Video

Video s

11

fps

frame per second

Khung hnh trản giƠy

12

GPU

Graphics Processing Unit

ỡn v xò lỵ ỗ hồa

13

HMMs

Hidden Markov Models

Mổ hnh Markov 'n

14

HOG

Histogram of Oriented Gradients

Biu ỗ hữợng dc

15

HRNet

High-Resolution Network

Mng phƠn giÊi cao

16

IR

InfraRed camera

MĂy Ênh hỗng ngoi

17

JI

Jaccard Index

Ch s Jaccard

18

LSTM

Long Short-Term Memory

Mng b nhợ ngn nh hữợng

19

MADS

Martial Arts, Dancing and Sports

d i hn
Vê c truyn, khiảu vụ, th thao

20

MOCAP

MOtion CAPture

Thu nhn chuyn ng

21

MPJPE

MeanPerJointPositionError

o sai s trung bnh ca cĂc

22

MS

MicroSoft

khợp ni
Microsoft

23

MSE

Mean Squared Error

Sai s bnh phữỡng

24

OCR

Optical Character Recognition

Nhn dng kỵ tỹ quang hồc

25

OKS

Object Key point Similarity

tữỡng tỹ cĂc im i diằn

26

OpenCV Open Computer Vision

Thữ viằn m nguỗn m th giĂc

27

OpenNI

Open Natural Interaction

mĂy tnh
Thữ viằn hỉ trổ a ngổn ng

28

PCA

Principal Component Analysis

PhƠn tch nguyản lỵ th nh phn

vi


29 PCL
30 RAM

Poind Cloud Library
Random Access Memory

Thữ viằn Ăm mƠy im
B nhợ truy nhp ngÔu nhiản

31 RDF

Random Decision Forests

Rng quyt nh ngÔu nhiản

32 RGB

Red Green Blue

ọ Xanh lĂ Xanh lỡ

33 SDK

Software Development Kit

Kit phĂt trin phn mm

34 SVM

Support Vector Machine

Hồc mĂy hỉ trổ vector

35 TOF

Time-Of-Flight sensor

CÊm bin TOF

36 V1

Version 1

Phiản bÊn 1

37 V2

Version 2

Phiản bÊn 2

38 VE

Vector Estimation

Vector dỹ oĂn

39 VG

Vector Ground truth

Vector Ănh dĐu thỹc

40 VNMA

VietNam Martial Arts

Vê c truyn Viằt Nam

vii


DANHS CHB NGBI U
B£ng 1.1 ThŁng k¶ c¡c nghi¶n cøu ÷îc l÷æng khung x÷ìng cıa ng÷íi trong
khæng gian 3-D m câ ¡nh gi¡ tr¶n cì cð dœ li»u Human3.6M [86] v
k‚t qu£ ÷îc l÷æng. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
B£ng 1.2 Kh£o s¡t v• ÷îc l÷æng t÷ th‚ ng÷íi trong khæng gian 3-D sß döng

27

1 £nh. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
B£ng 1.3 Kh£o s¡t v• ÷îc l÷æng khung x÷ìng ng÷íi trong khæng gian 3-D

29

tł mºt chuØi £nh. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

B£ng 2.1 SŁ khung h…nh trong c¡c t÷ th‚ vª cıa cì sð dœ li»u VNMA. . . .

30
50

B£ng 2.2 SŁ khung h…nh trong c¡c t÷ th‚ vª cıa cì sð dœ li»u SVNMA. . .

51

B£ng 2.3 K‚t qu£ trung b…nh cıa ÷îc l÷æng c¡c khîp nŁi (AP), gâc l»ch
giœa c¡c khîp cıa dœ li»u gŁc v c¡c khîp nŁi ÷îc l÷æng ÷æc (AD) v
kho£ng c¡ch giœa c¡c trung b…nh giœa c¡c i”m ⁄i di»n ÷îc l÷æng ÷æc
v c¡c i”m ⁄i di»n cıa dœ li»u gŁc, t÷ìng øng vîi nhau. . . . . . . .
61
B£ng 2.4 K‚t qu£ ÷îc l÷æng khung x÷ìng tr¶n £nh v chi‚u sang khæng gian
3-D vîi 14 i”m x÷ìng tr¶n dœ li»u VNMA. K‚t qu£ ÷æc ¡nh gi¡ tr¶n
º o MPJPE theo ìn và milimet (mm). . . . . . . . . . . . . . . . . .
B£ng 2.5 SŁ khung h…nh ¡nh gi¡ trong dœ li»u VNMA. . . . . . . . . . . .

68
69

B£ng 2.6 K‚t qu£ ÷îc l÷æng khung x÷ìng tr¶n £nh sau â chi‚u sang khæng
gian 3-D tr¶n cì sð dœ li»u MADS vîi 14 i”m x÷ìng. . . . . . . . . . .
B£ng 2.7 SŁ khung h…nh cho vi»c ¡nh gi¡ ÷îc l÷æng khung x÷ìng tr¶n £nh

71

sai â chi‚u sang khæng gian 3-D tr¶n cì sð dœ li»u MADS. . . . . . . .
B£ng 2.8 K‚t qu£ ÷îc l÷æng khung x÷ìng tr¶n £nh sau â chi‚u sang khæng

72

gian 3-D tr¶n cì sð dœ li»u VNMA vîi 15 i”m x÷ìng. . . . . . . . . .
B£ng 2.9 K‚t qu£ ÷îc l÷æng khung x÷ìng tr¶n £nh sau â chi‚u sang khæng

88

gian 3-D tr¶n cì sð dœ li»u MADS vîi 15 i”m x÷ìng. . . . . . . . . . .
B£ng 3.1 Th” hi»n t¡m v†c tì chi . . . . . . . . . . . . . . . . . . . . . . .

viii

89
104


DANHS CHHNHV
H…nh 1 C£m bi‚n MS Kinect phi¶n b£n 1. . . . . . . . . . . . . . . . . .
H…nh 2 Minh håa dœ li»u khung x÷ìng thu ÷æc tł c£m bi‚n MS Kinect

2

phi¶n b£n 1 [36]. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
H…nh 3 Mºt lîp d⁄y vª cŒ truy•n t⁄i th nh phŁ Quy Nhìn, t¿nh B…nh

2

ành, Vi»t Nam. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
H…nh 4 Khung x÷ìng, t÷ th‚ cıa ng÷íi ÷æc ÷îc l÷æng (c¡c i”m m u

4

xanh l c¡c i”m x÷ìng v
c¡c khîp nŁi m u v ng) v mæi tr÷íng ÷æc
x¥y düng l⁄i trong khæng gian 3-D (th‚ giîi thüc). . . . . . . . . . . . .
H…nh 5 Minh håa thi‚t l“p c¡c thi‚t bà. . . . . . . . . . . . . . . . . . . .

5
7

H…nh 6 Mæ h…nh gi£i quy‚t v§n • ÷îc l÷æng khung x÷ìng, t÷ th‚ ng÷íi
trong khæng gian 3-D v t¡i t⁄o l⁄i mæi tr÷íng thüc t‚. . . . . . . . . .
H…nh 1.1 Minh håa mæ h…nh cıa håc m¡y [58]. . . . . . . . . . . . . . . . .

9
13

H…nh 1.2 Mæ h…nh ph¥n lo⁄i håc m¡y [59]. . . . . . . . . . . . . . . . . . .

14

H…nh 1.3 Mæ h…nh cıa håc s¥u [59]. . . . . . . . . . . . . . . . . . . . . . .

15

H…nh 1.4 Minh håa ph÷ìng thøc ÷îc l÷æng t÷ th‚, khung x÷ìng trong khæng
gian 3-D [155]: ƒu v o l mºt £nh m u (RGB), ƒu ti¶n l ÷îc l÷æng
khung x÷ìng trong khæng gian £nh (2-D) sau â ÷îc l÷æng gi¡ trà º
s¥u cıa khung x÷ìng b‹ng vi»c t…m ki‚m mºt mæ h…nh khung x÷ìng, t÷

th‚ phò hæp. Khung x÷ìng ÷îc l÷æng ÷æc câ m u ä, khung x÷ìng gŁc
câ m u x¡m. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
28
H…nh 1.5 Minh håa £nh m u, £nh º s¥u thu ÷æc tł c£m bi‚n Kinect phi¶n
b£n 1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
H…nh 1.6 Minh håa c£m bi‚n Kinect phi¶n b£n 1. . . . . . . . . . . . . . .

32
32

H…nh 1.7 Minh håa £nh c¡c tr⁄ng th¡i ho⁄t ºng cıa ng÷íi trong thüc t‚
[86], [89] v h» thŁng MOCAP [102] ” x¡c ành và tr‰ c¡c chi, c¡c bº
ph“n cıa ng÷íi trong khæng gian 3-D. . . . . . . . . . . . . . . . . . .

ix

34


Hnh 1.8 Minh hồa Ênh v cĂc loi hot ng trong cỡ s d liằu [32] v hằ thng
MOCAP [102] xĂc nh v tr cĂc chi, cĂc b phn ca ngữới trong khổng
gian 3-D. . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
Hnh 2.1 Minh hồa kt quÊ ữợc lữổng khung xữỡng, tữ th ngữới trong khổng
gian 2-D [106]. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
Hnh 2.2 Minh hồa bÊn ỗ cĂc im ni bt ữổc to ra t Ênh cỡ th ngữới.
Trong õ mỉi vũng im ni bt l mt ứng cò viản v tr ca cĂc im
i diằn [110]. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

42

Hnh 2.3 Minh hồa Ănh nhÂn cĂc im i diằn trản d liằu Ênh ca ngữới. CĂc im
m u ọ l cĂc im i diằn trản cỡ th ngữới. CĂc on m u xanh th hiằn sỹ kt ni
gia cĂc b phn trản cỡ th ngữới. . . . . . . 44
Hnh 2.4Kin trúc mng nỡ ron tch chp cho viằc ữợc lữổng cĂc im i
diằn St, v cĂc b phn phũ hổp trản cỡ th ngữới khĂc nhau [24]. . . .

45

Hnh 2.5 Minh hồa chi tit mổ hnh dỹ oĂn vũng cĂc im ni bt (heatmaps)
[111]...................................... 45
Hnh 2.6
Minh hồa chi tit mổ hnh trch chồn c trững cho viằc huĐn luyằn
mổ hnh dỹ
oĂn cĂc vũng
ni bt (heatmaps) tng giai
on [111]. .
46
Hnh 2.7 Minh hồa kt quÊ ữợc lữổng khung xữỡng trản Ênh ca mổ hnh Â
ữổc huĐn luyằn trản b cỡ s d liằu 2016 MSCOCO Keypoints
Challenge [23]. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
Hnh 2.8 Minh hồa kin trúc mng HRnet [115]. Trong õ chiu ngang v
chiu dồc ln lữổt th hiằn sƠu v bin i kch thữợc còa s ca
bÊn
ỗ c trững. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

48

Hnh 2.9 Nghiản cứu so sĂnh cho Ănh giĂ ữợc lữổng khung xữỡng, tữ th trong
khổng gian 2-D. . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
Hnh 2.10 Minh hồa viằc Ănh dĐu d liằu gc v khung xữỡng, tữ

th ngữới trong khổng gian 3-D. Trong õ thứ tỹ Ănh dĐu ca cĂc im nhữ
sau:
(1) u, (2) C, (3) Vai phÊi, (4) khuy tay phÊi, (5) c tay phÊi, (6)
Vai trĂi, (7) khuy tay trĂi, (8) c tay trĂi, (9) Gia hổng, (10) Hổng
phÊi, (11) u gi phÊi, (12) C chƠn phÊi, (13) Ngõn chƠn cĂi phÊi,
(14) Hổng trĂi, (15) u gi trĂi, (16) C chƠn trĂi, (17) Ngõn chƠn cĂi
trĂi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
Hnh 2.11 CĂc im

i diằn (Key points) trản cỡ th ngữới v nhÂn. . . . .

51


x


Hnh 2.12 Minh hồa d liằu Ăm mƠy im ca mt cÊnh. CĂc im m u
xanh nữợc bin l
d liằu ca ngữới trong mổi trữớng 3-D. . . . . . . . 52
Hnh 2.13 Minh hồa ma trn Ănh giĂ tữỡng tỹ d i ca cĂc khợp ữổc
to ra t cĂc im i diằn [28] . . . . . . . . . . . . . . . . . . . . . . 54
Hnh 2.14 Minh hồa thứ tỹ cĂc im i diằn ữợc lữổng ữổc. Trong õ, cĂc
im m u xanh l
cĂc im quan tƠm v Ănh giĂ trong b i bĂo n y.
Hnh bản phÊi th hiằn cĂc khợp ni ca cĂc im i diằn quan tƠm. . 55
Hnh 2.15 Minh hồa cĂc phữỡng thức cho viằc Ănh giĂ ữợc lữổng khung
xữỡng, tữ th ngữới trong khổng gian Ênh. . . . . . . . . . . . . . . . . 56
Hnh 2.16 Minh hồa mổ hnh xoay v dch d liằu trong khổng gian 3-D. . . 57
Hnh 2.17 Minh hồa kt quÊ ữợc lữổng khung xữỡng, tữ th ngữới trong

khổng gian 3-D. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
Hnh 2.18 Minh hồa cĂc kt quÊ ữợc lữổng cĂc im i diằn v cĂc khợp ni
trản cĂc video vê thut c truyn. CĂc khợp ni ca cỡ th ngữới l cõ
m u ọ; CĂc khợp ni ca tay phÊi cõ m u xanh lĂ cƠy; CĂc khợp ni ca tay
trĂi cõ m u giÊm dn t ọ n v ng; CĂc khợp ni ca chƠn phÊi cõ m u xanh
nữợc bin; CĂc khợp ni ca chƠn trĂi cõ m u xanh lửc. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . 65
Hnh 2.19 ỗ th th hiằn xĂc suĐt ữợc lữổng cĂc im i diằn trản 3 video
th

th

th

vê thut c truyn cõ thứ tỹ l : 2 , 9 , 12 .

..............

66

Hnh 2.20 Minh hồa kt quÊ ữợc lữổng cĂc khợp ni trong khổng gian 2-D

v 3-D. Tữ th ca ngữới trong khổng gian 3-D ữổc th hiằn bng Matplotlib
ca Python. . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
Hnh 2.21 Minh hồa viằc Ănh giĂ ữợc lữổng khung xữỡng trong khổng gian 2-D
v chiu sang khổng gian 3-D. . . . . . . . . . . . . . . . . . . . . . 67
Hnh 2.22 PhƠn b khoÊng cĂch lỉi gia cĂc
im i diằn trản d liằu gc
v d liằu ữợc lữổng ữổc. . . . . . . . . . . . . . . . . . . . . . . . . .
67

Hnh 2.23 Minh hồa Ênh sƠu thu thp ữổc t cÊm bin MS Kinect v1 trong b
cỡ s d liằu VNMA. Vũng m u en b xa so vợi giợi hn o ca cÊm bin MS
Kinect v1 nản giĂ tr sƠu bng khổng, cặn vũng ngữới, v vũng s n nh cõ
m u nƠu nản giĂ tr sƠu lợn hỡn khổng. . 70

xi


H…nh 2.24 Tr¡i: Minh håa k‚t qu£ ÷îc l÷æng khung x÷ìng tr¶n £nh m u (14
i”m x÷ìng) b‹ng c¡ch sß döng CPM trong nghi¶n cøu cıa Tome et al.
[85]. Ph£i: Minh håa £nh º s¥u thu th“p ÷æc tł c£m bi‚n MS Kinect
v1 trong bº cì sð dœ li»u VNMA bà m§t dœ li»u vòng tâc. . . . . . . .
H…nh 2.25 Minh håa £nh thu th“p ÷æc tł c£m bi‚n MS Kinect v1 qu¡ xa.

70
71

H…nh 2.26 Ph¥n bŁ lØi kho£ng c¡ch lØi MPJPE cıa c¡c c°p i”m ⁄i di»n
giœa dœ li»u gŁc v dœ li»u ÷îc l÷æng ÷æc tr¶n cì sð dœ li»u MADS. .
H…nh 2.27 Minh håa k‚t qu£ ÷îc l÷æng khung x÷ìng tr¶n khæng gian 2-D

72

(tr¶n £nh m u) sß döng CPM trong nghi¶n cøu cıa Tome et al. [85]. .
H…nh 2.28 Minh håa vi»c ÷îc l÷æng khung x÷ìng, t÷ th‚ ng÷íi trong khæng

73

gian 3-D vîi dœ li»u bà che khu§t. B¶n tr¡i th” hi»n k‚t qu£ ÷îc l÷æng
khung x÷ìng, t÷ th‚ cıa ng÷íi tr¶n 2-D vîi bº ÷îc l÷æng [24]. B¶n ph£i

l k‚t qu£ ÷îc l÷æng t÷ th‚, khung x÷ìng cıa ng÷íi trong khæng gian
3-D sß döng bº ÷îc l÷æng cıa [85]. . . . . . . . . . . . . . . . . . . . .
75
H…nh 2.29 Minh håa chu'n hâa c¡c mæ h…nh trong bº dœ li»u hu§n luy»n mæ
h…nh khung x÷ìng ng÷íi trong 3-D v vi»c so s¡nh khung x÷ìng ¡nh x⁄
÷æc tł 2-D sang 3-D vîi bº dœ li»u hu§n luy»n [85]. . . . . . . . . . .
H…nh 2.30 Minh håa mæ h…nh ho⁄t ºng cıa m⁄ng [118]. . . . . . . . . . . .

76
77

H…nh 2.31 Minh håa ÷îc l÷æng khung x÷ìng, t÷ th‚ 3-D cıa ng÷íi tł mºt
chuØi h…nh £nh [124]. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
78
H…nh 2.32 ThŁng k¶ sŁ l÷æng nghi¶n cøu v• ÷îc l÷æng khung x÷ìng cıa ng÷íi
trong khæng gian 3-D theo tłng n«m. . . . . . . . . . . . . . . . . . . .
79
H…nh 2.33 Minh håa mæ h…nh nghi¶n cøu so s¡nh ÷îc l÷æng khung x÷ìng, t÷
th‚ trong khæng gian 3-D. . . . . . . . . . . . . . . . . . . . . . . . . .
H…nh 2.34 Minh håa c¡c tham sŁ cıa mæ h…nh CNN trong Tome CS. [85]. . .

80
81

H…nh 2.35 Minh håa ki‚n tróc m⁄ng VNect [128]. . . . . . . . . . . . . . . .

82

H…nh 2.36 Minh håa c¡c tham sŁ cıa mæ h…nh CNN VNect. . . . . . . . . .

82

H…nh 2.37 Minh håa s›p x‚p thø tü c¡c khîp trong khæng gian 3-D cıa m⁄ng
VNect. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

xii

83


Hnh 2.38 Minh hồa kt quÊ ữợc lữổng trong khổng gian 2-D v 3-D sò dửng
mng VNect [128]. Bản trĂi l kt quÊ ữợc lữổng khung xữỡng trong khổng
gian 3-D; Gia l kt quÊ ữợc lữổng khung xữỡng trản Ênh; Bản phÊi l kt
quÊ ữợc lữổng cĂc im i diằn ca khung xữỡng trong khổng gian 2D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
Hnh 2.39 Minh hồa mổ hnh khung xữỡng, tữ th trong khổng gian 3-D cho
viằc Ănh giĂ. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
85
Hnh 2.40 PhƠn b khoÊng cĂch lỉi gia cĂc im i diằn trản d liằu gc v d
liằu ữợc lữổng ữổc trong khổng gian 3-D trản cỡ s d liằu VNMA. Trong
õ: "CMP training by COCO" l "3-D_COCO_Method" , "CMP training by
Human 3.6m" l "3-D_HUMAN3.6_Method", "VNECT CNN training by MPII,
LSP" l "3-D_VNECT_Method". . . . . . . . 86
Hnh 2.41 Kt quÊ ữợc lữổng khung xữỡng, tữ th trong khổng gian 3-D. Mỉi
khi l mt cp tữỡng ứng gia khung xữỡng ca d liằu gc (ground truth original) v khung xữỡng ữợc lữổng ữổc (estimating). Mỉi cp khung xữỡng
trong mt khi  ữổc ỗng nhĐt v hằ trửc tồa . . . . 87
Hnh 2.42 PhƠn b khoÊng cĂch lỉi gia cĂc im i diằn trản d liằu gc v d
liằu ữợc lữổng ữổc trong khổng gian 3-D trản cỡ s d liằu MADS. Trong
õ: "CMP training by COCO" l "3-D_COCO_Method" , "CMP training by
Human 3.6m" l "3-D_HUMAN3.6_Method", "VNECT CNN training by MPII,
LSP" l "3-D_VNECT_Method". . . . . . . . 89

Hnh 2.43 Minh hồa kt quÊ ữợc lữổng khung xữỡng ca phữỡng thức "3D_VNECT_Method" trản Ênh ca cỡ s d liằu MADS vợi 21 im
i diằn. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

90

Hnh 2.44 Minh hồa kt quÊ ữợc lữổng y cĂc khợp xữỡng ngữới trong
th
th
khổng gian 3-D trản video 1 ; 24 ca cỡ s d liằu vê thut c truyn
Viằt Nam (VNMA).
Hnh 3.1
nh cõ

............................

91

Minh hồa cƠy quyt
i chỡi khổng. . . . . . . . . . . . . .

94

Hnh 3.2 Minh hồa mổ hnh ca thut toĂn rng ngÔu nhiản cho viằc
phƠn loi. Trong õ thut toĂn n y ữổc Ăp dửng cho mt rng bao gỗm nhiu
cƠy quyt nh. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95 Hnh 3.3 Thu
thp d liằu. . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 Hnh 3.4 Th hiằn tồa trản
khung xữỡng. . . . . . . . . . . . . . . . . . 99

xiii

Hnh 3.5
Hnh 3.6

Minh hồa c trững gõc khu u tay. ữớng m u en th hiằn c
trững v gõc khu u tay. . . . . . . . . . . . . . . . . . . . . . . . . . . 100
V tr cĂc khợp xữỡng m camera Kinect cung cĐp. . . . . . . . . 103

Hnh 3.7

D liằu khung xữỡng Kinect v vc tỡ chƠn tay. . . . . . . . . . . 104

Hnh 3.8

Chữỡng trnh thu nhn d liằu chu'n t vê sữ. . . . . . . . . . . 105

Hnh 3.9

Th hiằn chiu cao ca cƠy v s c trững. . . . . . . . . . . . . 108

Hnh 3.10

Sỹ lp li kin trúc module trong mng RNN chứa mt tng 'n . 109

Hnh 3.11 Sỹ lp li kin trúc module trong mng LSTM chứa 4 tng 'n (3

Hnh 3.12

sigmoid v 1 tanh) tữỡng tĂc . . . . . . . . . . . . . . . . . . . . . . . . 110
Din giÊi cĂc k hiằu trong ỗ th mng nỡ ron . . . . . . . . . . 110

Hnh 3.13

Kt quÊ nhn dng trản tp Test th vê cổng. . . . . . . . . . . . 111

Hnh 3.14

Kt quÊ nhn dng trản tp Test th th. . . . . . . . . . . . . . 111

Hnh 3.15

LĐy mÔu chu'n. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

Hnh 3.16

CĂc v tr dng chĐm im. . . . . . . . . . . . . . . . . . . . . 113

Hnh 3.17 Thng kả trung bnh im chĐm 36 ng tĂc vê c truyn Viằt
Nam.113 Hnh 3.18 Giao diằn chữỡng trnh chĐm im. . . . . . . . . . . . . . . . . .
114 Hnh 3.19 Giao diằn chữỡng trnh chĐm im. . . . . . . . . . . . . . . . . . 114

xiv


M U
1. Tnh cĐp thit ca nghiản cứu
Vê c truyn l mt mổn th thao, nghằ thut th hiằn bÊn sc dƠn tc. Vê thut
giúp rn luyằn sức khọe, tỹ vằ cho con ngữới ca mỉi dƠn tc, mỉi Đt nữợc. Vê c
truyn  cõ t lƠu ới vợi mỉi quc gia, ỗng thới gn lin vợi lch sò dỹng nữợc v gi
nữợc [12]; Nhữ vê c truyn Bnh nh ca Viằt Nam [8]; Vê Judo, Karate, Kendo,

Kyudo ca ngữới Nht BÊn [9]; Vê Kung Fu, TaiChi ca ngữới Trung Quc [10]. bÊo
tỗn v duy tr cĂc b i vê c truyn c sc v cõ giĂ tr vôn hõa l mt vĐn quan trồng
i vợi cĂc nh quÊn lỵ, quc gia [6], [8], [11]. Trữợc kia viằc lữu tr l truyn miằng, qua
cĂc hnh v cĂc th vê liản tửc v ới trữợc dy cho ới sau, nản cĂc th vê cõ th b bin
tữợng v khổng chu'n xĂc. Ng y nay, viằc ghi li th nh cĂc video lữu tr l mt hữợng
tip cn tt. Viằt Nam t nôm 2016, cĂc b i vê c truyn ữổc ữa v o giÊng dy
trong cĂc trữớng phổ thổng rn luyằn sức khọe v tỹ vằ cho cĂc em hồc sinh. Nản
viằc xƠy dỹng mt mổ hnh chĐm im cĂc b i vê ữổc truyn dy trản lợp l iu cn
thit. CĂc mổ hnh n y giúp hồc sinh ph thổng tỹ Ănh giĂ cĂc tữ th vê trong b i vê
m khổng cn phÊi nhớ n cĂc vê sữ ti cĂc vê ữớng.
Tuy nhiản, cĂc th vê l cĂc h nh ng nhanh, khõ, quay bn hữợng m cĂc thit b
ghi hnh thữớng ch nm mt v tr nản cõ nhiu tữ th b che khuĐt. Nản
thữớng lữu gi cĂc b i vê th phÊi quay t nhiu gõc khĂc nhau hoc quay bng
nhiu camera t t nhiu hữợng. bÊo tỗn, truyn, dy cĂc th vê mt cĂch trỹc quan
th viằc phĂt hiằn, ữợc lữổng cĂc th vê cĂc cÊnh b che khuĐt l viằc l m cn thit.
ỗng thới xƠy dỹng mổi trữớng 3-D trỹc quan hõa viằc o to v dy vê c truyn l mt
vĐn cn thit giÊm thới gian, chi ph, cổng sức ca cĂc vê sữ. c biằt l tông tnh
tỹ giĂc ch ng trong tp luyằn v Ănh giĂ luyằn tp ca cĂc hồc sinh ph thổng.

thu thp ữổc cĂc video phửc vử cho viằc bÊo tỗn v duy tr cĂc th vê ngữới
ta thữớng sò dửng cĂc cÊm bin hnh Ênh nhữ cĂc loi camera gn trản cĂc iằn thoi
thổng minh, hay cĂc loi camera chuyản dửng. c biằt, xƠy dỹng ữổc khung cÊnh
(mổi trữớng) 3-D v cĂc tữ th vê ngữới ta thữớng sò dửng cĂc cÊm bin cõ Ênh sƠu
nhữ Kinect phiản bÊn 1 (Version 1 - V1), Kinect phiản bÊn 2 (Version 2 - V2), Real
scene D435, vv. Trong õ, cÊm bin Kinect V1 l mt loi cÊm bin rã tin (giĂ ngo i th
trữớng ch khoÊng 1 triằu Viằt Nam ỗng - 40 USD) nhữ Hnh 1 v chĐt lữổng Ênh
m u, Ênh sƠu ca cÊm bin n y l chĐp nhn ữổc. Vợi giĂ th nh rã nhữ vy phũ hổp
vợi túi tin ca ngữới Viằt Nam v khÊ nông ph dửng ca loi cÊm bin n y l cao hỡn so
vợi cĂc cÊm bin khĂc. CÊm bin MS Kinect cụng cõ th thu thp ữổc d
1

Hnh 1 CÊm bin MS Kinect phiản bÊn 1.

Hnh 2 Minh hồa d liằu khung xữỡng thu ữổc t cÊm bin MS Kinect phiản bÊn 1
[36].
liằu khung xữỡng cĂc tữ th ca con ngữới nhữ Hnh 2.
Tuy nhiản, d liằu khung xữỡng thu ữổc t cÊm bin MS Kinect v1 l b mĐt rĐt
nhiu. Nhữ trong nghiản cứu ca Wang v cĂc cng sỹ [37] Â cho thĐy sỹ sai khĂc v
thiu d liằu rĐt lợn gia cÊm bin MS Kinect v1 v MS Kinect v2. Do õ trữợc khi thỹc
hiằn xƠy dỹng cĂc mổ hnh Ănh giĂ v chĐm im cĂc ng tĂc vê ữổc truyn dy trản
lợp th cn thỹc hiằn cĂc nghiản cứu v ữợc lữổng, khổi phửc khung xữỡng ca
ngữới trong cĂc video vê thut c truyn.
Trong nhiu nôm tr li Ơy cõ rĐt nhiu nghiản cứu v ữợc lữổng cĂc khợp xữỡng,
h nh ng trản cỡ th ngữới trản mt Ênh m u, Ênh sƠu hoc trản mt chuỉi Ênh. Hu
ht cĂc nghiản cứu u sò dửng viằc hồc cĂc c trững trản Ênh m u, sƠu
hồc mổ hnh ngữới, cĂc h nh ng ca ngữới v sò dửng cĂc b phƠn lợp cho viằc
dỹ oĂn. Trữợc Ơy th thữớng sò dửng cĂc b phƠn lợp nhữ SVM (Support Vector
Machine) [39], Random decision forests (RDF) [40] cho viằc hồc v dỹ oĂn cĂc khợp
2


trản cỡ th ngữới. Ng y nay vợi sỹ phĂt trin mnh m ca hồc sƠu (Deep Learning)
th cõ rĐt nhiu mng ữổc thit k cho viằc ữợc lữổng cĂc khợp xữỡng trản cỡ th ngữới
[41], [48].
D liằu thu ữổc t cÊm bin Kinect v1 bao gỗm Ênh m u v Ênh sƠu, nu thỹc
hiằn ữợc lữổng cĂc im i diằn v cĂc khợp xữỡng trản Ênh m u th cõ rĐt nhiu trữớng
hổp cĂc khợp xữỡng b che khuĐt khổng th ữợc lữổng ữổc. Khi thỹc hiằn ữợc
lữổng trản Ênh sƠu th cõ mt s trữớng hổp d liằu Ênh sƠu b thiu hoc
mĐt d liằu nản cụng cõ nhiu im i diằn v khợp ni khổng ữợc lữổng ữổc. Tuy

nhiản trản Ênh sƠu chứa thổng tin trong khổng gian thỹc (giĂ tr sƠu) ca ngữới
nản cõ th ữợc lữổng ữổc cĂc khợp xữỡng trong trữớng hổp b che khuĐt. Nản lun
Ăn thỹc hiằn kt hổp kt quÊ ữợc lữổng trản Ênh m u v chiu kt quÊ ữợc lữổng
v o khổng gian 3-D cõ ữổc kt quÊ ữợc lữổng cĂc im i diằn v cĂc khợp xữỡng cao
hỡn. c biằt, khi ữợc lữổng khung xữỡng, tữ th ngữới trong khổng gian 3-D cõ th ữợc
lữổng ữổc cĂc khợp xữỡng b che khuĐt do d liằu thu ữổc mt pha nhn thĐy
ca ngữới. T khợp xữỡng y cõ th th hiằn ữổc y cĂc ng tĂc vê trong cĂc video vê
c truyn. Ơy l mt bữợc quan trồng trong viằc tĂi to v ghi li cĂc tữ th vê c truyn
ca cĂc vê sữ v thỹc h nh cĂc ng tĂc ữổc truyn dy ca cĂc em hồc sinh ph thổng.
Trong õ hằ thng chĐm im cĂc ng tĂc vê cụng l mt ứng dửng quan trồng trong
viằc Ănh giĂ viằc biu din cĂc tữ th, ng tĂc vê
úng v chu'n hay khổng. Trong vê thut th viằc th hiằn úng v chu'n l m cho vê
thut phĂt huy ữổc ht sức mnh: tĐn cổng mnh, phặng th chc chn (nhữ Hnh 3
th hiằn viằc dy vê c truyn ti vê ữớng Nguyn Thanh Vụ, th nh ph Quy Nhỡn,
tnh Bnh nh, Viằt Nam).
CĂc phữỡng thức ữợc lữổng khung xữỡng, tữ th ngữới trản Ênh m u v khổng
gian 3-D gn Ơy thữớng sò dửng cĂc mng Nỡ ron tch chp mợi hiằn nay cho viằc
huĐn luyằn mổ hnh ữợc lữổng. CĂc kt quÊ ữổc Ănh giĂ trản cỡ s d liằu v cĂc
tữ th vê c truyn ca Nht BÊn (Karate) v Trung Quc (Tai Chi). c biằt, lun Ăn
cụng cổng b b cỡ s d liằu v cĂc th vê c truyn Viằt Nam do cĂc em hồc sinh
ph thổng biu din v Ănh giĂ cĂc kt quÊ ữợc lữổng cĂc im i diằn v khợp xữỡng trản
cỡ s d liằu n y trong khổng gian 2-D v 3-D xƠy dỹng hằ thng bÊo tỗn, giÊng
dy, Ănh giĂ cĂc b i vê c truyn Viằt Nam trỹc quan.
Tõm li, lun Ăn tp trung cÊi tin kt quÊ ữợc lữổng cĂc im i diằn v cĂc khợp xữỡng
trong cĂc trữớng hổp b che khuĐt khi ch sò dửng mt cÊm bin MS Kinect v1 thu
thp d liằu t mổi trữớng. Kt quÊ n y l sỹ kt hổp ca mổ hnh ữợc lữổng tt trản
khổng gian Ênh 2-D v Ănh x trong mổi trữớng 3-D nƠng cao kt quÊ ữợc lữổng. Ơy
chnh l ỵ tững trong lun Ăn n y, trong mổ hnh xƠy dỹng ứng dửng ca lun Ăn
bao gỗm mt s bữợc: (1) T d liằu u v o thu ữổc t cÊm bin MS Kinect (Ênh m u,
Ênh sƠu); (2) Sò dửng cĂc mng nỡ ron tch chp  ữổc thit k

3


Hnh 3 Mt lợp dy vê c truyn ti th nh ph Quy Nhỡn, tnh Bnh nh, Viằt Nam.
huĐn luyằn mổ hnh ữợc lữổng trản Ênh m u v Ênh sƠu; (3) Kt hổp kt quÊ ữợc
lữổng trong khổng gian 2-D v 3-D, biu din kt quÊ trong khổng gian 3-D, trong õ
cĂc khợp xữỡng ca ngữới trong video ữổc ữợc lữổng v khổi phửc u ; (4) t õ xƠy
dỹng mổ hnh chĐm im cĂc ng tĂc vê c truyn Ăp dửng cho cĂc em hồc sinh
ph thổng cõ th tỹ Ănh giĂ b i vê ca mnh. Trong õ bữợc (2) l bữợc quan trồng
nhĐt trong mổ hnh n y.

2. Mửc tiảu,

i tữổng, phữỡng phĂp v phm vi nghiản cứu

Mửc tiảu ca lun Ăn:
- xuĐt hữợng tip cn ữợc lữổng v phửc hỗi khung xữỡng trong khổng gian 3-D
v xƠy dỹng mt hằ thng tĂi to mổi trữớng 3-D ca cĂc video biu din vê thut
v ữợc lữổng khung xữỡng, tữ th ca ngữới trong video. Phữỡng thức n y ữổc kt
hổp gia ữợc lữổng cĂc im i diằn v cĂc khợp ni trản
Ênh m u (khổng gian 2-D) v ữợc lữổng trong khổng gian 3-D cõ ữổc kt
quÊ ữợc lữổng cĂc khợp xữỡng tt, c biằt l khổi phửc ữổc cĂc khợp xữỡng trong
trữớng hổp cĂc b phn ca ngữới b che khuĐt. Khi cõ ữợc lữổng khung xữỡng
trong khổng gian 3-D tt cõ nghắa l giĂ tr khoÊng cĂch lỉi gia cĂc im i
diằn trản khung xữỡng ữợc lữổng ữổc v khung xữỡng gc nhọ. T õ th hiằn ch
nh xĂc tữ th ca ngữới trong cĂc ng tĂc vê. Mổ hnh ữợc lữổng cĂc im i
diằn trản khổng gian 2-D ữổc chồn t nghiản cứu so sĂnh cho b i toĂn ữợc
lữổng cĂc im i diằn trong khổng gian 2-D, sò dửng cĂc mng nỡ ron tch
chp v huĐn luyằn trản cĂc b cỡ s d liằu chu'n (benchmark). ỗng thới
4

Hnh 4 Khung xữỡng, tữ th ca ngữới ữổc ữợc lữổng (cĂc im m u xanh l cĂc im
xữỡng v cĂc khợp ni m u v ng) v mổi trữớng ữổc xƠy dỹng li trong khổng gian 3-D
(th giợi thỹc).
viằc ữợc lữổng khung xữỡng, tữ th ngữới trong khổng gian 2-D, 3-D ữổc Ănh
giĂ trản b cỡ s d liằu  cổng b v vê c truyn ca nữợc ngo i v vê c
truyn Viằt Nam thu thp ữổc. Hnh 4 th hiằn mổ hnh khung xữỡng, tữ th
ca ngữới trong video biu din vê thut ữổc ữợc lữổng v dỹng li mổi trữớng
trong khổng gian 3-D (trong th giợi thỹc).
- T khung xữỡng ca ngữới ữổc ữợc lữổng v khổi phửc y cĂc khợp, xƠy dỹng
mt mổ hnh chĐm im cĂc ng tĂc vê trản cĂc video thu ữổc t lợp vê hoc cĂc
b i biu din vê thut ca cĂc em hồc sinh ph thổng, giúp cĂc em tỹ Ănh
giĂ ữổc cĂc b i vê thut  ữổc truyn dy. Hỡn na l nhn dng ữổc ng tĂc tĐn
cổng phửc vử cho viằc phƠn tch im mnh im yu ca cĂc tữ th vê thut c
truyn.
Trong lun Ăn, cĂc nghiản cứu th nh phn khổng i giÊi quyt vĐn mt cĂch ỡn lã, tỹ
phĂt m vĐn xuĐt phĂt t thỹc t khi biu din vê thut th cĂc th vê cõ th Ănh tứ diằn
hoc xoay 360 , nản d liằu thu thp t mt cÊm bin hnh Ênh s b che khuĐt
rĐt nhiu. c biằt, quĂ trnh xƠy dỹng hằ thng tĂi to mổi trữớng 3-D v Ănh giĂ cĂc b
i biu din vê thut cn tĂi to ữổc mổi trữớng 3-D, ữợc lữổng ữổc khung xữỡng ca
ngữới trong iu kiằn d liằu thu thp t cÊm bin MS Kinect cõ chứa rĐt nhiu nhiu.

5


Mt phn m rng ca nghiản cứu n y l cõ th cho khĂn giÊ, cĂc hồc viản ca cĂc
vê ữớng thĐy ữổc viằc lữu gi li cĂc th vê c truyn l rĐt quan trồng, t trữợc n nay
ữổc truyn t ới n y qua ới khĂc thổng qua truyn miằng v dy ng tĂc trỹc tip thổng
qua cĂc vê sữ. T nghiản cứu n y cõ th s hõa cĂc tữ th vê c truyn

v truyn li cho ới sau. Cụng nhữ cĂc video vê thut ữổc biu din v cõ th Ănh
giĂ chĐm im bng mĂy tnh. Trong nghiản cứu n y thổng tin v mổi trữớng v ca
ngữới biu din vê thut trong mổi trữớng ữổc thu thp, trch xuĐt thổng qua cÊm
bin hnh Ênh.

3. Ng cÊnh, cĂc r ng buc, v cĂc thĂch thức
Hnh 3 th hiằn ng cÊnh khi dy vê c truyn trong cĂc vê ữớng. Thổng tin m
cÊm bin hnh Ênh thu ữổc l Ênh t mt pha ca mổi trữớng ca lợp vê thut. u ra
l mổi trữớng ữổc tĂi to trong khổng gian 3-D, trong õ th hiằn y tữ th vê dỹa trản
khung xữỡng ca ngữới trong khổng gian õ (cĂc im xữỡng, khợp ni trong khổng
gian 3-D). Trong nghiản cứu n y, lun Ăn sò dửng mt cÊm bin MS Kinect phiản bÊn
1 [25]. CÊm bin MS Kinect ữổc gn trản mt giĂ c nh t mt pha ca khổng
gian lợp dy vê v ữổc kt ni vợi mĂy tnh Laptop thổng qua cng USB nhữ minh
hồa trong Hnh 5. Trong quĂ trnh xƠy dỹng hằ thng tht v tĂi to khung cÊnh 3D v ữợc lữổng tữ th, khung xữỡng ca ngữới trong khung cÊnh trản cĂc video vê c
truyn th nghiản cứu n y yảu cu mt s r ng buc nhữ sau:
CÊm bin MS Kinect phiản bÊn 1:
Mt cÊm bin MS Kinect phiản bÊn 1 ữổc gn trản giĂ c nh v ữổc t
mt pha ca lợp dy vê thut.
Mt cÊm bin MS Kinect phiản bÊn 1 thu thp ữổc Ênh m u, Ênh sƠu
vợi tc thổng thữớng t (t 10 n 30 khung hnh/giƠy) [127] vợi phƠn
giÊi 640 480 im Ênh cho cÊ hai loi Ênh. Do cÊm bin MS Kinect ữổc gn
trản giĂ c nh v cõ hữợng thflng v o gia vũng biu din ca lợp vê thut
nản d liằu thu ữổc thữớng cõ trửc z (m u xanh dữỡng) hữợng thflng v o
ngữới v cụng chnh l khoÊng cĂch t cÊm bin MS Kinect n ngữới, cặn
trửc x (m u ọ) hữợng sang ngang v trửc y (m u xanh l cƠy) hữợng lản trản,
ữổc th hiằn hnh trĂi trong Hnh 4. Trong cĂc tnh hung thỹc t,
khổng cõ yảu cu cử th thu thp d liằu hnh Ênh.
Ngữới (vê sữ, hồc viản) biu din vê thut nm trong vũng  ữổc giợi hn
cõ kch thữợc l 3 3m nhữ minh hồa trong hnh 5. Do giợi hn thu ữổc
d liằu ca cÊm bin MS Kinect phiản bÊn 1 l 0.8 - 4m v gõc nghiảng ti

o

a l 30 quanh tƠm trửc ca cÊm bin MS Kinect.

6


Labtop

USB connector

Hnh 5 Minh hồa thit lp cĂc thit b.
Ngữới biu din vê thut l cĂc vê sữ hoc hồc viản ca lợp hồc vê thut. Cõ tui
thữớng t 12 tui tr lản, giợi tnh cõ th l nam hoc n. Ngữới mc trang phửc
khổng bõng, tức khổng bao quanh bi nilon (do cÊm bin MS Kinect phiản bÊn
1 sò dửng Ănh sĂng hỗng ngoi thu thp d liằu nản b mt b bõng th thữớng
s hĐp thu Ănh sĂng hỗng ngoi nản s b mĐt d liằu sƠu).
nh m u v Ênh sƠu thu ữổc t cÊm bin MS Kinect phiản bÊn 1 ữổc kt hổp

vợi nhau v chiu sang khổng gian 3-D (th giợi thỹc) sò dửng b tham s trong
ca cÊm bin n y. ỗng thới khung xữỡng, tữ th ca ngữới biu din vê thut trong
mổi trữớng cụng ữổc ữợc lữổng y cĂc khợp xữỡng trong mổi trữớng 3-D.
Viằc xƠy dỹng mt hằ thng ho n chnh v tĂi to mổi trữớng 3-D, ữợc lữổng
khung xữỡng ca ngữới phửc vử trỹc tip cho viằc Ănh giĂ biu din vê thut hoc
Ănh giĂ cĂc b i thi ca cĂc th sinh tham gia cĂc mổn th thao vê thut l nm
ngo i phm vi nghiản cứu ca lun Ăn n y.
Hiằn nay, trong nghiản cứu n y mợi tp trung v o cĂc video thu ữổc t cĂc b i
biu din vê thut ca vê sữ hoc cĂc hồc viản trong lợp vê nản trong mỉi video
thữớng ch cõ mt ngữới.

CĂc ng cÊnh t ra, cĂc r ng buc trong nghiản cứu ca lun Ăn hn ch nhng
vĐn sau:
Khi ngữới biu din vê thut nm trong phm vi thu ca cÊm bin MS Kinect phiản
bÊn 1 th trĂnh ữổc tnh trng mĐt d liằu do khoÊng cĂch gia ngữới v
cÊm bin MS Kinect l quĂ gn hoc quĂ xa. Ngữới mc ỗ vê thut khổng bõng
khổng l m mĐt d liằu do bõng hĐp thử tn hiằu hỗng ngoi giúp cÊm bin
MS Kinect thu thp d liằu. mt hữợng nhn c nh nản d liằu 3-D ca
ngữới l b thiu cĂc b phn, do b che khuĐt khi quay i cĂc hữợng khĂc. Mt t
nh hung khĂc l d liằu ữổc thu thp bao gỗm nhiu nhiu v hnh Ênh
sƠu ữổc thu thp bi MS Kinect thữớng b Ênh hững bi cĂc iu kiằn chiu
sĂng. Nhng vĐn n y t ra nhng thĂch thức cho viằc ữợc lữổng khung
xữỡng, tữ th ngữới trong cÊ khổng gian 2-D v 3-D.
7


Do sỹ phĂt trin mnh m v phn cứng mĂy tnh (sỹ ra ới ca cĂc loi card ỗ
hồa cho viằc tnh toĂn song song) v sỹ ra ới ca cĂc mng nỡ ron tch chp
dỹa trản nn tÊng hồc sƠu. Nản Ăp dửng b i toĂn ữợc lữổng khung xữỡng, tữ
th ngữới trong khổng gian 2-D, 3-D trản nn tÊng ca hồc sƠu.
Thới gian tnh toĂn: Mt Ăm mƠy im ữổc to ra t mt cp Ênh (Ênh m u,
Ênh sƠu) cõ kch thữợc l 640 480 im Ênh tỗn ti khoÊng v i trôm nghn
im. c biằt l quĂ trnh ữợc lữổng khung xữỡng, tữ th ngữới phÊi qua bữợc ữợc
lữổng trản khổng gian 2-D sau õ Ănh x sang khổng gian 3-D. Do õ quĂ tr
nh cn mt lữổng thới gian lợn ho n th nh viằc tĂi to li mổi trữớng 3-D
v ữợc lữổng y khợp xữỡng ca ngữới trong mt cÊnh. Trong quĂ trnh huĐn luyằn
mổ hnh hồc sƠu ữợc lữổng khung xữỡng trong khổng gian 2-D th Ênh m u
ữổc thay i kch thữợc v kch thữợc phũ hổp vợi mng CNN nản kch

thữợc ca Ênh thu ữổc t cÊm bin MS Kinect l 640 480 im Ênh, khổng Ênh
hững n cĂc mng CNN.

4. ị nghắa khoa hồc v cĂc

õng gõp ca lun Ăn

Trong sut lun Ăn, cĂc mửc tiảu chnh ữổc giÊi quyt bng mt giÊi phĂp thng
nhĐt. Lun Ăn t ữổc nhng õng gõp sau:
õng gõp 1: xuĐt ữổc mt mổ hnh kt hổp gia ữợc lữổng khung xữỡng,
tữ th trong 2-D tt cõ ữổc mt ữợc lữổng tt hỡn trong khổng gian 3-D. c
biằt l trong trữớng hổp d liằu b che khuĐt th b ữợc lữổng 3-D vÔn ữợc
lữổng y cĂc khợp xữỡng. Trong õ, b ữợc lữổng 2-D ữổc huĐn luyằn trản b
cỡ s d liằu tt hỡn vợi mổ hnh mng nỡ ron tch chp dỹ oĂn hiằu quÊ hỡn.
Kt quÊ th hiằn trản mt nghiản cứu so sĂnh viằc ữợc lữổng khung xữỡng, tữ
th ngữới trong khổng gian 2-D v khổng gian 3-D.
õng gõp 2: XƠy dỹng ữổc mổ hnh cỡ bÊn cho viằc Ănh giĂ v chĐm im cĂc
ng tĂc vê c truyn dỹa trản mt s khợp xữỡng cỡ bÊn trản cỡ th ngữới trong
cĂc video biu din vê thut c truyn ca hồc sinh ph thổng ca cĂc lợp vê.
ỗng thới nhn dng ng tĂc tĐn cổng trản d liằu khung xữỡng ca ngữới. T õ l
m tin cho viằc xƠy dỹng hằ thng ho n chnh cho viằc tĂi to li mổi trữớng
3-D v khung xữỡng, tữ th ngữới trong cĂc video vê thut c truyn phửc vử cho
viằc lữu tr, tỹ Ănh giĂ v dy vê thut trong trữớng ph thổng.

5. Mổ hnh nghiản cứu v cĐu trúc ni dung ca lun Ăn
T u n cui, lun Ăn khổng giÊi quyt vĐn theo cĂch ỡn lã m giÊi quyt cĂc vĐn
thỹc t t ra theo mt mổ hnh thng nhĐt, ữổc th hiằn trong Hnh 6.

8