Nhận dạng cử chỉ động của bàn tay người sử dụng kết hợp thông tin hình ảnh và độ sâu ứng dụng trong tương tác người thiết bị

B® GIÁO DUC VÀ ĐÀO TAO
TRƯèNG ĐAI HOC BÁCH KHOA HÀ N®I

ĐOÀN TH± HƯƠNG GIANG

NH¾N DANG CÚ CHÍ Đ®NG CÚA BÀN TAY
NGƯèI SÚ DUNG KET HeP THÔNG TIN HÌNH
ÁNH VÀ Đ® SÂU ÚNG DUNG TRONG TƯƠNG
TÁC NGƯèI-THIET B±

Chuyên ngành: Ky thu¾t Đieu khien và Tn đ®ng hóa
Mã so: 62520216

TÓM TAT LU¾N ÁN TIEN SĨ
ĐIEU KHIEN VÀ TU Đ®NG
HÓA


Công trình đưoc hoàn thành tai:
Trưòng Đai hoc Bách khoa Hà N®i

Ngưòi hưóng dan khoa hoc:
1. TS. Vũ Hái
2. TS. Tran Th% Thanh Hái

Phán bi¾n 1: PGS.TS Ngô Quoc Tao
Phán bi¾n 2: PGS.TS Nguyen Quang Hoan
Phán bi¾n 3: PGS.TS Tran Đúc Tân

Lu¾n án se đưoc báo v¾ trưóc H®i đong cham lu¾n án tien sĩ
cap Trưòng hop tai Trưòng Đai hoc Bách khoa Hà N®i:

Vào hoi..........giò, ngày.......tháng.......năm.......

Có the tìm hieu lu¾n án tai thư vi¾n:
1. Thư vi¾n Ta Quang Búu - Trưòng ĐHBK Hà N®i
2. Thư vi¾n Quoc gia Vi¾t Nam


Mé ĐAU
Tính cap thiet cúa lu¾n án
Ngày nay, công ngh¾ hi¾n đai ngày càng phát trien đã tro giúp cho con ngưòi
trong nhieu lĩnh vnc khác nhau. Trong đó, tn đ®ng hóa tòa nhà hay không gian song
thông minh là m®t trong nhung xu hưóng nghiên cúu xuat phát tù nhu cau thnc te cna
cu®c song. Các h¾ thong tn đ®ng hóa có m¾t ó nhieu lĩnh vnc khác nhau trong
cu®c song hàng ngày, tù nhung úng dung tro giúp đơn gián như chuông cúa, đieu
khien cúa ra vào nhà, đen vi¾c tn đ®ng hóa các thiet b% đi¾n tú gia dung phúc tap
hơn như h¾ thong đèn chieu sáng, đieu hòa, h¾ thong loa đài, ti vi,... M¾c dù các úng
dung tn đ®ng hóa tòa nhà đã đưoc đe xuat nhieu. Các sán pham hi¾n có mói chí chn
yeu t¾p trung vào các công ngh¾ tiet ki¾m năng lưong, ho¾c đieu khien các thiet b%
đi¾n tú trong gia đình sú dung các thiet b% phu tro ho¾c yêu cau m®t giao di¾n đe
tương tác giua ngưòi dùng và thiet b%. Nhu cau tn đ®ng hóa tòa nhà vói sn tương tác
giua ngưòi và thiet b% đi¾n tú gia dung m®t cách tn nhiên là can thiet song bài toán
này còn g¾p phái nhieu thách thúc như: Không đòi hói thiet b% phu tro hay tiep xúc
trnc tiep trong quá trình đieu khien; ho¾c không đòi hói giao di¾n tương tác ngưòithiet b%. Muc tiêu hưóng đen cna đe tài là nghiên cúu và phát trien h¾ thong đieu
khien thiet b% m®t cách tn nhiên và hi¾u quá. Tuy nhiên, trong tương tác ngưòi
dùng - thiet b%; hi¾u quá the hi¾n thông qua tính ben vung cna h¾ thong đoi vói sn
thay đoi cna các yeu to bên ngoài và khá năng đáp úng thòi gian thnc.
Đe giái quyet các van đe này, hai xu hưóng nghiên cúu đã đưoc đe xuat là: Phát
trien công ngh¾ phu tro và phát trien thu¾t toán. Vói xu hưóng phát trien công ngh¾
phu tro bao gom các giái pháp sú dung găng tay chuyên dung, mieng dán đánh dau

vùng bàn tay, ho¾c gan trnc tiep cám bien trên tay ho¾c cánh tay khien cho ngưòi
dùng phu thu®c thiet b%, chi phí mua thiet b% đat đó, và đieu khien không tn nhiên.
Cách tiep c¾n thú hai là phát trien thu¾t toán, nh¾n dang cú chí tay đã đưoc trien
khai trong nhieu lĩnh vnc khác nhau như: th% giác máy tính và rô bot, đieu khien và
tn đ®ng hóa,... Tuy v¾y, yêu cau ve tính ben vung và xú lý thòi gian thnc van còn
là m®t thách thúc khi nghiên cúu h¾ thong nh¾n dang cú chí tay. Lu¾n án này là m®t
sn dung hòa cna hai hưóng tiep c¾n trên. Trong đó, m®t t¾p cú chí tay có tính ngu
nghĩa, goi nhó đã đưoc đe xuat nham thay the các thiet b% phu tro, cung cap các
đ¾c trưng huu ích cho h¾ thong, nên ngưòi dùng có the đieu khien m®t cách tn
nhiên. Bên canh đó, các giái thu¾t bieu dien nh¾n dang hoat đ®ng cú chí đã đưoc
nghiên cúu cà thiet ke vói muc tiêu hi¾u quá. Các ket quá đánh giá thú nghi¾m chí
ra rang, phương pháp tương tác này tn nhiên hơn và không yêu cau bat cú liên ket trnc
tiep vói thiet b% cũng
3


như không yêu cau phái có giao di¾n ngưòi dùng. H¾ thong đe xuat toi đa khá năng sú
dung thông qua công cu nh¾n dang cú chí tay và cung cap h¾ thong đieu khien nhieu
thiet b% đi¾n gia dung vói đáp úng thòi gian thnc.

Mnc tiêu cúa lu¾n án
❼

❼

❼

❼

Thiet ke t¾p cơ só du li¾u (CSDL) cú chí bàn tay tương úng vói m®t so các l¾nh

đieu khien căn bán cho các thiet b% đi¾n tú gia dung. Ngoài ra, CSDL này có các
đ¾c trưng ho tro h¾ thong nh¾n dang đat đưoc hi¾u quá nh¾n dang cao.
Nghiên cúu và trien khai giái thu¾t phân đoan cú chí bàn tay đáp úng thòi gian
thnc, ben vung vói sn thay đoi cna các yeu to bên ngoài (ánh sáng,...): Nghiên
cúu và đe xuat phương pháp phát hi¾n và trích chon vùng bàn tay tù ánh màu
và ánh đ® sâu, phân đoan các cú chí tay tù chuoi liên tiep.
Nghiên cúu và đe xuat phương pháp bieu dien chuoi cú chí đ®ng cna bàn tay và
đong b® pha giua các cú chí đ®ng. Giái pháp hưóng tói bieu dien các cú chí tay
theo cá không gian và thòi gian, đáp úng vói nhieu ngưòi, tai nhieu v% trí, nhieu
hưóng khác nhau cna ngưòi đen cám bien Kinect.
Trien khai h¾ thong đieu khien thiet b% đi¾n tú gia dung sú dung cú chí bàn tay.

Các đóng góp cúa lu¾n án
❼

❼

❼

❼

Đóng góp thN 1: Thiet ke t¾p CSDL cú chí tay tương úng vói các l¾nh đieu
khien cơ bán cna các thiet b% đi¾n tú gia dung. Thu th¾p CSDL, đánh giá tính
khá thi cna t¾p l¾nh, thú nghi¾m giái thu¾t đe xuat và chia sé cho c®ng đong
nghiên cúu.
Đóng góp thN 2: Đe xuat giái pháp phân đoan chuoi cú chí tay đáp úng thòi
gian thnc gom: Giái pháp hi¾u quá đe phát hi¾n và trích chon vùng bàn tay tù
ánh màu và ánh đ® sâu; Giái pháp phân đoan cú chí tù chuoi bàn tay liên tiep.
Đóng góp thN 3: Đe xuat m®t phương pháp bieu dien mói cú chí dna trên đ¾c
trưng không gian dna trên bieu dien đa tap (ISOMAP), ket hop vói các đ¾c trưng

thòi gian (KLT), có tính đen đong b® pha giua các cú chí trên không gian bieu
dien mói đưoc đe xuat.
Đóng góp thN 4: Trien khai giái pháp toàn di¾n đe đieu khien m®t so thiet b%
đi¾n tú gia dung dùng cú chí đ®ng cna bàn tay. H¾ thong hoàn chính đưoc cài
đ¾t trong ngu cánh trong nhà tai phòng thông minh cna Vi¾n MICA.

Cau trúc cúa lu¾n án
❼

Mó đau: Giói thi¾u chung tính cap thiet, muc tiêu cna lu¾n án; ngu cánh, các
ràng bu®c và thách thúc khi giái quyet các bài toán; Các đóng góp cna lu¾n án.


❼

❼

❼

❼

❼

❼

Chương 1: Tong quan ve đieu khien sú dung cú chí bàn tay và các nghiên cúu
liên quan đen các van đe đ¾t ra trong lu¾n án.
Chương 2: Thiet ke và xây dnng cú chí bàn tay có tính chat chu kỳ.
Chương 3: Đe xuat phương pháp phát hi¾n, phân đoan cú chí bàn tay đáp úng
yêu cau thòi gian thnc và đ® chính xác. Phân đoan chuoi cú chí tay đ®ng tù

chuoi liên tiep các hình trang bàn tay.
Chương 4: Đe xuat giái pháp bieu dien các cú chí đ®ng cna bàn tay ket hop các
đ¾c trưng không gian và thòi gian, giái pháp đong b® pha trong không gian mói.
Chương 5: Trien khai, đánh giá h¾ thong đieu khien sú dung cú chí tay. Thnc
hi¾n các đánh giá thú nghi¾m trên h¾ thong hoàn thi¾n.
Ket lu¾n và đ%nh hưóng nghiên cúu tiep theo cna lu¾n án.

CHƯƠNG 1

CÁC NGHIÊN CÚU LIÊN QUAN
Chương này trình bày ve các nghiên cúu liên quan đen h¾ thong đieu khien thiet
b% đi¾n tú gia dung dùng cú chí đ®ng cna bàn tay và các phương pháp nh¾n dang cú
chí đ®ng cna bàn tay vói các pha chính gom: Phát hi¾n và trích chon vùng bàn tay
trong ánh, phân đoan và nh¾n dang các cú chí đ®ng cna bàn tay tù chuoi ánh liên tiep.

1.1 H¾ thong đieu khien thiet b% sN dnng cN chí đ®ng bàn tay
Đã có nhieu h¾ thong đieu khien thiet b% đi¾n gia dung sú dung cú chí tay đã đưoc
đe xuat như ti vi thông minh cna hãng Sansung, Omron,... Các h¾ thong này đưoc chia
thành hai nhóm chính: Đ®c l¾p và phu thu®c giao di¾n ngưòi dùng. Vói h¾ thong yêu
cau m®t giao di¾n ngưòi dùng đe thnc hi¾n các l¾nh đieu khien se không phù hop vói
hau het các thiet b% đi¾n tú gia dung không có màn hình như đèn, quat,....

1.2

Phương pháp phát hi¾n và trích chon bàn tay trong ánh

Phát hi¾n vùng bàn tay là xác đ%nh sn có m¾t và v% trí cna vùng bàn tay trong
ánh. Đây là m®t pha can thiet đưoc áp dung nham loai bó các yeu to phông nen không
tham gia vào vi¾c mô hình hóa cú chí bàn tay. Đã có nhieu nghiên cúu phát hi¾n và
trích chon vùng bàn tay dna trên các đ¾c trưng như màu sac, hình dáng, chuyen đ®ng

và đ® sâu. Trong khi, bàn tay ngưòi có nhieu b¾c tn do, hình trang bàn tay luôn thay
đoi và phu thu®c vào nhieu yeu to như góc nhìn cna máy ánh, sn khác nhau ve đ® to
nhó, đ® phân giái, cưòng đ® chieu sáng,.... Bói v¾y, đ® chính xác và thòi gian đáp úng


cna bưóc phát hi¾n và trích chon vùng bàn tay van là nhung yêu cau can phái giái
quyet đoi vói các h¾ thong thnc te.

1.3

Phương pháp phân đoan cN chí đ®ng cúa bàn tay

Đoi vói các h¾ thong nh¾n dang cú chí đ®ng cna bàn tay, vi¾c xác đ%nh điem bat
đau và ket thúc chuoi cú chí tương úng vói m®t úng viên cna m®t cú chí nào đó, là
vi¾c làm can thiet trưóc khi đưa vào bieu dien và nh¾n dang cú chí. Các phương pháp
phân đoan hi¾n tai thưòng chia thành hai loai: Sú dung các mô hình và sú dung các
tín hi¾u đ¾c trưng. Hưóng tiep c¾n sú dung các mô hình thưòng g¾p phái m®t so giói
han che sau: Các h¾ thong yêu cau m®t ngưõng các tham so mô hình trong quá trình
huan luy¾n và khó thay đoi h¾ thong khi thêm ho¾c bót cú chí. Hơn nua, can thiet
phái đ%nh nghĩa các cú chí có nghĩa và t¾p cú chí thông thưòng, trong khi có rat nhieu
các cú chí thông thưòng. Ngoài ra, khi sú dung mô hình thưòng có thòi gian tre lón và
đieu đó thnc sn thách thúc khi trien khai các h¾ thong thnc.
Hưóng tiep c¾n dna trên các dang tín hi¾u đ¾c trưng cna các cú chí tay thưòng là:
Sn chuyen đ®ng, v¾n toc, gia toc cna bàn tay,... Hưóng tiep c¾n này thưòng đat đưoc
toc đ® đáp úng nhanh vói giái thu¾t đơn gián. Tuy nhiên, các cú chí tay phái thiet ke
sao cho đám báo đưoc đ¾c trưng khác bi¾t và/ho¾c sú dung thêm các thiet b% phu tro
đe đo chính xác sn thay đoi cna cú chí tay.

1.4

Phương pháp nh¾n dang cN chí đ®ng cúa bàn tay

Các phương pháp nh¾n dang cú chí đ®ng hi¾n nay đang g¾p m®t so giói han như:
Các mô hình can phái cài đ¾t, thiet l¾p lai tham so khi can thêm ho¾c bót cú chí. Giái
pháp đat đưoc đ® chính xác thì yêu cau đ® phúc tap tính toán và thòi gian đáp úng
cao. Các mô hình nh¾n dang như HMM hay CRF, CNN thưòng yêu cau so lưong du
li¾u huan luy¾n lón. Đ¾c bi¾t, phương pháp sú dung mang nơ ron yêu cau cau hình
máy tính cao ho¾c máy tính phái có GPU.

1.5

Tháo lu¾n và ket lu¾n

Dna trên vi¾c phân tích các ưu nhưoc điem cna các ky thu¾t hi¾n có, lu¾n án
hưóng tói giái quyet các n®i dung sau:
Đ%nh nghĩa cú chs đ®ng cúa bàn tay: Đe đieu khien thiet b% can có m®t b®
CSDL có tính đong b®, phù hop vói phan lón các thiet b% đi¾n tú gia dung, không phu
thu®c giao di¾n ngưòi dùng. T¾p l¾nh có tính đ¾c thù và phù hop vói các thiet b%,
cung cap các đ¾c trưng hi¾u quá cho h¾ thong, đáp úng tính tn nhiên và thu¾n ti¾n
khi ngưòi dùng tương tác.
Phát hi¾n tay, phân khúc chuoi cú chs đ®ng cúa bàn tay: Nghiên cúu, phát trien
m®t phương pháp phát hi¾n và trích chon bàn tay dna trên ánh màu và ánh đ® sâu đat


đưoc hi¾u quá h¾ thong cao và đáp úng thòi gian thnc. Sau đó, chuoi cú chí tay đưoc
phân khúc sú dung ket hop các đ¾c trưng tín hi¾u m®t chieu cna chuoi cú chí đ®ng.
Nh¾n dang cú chs đ®ng cúa bàn tay: Phát trien m®t phương pháp bieu dien cú
chí đ®ng cna bàn tay ket hop các đ¾c trưng không gian và thòi gian. Giái quyet bài
toán đong b® pha trong không gian mói và phân lóp cú chí đ®ng.

CHƯƠNG 2

THIET VE VÀ XÂY DUNG CƠ Sé DU LIfiU CÓ
TÍNH CHU KỲ
M®t so CSDL cú chí đ®ng cna bàn tay hi¾n có ton tai nhung han che nhat đ%nh
như trình bày trong muc 2.1. Chương này trình bày nguyên lý thiet ke và xây dnng
CSDL cú chí tay mói có tính chat chu kỳ. Các cú chí tay cho phép ngưòi dùng tương
tác tn nhiên, thu¾n ti¾n vói các thiet b% và đám báo hi¾u quá hoat đ®ng cna h¾ thong
đieu khien. Phan 2.2.1 se trình bày thiet ke chi tiet ve b® CSDL cú chí đ®ng cna bàn
tay mói có tính chu kỳ.

2.1

Các CSDL cN chí đ®ng cúa bàn tay đã có

Các b® CSDL cú chí đ®ng cna bàn tay đã đưoc đe xuat ton tai m®t so giói han
nhat đ%nh như: Phuc vu cho m®t úng dung chuyên bi¾t, pha tr®n lan giua các cú chí
tĩnh và đ®ng, so lưong các cú chí han che chí ó l¾nh b¾t/tat thiet b%, ho¾c các CSDL
không đưoc công bo cho c®ng đong nghiên cúu.

2.2
2.2.1

Thiet ke CSDL cN chí đ®ng có tính chu kỳ
Các l¾nh đieu khien các thiet b% đi¾n tN gia dnng cơ bán
Báng 2.1 Các l¾nh chính cúa các thiet b% đi¾n tú gia dnng
L¾nh

Thiet b%
Tivi

Máy quay
Đèn
Đieu hòa
Quat

L¾nh 1/B¾t-Tat

L¾nh 2/Tăng

L¾nh 3/Giám

L¾nh 4/Tiep theo

L¾nh 5/Quay lai

B¾t/Tat
B¾t/Tat
B¾t/Tat
B¾t/Tat
B¾t/Tat

(+) Kênh
Quay lên
(+) Tinh
(+) Nhi¾t đ®
(+) Toc đ®

(-) Kênh
Quay xuong
(-) Tinh

(-) Nhi¾t đ®
(-) Toc đ®

(+) Tieng
Quay trái
(+) Thô
Quat b¾t/tat
Quay

(-) Tieng
Quay phái
(-) Thô
Che đ®
Đèn ngn

Moi h® gia đình thưòng có nhieu thiet b% đi¾n tú gia dung khác nhau như: Đèn,
quat, tivi, đieu hòa, cúa, loa đài, tivi,... Đe có m®t h¾ thong đieu khien sú dung cú chí
tay m®t cách đong b®, rat can thiet phái có m®t b® CSDL cú chí tay có khá năng dùng
chung cho các thiet b% này. Đe đ%nh nghĩa m®t b® CSDL cú chí tay phuc vu cho đieu
khien, phái xác đ%nh các l¾nh goc cna thiet b% can đieu khien, ý nghĩa l¾nh và cách
7


thnc hi¾n goi nhó đưa ra tù nhà sán xuat. Sau đó, Các cú chí tay thưòng đưoc đ%nh
nghĩa sao cho có sn tương úng vói ý nghĩa cna l¾nh, đong thòi có tính goi nhó đe de
sú dung thưòng xuyên, lâu dài. Cuoi cùng, gán các cú chí tay vói các l¾nh goc. Trong
nghiên cúu này, năm l¾nh đưoc đ%nh nghĩa và mô tá như trong Báng. 2.1.
2.2.2

Đ%nh nghĩa CSDL

Năm l¾nh cơ bán thưòng đưoc sú dung gom: b¾t/tat, tăng(kênh), giám(kênh),
tăng(tieng), giám(tieng). Moi l¾nh thnc hi¾n có ba pha chính là pha chuan b%, pha
thnc thi và pha ket thúc. Trong pha thnc thi, bàn tay không nhung thay đoi hình
trang mà còn d%ch chuyen theo ba trang thái gom: khói đ®ng, trung gian/chuyen đ®ng
và ket thúc. Sn thay đoi hình trang cna bàn tay có tính chu kỳ tù lúc đóng tay sau đó
mó tay và đóng tay lai như mô tá trong Hình. 2.1.
Middle

Start

Stop

Move
Stop

Start

Middle
Start

Turn on_of

Start

Move
Stop

Start
Stop

Start

Middle

Middle

Stop

Middle

Stop

Decrease

Increase

Next

Back

Hình 2.1 Sn thay đoi hình trang tay và quy đao cúa các cú chs tay đ%nh nghĩa
2.2.3

Đ¾c điem cúa CSDL
x

x(t)

x(t) = x(t + T )

x(t+T)
time
t

Stop

t+T

Move
Middle

Start

T
b. Ideal periodic signal in time domain

s=

a. Closed-form gestures

2Πt
T

c. Ideal periodic signal in phase domain

Hình 2.2 Phân tích đ¾c điem cúa tín hi¾u có tính chu kỳ.
Moi cú chí đã đ%nh nghĩa khác bi¾t ó sn thay đoi hình trang bàn tay cũng như
hưóng d%ch chuyen cna tay. Trong đó, hình trang tay bao gom các chuoi liên tiep các
cú chí tay có tính chu kỳ và sn chuyen đ®ng cna bàn tay bieu dien ý nghĩa cna các

l¾nh. B® CSDL có m®t so đ¾c điem chính như sau:
- Moi cú chí có trang thái bat đau và ket thúc giong nhau. Tính chat này đưoc sú
dung đe phân đoan chuoi cú chí đ®ng cna bàn tay.
- Moi cú chí tay đưoc xem như m®t tín hi¾u có tính chu kỳ đóng và đưoc bieu
dien như trong Hình. 2.2.


- Thòi gian thnc thi moi cú chí trong moi lóp cũng như giua các lóp cú chí khác
nhau là không giong nhau do toc đ® thnc hi¾n cna moi ngưòi, và/ho¾c hưóng
chuyen đ®ng cna bàn tay trong moi l¾nh không giong nhau.
- Các cú chí trong cùng m®t lóp có the không đong b® ve pha vói nhau. Trong
moi lóp, các trang thái cna m®t loai cú chí có the không đong b®.

2.3

Thu th¾p CSDL

Tù năm cú chí đã đ%nh nghĩa, bon b® CSDL đã đưoc thu th¾p tai các môi trưòng,
ngu cánh khác nhau phông nen gom MICA1, MICA2, MICA3, MICA4. Đ¾c điem cna
các b® CSDL the hi¾n chi tiet trong Báng 2.2 sau đây:
Báng 2.2 Đ¾c điem cúa các CSDL
CSDL
Đ¾c điem
So lưong ngưòi
Môi trưòng
Đieu ki¾n nen
Nhieu
So v% trí
Khoáng cách (m)

2.4

MICA1

MICA2

MICA3

MICA4

16
Phòng thí nghi¾m (PTN)
Đơn gián

35
H®i cho
Phúc tap

33
H®i cho
Phúc tap

8
PTN
Đơn gián

Ít
1
2

Nhieu
2
2.5

Nhieu
2
1.5; 2.5

Ít
13
1.5->3

Tháo lu¾n và ket lu¾n

Sau khi kháo sát các t¾p CSDL đã đưoc công bo cũng như xuat phát tù yêu cau
cna bài toán đieu khien thiet b% đi¾n gia dung, m®t CSDL mói đã đưoc đ%nh nghĩa.
CSDL bao gom năm l¾nh, tương úng vói các l¾nh cơ bán nhat đe đieu khien hau het
các thiet b% đi¾n gia dung. T¾p CSDL đe xuat bao gom các chuoi cú chí tay có tính
chat chu kỳ đóng, de nhó, và de thnc hi¾n. Bon b® CSDL đã đưoc thu th¾p tai các môi
trưòng khác nhau, vói các đieu ki¾n phông nen khác nhau, đa dang đ® tuoi và giói tính
cna ngưòi tham gia thu th¾p. Các b® CSDL đưoc chia sé cho c®ng đong nghiên cúu.

CHƯƠNG 3

TRÍCH CHON BÀN TAY VÀ PHÂN ĐOAN CÚ
CHÍ Đ®NG VéI GIÁN ĐO HOC NGƯèI DÙNG
3.1

Má đau

Tương tác ngưòi máy thông qua cú chí bàn tay đưoc xem như m®t trong nhung
cách thúc tương tác tn nhiên và thân thi¾n. Tuy nhiên, cách thúc đieu khien này phái


đoi m¾t vói khá nhieu thách thúc như sn phúc tap và luôn bien đoi cna cau trúc bàn
tay, đieu ki¾n chieu sáng khác nhau, đieu ki¾n phông nen phúc tap. Vì v¾y, các thu¾t
toán đã đe xuat yêu cau xú lý phúc tap và/ho¾c tính toán thòi gian cao. Trong khi đó
vi¾c phát hi¾n và trích chon vùng bàn tay là m®t trong nhung bưóc tien xú lý trong
bài toán nh¾n dang cú chí đ®ng cna bàn tay. Vì v¾y, n®i dung chương này đe xuat giái
pháp hoc các tham so mô hình đe đat đưoc đ® chính xác cao, đáp úng thòi gian thnc
trong phát hi¾n và trích chon vùng bàn tay. Sau đó, dna vào vi¾c ket hop các dang tín
hi¾u bien đoi theo quy lu¾t cna các cú chí đ®ng đã đ%nh nghĩa, đe xuat m®t giái pháp
đe phân đoan chuoi cú chí đ®ng cna bàn tay đáp úng thòi gian thnc.

3.2

Gián đo hoc cúa ngưài dùng

3.2.1

M®t so giá thiet và ràng bu®c

3.2.2

Sơ đo đe xuat
(a) The proposed vision-based hand detection and segmentation

RGB
image

Hand region
Preprocessing data

Kinect

Detecting body area

Hand detected and Segmented

Detecting hand candidates

Depth image

Pruning hand

Learning parameters (µ,δ) ,η of
Learning
background
parameters
model (d±∆) of a Learning
distance to
hand
parameters
(µ,δ) of skin model

(b) The proposed user-guide scheme

Hình 3.1 Minh hoa h¾ thong đe xuat phát hi¾n và trích chon bàn tay.
- Tien xú lý: Do ánh I và D thu th¾p tù cám bien Kinect không có cùng toa đ®.
Do đó, bưóc tien xú lý nham hi¾u chính đe đưa các điem ánh màu và ánh đ® sâu

ve cùng toa đ®. Phương pháp đưoc đe xuat trong [1] đưoc sú dung.
- Phát hi¾n ngưòi Bd:

- Phát hi¾n tay Hd:

Bd = D|Diff (D,BG)>T hreshbody

(3.1)

Hd = Bd|Bd
(3.2)

- Làm m%n vùng bàn tay: Ket hop màu da trên vùng các úng viên ánh đ® sâu Hd:
H ∗ = I|Hd,Ωc
3.2.3

(3.3)

Hoc các tham so

Đe phát hi¾n vùng bàn tay, h¾ thong đe xuat can phái sú dung m®t so tham so.
Các tham so này có the đưoc hoc tù trưóc và sú dung sau đó.


3.2.3.1

Hoc tham so cúa mô hình nen

Sú dung mô hình GMM [6] đe quan sát sn on đ%nh cna moi điem ánh p trên

m®t chuoi n ánh đ® sâu: sp = [D1,p, D2,p, ..., Dn,p]. Tham so quan sát là đ® l¾ch
chuan σp = std(sp) cna điem ánh. Trong đó, điem ánh p cna mô hình nen đưoc bieu
dien bói BGp = (µp, ηp, σp), đưoc tính toán như sau:
❼

Mô hình nhieu ηp:
ηp =

❼

.
0
255

(3.4)

if σp < τ
otherwise

Giá tr% trung bình µp:
.

n

µp =

.

if σp <
τ

t=1

Dt,p
n
k t=1 Dt,p|
D
t,p.

otherwise

k

(a) RGB image

(b) Depth image

(3.5)

(c) Body extraction

(d) Candidates of hand

Hình 3.2 Các ket quá cúa giai đoan phát hi¾n bàn tay
Hình 3.2(a-c) minh hoa các ket quá trù nen. Hình 3.2(c) bieu dien ket quá vùng phát
hi¾n ngưòi, sau đó là phát hi¾n các vùng là úng viên cna vùng bàn tay.
3.2.3.2

Hoc tham so khoáng cách tù tay tói cám bien Kinect

Các phan d%ch chuyen đưoc tính toán dna trên sn khác bi¾t giua các khung hình
liên tiep trên ánh đ® sâu Dt−2, Dt−1, Dt như sau:
 Dt−2,t−1 = Dt−1 −


Dt−2 Dt−1,t = Dt −
Dt−1


3.2.3.3



(3.6)

Dhand = Dt,t−1 ∩ Dt−2,t−1

Hoc tham so màu da vùng bàn tay

Sn on đ%nh cna phân bo màu da xác đ%nh dna trên tương quan chéo cna hai bieu
đo màu da bàn tay cna các khung hình liên tiep nhau st, vói ∆t = |st − st−1|. Hình
.
3.4(d)
cho thay tích lũy sai so 1
∆t tù khung hình 1 đen N. Giá tr% này tăng dan
N
11

N

t=1

tương úng vói sn sai khác khi vùng màu da còn bien đ®ng do tay chưa đ¾t đúng v% trí.
Cho đen m®t khi sai so dao đ®ng quanh m®t giá tr% nhat đ%nh tương úng cna màu da
cna ngưòi thì vi¾c hoc có the dùng lai.

12


(a)

(b)

-

(c)

-

=

(d)

(e)

(f)

(g)

Hình 3.3 Ket quá cúa tham so khoáng cách.
1

Accumulation of ∆

0.8
0.6
0.4
0.2
frame
0
0
(a) frame # 0

(b) frame # i

(c) frame # n

10
20
30
40
(d) Accumulation of ∆ along frames

Hình 3.4 Huan luy¾n mô hình màu da
3.2.4

Phát hi¾n và tinh chính ket quá vùng bàn tay dNa trên gián đo hoc
Hi

ROIi
H*

(a) A
candidate
of hand

(b)

(c) Han
d
dete
ctio
n

Hình 3.5 Ket quá cúa trích chon vùng bàn tay. (a) Úng viên vùng bàn tay; (b)
Khoáng cách Mahalanobis; (c) Ket quá tinh chsnh.
Tù vùng úng viên cna bàn tay Hi đưoc mó r®ng vói H ∗ = Hi × δ (Hình chu
nh¾t màu xanh ó Hình 3.5(a)). Sau đó, khoáng cách Mahalanobis giua H ∗ và mô
hình màu da đưoc tính toán đe trích chon vùng bàn tay như hình 3.5(b). Vùng bàn
tay đưoc làm đay vói phan màu da b% thieu và vói vùng úng viên cna bàn tay
không trùng vói màu da se đưoc loai bó. Sau khi làm mưot thì ket quá thu đưoc là
H ∗∗ ) như minh hoa trong hình 3.5(c).

3.3

Phân đoan cN chí đ®ng cúa bàn tay

Phân đoan cú chí là thnc hi¾n xác đ%nh điem đau và điem ket thúc cna m®t cú chí
trong chuoi khung hình liên tiep. Dna trên đ¾c trưng cna cú chí đ%nh nghĩa là có tính

chu kỳ đóng, hình trang ban đau và ket thúc cna moi cú chí là giong nhau. Giái thu¾t
phân đoan cú chí đưoc đe xuat dna trên sn bien đoi cna hàm tín hi¾u di¾n tích vùng
bàn tay, và v¾n toc chuyen đ®ng cna nó, cu the như sau: Hàm fS (t) đưoc đ%nh nghĩa


1.0
(0,0)

(0,0)

x

fV
fS

x

0.8

(x , y )

(x , y )

fC

0.6
0.4
S

S

y

y

0.2
Time (T ) of frame t

Time (T ) of
frame t

0

50
0

10

20

30

60

40

(a) Hand movements in time
(b) The combination of area and velocity signal

Hình 3.6 Ket hop tín hi¾u di¾n tích và v¾n toc cúa bàn tay.
1.0

Orignal signal

fC(t
)

0.8

Smoothed signal
Applied opening operator
Gesture starting
Gesture ending

0.6

0.4

0.2

0
0

50

150

100

200

250

t
300

350

400

1.0
0.8
0.6
0.4
0.2
0 0

Ground Truth

Ground Truth

20

40

Ground Truth

60

80

100

Hình 3.7 Hàng trên: Tín hi¾u fC (t). Hàng giua: phóng to m®t phan tín hi¾u fC
(t). Hàng dưói cùng: minh hoa sn thay đoi cúa hình dáng bàn tay khi thnc hi¾n
l¾nh.
đe bieu dien di¾n tích cna vùng bàn tay so vói toàn b® kích thưóc ánh xt tai thòi điem
t trong b® đ¾m:

fS (t) =

.

δi =

δi with



1
0

if i belongs to hand region St

(3.7)

otherwise

∀i∈St

Hàm fV (t) bieu dien v¾n toc chuyen đ®ng cna vùng bàn tay Vt tai thòi điem t:

,
((xi+1 − xi)2 + (yi+1 − yi)2
(3.8)
fV (t) =
Ti+1 −
Ti


Hàm fC (t) ket hop hai tín hi¾u fC (t) = (fS (t), fV (t)) như sau:
fC (t) = M ax(||fS (t)||, ||fV (t)||)

(3.9)


Sau đó, hàm fC (t) đưoc sú dung đe phát hi¾n điem bat đau và ket thúc cna cú
chí đ®ng cna bàn tay như minh hoa trong hình 3.7.

3.4

Các ket quá thN nghi¾m

Mưòi ngưòi đưoc mòi tham gia đánh giá thú nghi¾m h¾ thong phát hi¾n và trích
chon vùng bàn tay. Moi ngưòi đeu đưoc thnc hi¾n vói k%ch bán có san như nhau gom:
hoc các tham so, thnc hi¾n thú nghi¾m. Các ket quá ve thòi gian hoc, thòi gian đáp
úng, đ® chính xác cna h¾ thong đưoc ghi lai đe phân tích và đánh giá.
3.4.1

Yêu cau thài gian hoc đoi vái ngưài dùng

3.4.2

Thài gian đáp Nng đe trích chon và nh¾n dang vùng bàn tay

Giái pháp đe xuat yêu cau m®t thòi gian đe ngưòi dùng huan luy¾n các mô hình
tham so cna h¾ thong. Tuy nhiên, thòi gian đáp úng cna h¾ thong lai khá nhanh, trung
bình là 8 fps. Giái pháp đe xuat xem như đat đưoc thòi gian thnc và nhanh hơn rat
nhieu so vói m®t so giái pháp đã đe xuat ([4],[5] lên tói 2 fps).
3.4.3

Hi¾u quá cúa mô hình hoc đoi vái phát hi¾n và trích chon bàn tay
Báng 3.1 Ket quá JI vói vi¾c sú dnng/không sú dnng gián đo hoc

Subject
.

1

2

3

4

5

6

7

8

9

10

102

121

157

144

147

149

141

142

125

135

58.2

63.1

64.8

61.3

87.8

92.4

88.1

83.6

F rames

Không sú dung gián đo hoc

JI(%)

55.4

53.4

71.7 56.8

Avg. ± std

68.2

73.5

62.6 ± 6.5 %

Sú dung gián đo hoc

JI(%)
Avg. ± std
3.4.4

86.7

87.6

89.5

88.9 90.4
87.98 ± 2.58
%

84.8

Hi¾u quá cúa giái pháp phân đoan cN chí đ®ng bàn tay
False alarm
rate

Area

False alarm
rate

Combination

1

Area

Combination

1

0.8

0.8

0.6

0.6

0.4

0.4

0.2

0.2

0

0

0.75

0.8

1

0.85

0.9

0.95

True positive rate

(a) Spotting results of MICA1 dataset

0.8

0.85

0.9

True positive rate

0.95

1

(b) Spotting results of MICA2 dataset

Hình 3.8 Ket quá phân đoan chuoi cú chs đ®ng trên CSDL MICA1 và MICA2


3.5

Tháo lu¾n và ket lu¾n

Chương này đã trình bày các phương pháp cho phép phát hi¾n vùng bàn tay và
phân đoan cú chí đ®ng tù ánh RGB-D. Phương pháp phân vùng du trên vi¾c hoc trưóc
m®t so tham so cna môi trưòng. Làm cho h¾ thong khi hoat đ®ng se đáp úng nhanh
hơn và ben vung đe phát hi¾n, trích chon vùng bàn tay. Phương pháp phân đoan dna
trên vi¾c phân tích sn thay đoi cna hàm tín hi¾u v¾n toc và di¾n tích cna hình trang
tay. Các đánh giá thnc nghi¾m cho thay các phương pháp đe xuat là khá thi khi trien
khai trong các úng dung thnc te cá ve thòi gian đáp úng và đ® chính xác.

CHƯƠNG 4

BIEU DIEN CÚ CHÍ Đ®NG BÀN TAY KET HeP
Đ¾C TRƯNG KHÔNG GIAN VÀ THèI GIAN
4.1

Má đau

Chương này trình bày m®t phương pháp mói đe bieu dien cú chí đ®ng cna bàn tay
trong không gian đ¾c trưng mói. Trong đó, không gian mói là sn ket hop tù các đ¾c
trưng không gian (ISOMAP[2]) và các đ¾c trưng thòi gian (KLT[3]). Ngoài ra, tù các
chuoi cú chí không đong đeu nhau ve kích thưóc do các nguyên nhân như toc đ® thnc
hi¾n, ket quá cna các khâu tien xú lý, nhieu loai cú chí, ngưòi thnc hi¾n khác nhau,...
Do đó, các cú chí đ®ng sai khác nhau ve đ® dài nên giái pháp đong b® pha cna chuoi
cú chí đ®ng đã đưoc đe xuat.

4.2

Phương pháp bieu dien cN chí đ®ng cúa bàn tay

Spotted dynamic hand gesture

KLT

KLT
DTW

PCA
Representation

RMSE
K_NN
Recognition

Spatial- Temporal Space
Phase Synchrolization

ISOMAP

3D-CNN

Dynamic Hand Gesture Representation

Representation

RBF SVM

Linear SVM

Recognition schemes

Gesture label

Recognition


Hình 4.1 So sánh giái pháp đe xuat vói các phương pháp nh¾n dang cú chs đ®ng
khác


4.2.1
4.2.1.1

Bieu dien bàn tay tN các đ¾c trưng không gian và thài gian
Trích chon đ¾c trưng thòi gian

Các điem đ¾c trưng đưoc trích chon trên tùng bàn tay tù khung hình đau tiên cho
đen khung hình cuoi cùng trong chuoi cú chí đ®ng. Sau đó, sn ket noi cna các điem
đ¾c trưng này vói nhau bieu dien quy đao chuyen đ®ng cna bàn tay. Moi quy đao
cna bàn tay X i gom K điem đ¾c trưng {p1, p2, ..., p K} (vòng tròn màu đó trong hình
.4.2(a)). Quy đao cna X i đưoc bieu dien bói công thúc 4.2 sau đây:
Xi

fp

i

i

i

i

i

i

= {(x1, y1), (x2, y2), ..., (xN , yN )}

(4.1)

Sú dung giá tr% trung bình cna tat cá N=20 điem đ¾c trưng đe tính quy đao cna cú chí
Xfp như 4.2 (vòng tròn màu xanh trong Hình .4.2(b)):
i

.K

j

xi
K
,

pj = (xj, yj ) =
(

.K

i=
1

i=1

yij

)

(4.2)

K

Quy đao trung bình bieu dien hưóng d%ch chuyen cna cú chí tay. Đây chính là
đ¾c trưng thòi gian Tr GN trích chon tù chuoi các khung hình liên tiep G (T rG
N =
[p1, p2, ..., pK ]) như
(4.3):
Tr G
N = {(x1, y1), (x2, y2), ..., (xN , yN )}
Toa đ® cna các ánh là khác nhau nên Tr

G
N

can đưoc chuan hóa ve T r

(4.3)
G∗
N

(Hình .4.2(b))

bói toa đ® trung bình (x, y) cna tat cá các ánh trong tùng chuoi cú chí đ®ng trong
(4.4), (4.5), (4.6):
.N
x=

i=1

xi

.N
;y

=
N

1 ,
T rNG = [p i,
j p
∗

Tr

N
G

2
i,
j

i=1

yi
N

(4.4)

, ..., pN ]

(4.5)

i,
j

= [p1 − (x, y), p2 − (x, y), ..., pN − (x, y)]
j

j

j

(4.6)

∗

4.2.1.2

Trích chon đ¾c trưng không gian sú dnng ky thu¾t suy giám tuyen tính

4.2.1.3

Trích chon đ¾c trưng không gian sú dnng ky thu¾t đa tap


Ky thu¾t ISOMAP đưoc áp dung đe suy giám so chieu phi tuyen. Muc đích nham
khai thác các cau trúc phi tuyen tiem an cna cau trúc lóp du li¾u. Hình. 4.3. Thnc
nghi¾m cho thay, vói du li¾u cú chí đ®ng bàn tay như đ%nh nghĩa, chí can ba chieu là


(0,0)

x

…

t=0
y

t=1

t=2

a. Optical flow

b. Trajectory

Hình 4.2 Minh hoa chuyen đ®ng cúa các điem đ¾c trưng và
quy đao chuyen đ®ng
có the đn đe bieu dien các đ¾c trưng không gian cna tín hi¾u
hình trang bàn tay. Vì v¾y, vói ky thu¾t ISOMAP, chuoi cú chí

tay đưoc bieu dien như (4.7):
N=

{(Y1,1, Y1,2, Y1,3), (Y2,1, Y2,2, Y2,3), ...,
(YN,1, YN,2, YN,3)}

Y
G

(4.7)

4
Isomapembeddi
ng(withneighborhoodgraph). x10

Three-dimensional

0.16

1.5

O

0.14

n

1

_

0.12

o

0.5

f

0.1
Re
sid
ual
var
ian
ce

0

-0.5

f

0.08
0.06

U

-1

p

0.04

D
o
w
n
L
e
f
t

R
i
g
h
t
1
.
5
3

0.02

0
0.5
1

-0.5

-2
-1

1.5

0
1

4

x10

0
1

2

3

4

5

6

7

8

9

10

2
2
-1.5

-1

a. 3D manifold
of hand
postures

Isomapdimensionality
4

x10

b. Residual
presentations

Hình 4.3 a) Bieu dien 05 cú chs tay trong không gian đa tap
3 chieu.


4.2.2

Ky
thu¾

t
đong
b®
pha
DTW
vái
sN
phân
láp
K-NN

loa
i
cú
chí
đ®
ng
vói
tha
ng
đo
4.2.2.1 Đon R
g
M
b®
pha SE
giu
sú
dnn a
g

vói cá
c
ky
thu cú
¾t
chí
DT
đ®
W
ng.
Trong
phan này, ky Nh¾
n
thu¾t DTW dan
đưoc
sú g
dung
đe cú
chs
đong
b®
đ®
pha giua các ng
cú chí đ®ng, cúa
ket hop vói bàn
tay
phương pháp vói
bieu dien các ph
đ¾c
trưng ươ

ng
không gian
phá
sú dung ky p
thu¾t PCA, Kvà đ¾c trưng NN
thòi gian sú Giái
dung
ky phá
p
thu¾t KLT.
B® phân lóp
K-NN đưoc
dùng đe phân

đong b® pha và nh¾n dang cN chí đ®ng cúa bàn
tay
4.2.3.1

Bieu dien cú chs đ®ng cúa bàn tay

M®t cú đ®ng cna bàn tay GT S bao gom N hình trang như
trong (4.8). Trong đó, các đ¾c trưng theo thòi gian đưoc trích
chon vói hai tham so bói ky thu¾t KLT (xi, yi). Các đ¾c trưng
theo không gian đưoc bieu dien bói ba tham so trong không gian
đa tap
15


50
20

Y1

Y1

0
-20

50

Y1

0

-50

100

100

-100

50

-50

50
150
0

x

0

150

-150

150

-50

50
0

-50
-50

-100
-150

-150

-100

x

100

y

0
-100

50
100

50

0

x

-150

-50

150

150

-50

50

0

-100

y

b. 37 Increase gestures

a. 40 Turn On_off gestures

0
100

150

y
c. 46 Decrease gestures

100

-150

-50

-100

-150

20 13 1413
1
1
2
29
11
2
91111131

111119218311010911222110118
19813131
12
12312
1181410420
95
1010 111112193119
50
14113132 11 0 19
481210190118
21319011009
93410
21154
151941018819134320
3 11
9 97 8280111 1 1
188280122819201101730181711201121513212824
13
19102111251102
49
112031101032711911401 3 8
911211890814311272173239 211 195621012218719111801113912 521990
11 91101

20

1118111040256 198012912
10 12 31041406
10 109119 3

171 10

15
1
11129 290
15011019
13 1 502121191429131348924 14157815 2
79 17

8

11

11 720 829101198
1105 6941123130171641181433111081391843681281317210112432108 79 09
9 1938917183112761789121111911852018132313387 12 1210 11896
13
1
196 1579211 132 3191139312
110991 20 19 111011613112421210
10 251211111901211198211873831586091 418
11714021992131813173979081441771831913231432
81813
1212109624710149
171 91
1819111826177116400135
1202 1
56
8
118108189 129 1230

48

Y

8 8 19221186101957127136 5139 911004
111147575783
2
6121
1224190912
6

516

18

8 6219019115153486 5184 7 133218
20

7

4 1020

1121694830782178741717819121114 1
111911464

Y

14

811815311554824158 7672108

7

4164

5

93

1146

115891

19 1161656 5 9 117
215014231859461341165 17131734912692107
31982 5 15
218117 1548 86211171874
6 117201514 12
1141215190952122 1

50

0

0

112139412153013715466411275
1311687 2

6 9137

18118195741061241788111184612 11
1

1 37

13

20 11461216167306115487291435555482
20 135
37325639131139516176101
8

19

7

12 3 1158 6
2 14814 12 3
8215017119772617115741876475141651703540356161245416241162251521083
7147 8

127

1 155451
0617162
111755617171164972771752546 1253714
119 16
2166
4
13280164611611465376567 11961126018717260 1

417
596119151625
8 64
115485181441

Y
14612756

164 146

4117

123136635838114715561841675 1168
75

7

1194528141671171134111253665316761511551135362815711101114095689182770

1

36215106279117186746141589548151113567220

18
5616

1

151569

3

718114514981172296617639710656363 4126
138 1812 17
17 1556
163 7
41591145
169112148417516416141514471714165664
142441016264101573251251196156943151561316787
204141511126717169501451666156314125590
3

17

61 616151672312716037
11711121714561171529310653212551116579791787111564116150548611581156952765113511763511112726361114118048675941336609055445187751412417311754819666

1

23
16 4 113658
14311358127181590129786151646436963431214151142141211617074117151081232851312 11242321821187
1
3 161521486021024161651146511554651260131096
4
1514711871 789078
691282691018318216378112135445641457
818987 7 11
20154
5 1 49

1125118218716184174125575833169011143345416
20

2 36

191111763119184166316156117351516163141867
6 3 18718

1

2341315112611612711528319648810291011269924115561117505515634411111411211110764773957562138051567
1 1 1 2
0
8 8
98
1
3 1 2
8
10 5111793013 6 78197141171313119241627921141531 6 1 1 212940521314 771 1 81921 089491 0132808123940 19 9 0121 1189287
1290 6 185171541896
121111189751363774597168 31247
7 17113475835
7 22 3 21112 6
447
3 1384660
1813511117685341820
114207111041848241616115215803545
318
0
20

-

-50

3

8


11 619311141226713417
13116863163118171041111229133213127117 92324081481109314032152189318281171319311312 8

921811129 212 090889
02
2
0900
1 112840 514 2614523
129011173714 281171942312 41691902701908111911877
15 51 4183
149711496 17 47412090
7 14 12418
11 11334 11215262
6 5 4 14
16512 7 15763174
12194197191114656 111513121521357002
10
1031869611628911216618
111189 21804
161881711631811124911523113239230212921328912201292900

18

-50

10 280112390 101801775
1
8 9 1071512118523 5
9
26012 948881219321109
1192133
6 117201015733
118112919215121910131142801811312 101

150

-150

13117

712

11147913800

2121
0131
9

106

14 1980 15

150

-100
100

100
0

x

15
0

-150

-50

50

50

-50
-100

-100
-150

-150

-100

0

x

0
-50

-50
0

50

y

50

100
150

d. 52 Back gestures

150

100

y

91119019217112218891107001522391031090

6
1112110900192710
211311
898
1216 5
111017329111141113752143101129121011
9113011911207811811707127158
18
11 201 0
0
1
1
4
150
4
119
1
1
1
819
1206
110
1998 00 89
1121110
1 28 0
3
2102801 10
100

101
11
1
9
100
50
191083 99
0
50
0
-50
-100
-50
-150 -150
-100

y

x

e. 37 Next gestures

f. Convergence of new features representation

Hình 4.4 Phân bo cúa 05 cú chs đ®ng cúa bàn tay trong không gian so có chieu
thap.
ISOMAP Yi,j ; i = 1..N ; j = 1..3. Các đ¾c trưng sau khi trích chon đưoc chuan hóa
và bieu dien trong cùng m®t không gian như sau:



x
x
...
x
N
1
2

.
.  y1
y2 ... yN 
T r1 || ||T r2|| ... ||T rN || =
GT S = [Pi, i = (1, ..., N )] =|
Y1,1 Y2,1 ... YN,1
|





||Y1|| ||Y2|| ... ||YN
Y2, ...
N,2

Y1,2 2
Y

||
Y1,3 Y2,3 ... YN,3
(4.8)

4.2.3.2

Phân tích pha cúa các cú chs có tính chu kỳ

Cú chí đ®ng có N cú chí tương úng vói N hình trang trong không gian đa tap nam
trên m®t đưòng cong đóng, moi hình trang đưoc coi như pha cna tín hi¾u cú chí đ®ng
như trong Hình. 4.5.
The most
different frames

The most
similar frames
(P10 ,s10 )

Y
1

si <

s >

(P ,s )
9

(P12,s12)

i

11
12

(P ,s )

40

13

10
9

5
3

(P 2,s 2)

The ideal
closed-form gesture

6
(P6,s6)

4
100

-20

(P3,s3)

-40
-100

b) Quasi closed-form gesture c) Quasi closed-form gesture

7
(P 5,s5)

(P1,s1)

-150

N

(P7,s7)

13
12

0

2π
T
N

(P8,s8)

8

13

20

2πT

9

(P11,s11 )

60

The most
similar frames

(P4,s4)

The most
different frames

s =
0

y

2π T

i

N

-100
-50

x

0

50

100

150

d) Ideal closed-form gesture

a. Closed-form gesture in new space

Hình 4.5 Bieu dien đa tap cúa cú chs tay đ®ng “Tiep theo" trong không gian đe
xuat
4.2.3.3

Đong b® pha vói phương pháp n®i suy


M®t giái pháp n®i suy đưoc trien khai đe đong b® các chuoi cú chí đ®ng cna bàn
tay nham đưa các chuoi ve cùng m®t kích thưóc trong không gian mói. Giái pháp đe
16