Nghiên cứu thiết kế, tích hợp rôbốt thông minh có khả năng ứng dụng trong khai thác các thông tin đa phương tiện

BỘ KHOA HỌC VÀ CÔNG NGHỆ BỘ GIÁO DỤC VÀ ĐÀO TẠO

ĐỀ TÀI ĐỘC LẬP CẤP NHÀ NƯỚC


BÁO CÁO TỔNG HỢP
KẾT QUẢ KHOA HỌC CÔNG NGHỆ ĐỀ TÀI/DỰ ÁN

NGHIÊN CỨU, THIẾT KẾ, TÍCH HỢP ROBOT THÔNG MINH CÓ
KHẢ NĂNG ỨNG DỤNG TRONG KHAI THÁC CÁC THÔNG TIN ĐA
PHƯƠNG TIỆN
MÃ SỐ: ĐTĐL.2009G/42

Chủ nhiệm đề tài/dự án: Cơ quan chủ trì đề tài/dự án:
(ký tên) (ký tên và đóng dấu)


TS. Nguyễn Quốc Cường
Bộ Khoa học và Công nghệ
(ký tên và đóng dấu khi gửi lưu trữ)





Hà Nội - 2012

TRƯỜNG ĐHBK HÀ NỘI
______________
CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM

Độc lập - Tự do - Hạnh phúc

Hà Nội, ngày tháng năm 2012

BÁO CÁO THỐNG KÊ
KẾT QUẢ THỰC HIỆN ĐỀ TÀI

I. THÔNG TIN CHUNG
1. Tên đề tài: Nghiên cứu, thiết kế, tích hợp robot thông minh có khả
năng ứng dụng trong khai thác các thông tin đa phương tiện
Mã số đề tài: ĐTĐL.2009G/42
Thuộc:
- Độc lập
2. Chủ nhiệm đề tài:
Họ và tên: Nguyễn Quốc Cường
Ngày, tháng, năm sinh: 22/11/1974 Nam/ Nữ: Nam
Học hàm, học vị: Tiến sỹ
Chức danh khoa học: Chức vụ: Cán bộ nghiên cứu
Điện thoại: Tổ chức: 043 868 3087 Nhà riêng: 043 863 7795
Mobile: 0912265621
Fax: 38 68 35 51 E-mail:
Tên tổ chức đang công tác: nghiên cứu quốc tế Thông tin đa
phương tiện, Truyền thông và ứng dụng (MICA), trường Đại Học
Bách Khoa Hà Nội
Địa chỉ tổ chức: Tầng 8, nhà B1, Trường Đại học Bách Khoa Hà

Nội, 1 Đại Cồ Việt, Hà Nội
Địa chỉ nhà riêng: Số 2, ngõ 296 phố Bạch Mai, Hà Nội


3. Tổ chức chủ trì đề tài:
Tên tổ chức chủ trì đề tài: Trường Đại học Bách Khoa Hà Nội
Điện thoại: Fax:
E-mail:
Website:
Địa chỉ:
Số 1 Đại Cồ Việt, Quận Hai Bà Trưng, Thành phố Hà Nội

Họ và tên thủ trưởng tổ chức:
GS. TS. Nguyễn Trọng Giảng

Số tài khoản:
93101062

Ngân hàng:
Kho bạc nhà nước, quận Hai Bà Trưng

Tên cơ quan chủ quản đề tài:
Bộ Giáo dục và Đào tạo


II. TÌNH HÌNH THỰC HIỆN
1. Thời gian thực hiện đề tài/dự án:
- Theo Hợp đồng đã ký kết: từ tháng 7/2009 đến tháng 6/2011
- Thực tế thực hiện: từ tháng 7/2009 đến tháng 12/2011
- Được gia hạn (nếu có):

- Lần 1 từ tháng 6 năm 2011 đến tháng 12 năm 2011
2. Kinh phí và sử dụng kinh phí:
a) Tổng số kinh phí thực hiện: 2100 tr.đ, trong đó:
+ Kính phí hỗ trợ từ SNKH: 2100 tr.đ.
+ Kinh phí từ các nguồn khác: 0 tr.đ.
+ Tỷ lệ và kinh phí thu hồi đối với dự án (nếu có):
b) Tình hình cấp và sử dụng kinh phí từ nguồn SNKH:
Đơn vị: Triệu đồng
Số
TT

Theo kế hoạch Thực tế đạt được Ghi chú
(Số đề nghị

quyết toán)
Thời gian
(Tháng, năm)
Kinh
phí
(Tr.đ)
Thời gian
(Tháng, năm)
Kinh phí
(Tr.đ)
1 7/2009 -6/2010

1.000

7/2009 -6/2010

991,386

991,386



2 7/2010 - 12/2011

1.100

7/2010 - 12/2011

1.108,614

1.108,614

Tổng cộng:

2.100


2.100,000

2.100,000

Tổng kinh phí đề nghị quyết toán: 2.100,000

Kinh phí còn lại: 0

c) Kết quả sử dụng kinh phí theo các khoản chi:
Đối với đề tài:
Đơn vị tính: Triệu đồng
Số
TT
Nội dung
các khoản chi
Theo kế hoạch Thực tế đạt được
Tổng

SNKH
Nguồn
khác
Tổng SNKH
Nguồn
khác
1
Trả công lao
động (khoa học,
phổ thông)
1310

1310

0

1.310,00

1.310,00

0

2
Nguyên, vật liệu,
năng lượng
20

20

0

15,33

15,33

0

3
Thiết bị, máy
móc
426

426

0

425,55

425,55

0

4
Xây dựng, sửa
chữa nhỏ
0

0

0



0

5
Chi phí điện
nước cho cơ
quan chủ trì



28,076

28,076

0

6 Chi khác 344

344

0

321,04

321,04

0


Tổng cộng 2100

2100

0

2.100,00

2.100,00

0

3. Các văn bản hành chính trong quá trình thực hiện đề tài/dự án:
(Liệt kê các quyết định, văn bản của cơ quan quản lý từ công đoạn xác định nhiệm vụ, xét
chọn, phê duyệt kinh phí, hợp đồng, điều chỉnh (thời gian, nội dung, kinh phí thực hiện nếu
có); văn bản của tổ chức chủ trì đề tài, dự án (đơn, kiến nghị điều chỉnh nếu có)

Số

TT

Số, thời gian ban hành
văn bản
Tên văn bản Ghi chú
1 Số 426/ QĐ-BKHCN
27/03/2009
V/v phê duyệt danh mục
đề tài khoa học và công
nghệ độc lập cấp Nhà
nước giao trực tiếp bắt
Kèm danh mục
các đề tài Khoa
học và công nghệ


đầu thực hiện trong năm
2009.
2 Số: 565/ QĐ-BKHCN
08/04/2009
V/v thành lập Hội đồng
khoa học và công nghệ
cấp Nhà nước tư vấn
tuyển chọn tổ chức và cá
nhân chủ trì đề tài độc
lập cấp Nhà nước giao
trực tiếp thực hiện trong
kế hoạch năm 2009.

Kèm theo danh
sách các thành
viên hội đồng
3 Số: 565/ QĐ-BKHCN
04/05/2009
V/v: phê duyệt kinh phí
các nhiệm vụ khoa học
và công nghệ cấp Nhà
nước thực hiện trong kế
hoạch năm 2009.
Kèm theo danh
sách đề tài và
kinh phí được
phê duyệt
4 Số: 42/2009G/HĐ-
ĐTĐL
10/07/2009
Hợp đồng Nghiên cứu
Khoa học và Phát triển
Công nghệ
Có kèm theo 04
phụ lục
5 Số:
03/ĐTĐL.2009G/42/CV-
MICA
18/11/2010
V/v: Tổ chức hội thảo
khoa học của Đề tài độc
lập ĐTĐL.2009G/42
Hội thảo lần 1

6 Số:
04/ĐTĐL.2009G/42/CV-
MICA
09/05/2011
V/v: Tổ chức hội thảo
khoa học của Đề tài độc
lập ĐTĐL.2009G/42
Hội thảo lần 2
7 Số: 66/ CV-ĐHBK-
KHCN
V/v: Thực hiện kế hoạch
đoàn ra Đề tài độc lập



08/04/2010
8 Số: 722/QĐ-BKHCN
04/05/2010
V/v: Tổ chức đoàn công
tác đi Cộng hòa Pháp
của đề tài độc lập cấp
nhà nước “Nghiên cứu,
thiết kế, tích hợp robot
thông minh có khả năng
ứng dụng trong khai
thác các thông tin đa
phương tiện”

9 Số: 69/CV-ĐHBK-
KHCN

12/04/2010
V/v: Xin chuyển đổi
thiết bị đề tài
ĐTĐL.2009G/42.
Có kèm theo phụ
lục
10 Số: 2087/BGDĐT-
KHCNMT
20/04/2010
V/v: Điều chỉnh danh
mục thiết bị thuộc đề tài
độc lập cấp nhà nước mã
số ĐTĐL.2009G/42.
Có kèm theo phụ
lục
11 Số: 1034/BKHCN-CNN
11/05/2010
V/v: Đề nghị thay đổi số
lượng thiết bị, điều chỉnh
kinh phí một số hạng
mục của đề tài độc lập
cấp Nhà nước giao trực
tiếp
Có kèm theo phụ
lục
12 Số: 174/TTr-ĐHBK-
KHCN
20/07/2010
V/v: Phê duyệt Kế hoạch
đấu thầu cho gói thầu

của Đề tài độc lập cấp
nhà nước “Nghiên cứu,
thiết kế, tích hợp robot



thông minh có khả năng
ứng dụng trong khai
thác các thông tin đa
phương tiện”
13 Số: 3051/QĐ-BGDĐT
27/07/2010
V/v: Phê duyệt Kế hoạch
đấu thầu cho gói thầu
của Đề tài độc lập cấp
nhà nước “Nghiên cứu,
thiết kế, tích hợp robot
thông minh có khả năng
ứng dụng trong khai
thác các thông tin đa
phương tiện”

14 Số: 260/CV-ĐHBK-
KHCN
18/05/2011
V/v: Xin điều chỉnh kinh
phí và gia hạn thời gian
thực hiện đề tài Độc lập
cấp nhà nước.
Có kèm theo phụ

lục
15 Số 3650/BGDĐT-
KHCNMT
03/06/2011
V/v: Điều chỉnh đề tài
độc lập
ĐTĐL.2009G/42.

16 Số 1393/BKHCN-CNN
20/06/2011
V/v: Điều chỉnh kinh phí
và thời gian thực hiện đề
tài Độc lập cấp nhà
nước.
Có kèm theo phụ
lục
17 30/03/2010
29/09/2010
14/03/2011
Báo cáo định kỳ tình
hình thực hiện đề tài kỳ
1, 2, 3





4. Tổ chức phối hợp thực hiện đề tài, dự án:
Số
TT

Tên tổ chức
đăng ký theo
Thuyết minh
Tên tổ chức đã
tham gia thực
hiện
Nội dung
tham gia
chủ yếu
Sản phẩm
chủ yếu
đạt được
Ghi
chú*
1 Bảo tàng dân
tộc học Việt
Nam.
- Kết hợp
với đề tài thu
âm và ghi
hình các
buổi hướng
dẫn dành cho
khách thăm
quan
- Cung cấp
thông tin về
hiện vật
- Cơ sở dữ
liệu hình

ảnh và âm
thanh về
các hội
thoại/trao
đổi giữa
người
hướng dẫn
và khách
thăm quan
- 500 bản
ghi dữ liệu
hiện vật

- Lý do thay đổi (nếu có):
5. Cá nhân tham gia thực hiện đề tài, dự án:
(Người tham gia thực hiện đề tài thuộc tổ chức chủ trì và cơ quan phối hợp,
không quá 10 người kể cả chủ nhiệm)
Số
TT
Tên cá nhân
đăng ký theo
Thuyết minh

Tên cá nhân
đã tham gia
thực hiện
Nội dung
tham gia
chính
Sản phẩm

chủ yếu đạt
được
Ghi
chú*
1 TS. Nguyễn
Quốc Cường
TS. Nguyễn
Quốc Cường
- Phụ trách
chung về đề
tài
Mô đun
nhận dạng
tiếng nói



- Phụ trách
nhánh nhận
dạng tiếng
nói
Cơ sở dữ
liệu tiếng
nói cho
nhận dạng
tiếng nói
2 TS. Lê Thị
Lan
TS. Lê Thị
Lan

Phụ trách
nhánh nhận
dạng cảm xúc
bằng hình
ảnh
Mô đun
nhận dạng
cảm xúc
bằng hình
ảnh
Cơ sở dữ
liệu ảnh và
video cho
cảm xúc
Chương
trình quản
lý cơ sở dữ
liệu ảnh và
video

3
PGS. TS.
Phạm Thị
Ngọc Yến
PGS. TS.
Phạm Thị
Ngọc Yến
Phụ trách
nhánh phát
triển mô hình

động học và
điều khiển
robot
Mô đun
động học và
điều khiển
robot
Các phương
án tích hợp
mô đun bổ
sung vào
robot



4 TS. Nguyễn
Việt Tùng
TS. Nguyễn
Việt Tùng
Phụ trách
nhánh xây
dựng, cài đặt
và thử
nghiệm các
kịch bản
robot hướng
dẫn bảo tàng
Các phương
án cài đặt
kịch bản.

Báo cáo thử
nghiệm kịch
bản robot
hướng dẫn
bảo tàng.

5 TS. Trần Đỗ
Đạt
TS. Trần Đỗ
Đạt
Phụ trách
nhánh Tổng
hợp tiếng nói
Mô đun
tổng hợp
tiếng nói

6 TS. Trần Thị
Thanh Hải
TS. Trần Thị
Thanh Hải
Phụ trách
nhánh nhận
dạng cử chỉ
Mô đun
nhận dạng
cử chỉ
Cơ sở dữ
liệu ảnh và
video cho

cử chỉ

7 TS. Lê Thanh
Hương
TS. Lê Thanh
Hương
Phụ trách
nhánh hội
thoại
Mô đun hội
thoại
Cơ sở dữ
liệu quản lý
hội thoại

8 TS. Nguyễn
Thị Lan
Hương
TS. Nguyễn
Thị Lan
Hương
Phụ trách
việc xây dựng
hồ sơ thử
nghiệm và
các đánh giá
Quy trình
thử nghiệm
và kết quả
thử nghiệm

thử nghiệm.
9 ThS. Nguyễn
Việt Sơn
ThS. Nguyễn
Việt Sơn
Phụ trách
nhánh nhận
dạng cảm xúc
dựa trên tiếng
nói
Mô đun
nhận dạng
cảm xúc
bằng tiếng
nói
Cơ sở dữ
liệu tiếng
nói cho cảm
xúc

- Lý do thay đổi ( nếu có):

6. Tình hình hợp tác quốc tế:
Số
TT
Theo kế hoạch
(Nội dung, thời gian, kinh

phí, địa điểm, tên tổ chức
hợp tác, số đoàn, số lượng
người tham gia )
Thực tế đạt được
(Nội dung, thời gian, kinh
phí, địa điểm, tên tổ chức
hợp tác, số đoàn, số lượng
người tham gia )
Ghi
chú*
1 Nội dung: Đoàn ra đi học
tập, trao đổi công nghệ với
cơ quan hợp tác tại Pháp về
công nghệ đa phương tiện và
công nghệ robot.
Thời gian: Trong các năm
2009-2010.
Kinh phí: 193 triệu đồng
Tên tổ chức hợp tác:
- Phòng thí nghiệm LAAS-
Nội dung: Đoàn ra đi học
tập, trao đổi công nghệ với
cơ quan hợp tác tại Pháp về
công nghệ đa phương tiện và
công nghệ robot.
Thời gian: từ 30/5/2010 đến
28/6/2010.
Kinh phí: 173,765 triệu đồng
Tên tổ chức hợp tác:
- Phòng thí nghiệm LAAS-

CNRS, Toulouse, Cộng hòa
Pháp.
Số đoàn: 01.
Số lượng người tham gia: 2
người, 30 ngày 28 đêm.
CNRS, Toulouse, Cộng hòa
Pháp.
- Nhóm PULSAR, Nice
Sophia Antipolis, Cộng hòa
Pháp.
- Phòng thí nghiệm IMEP-
LAHC, Grenoble, Cộng hòa
Pháp.
Số đoàn: 01.
Số lượng người tham gia: 2
người, 30 ngày 28 đêm.

- Lý do thay đổi (nếu có):


7. Tình hình tổ chức hội thảo, hội nghị:
Số
TT
Theo kế hoạch
(Nội dung, thời gian, kinh
phí, địa điểm )
Thực tế đạt được

(Nội dung, thời gian,
kinh phí, địa điểm )
Ghi chú*
1 Hội thảo khoa học lần 1: Báo
cáo khoa học các nội dung
và kết quả của các sản phẩm
đạt được tại nội dung 1, 2 và
3.
Thời gian: Trong năm 2010
Kinh phí: 6.000.000 đồng
Địa điểm: Trung tâm MICA,
Trường Đại học Bách Khoa
Hà Nội.
Hội thảo khoa học với
chủ đề “Robot và công
nghệ đa phương tiện”


Thời gian: 25/11/2010
Kinh phí: 6.000.000
đồng
Địa điểm: Phòng hội
thảo, Trung tâm nghiên
cứu quốc tế MICA,
Tầng 9, Nhà B1,
Trường Đại học Bách
Khoa Hà Nội.

2 Hội thảo khoa học lần 2: Báo
cáo khoa học các nội dung

và kết quả của các sản phẩm
đạt được tại nội dung 3,4 và
5.
Thời gian: Trong năm 2011
Kinh phí: 6.000.000 đồng
Địa điểm: Trung tâm MICA,
Trường Đại học Bách Khoa
Hà Nội.
Hội thảo khoa học với
chủ đề “Tương tác đa
phương tiện người-
robot”

Thời gian: 11/5/2011
Kinh phí: 6.000.000
đồng
Địa điểm: Phòng hội
thảo, Trung tâm nghiên



cứu quốc tế MICA,
Tầng 9, Nhà B1,
Trường Đại học Bách
Khoa Hà Nội.
8. Tóm tắt các nội dung, công việc chủ yếu:
(Nêu tại mục 15 của thuyết minh, không bao gồm: Hội thảo khoa học,
điều tra khảo sát trong nước và nước ngoài)
Số
TT

Các nội dung, công việc
chủ yếu
(Các mốc đánh giá chủ yếu)
Thời gian
(Bắt đầu, kết thúc
- tháng … năm)
Người,
cơ quan
thực hiện Theo kế
hoạch
Thực tế
đạt được
1
Nội dung 1: Tìm hiểu tổng quan
và đánh giá sự phát triển các
robot thông minh trên thế giới
và tại Việt Nam.

Từ 07/2009
đến 09/2009
Từ 07/2009
đến 9/2009
Nguyễn Quốc
Cường
Lê Thị Lan
Trần Đỗ Đạt
Phạm Thị
Ngọc Yến
Nguyễn Việt
Tùng

MICA
2
Nội dung 2: Xây dựng cấu hình
robot, phát triển mô hình động
học và điều khiển robot

Từ 07/2009
đến 06/2010
Từ 07/2009
đến 6/2011
Nguyễn Việt
Tùng
Nguyễn Việt
Sơn
Nguyễn Thị
Lan Hương

MICA +
Khoa Điện




3
Nội dung 3: Nghiên cứu, thiết
kế các mô-đun tương tác đa
phương tiện người-robot

Từ 09/2009

đến 12/2010
Từ 09/2009
đến 2/2010
Nguyễn Quốc
Cường
Lê Thị Lan
Phạm Thị
Ngọc Yến
Trần Đỗ Đạt
Trần Thị
Thanh Hải
Lê Thanh
Hương
MICA và

khoa CNTT

4
Nội dung 4: Triển khai, tích
hợp các mô-đun trên hệ thống
giả lập
Từ 12/2010
đến 06/2011
Từ 12/2010
đến 6/2011
Nguyễn Quốc
Cường
Lê Thị Lan
Phạm Thị
Ngọc Yến

Trần Đỗ Đạt
Trần Thị
Thanh Hải
Nguyễn Việt
Tùng
Nguyễn Việt
Sơn
Lê Thanh
Hương
MICA, Khoa
CNTT và


Khoa Điện

5
Nội dung 5: Triển khai, tích
hợp và thử nghiệm vào robot
dịch vụ du lịch
Từ 12/2010
đến 06/2011
Từ 12/2010
đến
12/2011
Nguyễn Quốc
Cường
Lê Thị Lan
Phạm Thị
Ngọc Yến
Trần Đỗ Đạt

Trần Thị
Thanh Hải
Nguyễn Việt
Tùng
Nguyễn Thị
Lan Hương
Nguyễn Việt
Sơn
MICA
- Lý do thay đổi (nếu có):
Trong quá trình thực hiện, đề tài có hai thay đổi về thời gian thực hiện đối
với nội dung 2 (xây dựng cấu hình robot, phát triển mô hình động học và
điều khiển robot) và nội dung 5 (triển khai, tích hợp và thử nghiệm vào
robot dịch vụ du lịch) do đề tài gặp phải một số khó khăn như sau:
• Chậm trễ trong mua sắm thiết bị phục vụ đề tài: Dự kiến thời
gian mua thiết bị là năm 2009-2010 tuy nhiên đề tài phải
thực hiện điều chỉnh danh sách các thiết bị do các thiết bị
mua hầu hết đều là thiết bị nhập ngoại, tỉ giá ngoại tệ thay
đổi.
• Việc liên hệ tìm kiếm địa điểm đối tác để thử nghiệm kết quả
của đề tài tốn nhiều thời gian: Để tìm được đối tác phù hợp
cho các sản phẩm của đề tài, đề tài đã đi liên hệ, đi thực tế và
trao đổi, làm việc với một số bảo tàng tại Hà Nội. Sau đó


quá trình đàm phán về hình thức, lịch trình hợp tác cũng đòi
hỏi nhiều thời gian.
Các thay đổi này đã được đề tài trình lên tổ chức chủ trì đề tài - Trường
Đại học Bách Khoa Hà Nội, Bộ Giáo dục và Đào tạo, Bộ Khoa học và
Công nghệ và nhận được sự đồng ý của Trường và các Bộ.

III. SẢN PHẨM KH&CN CỦA ĐỀ TÀI, DỰ ÁN
1. Sản phẩm KH&CN đã tạo ra:
a) Sản phẩm Dạng I:
Số
TT

Tên sản phẩm và chỉ tiêu
chất lượng chủ yếu
Đơn

vị đo
Số
lượng
Theo kế
hoạch
Thực tế
đạt được
1
Robot thông minh
Có khả năng giao tiếp
Bằng tiếng nói (trong môi
trường ít nhiễu) :
• Nghe hiểu được những câu
lệnh di chuyển đơn giản
(tiến, lùi, trái, phải,…) Độ
chính xác 90% (microphone
cách người nói < 10cm) và
80% (microphone cách
người nói <1m)
• Hiểu được các câu hỏi, yêu

cầu giới thiệu về một số
hiện vật trong bảo tàng. Độ
chính xác 80% (microphone
cách người nói < 10cm)
Hệ thống có khả năng đưa ra
lời nói tổng hợp tương tác
người-robot
Chất lượng âm thanh tổng hợp
đánh giá trên chuẩn kiểm tra
MOS > 3,5/5
Con 01
Cài đặt hệ
tương tác
người –
robot bằng
tiếng nói
và hình ảnh
lên Robot
PC BOT
914

Thử
nghiệm tại
viện bảo
tàng
Đã cài đặt
hệ thống
tương tác
lên robot
theo kế

hoạch




Đã thử
nghiệm tại
bảo tàng dân
tộc học Việt
nam


Bằng hình ảnh:
• Nhận biết 06 cảm xúc (vui,
buồn, giận, sợ hăi, ngạc
nhiên, chán nản)
• Mặt người chính diện với
camera
• Điều kiện ánh sáng trong
phòng
• Frame trong video có kích
thước 640×480, 24 bit màu
• Video có tốc độ lấy mẫu 25
hình/s, 2s cho một cảm xúc
• Kết quả nhận dạng 70%
Nhận biết tập các cử chỉ điều
khiển cơ bản được định nghĩa
trong cơ sở dữ liệu.
• Người điều khiển đứng
trước robot với khoảng cách

1.5-2.5m
• Kích thước ảnh 640 ×480
• Điều kiện ánh sáng trong
phòng
• Một người điều khiển ở một
thời điểm
• Người điều khiển không bị
che lấp
• Các thao tác được thực hiện
lần lượt
• Độ chính xác 70%

Robot thực hiện các chuyển
động theo các kết quả nhận
dạng tiếng nói và hình ảnh
Thử nghiệm các chức năng
hướng dẫn tham quan giới
thiệu viện bảo tàng.



- Lý do thay đổi (nếu có):



b) Sản phẩm Dạng II:
Số
TT
Tên sản
phẩm

Yêu cầu khoa học
cần đạt

Ghi chú

Theo kế hoạch Thực tế
đạt được
1
CSDL cử chỉ

Cơ sở dữ liệu video cho tập
các cử chỉ điều khiển:
- 05 cử chỉ cơ bản.
- Các cử chỉ có 3 giai đoạn:
giai đoạn chuẩn bị, giai đoạn
thực hiện cử chỉ, giai đoạn
kết thúc.
- 20 người tham gia, một
người thực hiện một cử chỉ 2
lần.
- Frame của video có kích
thước 640×480, 24 bit màu
- Người điều khiển đứng
trước robot với khoảng cách
1.5-2.5m.
- Điều kiện ánh sáng trong
phòng.
- Một người điều khiển ở một
thời điểm.

- Người điều khiển không bị
che lấp.
- Cơ sở dữ liệu này được gán
nhãn, có thể sử dụng cho các
đề tài khác.

CSDL cử chỉ
được thiết kế
và xây dựng
trong đề tài có
những đặc
điểm sau:
- 5 cử chỉ được
nghiên cứu và
thiết kế theo
phương pháp
Wizard of Oz.
Tập các cử chỉ
này đã được
kiểm nghiệm
thỏa mãn các
tiêu chí về độ
tự nhiên cho
người thực
hiện và độ
phân biệt đối
với robot (độ
nhận dạng
trung bình
khoảng 88%).

- Mỗi cử chỉ



có 3 giai đoạn:
giai đoạn
chuẩn bị, giai
đoạn thực
hiện, giai đoạn
kết thúc.
- 20 người
tham gia (10
nam, 10 nữ) ở
độ tuổi 20 đến
40.
- Khi thu thập
dữ liệu, người
điều khiển
đứng trước
camera với
khoảng cách 1-
2.5m
- Điều kiện
ánh sáng trong
phòng
- Một người
điều khiển ở
một thời điểm.
- Người điều
khiển không bị

che lấp.
Bao gồm hai
bộ dữ liệu:
• Dữ liệu
video: gồm


600 video (3
lần thu/người *
20 người * 5
cử chỉ * 2
phông nền).
Các file video
có định dạng
.asf, tốc độ 30
khung
hình/giây, kích
thước khung
hình là
640x480 điểm
ảnh, với độ dài
vào khoảng 5s.
• Dữ liệu
ảnh: chứa các
ảnh được tách
ra từ các video
thu được, gồm
6000 ảnh cho
5 cử chỉ (1200
ảnh/cử chỉ).

Các ảnh có
kích thước
640x480 điểm
ảnh, ở định
dạng .jpg, 24
bít màu.
CSDL này
được gán


nhãn, có thể sử
dụng cho các
đề tài khác

2
CSDL cảm
xúc

Cơ sở dữ liệu ảnh và video
- 20 người (10 nam, 10 nữ).
- 06 cảm xúc (vui, buồn,
giận, sợ hăi, ngạc nhiên, chán
nản).
- Mặt người chính diện với
camera.
- Điều kiện ánh sáng trong
phòng.
- Một người thực hiện 1 cảm
xúc 3 lần.
- Frame trong video có kích

thước 640×480, 24 bit màu.
- Video có tốc độ lấy mẫu 25
hình/s, 2s cho một cảm xúc.
- Cơ sở dữ liệu này được gán
nhãn, có thể sử dụng cho các
đề tài khác.

Cơ sở dữ liệu
ảnh và video
cho cảm xúc
được thu thập
với:
- 20 người (10
nam, 10 nữ).
- 06 cảm xúc
(vui, buồn,
giận, sợ hăi,
ngạc nhiên,
chán nản).
- Mặt người
chính diện với
camera.
- Điều kiện
ánh sáng trong
phòng.
- Một người
thực hiện 1
cảm xúc 3 lần.
- Frame trong
video có kích

thước
640×480, 24
bit màu.
- Video có tốc
độ lấy mẫu 25



hình/s, 2s cho
một cảm xúc.
Bộ dữ liệu
video cảm xúc
gồm 720 video
(20 người X 2
điều kiện
phông nền X 3
lần X 6 cảm
xúc = 720
video). Video
có độ dài ~5s
và theo định
dạng asf.
Bộ dữ liệu ảnh
gồm 7200 ảnh
định dạng .jpg
kích thước
640x480 được
trích chọn từ
720 video thu
thập được

bằng cách lựa
chọn với mỗi
chủ thể, tương
ứng với mỗi
lần thể hiện
cảm xúc, ở
mỗi điều kiện
phông nền 10
ảnh (6 cảm