Khóa luận áp dụng thị giác máy tính vào phát triển game

ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH
TRƯỜNG ĐẠI HỌC CƠNG NGHỆ THƠNG TIN
KHOA CƠNG NGHỆ PHẦN MỀM

PHẠM HỒI BẢO

KHĨA LUẬN TỐT NGHIỆP

ÁP DỤNG THỊ GIÁC MÁY TÍNH
VÀO PHÁT TRIỂN GAME
Apply Computer Vision to Game Development

KỸ SƯ NGÀNH CÔNG NGHỆ PHẦN MỀM

TP. HỒ CHÍ MINH, 2023

ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH


TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN
KHOA CÔNG PHẦN MỀM

PHẠM HỒI BẢO - 19520406

KHĨA LUẬN TỐT NGHIỆP

ỨNG DỤNG THỊ GIÁC MÁY TÍNH
VÀO PHÁT TRIỂN GAME
Apply Computer Vision to Game Development

KỸ SƯ NGÀNH CÔNG NGHỆ PHẦN MỀM

GIẢNG VIÊN HƯỚNG DẪN
TS. NGUYỄN HÀ GIANG
ThS. NGUYỄN THỊ THANH TRÚC

TP. HỒ CHÍ MINH, 2023


THƠNG TIN HỘI ĐỒNG CHẤM KHĨA LUẬN TỐT NGHIỆP

Hội đồng chấm khóa luận tốt nghiệp, thành lập theo:
Quyết định số

ngày

của Hiệu trưởng

Trường Đại học Công nghệ Thông tin.
1.

– Chủ tịch

2.

– Thư ký

3.

– Ủy viên

4.

– Ủy viên


ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH

CỘNG HỒ XÃ HỘI CHỦ NGHĨA VIỆT NAM

TRƯỜNG ĐẠI HỌC

Độc Lập - Tự Do - Hạnh Phúc

CÔNG NGHỆ THÔNG TIN
TP. HCM, ngày…..tháng…..năm……..

NHẬN XÉT KHĨA LUẬN TỐT NGHIỆP
(CỦA CÁN BỘ HƯỚNG DẪN)
Tên khóa luận:
ỨNG DỤNG THỊ GIÁC MÁY TÍNH
VÀO PHÁT TRIỂN GAME
Nhóm SV thực hiện:

ThS. Nguyễn Thị Thanh Trúc

Phạm Hoài Bảo - 19520406

TS. Nguyễn Hà Giang

Cán Bộ hướng dẫn:

Đánh giá Khóa luận
1. Về cuốn báo cáo:
Số trang 115 trang

- Số chương 5 chương

Số bảng số liệu 15 bảng - Số hình vẽ 65 hình
Số tài liệu tham khảo 11 tài liệu
Một số nhận xét về hình thức cuốn báo cáo:


2. Về nội dung nghiên cứu:

3. Về chương trình ứng dụng:

4. Về thái độ làm việc của sinh viên:

Đánh giá chung:Khóa luận đạt/khơng đạt u cầu của một khóa luận tốt nghiệp kỹ sư/ cử nhân,
xếp loại Giỏi/ Khá/ Trung bình
Điểm từng sinh viên:
Phạm Hồi Bảo :………../10

Người nhận xét
(Ký tên và ghi rõ họ tên)


ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH

CỘNG HỒ XÃ HỘI CHỦ NGHĨA VIỆT
NAM

TRƯỜNG ĐẠI HỌC
CÔNG NGHỆ THÔNG TIN

Độc Lập - Tự Do - Hạnh Phúc
TP. HCM, ngày…..tháng…..năm……..

NHẬN XÉT KHÓA LUẬN TỐT NGHIỆP
(CỦA CÁN BỘ PHẢN BIỆN)
Tên khóa luận:
ỨNG DỤNG THỊ GIÁC MÁY TÍNH
VÀO PHÁT TRIỂN GAME
Nhóm SV thực hiện:

Cán Bộ hướng dẫn:

Phạm Hoài Bảo - 19520406

ThS. Nguyễn Thị Thanh Trúc
TS. Nguyễn Hà Giang

Đánh giá Khóa luận
1. Về cuốn báo cáo:
Số trang 115 trang - Số chương 5 chương
Số bảng số liệu 15 bảng - Số hình vẽ 65 hình
Số tài liệu tham khảo 11 tài liệu
Một số nhận xét về hình thức cuốn báo cáo:


2. Về nội dung nghiên cứu:

3. Về chương trình ứng dụng:

4. Về thái độ làm việc của sinh viên:

Đánh giá chung:Khóa luận đạt/khơng đạt u cầu của một khóa luận tốt nghiệp kỹ sư/ cử nhân,
xếp loại Giỏi/ Khá/ Trung bình
Điểm từng sinh viên:
Phạm Hồi Bảo :………../10

Người nhận xét
(Ký tên và ghi rõ họ tên)


LỜI CẢM ƠN
Trước hết, em xin gửi cảm ơn đặc biệt đến thầy TS. Nguyễn Hà Giang và cô
ThS. Nguyễn Thị Thanh Trúc – giảng viên hướng dẫn của em trong q trình hồn
thành khóa luận. Thầy và cơ đã luôn thông tin, giải quyết các vấn đề cũng như hỗ trợ
em trong suốt chặng đường vừa qua.
Em cũng xin cảm ơn tập thể thầy cô giảng viên trường Đại học Công nghệ
Thông tin - Đại học Quốc Gia thành phố Hồ Chí Minh, cũng như các thầy cơ ở khoa
Công nghệ Phần mềm, trong suốt 4 năm qua đã giúp và truyền đạt kiến thức, hỗ trợ
nhiệt tình và tạo điều kiện cho em trong quá trình em học tập tại trường.
Đồng thời, em xin gửi lời cảm ơn bạn bè, anh chị, và gia đình đã nỗ lực hết mình
để đồng hành cũng như động viên em trong khoảng thời gian qua trong khoảng thời
gian qua.
Trong quá trình viết luận văn, em đã cố gắng hồn thành nó một cách tốt nhất có
thể, tuy nhiên đơi khi vẫn cịn những sai sót hoặc có những hạn chế trong nội dung đề
tài. Vì vậy, em xin được tiếp nhận những được sự chỉ bảo về thiếu sót của thầy cơ và
bạn bè về khóa luận này và sử dụng nó như một tài sản q báu cho cơng việc sau này

của mình.
Em xin chân thành cảm ơn!

Sinh viên thực hiện
Phạm Hoài Bảo


ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH

CỘNG HỒ XÃ HỘI CHỦ NGHĨA VIỆT NAM

TRƯỜNG ĐẠI HỌC

Độc Lập - Tự Do - Hạnh Phúc

CÔNG NGHỆ THÔNG TIN
TP. HCM, ngày…..tháng…..năm……..

ĐỀ CƯƠNG CHI TIẾT

Tên đề tài:
ỨNG DỤNG THỊ GIÁC MÁY TÍNH VÀO PHÁT TRIỂN GAME

Tên đề tài tiếng Anh:
APPLY COMPUTER VISION TO GAME DEVELOPMENT
Giảng viên hướng dẫn:
TS. Nguyễn Hà Giang
ThS. Nguyễn Thị Thanh Trúc

Thời gian thực hiện:

Từ ngày 27/02/2023 đến 19/06/2023


Sinh viên thực hiện:
Phạm Hoài Bảo – 19520406
Nội dung đề tài:
1.

Giới thiệu đề tài:
Ngày nay, những công nghệ như VR, AR ngày càng được phát triển rộng rãi nhất
là sử dụng trong ngành công nghiệp phát triển Game. Xu hướng này làm nhu cầu
chơi những tựa Game yêu cầu ngày chơi vận động rất lớn, rào cản lớn nhất của thể
loại game này là yêu cầu người chơi phải sử hữu những Bộ điều khiển riêng biệt
như là VR Controller, Move Motion Controller, VR Aim Controller, ... dẫn đến chi
phí người chơi phải bỏ ra là vô cùng lớn.
Một trong những cách để để giải quyết vấn đề này đó là sử dụng Vision-based
Input, thay vì dùng những bộ điều khiển đặc thù, ta có thể thơng qua camera để
nhận diện và xử lý cử chỉ người dùng để điều khiển trò chơi. Độ hấp dẫn của một
trò chơi cũng sẽ được nâng cao khi người dùng không phải dùng những nút bấm
vật lý, mà thơng qua chính cử chỉ bàn tay cũng như chuyển động cơ thể của chính
họ.
Tuy nhiên để việc phản hồi từ hình ảnh người dùng với tốc độ cao là một điều vơ
cùng khó, cần phải train một vài model Thị giác máy tính với một bộ dữ liệu đào
tạo (Dataset) rất lớn. Synthetic Dataset (Những dữ liệu vật thể 3D) được tạo ra từ
Game Engine là một giải pháp tuyệt vời để kết hợp với dữ liệu thực giúp hoàn
thiện Model xử lý được cử động người chơi với tốc độ cao.
Bằng việc dùng Thị giác máy tính vào trong Game và việc dùng Game Engine
để tạo ra những bộ dữ liệu cho train model Thị giác máy tính, ta có thể xử lý được
một số vấn khó khăn của hai lĩnh vực trên, đồng thời tạo ra được một sản phẩm
game đáp ứng được nhu cầu thị trường.

2.

Phạm vi đề tài:
●

Phạm vi môi trường:


Game hoạt động bằng Unity engine chạy trên nền tảng máy tính Windows,
Linux.
Package xử lý cử chỉ người chơi có thể thêm sử dụng trực tiếp vào Unity editor.
●

Phạm vi chức năng:
Một trị chơi hồn chỉnh bao gồm các Mini-Game:
❖ Menu: Thông qua chuyển động và dáng bàn tay để tương tác với trò chơi
❖ Game Neon Saber: Dùng những dữ liệu sau khi được xử lý từ chuyển động
cánh tay để tương tác với trò chơi. Người chơi sẽ sử dụng hai tay của họ để
dùng hai thanh kiếm Saber tiêu diệt những vật thể di chuyển đến gần họ,
Mỗi thanh kiếm sẽ là có một màu riêng và dùng chém những vật thể có màu
tương ứng. Với những chức năng cơ bản : Saber xuất hiện và di chuyển ứng
với chuyển động cánh tay người chơi, Va chạm giữa kiếm và vật thể, Màn
chơi ngẫu nhiên vô tận, Lưu điểm cao của người dùng.
❖ Game Let’s Dance: sử dụng dữ liệu được xử lý từ chuyển động của cơ thể
với mục tiêu thành những dáng nhảy tương ứng với dáng nhảy trên trị chơi
Với những chức năng chính:Nhận diện cử chỉ tay để bắt đầu và ngưng trò
chơi, nhận diện các dáng cơ thể người chơi kiểm tra tương ứng với dáng
người trong hệ thống được sinh ra ngẫu nhiên trên mỗi màn chơi, tốc độ và
những dáng nhảy được thay đổi ngẫu nhiên tùy vào màn chơi, Hiển thị điểm

và streak combo của người chơi.

3.

Đối tượng sử dụng:
● Những người chơi có mong muốn chơi những trị chơi vận động thơng qua Thị
giác máy tính.
● Những nhà phát triển game muốn thêm chức năng nhận diện cử động người chơi
vào những dự án của họ thông qua Package Unity có sẵn.

4.

Phương pháp thực hiện:
● Sử dụng những Data ảo có sẵn và tạo ra những Data mới từ Unity Synthetic
Human, kết hợp với một lượng Data thực để tạo thành một bộ Dataset tổng hợp.


● Bằng việc MediaPipe kết hợp với Teachable Machine để train model Computer
Vision từ bộ Dataset đã tổng hợp.
● Sử dụng model vào Unity thông qua module chạy bằng Python truyền dữ liệu
vào socket kết hợp với MediaPipeUnityPlugin, để giao tiếp được với Unity
● Phát triển các cơ chế logic cơ bản trong Game bằng Unity Engine, thêm Package
computer vision vào project game vào hoàn chỉnh việc giao tiếp từ hệ thống
nhận dạng và game.
● Bổ sung các chức năng quản lý người dùng và tài khoản bằng dịch vụ của
PlayFab và Unity Gaming Services.
5.

Công nghệ:
● Game Engine: Unity3D

● Computer Vision & ML: MediaPipe, Teachable Machine ,OpenCV, TensorFlow
● Dataset: Unity Synthetic Humans (Unity Perception), Hand Gesture
Recognition Database (Leap Motion) , MPII Human Pose Dataset.
● Back End: Unity Gaming Services (UGS), Microsoft Azure PlayFab

6.

Kết quả mong đợi:
Ứng dụng được model đã train vào Game Engine và phát triển thành một Game
hoàn chỉnh bao gồm hai minigame và menu tương tác được bằng cử chỉ thơng qua
camera. Game nhận diện được hình ảnh và xử lý ra input với tốc độ cao. Môi
trường game dễ hiểu để phù hợp việc tương tác thông qua cử chỉ, các logic Game
không xảy ra lỗi, hệ thống tài khoản hoạt động nhanh chóng.

Kế hoạch thực hiện: (27/02/2023 đến 19/06/2023)
Th

Nội dung

ời gian
Tuần 1-2

-Nghiên cứu và học hỏi về công nghệ và cài đặt
những môi trường.


-Tạp các cuộc khảo sát người dùng để xem những
nhu cầu và những chức năng cần thiết.

Tuần 3-4

-Lựa chọn những dữ liệu phù có sẵn để train
Model.
-Generate một lượng nhỏ những Data
Synthetic.
-Tiến hành train đơn giản với lượng nhỏ
Data.
-Phân tích và thiết kế những yêu cầu tính
năng và Game flow của ứng dụng.

Tuần 4

-Tiếp tục Generate những Data Synthetic
mới.
-Tìm kiếm và thiết kế Tạo những UI, model
3D cần thiết cho Menu và mini-game Saber.

.Tuần 5

-Phát triển những cơ chế Logic cho game
Saber.
-Viết báo cáo q trình train model.

Tuần 6-7

-Hồn thành model nhận diện cử chỉ và
chuyển động tay.
-Import model thành package unity.

-Xử lý việc giao tiếp giữa package và cơ chế
hoạt động của Menu.

Tuần 8

-Hoàn thành giao tiếp giữa package và logic
game Saber và Menu.

Tuần 9-10

-Train model nhận diện chuyển động cơ thể.
-Thiết kế UI và Model cho game Let’s
Dance.

Tuần 10-11

-Phát triển Logic cho game Let’s Dance.
-Thiết kế hệ thống Backend để lưu điểm và
tài khoản người dùng.

Tuần 12

-Bổ sung model mới vào package.
-Test và kiểm thử package với những project
khác nhau
-Hoàn thành việc giao tiếp giữa package và
Game Let’s Dance.

Tuần 13

-Hoàn thành những chức năng phụ của
Game.
-Tiến hành deploy để kiểm tra lỗi Backend
và hoạt động trong game.


Tuần 14

-Tiếp tục kiểm thử và khắc phục các sự cố
trong game.
-Thêm những plugin phục vụ việc deploy.
-Hoàn thiện báo cáo.

Tuần 15

-Deploy hệ thống hoàn chỉnh.

TP. HCM,
Ngày 22 Tháng 02 Năm 2023
Xác nhận của GVHD

Sinh viên

(Ký tên)

(Ký tên)

ThS. Nguyễn Thị Thanh Trúc

Phạm Hoài Bảo

MỤC LỤC

LỜI CẢM ƠN
ĐỀ CƯƠNG CHI TIẾT

9
10

Chương 1. TỔNG QUAN ĐỀ TÀI
1.1. Động lực nghiên cứu
1.2. Phát biểu bài toán
1.3. Thách thức bài toán
1.4. Mục tiêu và phạm vi nghiên cứu
1.5. Cấu trúc báo cáo khóa luận
Chương 2. CƠ SỞ LÝ THUYẾT
2.1. Thị giác máy tính
2.1.1 Giới Thiệu

24
24
24
25
26
27
28
28
28

2.1.2 Perceptron
2.1.3 Hàm kích hoạt
2.1.4 Hàm Sigmoid

29
29
30

2.1.5 Ứng dụng trong phát triển game
2.2 Artificial Neural Networks – ANN
2.3 Convolutional Neural Network - CNN
2.3.1 Tầng tích chập (Convolution layer)
2.3.2 Tầng tổng hợp (Pooling layer)
2.3.3 Tầng liên kết đầy đủ (Fully connected layer)
2.4 Temporal Semantic Segmentation Models -TSML
2.4.1 Giới Thiệu
2.4.2 Đặc điểm
2.5. Machine Learning Pipeline
2.5.1 Giới thiệu
2.5.2 Đặc điểm
2.6. Synthetic Data
2.6.1 Giới Thiệu
2.7.2 Đặc điểm
2.7.3 Ứng dụng

30
33
34
36
36

37
38
38
39
40
40
40
41
41
42
45

2.7. Giới thiệu công nghệ
2.6.1 OpenCV
2.6.1 Teachable Machine
2.6.1 Unity Game Engine
2.6.1 Microsoft Azure PlayFab

47
47
50
52
53


Chương 3. THIẾT KẾ HỆ THỐNG
3.1. Tổng quan thiết kế hệ thống
3.2. Training Với Synthetic Data
3.2.1. Workflow
3.2.2 Thiết lập Generate Synthetic Data

3.2.3 Thống kê Dataset

55
55
57
57
58
61

3.2.4 Quy trình train Pipeline Model
3.2.5 Tổng kết
3.3. Các Model Thị giác máy tính
3.2.1. Hand landmark detection
3.2.2. Face landmark detection
3.2.3. Pose landmark detection
3.2.3. Hand Gesture Recognition
3.2.5. Pose Recognition

61
64
65
65
66
69
70
73

3.4. Thiết kế Game
3.4.1 Space Dasher
3.4.1 Neon Saber

3.4.1 Let’s Dance
3.5. Chức năng hệ thống
3.5.1 Danh sách các chức năng
3.5.2 Các Use case
UC_S1. Đăng nhập ứng dụng
UC_S2. Tương tác với Camera
UC_S3. Upload điểm cao
UC_M1. Thao tác với Menu
UC_M2. Chọn Mini Game
UC_M3. Xem Leaderboard
UC_M4. Vào Gameplay
UC_M5. Ngưng Gameplay
UC_D1. Nhận dạng landmark tay
UC_D2. Phân loại cử chỉ tay
UC_D3. Phân loại cử chỉ tay xác nhận
UC_D4. Nhận dạng landmark khuôn mặt
UC_D5. Nhận dạng landmark người
UC_D6. Phân loại dáng người
UC_G1. Di chuyển Saber (minigame Neon Saber)
UC_G2. Chém chướng ngại vật (minigame Neon Saber)
UC_G3. Chém bom (minigame Neon Saber)
UC_G4. Di chuyển máy bay (minigame Space Dasher)
UC_G5. Xoay máy bay (minigame Space Dasher)

75
75
76
76
78
78

84
84
84
84
85
85
85
85
86
86
87
87
88
88
88
89
89
89
90
90


UC_G6. Bay trúng chướng ngại vật (minigame Space Dasher)
UC_G7. Thực đúng dáng nhảy (minigame Let’s Dance)
UC_G8. Thực sai dáng nhảy (minigame Let’s Dance)
UC_G9. Đạt/mất được combo (minigame Let’s Dance)
Chương 4. TRIỂN KHAI ỨNG DỤNG
4.1. Các Model thị giác máy tính
4.1.1. Hand landmark detection
4.1.2. Face landmark detection

4.1.3. Pose landmark detection
4.1.4. Hand Gesture Recognition
4.1.5. Pose Recognition
4.2. Ứng dụng Game
4.2.1. Menu chính
4.2.2. Space Dasher
4.2.3. Neon Saber
4.2.3. Let’s Dance

90
91
91
92
93
93
93
94
95
96
98
102
102
103
110
112

Chương 5. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
5.1. Kết quả đạt được
5.1.1 Chất lượng sản phẩm

116
116
116

5.1.2 Những hạn chế

5.2. Hướng phát triển
TÀI LIỆU THAM KHẢO

116

117
118


DANH MỤC TỪ VIẾT TẮT

STT

Từ viết tắt

Ý nghĩa

1

CV

Computer Vision - Thị giác máy tính

2

ANN

Artificial Neural Networks - Mạng nơ-ron
nhân tạo

3

CNN

Convolutional Neural Network - Mạng nơ-ron
tích chập

4

AR

Augmented Reality - Thực tế tăng cường

5

VR

Virtual Reality - Thực tế ảo

6

TSML

Temporal Semantic Segmentation Models Mơ hình phân đoạn ngữ nghĩa tạm thời

7

CAD

Computer-aided design - Thiết kế hỗ trợ bởi
máy tính

8

R-CNN

Region-based Convolutional Neural Network
- Mạng thần kinh tích chập dựa trên khu vực

9

FPS

Frames per second - Số khung ảnh trên mỗi
giây


TĨM TẮT KHĨA LUẬN

Khóa luận tốt nghiệp này chủ yếu nhằm vào vào việc sử dụng Computer Vision (thị máy
tính) trong phát triển game sử dụng dữ liệu tổng hợp (synthetic data). Những bộ dữ liệu tổng hợp
sẽ được sử dụng từ các model 3D có sẵn và tạo ra nhờ các công cụ từ Game Engine.
Việc dùng dữ liệu tổng hợp là để tăng cường độ chính xác của các mơ hình thị giác máy tính
đồng thời giải quyết các thách thức về sự khan hiếm dữ liệu và sai lệch trong thị giác máy tính.

Khám phá những tiến bộ mới nhất trong lĩnh vực tạo dữ liệu tổng hợp và cách sử dụng những kỹ
thuật này để tạo dữ liệu tổng hợp thực tế và đa dạng hơn. Chủ đề này sẽ khám phá những cân
nhắc về đạo đức cần được tính đến khi sử dụng dữ liệu tổng hợp trong các ứng dụng thị giác máy
tính.
Xử lý các thông tin dữ liệu đầu ra của các mô hình thị giác máy tính để biến chúng thành
một cơng cụ hỗ trợ người dùng trong việc giao tiếp giữa người và máy.Đồng thời thiết kế một hệ
thống mà các luồng phân tích hình ảnh có thể giao tiếp được với hệ thống ứng dụng game. Ứng
dụng chúng để phát triển các game vận động thể thao nơi mà người chơi tương tác với máy tính
bằng chính cơ thể của họ từ camera với sự hỗ trợ từ các mô hình thị giác nói trên.


Chương 1. TỔNG QUAN ĐỀ TÀI
1.1. Động lực nghiên cứu

Thị giác máy tính là một lĩnh vực đang nghiên cứu và sử dụng nhanh chóng với
nhiều ứng dụng, bao gồm cả phát triển trò chơi điện tử. Vào thời gian gần đây, người ta
ngày càng quan tâm đến việc dùng thị giác máy tính để nâng cao tính thu hút và trải
nghiệm của người chơi.
Nhằm nắm thêm về thị giác máy tính thì việc xây dựng trị chơi thị giác máy tính là
một cách tuyệt vời để tìm hiểu thêm về những kiến thức cơ bản về lĩnh vực này, chẳng hạn
như xử lý hình ảnh, phát hiện đối tượng và theo dõi. Ta có thể thể tạo trị chơi trong đó
người chơi điều khiển trị chơi bằng cử chỉ của họ hoặc trị chơi trong đó mơi trường thay
đổi theo thời gian thực dựa trên hành động của người chơi.
1.2. Phát biểu bài toán

Ngày nay nhu cầu chơi những tựa Game yêu cầu ngày chơi vận động rất lớn, rào
cản lớn nhất của thể loại game này là yêu cầu người chơi phải sử hữu những Bộ điều khiển
riêng biệt như là VR Controller, Move Motion Controller, VR Aim Controller, ... dẫn đến
chi phí người chơi phải bỏ ra là vô cùng lớn.
Một cách để giải quyết vấn đề này đó là sử dụng Vision-based Input, thay vì dùng

những bộ điều khiển đặc thù, ta có thể thơng qua camera để nhận diện và xử lý cử chỉ
người dùng để điều khiển trò chơi. Độ hấp dẫn của một trị chơi cũng sẽ được nâng cao khi
người dùng khơng phải dùng những nút bấm vật lý, mà thông qua chính cử chỉ bàn tay
cũng như chuyển động cơ thể của chính họ. Thị giác máy tính cũng có thể thay thế và cải
tiến chất lượng tổng thể của trò chơi. Ví dụ: thị giác máy tính được dùng để để tạo đồ họa
chân thực hơn, cải thiện khả năng hòa nhập của người chơi vào thế giới trò chơi và làm
cho trò chơi trở nên thử thách và hấp dẫn hơn.


Trong thời gian gần đây, việc phát hiện người và ước tính tư thế người đã đạt được
những bước tiến lớn, được hỗ trợ bởi các bộ dữ liệu được dán nhãn quy mô lớn. Tuy nhiên,
những bộ dữ liệu này khơng có sự đảm bảo hoặc phân tích nào về các hoạt động, tư thế
hoặc sự đa dạng về bối cảnh của con người. Ngoài ra, những mối quan ngại về quyền riêng
tư, pháp lý, an toàn và đạo đức có thể làm giảm đi khả năng thu thập thêm dữ liệu của con
người. Một giải pháp thay thế mới nổi cho dữ liệu trong thế giới thực giúp giảm bớt một số
vấn đề này là dữ liệu tổng hợp.
Tuy nhiên, việc sản sinh các trình tạo dữ liệu tổng hợp là vơ cùng khó khăn và ngăn
cản các nhà nghiên cứu khám phá tính hữu dụng của chúng. Mặc dù việc thu thập dữ liệu
chất lượng cao từ thế giới thực là khó khăn, tốn kém và tốn thời gian, nhưng công nghệ
này cho phép người dùng tạo dữ liệu một cách nhanh chóng, dễ dàng và kỹ thuật số với bất
kỳ số lượng nào họ muốn, tùy chỉnh theo nhu mong muốn của họ
1.3. Thách thức bài toán

Dưới đây là một số bài toán hiện đang phải đối mặt trong lĩnh vực thị giác máy tính
để phát triển trị chơi:
Thu thập dữ liệu: Các thuật tốn nhận dạng thị giác máy tính yêu cầu một lượng lớn
dữ liệu để đào tạo. Dữ liệu này có thể khó thu thập và tốn kém, đặc biệt đối với các trò chơi
yêu cầu dữ liệu trong thế giới thực.
Độ phức tạp tính tốn: Các thuật tốn thị giác máy tính có thể tốn kém về mặt tính
tốn để chạy. Đây có thể là một thách thức đối với các trị chơi cần chạy trong thời gian

thực trên thiết bị di động hoặc các nền tảng phần cứng hạn chế khác.
Độ chính xác: Các thuật tốn thị giác máy tính khơng phải lúc nào cũng chính xác.
Điều này có thể dẫn đến các vấn đề như sai kết quả, có thể tác động tiêu cực đến trải
nghiệm chơi trò chơi

Thiếu tiêu chuẩn: Khơng có tiêu chuẩn thống nhất chung về thị giác máy tính, điều
này có thể gây khó khăn cho việc phát triển trị chơi tương thích với các nền tảng và thiết
bị khác nhau.


Cơng nghệ thay đổi nhanh chóng: Thị giác máy tính là một lĩnh vực phát triển
nhanh chóng, điều đó có nghĩa là các model và kỹ thuật được sử dụng có thể khơng hiệu
quả trong tương lai. Điều này có thể gây khó khăn cho việc duy trì và cập nhật các trị chơi
thị giác máy tính.
Thị trường hạn chế: Thị trường trị chơi thị giác máy tính vẫn cịn tương đối nhỏ,
điều này có thể gây khó khăn cho việc tìm nhà phát hành và nhà đầu tư cho các loại trò
chơi này..
Bất chấp những thách thức này, thị giác máy tính là một lĩnh vực đầy hứa hẹn với
tiềm năng cách mạng hóa ngành cơng nghiệp game.

1.4. Mục tiêu và phạm vi nghiên cứu
Nghiên cứu cách tạo ra dữ liệu tổng hợp từ Game Engine, phân tích lợi ích cũng
như quy trình phát triển Computer Vision tổng hợp. Tìm hiểu
Ứng dụng được Computer Vision vào Game Engine và phát triển thành một Game
hoàn chỉnh bao gồm các minigame và menu tương tác được bằng cử chỉ thông qua camera.
Game nhận diện được hình ảnh và xử lý ra input với tốc độ cao. Môi trường game dễ hiểu
để phù hợp việc tương tác thông qua cử chỉ, các logic Game không xảy ra lỗi, hệ thống tài
khoản hoạt động nhanh chóng.

1.5. Cấu trúc báo cáo khóa luận
Báo cáo khóa luận gồm 5 chương với các nội dung như sau:
• Chương 1: Tổng quan đề tài. Giới thiệu về nội dung đề tài bao gồm động lực
nghiên cứu, phát biểu bài tốn, mục tiêu, phạm vi của nghiên cứu và những
đóng góp chính trong khóa luận.
• Chương 2: Cơ sở lý thuyết.trình bày các kiến thức và lý thuyết liên quan đến đề

tài, về các khái niệm các mơ hình và các cơng nghệ sử dụng.
• Chương 3: Thiết kế hệ thống. Trình bày về quy trình xây dựng và phân tích bộ
hệ thống ứng dụng game.
• Chương 4: Sản phẩm. rình bày q trình cài đặt thực nghiệm, các thơng số chi

tiết, phương pháp đánh giá và phân tích kết quả
• Chương 5: Kết luận và hướng phát triển. Tổng kết các kết quả quan trọng đã
đạt được trong đề tài và hướng phát triển của đề tài trong tương lai.


Chương 2. CƠ SỞ LÝ THUYẾT
2.1. Thị giác máy tính
2.1.1 Giới Thiệu

Computer Vision hay thị giác máy tính là một lĩnh vực trí tuệ nhân tạo giúp cho
máy tính xử lý khả năng nhìn, xác định và hiểu thế giới xung quanh. Đây là một lĩnh vực
đang phát triển nhanh chóng với nhiều ứng dụng, bao gồm ơ tơ tự lái, nhận dạng khn
mặt và phân tích hình ảnh y tế.
Các hệ thống thị giác máy tính thường hoạt động bằng cách chụp ảnh hoặc quay
video cảnh đầu tiên. Hình ảnh hoặc video này sau đó được xử lý bằng thuật tốn thị giác
máy tính, giúp xác định và trích xuất các đặc điểm từ hình ảnh. Các tính năng này sau đó
được sử dụng để phân loại đối tượng hoặc cảnh hoặc để thực hiện các tác vụ khác như theo
dõi hoặc phát hiện đối tượng.

Có nhiều loại thuật tốn trong thị giác máy tính khác nhau, mỗi loại có ưu điểm và
điểm yếu khác nhau. Một số loại thuật tốn thị giác máy tính phổ biến nhất bao gồm:

Hình 2.1 Những thuật tốn Thị giác Máy Tính