Đồ án khoa cơ điện, điện tử, đại học lạc hồng (23)

Đề TÀI:NHẬN
THỦ NGỮ HỖ
TRỢ NGƯỜI
CÂM


Thành
viên

Giáo viên hướng
dẫn

Triệu Vần Pham

Phạm Tài Năng

18TD111

18CD111

118000888

118001177

ThS. Ngô Kim Long

2


1
1

TỔNG QUAN ĐỀ TÀI

2
2

MỤC ĐÍCH ĐỀ TÀI

Nội dung

3
3

4
4

Q TRÌNH THỰC HIỆN
KẾT QUẢ HƯỚNG PHÁT
TRIỂN
3


Lời mở đầu
!
Thế giới
Bùng nổ về công nghệ.
Thứ giúp con người làm việc
hiệu quả và dễ dàng hơn.

4

ĐẶT VẤN ĐỀ
 Những y bác sĩ gặp nhiều khó khăn về mặt
giao tiếp cũng như cảm xúc của các bệnh
nhân
 Người nhà gặp khó khăn khi giao tiếp

5


Lý do
chọn đề
tài
Giúp người câm giao tiếp dễ
dàng hơn


Mục tiêu đề tài
 Nghiên cứu và phát triển công nghệ để giúp cho các bác sĩ dễ
dàng giao tiếp với bệnh nhân
 Giúp cho những người không may bị câm cịn bị cơ lập, tổn
thương và phân biệt đối xử trong cộng đồng nói chung và trong
cuộc sống cá nhân của họ nói riêng
 Giảm tải áp lực cho các bác sĩ phiên dịch kí hiệu.
7


QUÁ TRÌNH THỰC HIỆN
LÊN Ý

TƯỞNG

PHẦN MỀM
LIÊN QUAN

TIẾN HÀNH
KHẢO SÁT

TÌM HIỂU CƠ SỞ
LÝ THUYẾT

THỰC
NGHIỆM

HỒN
THIỆN

NGƠN NGỮ
LẬP TRÌNH
8


LÊN Ý TƯỞNG

9


TIẾN HÀNH KHẢO SÁT
Găng tay chuyển ngữ

Đồng hồ thông minh

10


PHẦN MỀM LẬP TRÌNH
• Hỗ trợ nhiều ngơn ngữ lập trình
• Hỗ trợ đa nền tảng
• Cung cấp kho tiện ích mở rộng
• Lưu trữ dữ liệu dạng phân cấp
• Hỗ trợ viết Code
• Màn hình đa nhiệm

11


NGƠN NGỮ LẬP TRÌNH
Python là một ngơn ngữ lập trình bậc
cao đa năng hướng đối tượng
Có ưu điểm dễ đọc, dễ nhớ cấu trúc rõ
ràng và ngắn gọn
tương thích trên nhiều nền tảng hệ
điều hành khác nhau như Windows,
Mac OS và Linux.

12


THƯ VIỆN LẬP TRÌNH
YOLOv5 là một mơ hình Object

Detection thuộc họ mơ hình YOLO.
Nếu các bạn chưa biết thì 3 phiên
bản YOLO đầu tiên được phát triển
bởi Joseph Redmon. Sau đó,
Alexey Bochkovskiy cho ra mắt
YOLOv4 với sự cải thiện cả về tốc
độ cũng như độ chính xác.

13


THỰC NGHIỆM
- Sơ đồ huấn
luyện mơ hình:

Gắn nhãn
dữ liệu

Dữ liệu
huấn luyện

Mơ hình
dự đốn
Tiền xử lý
dữ liệu

Huấn luyện
mơ hình

Kết quả

Dữ liệu
kiểm thử
14


QUÁ TRÌNH HUẤN LUYỆN

15


KẾT QUẢ

16


KẾT QUẢ

17


KẾT QUẢ

18


HƯỚNG PHÁT TRIỂN
￮ Tiếp tục thực nghiệm với các ký tự khác trong bảng
chữ cái latin.
￮ Bổ xung thêm nhận diện các hành động hay gặp trong

các công việc cũng như giao tiếp xã hội hàng ngày.
￮ Cải tiến tốc độ khi triển khai thực tế đảm bảo realtime
và tiết kiệm chi phí tính tốn ở mức nhỏ nhất.
￮ Triển khai trên mơ hình lên raspberry pi4 đem lại tính
ứng dụng thực tế cao trong việc giúp đỡ những người
câm trong xã hội hiện nay. 
19


Thanks
!
Cảm ơn quý thầy cô và các bạn đã chú
ý đón xem !
Góp ý của mọi người là vinh dự đối với
chúng em.

20