SLIDE ĐỒ ÁN TỐT NGHIỆP NGHIÊN CỨU PHÁT TRIỂN HỆ THỐNG TỰ ĐỘNG NHẬN DIỆN VÀ GIÁM SÁT QUA CAMERA SỬ DỤNG DEEPSORT, YOLOV4

NGHIÊN CỨU PHÁT TRIỂN HỆ THỐNG TỰ
ĐỘNG NHẬN DIỆN VÀ GIÁM SÁT QUA
CAMERA
Sinh viên thực hiện: Đỗ Đình Nam
Khoa: Cơng nghệ thông tin
Giảng viên hướng dẫn: TS. Dương Trần Đức


Nội dung trình bày
Nội dung trình bày
I.

Giới thiệu về bài tốn

II.

Mục tiêu của đề tài

III.

Tổng quan về chương trình

IV.

Quy trình xây dựng hệ thống

V.

Kết quả thực nghiệm
Kết luận và hướng phát triển

1


Nội dung trình bày
Nội dung trình bày
I.

Giới thiệu về bài tốn

II.

Mục tiêu của đề tài

III.

Tổng quan về chương trình

IV.

Quy trình xây dựng hệ thống

V.

Kết quả thực nghiệm
Kết luận và hướng phát triển

2


I. Giới thiệu về bài tốn

Nơng nghiệp là ngành kinh tế quan trọng
của Việt Nam.

Trong đó, chăn ni lợn là ngành kinh tế
nông nghiệp truyền thống và lâu đời,..

3


I. Giới thiệu về bài tốn
Việc quản lý thơng tin nhập xuất chuồng, sự kiện tiêm vacxin và quá trình

theo dõi lợn trong chuồng diễn ra như thế nào?

Sổ theo dõi lợn

Camera theo dõi tại các chuồng nuôi

4


I. Giới thiệu về bài toán
Tồn tại của phương pháp theo dõi lợn hiện tại
• Kiểm sốt số lượng lợn và theo dõi lợn đều là thủ cơng

• Khi lợn có dấu hiệu bất thường thường phát hiện muộn, phụ thuộc rất
nhiều vào kinh nghiệm của người chăn nuôi và chuyên gia y tế.

5

I. Giới thiệu về bài toán

Dựa vào tồn tại và cách quản lý hiện tại ở các trang trại vừa và nhỏ, hệ
thống quản lý tích hợp cơng nghệ giúp đỡ người chăn ni lợn:
• Quản lý số lượng cá thể trong mỗi chuồng

• Nhận diện và theo dõi lợn thơng qua video từ camera
• Quản lý các sự kiện liên quan đến lợn trong chuồng từ lợn bắt đầu được
đưa vào trang trại.

6


Nội dung trình bày

I.

Giới thiệu về bài tốn

II.

Mục tiêu của đề tài

III.

Tổng quan về chương trình

IV.

Quy trình xây dựng hệ thống

V.

Kết quả thực nghiệm
Kết luận và hướng phát triển

7


II. Mục tiêu của đề tài
•

Nghiên cứu vấn đề nhận diện, giám sát đối tượng qua ảnh, video

sử dụng học máy.
•

Nghiên cứu quy trình giám sát lợn trong trang trại, ứng dụng học

máy để giám sát lợn qua hình ảnh camera.
•

Phát triển hệ thống tự động nhận diện và giám sát lợn qua camera

sử dụng học máy giúp quản lý các cá thể lợn.

8

II. Mục tiêu của đề tài

9


Nội dung trình bày

I.

Giới thiệu về bài tốn

II.

Mục tiêu của đề tài

III.

Tổng quan về hệ thống

IV.

Quy trình xây dựng hệ thống

V.

Kết quả thực nghiệm
Kết luận và hướng phát triển

10

III. Tổng quan về hệ thống

Mơ hình kiến trúc tổng thể của hệ thống

11


III. Tổng quan về hệ thống

Hệ thống bao gồm 5 thành phần:
• Front-End: là Webapp dành cho người dùng
• Backend Service: Service giúp ứng dụng Front-End có thể giao tiếp với
hệ thống thông qua REST API, lưu trữ và truy vấn cơ sở dữ liệu
• Streaming Service: Lấy luồng streaming video từ camera nhờ phương
thức RTSP, sử dụng Yolov4 để nhận diện, Deepsort để theo dõi lợn và trả
về hình ảnh về cho người dùng.
• MongoDB Database: Chứa tồn bộ dữ liệu của hệ thống
• Camera NVR/DVR Devices: một hay nhiều camera gắn với đầu ghi tại
các trang trại.

12


III. Tổng quan về hệ thống

1. ReactJS cho FrontEnd

NodeJS cho Backend Service

13


III. Tổng quan về hệ thống

Python Flask cho Streaming Service

14


Nội dung trình bày

I.

Giới thiệu về bài tốn

II.

Mục tiêu của đề tài

III.

Tổng quan về hệ thống

IV.

Quy trình xây dựng hệ thống

V.

Kết quả thực nghiệm
Kết luận và hướng phát triển

16


IV. Quy trình xây dựng hệ thống
Các use case chính của hệ thống

17


IV. Quy trình xây dựng hệ thống
Mạng học sâu YOLOv4
Ưu điểm
• Là loại mạng nhận dạng vật thể một bước nên mang các ưu điểm như
• Tốc độ tốt hơn, phù hợp với realtime
• So với phiên bản trước đó, YOLOv4 có độ chính xác tốt hơn khoảng 10%

18


IV. Quy trình xây dựng hệ thống

Tập ảnh huấn luyện

19


IV. Quy trình xây dựng hệ thống

Google Colab

20


IV. Quy trình xây dựng hệ thống
Streaming Service
Endpoint
/
/checkin/
/videoFeed/id/id>/clientUuid/<string:clientUuid>
/terminate_all/
/position/<string:client_uuid>/
/highlightId
/highlightPosition

Ý nghĩa
Hiển thị UI với streaming video
test
Hiển thị số lượng active thread

Streaming video từ camera hoặc
video từ source kết hợp với nhận
diện, tracking lợn và trả về realtime
cho người dùng
Ngắt tất cả các kết nối streaming
Lấy danh sách vị trí của lợn trong
một phiên streaming

Highlight lợn xuất hiện trên
video bằng Id
Highlight lợn dựa vào vị trí click
trên video (x, y)
21


IV. Quy trình xây dựng hệ thống
Streaming là API quan trọng nhất của Streaming Service

22


IV. Quy trình xây dựng hệ thống
Backend Service
• Service được chia thành 9 components tương ứng với 9 đối tượng
quản lý trong hệ thống quản lý nghiệp vụ chăn nuôi lợn trong trang trại
bao gồm: Event, EventType, Farm, HealthStatus, Pen, Pig, Role, User,
WeightType.

23


IV. Quy trình xây dựng hệ thống
ReactJS WebApp

24


IV. Quy trình xây dựng hệ thống

Ưu điểm của ReactJS
• ReactJS cho phép nhúng code HTML và Javascript
• Tách những cấu tạo UI phức tạp thành những component độc lập

• ReactJS có rất nhiều thư viện cung cấp sẵn các template như AntDesign.
Giúp người lập trình tập trung vào sáng tạo logic và thiết kết mà khơng cịn
phải tốn cơng sức chỉnh sửa html và css thủ công.

25