Phát hiện, phân loại và theo dõi đối tượng chuyển động trong hệ thống giám sát thông minh

Phát hiện, phân loại và theo dõi đối
tượng chuyển động trong hệ thống
giám sát thông minh
TIỂU LUẬN TỔNG QUAN
Chuyên ngành: CƠ SỞ TOÁN HỌC CHO TIN HỌC
Mã số: 62.46.01.10
NCS. NGUYỄN VĂN CĂN
Nội dung trình bày
1. Phần mở đầu
2. Đặt bài toán
3. Tình hình nghiên cứu trong và ngoài nước
4. Một số phương pháp, thuật toán đã sử dụng
5. Phần kết luận
Phần 1
Phần mở đầu
1. Lý do chọn vấn đề nghiên cứu
• Luận văn tiến sĩ: Nghiên cứu một số thuật
toán xác định mật độ phương tiện giao
thông trong video giao thông.
• Video giao thông => hệ thống giao thông thông
minh
• Phương tiện giao thông=>xe ô tô, mô tô, xe máy,
người đi bộ.
• Xác định mật độ => Đếm số lượng phương tiện
=> Phát hiện, phân loại, theo dõi, thực hiện đếm.
2. Mục đích nghiên cứu
• Trên cơ sở tìm hiểu bài toán Phát hiện, theo dõi,
và phân loại đối tượng chuyển động;
• Trên cơ sở tìm hiểu những nghiên cứu trước đây
trong và ngoài nước về vấn đề này;
• Tiến hành thống kê, phân tích phương pháp,

thuật toán, kết quả đạt được
• Những vấn đề có thể cải tiến, khắc phục hạn chế,
đề xuất một số cải tiến, phương pháp mới để
nâng cao độ chính xác, tốc độ xử lý của thuật
toán.
3. Đối tượng nghiên cứu
• Bài toán phát hiện, theo dõi và phân loại đối
tượng chuyển động.
• Các công trình đã và đang nghiên cứu trong và
ngoài nước về vấn đề phát hiện, theo dõi và
phân loại đối tượng chuyển động.
• Các thuật toán, phương pháp đã áp dụng trong
vấn đề này.

4. Phạm vi nghiên cứu:
• Bài toán liên quan đến video quay ở chế độ
Outdoor
• Quá trình xử lý hình ảnh và đưa ra thông tin.
– Phân tách video thành các khung hình.
– Phát hiện đối tượng chuyển động trong cảnh
video.
– Phân loại dựa vào các đặc trưng hình học,
chuyển động.
– Theo dõi chuyển động dựa vào đặc tính không
gian, thời gian.
5. Phương pháp tiến hành
• Bước 1:
– Sưu tập tài liệu
• Bước 2.
– Phân tích cấu trúc một hệ thống; Thống kê, phân

tích và đánh giá các phương pháp đã sử dụng;
– Kết hợp một số thuộc tính, phương pháp để giải quyết
độ chính xác và tốc độ.
• Bước 3.
– Xây dựng chương trình thực nghiệm.
• Bước 4.
– Đánh giá và hiệu chỉnh thuật toán và chương
trình.

Phần 2
Đặt bài toán
Lĩnh vực nghiên cứu
• Nhận dạng ảnh là công đoạn cuối cùng và
quan trọng trong hệ thống xử lý ảnh
Dữ liệu đầu
vào là video.
Khung khai
phá dữ liệu
video
Dữ liệu đầu ra là dữ
liệu đối tượng quan
tâm
Nhận
dạng
video
Thu
nhận
video
Nén dữ
liệu

video
Tiền xử
lý
Tách nền
Phân
đoạn
Phân loại
Theo dõi
Phát
hiện
Lĩnh vực nghiên cứu liên quan
Ứng dụng của nhận dạng ảnh và video trong thực tế
Surveilance: giám sát Autonomous navigation: chuyển hướng tự động
Robot guidance: Hướng dẫn robot Industrial inspection: Kiểm duyệt công nghiệp
Microscopy: Kính hiển vi oceanography: Hải dương học
Ultrasonic imaging: siêu âm Hình ảnh aerial reconnaissance & mapping: Máy bay trinh sát
Radiology: X-Quang và lập bản đồ
Astronomy: Thiên văn học radar: Ra đa
Meteorology: khí tượng học remote sensing: Viễn thám
Seismology: địa chấn học Particle physics: Vật lý hạt
Hệ thống giám sát thông minh là gì?
• Là một hệ thống:
– Đầu vào: video, hình ảnh, âm thanh thu được từ
những nơi cần giám sát và tại thời gian xác định.
– Đầu ra: Tại khoảng thời gian xác định được
• Đối tượng chuyển động và không chuyển động.
– Nền ảnh tĩnh
– Đối tượng chuyển động
• Loại đối tượng chuyển động.
– Ô tô, xe máy, người đi bộ và phương tiện khác

• Chuyển động của đối tượng như thế nào.
– Vận tốc, quỹ đạo
Hệ thống giám sát thông minh bao gồm:
Object Detection
Object Classification
Object
Tracking
Phân tách bài toán nhận dạng video
• Bài toán 1: Phát hiện các đối tượng chuyển động
– Tách các đối tượng chuyển động ra khỏi các khung hình.
– Phương pháp thường được sử dụng:
• Phương pháp trừ ảnh nền,
• Phương pháp dựa trên thống kê,
• Phương pháp chênh lệch tạm thời,
• Phương pháp dựa trên luồng thị giác.
• Bài toán 2: Phân lớp đối tượng
– Phân loại ra các lớp đối tượng đã được định nghĩa trước:
• Lớp người, lớp phương tiện, lớp động vật,…
– Có hai hướng chính tiếp cận:
• Dựa trên hình dáng
• Dựa trên chuyển động của các đối tượng.
• Bài toán 3: Theo dõi đối tượng
– Đưa ra chuỗi các hành vi của đối tượng.
• Đường đi của đối tượng,
• Tốc độ hay hướng chuyển động của đối tượng.

Bài toán 1
Phát hiện
các đối tượng chuyển động
Sơ đồ khái quát hệ thống phát hiện đối tượng

Phát hiện các vùng ảnh nổi
• Các phương pháp trừ ảnh nền
– Background Subtraction
• Các phương pháp dựa trên thống kê
– Statistical Methods
• Các phương pháp dựa trên sự chênh lệnh tạm
thời giữa các khung hình
– Temporal Differencing

Xử lý các vùng ảnh nổi
• Tiền xử lý mức điểm ảnh nổi
– Loại bỏ nhiễu, phát hiện và loại bỏ bóng, …
• Phân tích liên kết các khối:
– Liên kết các vùng điểm ảnh thành các khối
• Tiền xử lý các vùng ảnh nổi:
– Kết hợp các khổi ảnh nổi đã được phân tích để đưa
ra các đối tượng đã được làm sạch.
• Xác định tính chất đối tượng:
– Xác định hình bao, diện tích, vị trí, …
Lược đồ xử lý điểm ảnh nổi
Bài toán 2
Phân loại đối tượng
Ba phương pháp phân loại đối tượng
• Phân loại dựa trên hình dạng
(shape)
• Phân loại dựa trên sự chuyển động
(motion)
• Phân loại dựa trên sự kết hợp hình
dạng và chuyển động
Phân loại dựa trên hình dạng (shape)

Phân loại dựa trên hình dạng (shape)