Một số phương pháp giám sát vật thể và ứng dụng particle filter

..

ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

NGUYỄN NHỊ HÀ

MỘT SỐ PHƯƠNG PHÁP GIÁM SÁT VẬT THỂ
VÀ ỨNG DỤNG PARTICLE FILTER

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

THÁI NGUYÊN - 2017


ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

NGUYỄN NHỊ HÀ

MỘT SỐ PHƯƠNG PHÁP GIÁM SÁT VẬT THỂ
VÀ ỨNG DỤNG PARTICLE FILTER
Chuyên ngành: Khoa học máy tính
Mã số: 60.48.01.01

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Người hướng dẫn khoa học: TS. Nguyễn Toàn Thắng

THÁI NGUYÊN - 2017

i

LỜI CAM ĐOAN

Tên tôi là: Nguyễn Nhị Hà
Sinh ngày:
Học viên lớp cao học CHK13A - Trường Đại học Công nghệ thông tin và
Truyền thông - Đại học Thái Nguyên.
Hiện đang công tác tại:
Xin cam đoan: Đề tài “Một số phương pháp giám sát vật thể và ứng dụng
Particle Filter” do Thầy giáo TS. Nguyễn Tồn Thắng hướng dẫn là cơng trình
nghiên cứu của riêng tơi. Tất cả tài liệu tham khảo đều có nguồn gốc, xuất xứ rõ
ràng.
Tác giả xin cam đoan tất cả những nội dung trong luận văn đúng như nội dung
trong đề cương và yêu cầu của thầy giáo hướng dẫn. Nếu sai tơi hồn tồn chịu trách
nhiệm trước hội đồng khoa học và trước pháp luật.
Thái Nguyên, ngày 8 tháng 2 năm 2017
Tác giả luận văn

Nguyễn Nhị Hà


ii

LỜI CẢM ƠN
Sau một thời gian nghiên cứu và làm việc nghiêm túc, được sự động viên,
giúp đỡ và hướng dẫn tận tình của Thầy giáo hướng dẫn TS. Nguyễn Toàn Thắng, luận
văn với đề tài “Một số phương pháp giám sát vật thể và ứng dụng Particle Filter” đã
hoàn thành.

Tơi xin bày tỏ lịng biết ơn sâu sắc đến:
Thầy giáo hướng dẫn TS. Nguyễn Tồn Thắng đã tận tình chỉ dẫn, giúp đỡ
tơi hồn thành luận văn này.
Khoa Sau đại học, Trường Đại học công nghệ thông tin và truyền thơng đã
giúp đỡ tơi trong q trình học tập cũng như thực hiện luận văn.
Tôi xin chân thành cảm ơn bạn bè, đồng nghiệp và gia đình đã động viên,
khích lệ, tạo điều kiện giúp đỡ tơi trong suốt q trình học tập, thực hiện và hồn
thành luận văn này.
Thái Nguyên, ngày 8 tháng 2 năm 2017
Tác giả luận văn

Nguyễn Nhị Hà


iii

MỤC LỤC
LỜI CAM ĐOAN ...................................................................................................... i
LỜI CẢM ƠN ........................................................................................................... ii
DANH MỤC CÁC TỪ VIẾT TẮT ..........................................................................v
DANH MỤC CÁC HÌNH ẢNH ............................................................................. vi
DANH MỤC BẢNG BIỂU ................................................................................... viii
MỞ ĐẦU ....................................................................................................................1
1. Tính khoa học và cấp thiết của đề tài .................................................................1
2. Mục tiêu, đối tượng và phạm vi nghiên cứu của đề tài ......................................1
3. Phương pháp luận nghiên cứu ............................................................................2
4. Nội dung và bố cục của luận văn ........................................................................3
CHƯƠNG 1TỔNG QUAN VỀ GIÁM SÁT VẬT THỂ CHUYỂN ĐỘNG ............... 4
Giới thiệu chương ...........................................................................................4
Bài toán giám sát vật thể chuyển động ...........................................................4

Hệ thống giám sát vật thể chuyển động ..........................................................7
Phát hiện các đối tượng chuyển động .............................................................9
1.4.1

Các khái niệm cơ bản về video ...............................................................9

1.4.2

Các hướng tiếp cận trong phát hiện đối tượng chuyển động ................11

Phân loại đối tượng chuyển động ..................................................................18
1.5.1

Phân loại dựa trên hình dạng (Shape- based Classification).................18

1.5.2

Phân loại dựa trên chuyển động (Motion- based Classification) ..........19

Theo vết đối tượng chuyển động...................................................................20
1.6.1

Chính xác hoá đối tượng tương ứng (Object matching) .......................21

1.6.2

Xử lý nhập nhằng - Occlusion ..............................................................22

1.6.3

Dự đoán chuyển động của đối tượng ....................................................23

Ứng dụng của bài toán giám sát vật thể ........................................................23
Kết luận chương ............................................................................................27
CHƯƠNG 2 MỘT SỐ PHƯƠNG PHÁP GIÁM SÁT VẬT THỂ CHUYỂN ĐỘNG .28
Giới thiệu chương .........................................................................................28


iv

Một số phương pháp giám sát vật thể ...........................................................28
2.2.1

Phương pháp so khớp mẫu (Template Matching) .................................28

2.2.2

Phương pháp Meanshift ........................................................................29

2.2.3

Lọc Kalman ...........................................................................................31

2.2.4

Particle Filter .........................................................................................33

Cơ sở toán học của Particle Filter .................................................................35
2.3.1

Phương pháp Monte Carlo ....................................................................37

2.3.2

Phương pháp hàm tích lũy xác suất nghịch đảo ....................................39

2.3.3

Phương pháp lấy mẫu loại trừ ...............................................................40

2.3.4

Phương pháp Metropolis-Hasting .........................................................42

2.3.5

Phương pháp lấy mẫu quan trọng .........................................................44

2.3.6

Phương pháp lấy mẫu quan trọng tuần tự .............................................47

Vấn đề chọn hàm mật độ đề xuất ..................................................................49
Tái chọn mẫu .................................................................................................52
Các phương pháp quan sát (Observation Models) ........................................57
2.6.1

Quan sát dựa vào hình dáng (Shape Information) ................................58

2.6.2

Quan sát dựa vào màu (Colour - histogram) .........................................58

2.6.3

Quan sát dựa vào Mẫu (Template - based ) ..........................................61

Mơ hình ước lượng trạng thái .......................................................................62
Thuật toán lọc Particle ..................................................................................63
Kết luận chương ............................................................................................64
CHƯƠNG 3 XÂY DỰNG CHƯƠNG TRÌNH THỬ NGHIỆM ỨNG DỤNG
THUẬT TOÁN PARTICLE FILTER .................................................66
Giới thiệu chương .........................................................................................66
Cài đặt thuật toán Particle Filter giám sát chuyển động tay người ...............67
Đánh giá và so sánh kết quả với một số phương pháp khác .........................68
Xây dựng ứng dụng điều khiển máy tính bằng chuyển động của tay ...........70
Kết luận chương ............................................................................................72
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .............................................................73
TÀI LIỆU THAM KHẢO ......................................................................................75


v

DANH MỤC CÁC TỪ VIẾT TẮT
Từ hoặc
cụm từ

Từ tiếng Anh

Từ tiếng Việt

CDF

Cumulative Distribution Function Hàm phân phối tích lũy

HMM

Hidden Markov Model

Mơ hình Markov ẩn

MCMC

Markov Chain Monte Carlo

Phương pháp chuỗi Markov Monte Carlo

UKF

Unscented Kalman Filter

Lọc Kalman Unscented

EKF

Extended Kalman Filter

Lọc Kalman mở rộng

IS

Importance Sampling

Phương pháp lấy mẫu quan trọng

PCA

Principal Component Analysis

Phương pháp phân tích thành phần chính

RMS

Root Mean Square

Sai số tồn phương trung bình

SIS

Sequential Importance Sampling

Thuật tốn lấy mẫu quan trọng tuần tự

SMC

Sequential Monte Carlo

Phương pháp tuần tự Monte Carlo

vi

DANH MỤC CÁC HÌNH ẢNH
Hình 1.1. Mơ hình các bài toán cần giải quyết trong hệ thống giám sát vật thể [3] ...7
Hình 1.2. Cấu trúc phân đoạn video............................................................................9
Hình 1.3. Chuyển đổi Lia giữa khung hình thứ 3 và thứ 4 .........................................9
Hình 1.4. Bốn khung hình khác nhau song có cùng một biểu đồ màu .....................10
Hình 1.5. Tổng quan các khối xử lý trong bài toán phát hiện đối tượng ..................11
Hình 1.6. Phát hiện các vùng ảnh nổi .......................................................................12
Hình 1.7. Mô tả nhược điểm của phương pháp chênh lệch tạm thời ........................15
Hình 1.8. Xử lý các vùng ảnh nổi (Foreground Processing).....................................15
Hình 1.9. Xử lý các vùng ảnh nổi .............................................................................17
Hình 1.10. Tổng quan các khối xử lý trong bài toán theo vết đối tượng ..................20
Hình 1.11. Minh hoạ sự chính xác hố đối tượng .....................................................21
Hình 1.12. Một ví dụ theo vết có sự nhập nhằng ......................................................22
Hình 1.13. Giám sát giao thơng ................................................................................24
Hình 1.14. Theo dõi người đi bộ ...............................................................................25
Hình 1.15. Nhận diện khn mặt người ....................................................................25
Hình 1.16. Hệ thống camera điều khiển xe tự hành SCABOR .................................26
Hình 1.17. Tương tác giữa người và máy thơng qua cử động ..................................26
Hình 2.1. Biểu đồ xác định giá trị lớn nhất của hàm mật độ trong một khoảng
nào đó ....................................................................................................29
Hình 2.2. Biểu đồ xác định giá trị lớn nhất của hàm mật độ trong khoảng nào đó bằng
cách thay đổi y .......................................................................................30
Hình 2.3. Ví dụ về phương pháp lấy mẫu loại trừ ....................................................41
Hình 2.4. Phương pháp lấy mẫu quan trọng tuần tự .................................................47
Hình 2.5. Ví dụ về trường hợp dẫn đến sai lầm khi chọn hàm mật độ .....................51
Hình 2.6. Ví dụ về thuật toán tái chọn mẫu hệ thống ...............................................55

vii

Hình 2.7. Ví dụ về bộ lọc hạt để khởi tạo và lấy mẫu ...............................................58
Hình 2.8. Biểu đồ màu của khung được chọn ...........................................................60
Hình 3.1. Giao diện chương trình thử nghiệm thuật tốn Particle Filter ..................68
Hình 3.2. Kết quả thử nghiệm ước lượng theo thuật tốn Particle Filter ..................69
Hình 3.3. Kết quả thử nghiệm ước lượng theo thuật toán EKF ................................69
Hình 3.4. Giao diện chương trình minh họa điều khiển máy tính bằng cử chỉ .........70


viii

DANH MỤC BẢNG BIỂU
Bảng 3.1. Các module chính của chương trình .........................................................67
Bảng 3.2. Các mẫu đại diện cho các lệnh điều khiển máy tính ................................71


1

MỞ ĐẦU
1. Tính khoa học và cấp thiết của đề tài
Ngày nay, vấn đề giám sát vật thể (video) đã và đang thu hút được nhiều sự
quan tâm của cộng đồng nghiên cứu bởi nó có nhiều ứng dụng trong lĩnh vực giải trí,
truyền thơng, thị giác máy và đa phương tiện. Giám sát vật thể có nhiều ứng dụng
trong xử lý và biên tập video số, nén video, trong các thư viện số, trong các hệ giám
sát và theo dõi tự động v.v…
Trong lĩnh vực giám sát vật thể đã có nhiều kết quả nghiên cứu được cơng bố.
Những phương pháp cổ điển và áp dụng rộng rãi bao gồm lọc Kalman, phương pháp so
khớp mẫu, giám sát dựa trên mơ hình 3D của đối tượng, phương pháp
Meanshift/Camshift, giám sát dựa trên nhận diện v.v… Tuy nhiên, các phương pháp này

đều có những hạn chế nhất định và việc xây dựng một phương pháp giám sát vật thể hiệu
quả hơn vẫn đang là một nhu cầu cấp thiết, cả về tính khoa học và thực tiến.
Particle filter là một phương pháp thành cơng trong bài tốn theo dõi, giám sát
vật thể. Nó là một phương pháp mới đang là sự tập trung của nhiều nghiên cứu hiện
nay bởi nó khắc phục được nhược điểm của các phương pháp cổ điển.
Với những lý do trên, tác giả đã chọn đề tài “ Một số phương pháp giám sát
vật thể và ứng dụng Particle Filter” làm đề tài nghiên cứu luận văn tốt nghiệp thạc
sĩ chuyên ngành Khoa học máy tính.
2. Mục tiêu, đối tượng và phạm vi nghiên cứu của đề tài
Đề tài nhằm thực hiện các mục tiêu sau:
- Nghiên cứu một số phương pháp giám sát chuyển động của vật thể đã công
bố như: phương pháp so khớp mẫu, thuật toán Meanshift/Camshift, lọc Kalman.
- Nghiên cứu thuật toán Particle Filter.
- Nghiên cứu áp dụng Particle Filter trong bài toán giám sát chuyển động của
tay người trong video.


2

Chính vì vậy, đối tượng và phạm vi nghiên cứu của đề tài gồm:
 Đối tượng nghiên cứu
Nghiên cứu phát triển phương pháp giám sát vật thể đơn chuyển động sử dụng
Particle filter. Đối tượng giám sát là chuyển động của tay người phục vụ bài tốn
tương tác máy tính thông qua cử chỉ.
 Phạm vi nghiên cứu
Về lý thuyết:
- Chuyển động trong video; Bài toán giám sát vật thể chuyển động.
- Nghiên cứu một số phương pháp giám sát chuyển động đã công bố.
- Nghiên cứu phương pháp giám sát vật thể chuyển động đơn lẻ không bị che
khuất.

- Áp dụng thuật toán Particle Filter trong giám sát vật thể chuyển động trong
video.
Về thực nghiệm:
- Cài đặt thuật toán Particle Filter để theo dõi chuyển động của tay người
trong video.
- Xây dựng chương trình thử nghiệm theo dõi chuyển động của tay người và
ứng dụng thực hiện một số thao tác điều khiển máy tính sử dụng cử chỉ tay.
- So sánh kết quả thu được với một số phương pháp theo dõi vật thể đã
công bố.
3. Phương pháp luận nghiên cứu
- Phương pháp nghiên cứu lý thuyết: Tổng hợp, nghiên cứu các tài liệu thuật
toán giám sát vật thể, tập trung sâu vào các ứng dụng của thuật toán Particle Filter trong
bài toán giám sát vật thể chuyển động; Tìm hiểu các kiến thức liên quan.
- Phương pháp nghiên cứu thực nghiệm: Sau khi nghiên cứu lý thuyết, luận
văn sẽ tập trung vào xây dựng chương trình mơ phỏng ứng dụng thuật toán Particle
Filter trong bài toán giám sát chuyển động của tay người trong video
- Phương pháp trao đổi khoa học: Thảo luận, xemina, lấy ý kiến chuyên gia.


3

4. Nội dung và bố cục của luận văn
Ngoài phần mở đầu, kết luận và hướng phát triển, luận văn được bố cục thành
ba chương chính như sau:
Chương 1: Tổng quan về bài toán giám sát vật thể chuyển động
- Giới thiệu bài tốn giám sát vật thể, phân tích các bước trong quy trình giám
sát vật thể chuyển động.
- Ứng dụng của bài toán giám sát vật thể trong các lĩnh vực khác nhau của đời
sống xã hội.
Chương 2. Một số thuật toán giám sát vật thể chuyển động

- Tập trung phân tích một số thuật tốn kinh điển ứng dụng trong giám sát vật
thể chuyển động như: phương pháp so khớp mẫu, thuật toán Meanshift/Camshift, lọc
Kalman.
- Nghiên cứu cơ sở toán học của thuật toán Particle Filter , ứng dụng thuật toán
trong giám sát vật thể chuyển động
Chương 3. Xây dựng chương trình thử nghiệm ứng dụng thuật toán
Particle Filter
- Phát biểu bài toán giám sát chuyển động của tay người trong video; Xây
dựng chương trình minh họa ứng dụng thuật toán Particle Filter cho bài toán giám sát
chuyển động của tay người
- So sánh hiệu quả của thuật toán Particle Filter với các thuật toán kinh điển khác
- Xây dựng chương trình nhận dạng cử chỉ từ kết quả đạt được khi áp dụng
thuật toán Particle Filter cho bài toán giám sát chuyển động của tay người.


4

CHƯƠNG 1 TỔNG QUAN VỀ
GIÁM SÁT VẬT THỂ CHUYỂN ĐỘNG
Giới thiệu chương
Một trong những mục tiêu quan trọng của luận văn là chứng minh khả năng
áp dụng thuật toán thuật toán Particle Filter trong bài toán giám sát vật thể so với các
thuật toán kinh điển thường được sử dụng trước đó. Chính vì vậy, phần đầu nội dung
chương 1 của luận văn sẽ phát biểu bài toán giám sát vật thể chuyển động, mô tả các
khâu chức năng trong hệ thống giám sát vật thể chuyển động. Tiếp theo, luận văn tập
trung vào phân tích một số hướng tiếp cận nhằm xử lý ba bài toán nhỏ trong giám sát
vật thể chuyển động là: phát hiện các đối tượng, phân vùng đối tượng và theo vết đối
tượng. Cuối cùng là một số ứng dụng của giám sát vật thể trong đời sống. Các nội
dung này chính là cơ sở cho việc trình bày về thuật tốn Particle Filter và ứng dụng
trong giám sát vật thể ở các chương tiếp sau.

Bài toán giám sát vật thể chuyển động
Bài toán giám sát vật thể thời gian thực thơng qua hình ảnh video là một công
đoạn trong rất nhiều ứng dụng thị giác máy tính. Mục tiêu chính của bài tốn này là
“hiểu” được những chuyển động của vật thể, “hiểu” những thơng tin về vật thể gồm
vị trí trong khơng gian, vận tốc chuyển động và những đặc trưng vật lý khác. Như
vậy, nhìn một cách tổng quan ta có thể thấy rằng:
- Đầu vào của bài tốn sẽ là hình ảnh thu được tại các điểm quan sát
- Đầu ra của bài tốn sẽ là các thơng tin về chuyển động, hành vi, lớp… của
các đối tượng được giám sát.
Trong thực tế, việc giải quyết bài toán này thường được đưa về giải quyết tập
hợp ba bài toán nhỏ sau đây [3]
 Bài toán 1: Phát hiện các đối tượng chuyển động
Đây là là bước cơ bản đầu tiên trong bài tốn giám sát vật thể chuyển động
bằng video, cơng việc này khái quát lại đó là việc tách các các đối tượng chuyển động
trong/từ các hình ảnh nền của các đối tượng đó.


5

Một số phương pháp thường được sử dụng để phát hiện các đối tượng chuyển
động là [1]
- Dựa trên đặc trưng: Phương pháp này có nhiều cách chọn đặc trưng như:
dựa trên hình dáng, màu sắc. Trong đó, dựa trên màu sắc được xem là thơng dụng
nhất vì màu sắc thì dễ dàng lấy được và chi phí tính tốn thấp.
- Dựa trên mẫu: Nếu như có mẫu mơ tả đối tượng, thì việc phát hiện đối tượng
trở thành quá trình so khớp các đặc trưng giữa mẫu và chuỗi ảnh. Việc so khớp chính
xác các đặc trưng thường tốn nhiều chi phí và phụ thuộc vào chi tiết, mức độ chính
xác của mẫu đối tượng.
- Dựa trên chuyển động: Hầu hết các hệ thống theo dõi đều quan tâm đến các
đối tượng đang chuyển động. Có rất nhiều thuật tốn phát hiện chuyển động đã được

cơng bố. Trong đó, kỹ thuật lấy ngưỡng được sử dụng nhằm chống nhiễu, gia tăng
hiệu quả của thuật toán. Một số phương pháp theo cách tiếp cận này là: phát hiện
chuyển động dựa trên sự khác biệt theo thời gian, phát hiện chuyển động dựa trên
phương pháp trừ nền.
 Bài toán 2: Phân vùng đối tượng chuyển động
Là công việc phân loại ra các vùng đối tượng đã được tìm ra theo các lớp đã
được định nghĩa trước. Ví dụ như: Lớp người, lớp phương tiện, lớp động vật... Đây
là bước cần thiết để có thể tiếp tục phân tích các hoạt động của chúng.
Việc phân vùng thường dựa trên thông tin vận tốc chuyển động ví dụ như từ
các đối tượng ở giai đoạn đầu, ta kết hợp các đối tượng có cùng vận tốc chuyển động
theo một ràng buộc nào đó chẳng hạn là tính lân cận.
Ta có các cách tiếp cận sau [1]
- Phân vùng dựa trên các phép đo cục bộ
- Phân vùng dựa trên phân cụm đơn giản hay sự mâu thuẫn với vận tốc nền
- Phân vùng dựa trên các phép biến đổi ảnh phân tích
- Phân vùng dựa trên q trình quy tắc hóa
- Phân vùng dựa trên phân cụm có sắp xếp tồn cục.


6

 Bài tốn 3: Theo vết đối tượng chuyển động
Đó là công việc đưa ra một chuỗi các hành vi của đối tượng chuyển động trong
một thời gian từ các khung hình thu được. Thủ tục này đưa ra các thông tin về đối
tượng được theo dõi như: đường đi của đối tượng, tốc độ hay hướng chuyển động của
đối tượng. Từ đó có thể dự đốn được hành động của các đối tượng và mô tả được
hành động của chúng. Đầu vào của q trình này đó là các đầu ra các quá trình tìm
và phân vùng đối tượng chuyển động.
Trong một đối tượng có rất nhiều đặc trưng: đặc trưng về mơ hình, đặc trưng
về cấu trúc, đặc trưng về màu sắc. Vì vậy cũng có rất nhiều phương pháp theo vết đối

tượng khác nhau như theo vết đối tượng theo hướng hình học, theo đặc trưng của đối
tượng. Sau đây là một số phương pháp theo vết đối tượng thường gặp [3]
Theo vết dựa vào mơ hình: Hệ thống theo vết dựa vào mơ hình 2D hay 3D đã
được tìm hiểu trước đây. Mơ hình này áp dụng hiệu quả trong việc tìm ra đường đi
của các mơ hình u cầu độ chính xác cao mà số lượng các đối tượng theo dõi là ít.
Các mơ hình 2D được giới thiệu để khắc phục những nhược điểm trong mơ hình 3D
do mơ hình hình học 3D q chi tiết. Nhược điểm của cách tiếp cận này là q trình
khởi tạo tự động khó, chi phí tính tốn cao do độ phức tạp của mơ hình
Theo vết đối tượng dựa vào miền: Ý tưởng là nhận dạng những miền liên kết
với nhau trong ảnh, khối mà có liên kết với mục tiêu được theo dõi. Dựa vào độ đo
tương quan chéo để theo dõi đối tượng. Lợi ích của phương pháp này là khởi tạo khá
dễ dàng, chỉ có vị trí và kích thước của cửa sổ cần được định nghĩa.
Theo vết đối tượng dựa vào đường bao động (Active Contour): Là ý tưởng
biểu diễn đường viền bao đối tượng được theo dõi, và liên tục cập nhật tự động đối
tượng đó. Ưu điểm của cách tiếp cận này là là khả năng xử lý hiệu quả sự che khuất
một phần. Nhưng vấn đề yêu cầu là khởi tạo chính xác, và điều này thì khó thực hiện
tự động.
Theo vết đối tượng dựa vào đặc trưng: Phương pháp dựa trên đặc trưng chỉ
giám sát một tập các đặc trưng của đối tượng. Chẳng hạn chỉ giám sát các điểm ở góc
của đối tượng, vị trí của đối tượng trong frame sau sẽ được tìm thấy bằng cách tìm


7

các điểm góc mà khớp với các điểm của mơ hình nhất. Ưu điểm của cách tiếp cận
này là xử lý được sự che khuất một phần. Khi đối tượng bị che khuất, một số đặc
trưng vẫn còn thấy được và có thể dùng trong q trình giám sát. Khuyết điểm của
phương pháp này là chất lượng giám sát phụ thuộc nhiều vào việc chọn các đặc trưng.
Các đặc trưng phải được chọn sao cho chúng cung cấp sự nhận diện duy nhất cho đối
tượng, đó khơng phải là một nhiệm vụ dễ.

Nhìn chung, ba bài tốn kể trên khơng những được nghiên cứu và áp dụng trong
các giám sát vật thể chuyển động mà còn được áp dụng trong các lĩnh vực khác như: thực
tại ảo, nén hình ảnh, giao diện người máy, biên tập video và cơ sở dữ liệu đa phương tiện,
là các hướng tiếp cận phát triển công nghệ đa phương tiện trong tương lai.
Hệ thống giám sát vật thể chuyển động
Mơ hình khái qt chung cho hệ thống giám sát vật thể chuyển động được chỉ
ra trong Hình 1.1.

PHÁT HIỆN ĐỐI TƯỢNG

PHÂN LỚP ĐỐI TƯỢNG

THEO DÕI ĐỐI TƯỢNG

THƠNG TIN ĐỐI TƯỢNG
CHUYỂN ĐỘNG
Hình 1.1. Mơ hình các bài toán cần giải quyết trong hệ thống giám sát vật thể [3]


8

Đầu vào của hệ thống là các khung hình video thu được. Qua quá trình xử lý
phát hiện đối tượng chuyển động (Object Detection) sẽ đưa ra các đối tượng chuyển
động trong các khung hình video. Các đối tượng được phát hiện (cụ thể là các vết
chuyển động) sẽ qua quá trình phân lớp đối tượng (Object Classification) để phân lớp
các đối tượng đó thuộc lớp nào, sự vật nào. Và cuối cùng là quá trình xử lý để theo
vết đối tượng (Object Tracking) đó là việc tìm ra đường chuyển động của đối tượng,
dự đoán chuyển động, và việc xử lý các nhập nhằng trong chuyển động của nhiều đối
tượng khác nhau trong một đoạn video.
Mức khó khăn khi xây dựng hệ thống trên phụ thuộc vào loại đối tượng muốn

phát hiện và giám sát. Nếu như chỉ có một vài đặc trưng chẳng hạn như màu sắc …
được dùng để biểu diễn đối tượng, thì khá dễ dàng xác định tất cả các pixel cùng màu
với đối tượng. Nhưng thực tế hồn tồn khác, ví dụ như một người cụ thể sẽ có đầy
đủ các chi tiết và thông tin nhiễu như các tư thế và sự chiếu sáng khác nhau, khó phát
hiện, nhận diện và giám sát. Hầu hết các khó khăn này nảy sinh từ khả năng biến
động của ảnh video bởi vì các đối tượng video thường là các đối tượng chuyển động.
Khi đối tượng chuyển động qua vùng quan sát của camera, hình ảnh về đối tượng có
thể thay đổi. Sự thay đổi này đến từ một số nguồn chính như: thay đổi tư thế đối
tượng, sự biến dạng của đối tượng, thay đổi về độ chiếu sáng, và sự che khuất một
phần hay tồn bộ đối tượng.
Như vậy, để thực hiện thành cơng hệ thống giám sát vật thể chuyển động cần
đồng thời thực hiện tốt ba khâu kể trên. Vấn đề này đã được nghiên cứu và phát triển
trong nhiều năm. Tuy nhiên, hướng phát triển và hoàn thiện các khối xử lý phát hiện,
phân loại và theo dõi đối tượng chuyển động vẫn đang được quan tâm. Các hướng
tiếp cận mới này nhằm phát hiện, phân loại và theo dõi các đối tượng một cách hiệu
quả, tính chính xác cao nhất với điều kiện mơi trường, hồn cảnh giám sát khác nhau.
Các phần tiếp theo của chương sẽ cập nhật tóm lược một số hướng tiếp cận chính
nhằm giải quyết ba bài toán nhỏ trong hệ thống giám sát vật thể chuyển động.


9

Phát hiện các đối tượng chuyển động
Đầu vào của bài tốn phát hiện đối tượng chuyển động như đã trình bày ở trên
đó là các khung hình video thu được từ các điểm quan sát, theo dõi. Như vậy để có
thể giải quyết bài tốn phát hiện đối tượng chuyển động ta cần nghiên cứu một số đặc
điểm của video (đầu vào của bài toán).
1.4.1 Các khái niệm cơ bản về video
Video là tập hợp các khung hình, mỗi khung hình là một ảnh. Shot (lia) là đơn
vị cơ sở của video. Một lia là một đơn vị vật lý của dịng video, gồm các chuỗi các

khung hình liên tiếp, không thể chia nhỏ hơn, ứng với một thao tác camera đơn.
Scene (cảnh) là các đơn vị logic của dòng video, một cảnh gồm các lia liên
quan về không gian và liền kề về thời gian, cùng mô tả một nội dung ngữ nghĩa hoặc
một tình tiết.

Hình 1.2. Cấu trúc phân đoạn video
Khi phim được chiếu, các khung hình lần lượt được hiển thị ở tốc độ nhất định.
Tốc độ thường thấy ở các định dạng video khác nhau là 30 và 25 hình/s. Như vậy một
giờ video sẽ có số khung hình tương ứng là 108000 hoặc là 90000. Dù là video ở định
dạng nào thì nó cũng có dung lượng rất lớn và nếu xử lý với tất cả các khung hình thì
thật khơng hiệu quả.

Hình 1.3. Chuyển đổi Lia giữa khung hình thứ 3 và thứ 4


10

Phân đoạn là q trình phân tích và chia nội dung hình ảnh video thành các
đơn vị cơ sở gọi là các lia (shot). Việc lấy mẫu chính là chọn gần đúng một khung
video đại diện cho mỗi lia (hoặc nhiều hơn tùy theo mức độ phức tạp của nội dung
hình ảnh của lia) và được gọi là các khung-khóa. Như vậy, khung - khóa là khung
hình đại diện mơ tả nội dung chính của shot.
Q trình phân đoạn dữ liệu video tiến hành phân tích, phát hiện sự chuyển
đổi từ lia này sang lia khác hay chính là sự phát hiện ranh giới giữa các lia (đó chính
là đo sự khác nhau giữa các khung hình liền kề). Trong Hình 1.3 là ví dụ về sự chuyển
đổi giữa các lia:
Video có 4 đặc trưng chính đó là: Color (màu), Texture (kết cấu), Shape (hình
dạng), Motion (chuyển động).
 Color
Màu là một thuộc tính quan trọng của ảnh. Biểu đồ màu, biểu diễn sự phân bố

màu, là một đặc trưng màu phổ biến nhất hiện nay. Biểu đồ màu không phụ thuộc
vào sự quay, dịch chuyển ảnh cũng như chiều nhìn ảnh. Tính hiệu quả của nó lại phụ
thuộc vào hệ màu và phương pháp định lượng được dùng. Có một vấn đề với biểu đồ
màu là nó khơng biểu diễn thông tin về không gian phân bố các điểm ảnh, do đó hai
ảnh có cùng biểu đồ màu có thể có nội dung rất khác nhau.

Hình 1.4. Bốn khung hình khác nhau song có cùng một biểu đồ màu
 Texture
Đây là một đặc trưng quan trọng của bề mặt, nơi xảy ra việc lặp lại mẫu cơ
bản. Có hai dạng biểu diễn texture phổ biến: biểu diễn dạng ma trận đồng thời và biểu
diễn Tamura. Ma trận đồng thời mô tả hướng và khoảng cách giữa các điểm ảnh, nhờ
đó các thống kê có nghĩa có thể được trích chọn. Ngược lại, người ta thấy rằng entropi
và mô men chênh lệch nghịch đảo lại có khả năng phân biệt tốt nhất. Biểu diễn
Tamura được thúc đẩy nhờ các nghiên cứu về tâm lý trong việc thu nhận trực giác
của con người và nó bao gồm các đại lượng đo tính thơ, độ tương phản, hướng, tính


11

trơn, tính cân đối và độ ráp. Các đặc trưng Tamura rất hấp dẫn trong việc hiểu nội
dung ảnh vì nó biểu đạt trực quan. Ngồi ra cịn có một số các dạng biểu diễn khác
như trường ngẫu nhiên Markov, biến đổi Gabor, biến đổi gợn sóng.
 Shape
Các đặc trưng hình dáng có thể được biểu diễn sử dụng phân tích hình dáng
truyền thống như bất biến mơ men, mơ tả Fourier, mơ hình học tự động quay lui và
các thuộc tính hình học. Các đặc trưng này có thể được phân chia thành đặc trưng
toàn cục và đặc trưng cục bộ. Đặc trưng toàn cục là đặc trưng thuộc tính thu được từ
tồn bộ hình dáng ảnh, chẳng hạn như chu vi, tính trịn, mơ men trung tâm, hướng
trục chính... Đặc trưng cục bộ là đặc trưng thu được từ việc thao tác với một phần của
ảnh, không phụ thuộc vào tồn bộ ảnh.

 Motion
Motion là thuộc tính quan trọng của video. Thơng tin về chuyển động có thể
được sinh ra bằng các kỹ thuật ghép khối hoặc luồng ánh sáng. Các đặc trưng chuyển
động như mô men của trường chuyển động, biểu đồ chuyển động hoặc là các tham số
chuyển động tồn cục có thể được trích chọn từ vectơ chuyển động. Các đặc trưng
mức cao phản ánh di chuyển camera như quét camera (pan), nghiêng (tilt), phóng to
(zoom out), thu nhỏ (zoom in) cũng có thể được trích chọn.
1.4.2

Các hướng tiếp cận trong phát hiện đối tượng chuyển động
Các khung hình video

PHÁT HIỆN CÁC VÙNG ẢNH NỔI
(FOREGROUND DETECTION)

XỬ LÝ CÁC VÙNG ẢNH NỔI
(FOREGROUND
PROCESSING)

Các đối tượng chuyển động,
các tính chất của chúng

Hình 1.5. Tổng quan các khối xử lý trong bài toán phát hiện đối tượng


12

Đó là q trình đưa ra vết các đối tượng chuyển động từ các khung hình video. Quá
trình này thực chất là quá trình xử lý chuỗi ảnh liên tiếp trong một đoạn video để
phát hiện ra các đối tượng chuyển động trong một đoạn hình ảnh theo

Hình 1.5.
1.4.2.1 Phát hiện các vùng ảnh nổi
Phát hiện các vùng ảnh nổi là một module thiết yếu trong bài toán phát hiện
đối tượng chuyển động qua các khung hình video. Module này đóng vai trị xử lý các
khung hình video để đưa ra các vùng ảnh nổi lên trên các khung hình nền. Để minh
họa cho chức năng module này ta có thể xem Hình 1.6.

Hình 1.6. Phát hiện các vùng ảnh nổi
Các khung hình bên trái thu được sẽ được xử lý để đưa ra các vùng ảnh nổi
lên trên (Vết các đối tượng chuyển động trên một ảnh nền) được minh họa hình phía
bên phải. Vùng ảnh nổi thu được như quan sát, vẫn còn nhiều nhiễu, các đối tượng
chuyển động chưa có hình dạng rõ ràng do đó phải được xử lý ở module sau để có
thể đưa ra các đối tượng chuyển động với các tính chất của chúng.
Hình ảnh video là một chuỗi các khung hình liên tiếp được thể hiện trong một
thời gian. Phát hiện vùng ảnh nổi bản chất là việc so sánh các khung hình liên tiếp
trong một đoạn video để từ đó có thể đưa ra các vùng ảnh khác nhau giữa các khung
hình liên tiếp đó. Đây chính là ngun lý cơ bản để bắt được vết các đối tượng chuyển
động, vì chỉ khi có đối tượng chuyển động trong khung hình thì mới có sự khác nhau
giữa các khung hình liên tiếp từ đó sẽ thu được các vết chuyển động của vật thể. Đã
có nhiều phương pháp được đưa ra để giải quyết vấn đề này, các phương pháp giải


13

quyết có những ưu nhược điểm riêng phù hợp với các điều kiện và hoàn cảnh giám
sát khác nhau. Song khái quát lại có thể phân thành các loại phương pháp sau [3]
- Các phương pháp trừ ảnh nền (Background Subtraction)
- Các phương pháp dựa trên thông kê (Statistical Methods)
- Các phương pháp dựa trên sự chênh lệnh tạm thời giữa các khung hình
(Temporal Differencing)

 Các phương pháp trừ ảnh nền (Background subtraction)
Phương pháp trừ ảnh nền là phương pháp rất phổ biến và hiệu quả trong
việc giải quyết phân đoạn với những đoạn hình ảnh có khung cảnh tĩnh. Có nhiều
kỹ thuật trừ ảnh, bằng việc sử dụng phép trừ ảnh ở mức điểm ảnh, một khung hình
sẽ được so sánh với một hình nền để từ đó đưa ra vùng các điểm ảnh khác nhau
giữa khung hình đó và ảnh nền. Các điểm ảnh khác nhau sẽ được hiểu như là các
điểm ảnh nổi lên trên ảnh nền. Sau khi tìm ra các vùng ảnh nổi, các vùng này sẽ
được xử lý để lọc đi các nhiễu, các vết khơng phù hợp bằng một số thuật tốn lọc
nhiễu khác nhau.
Cụ thể xét một điểm ảnh I(x,y) trong một khung hình mới và B(x,y) là điểm
ảnh trên ảnh nền đều có tọa độ (x, y). Điểm ảnh I được coi là điểm ảnh nổi
(foreground) nếu:
|I(x,y) - B(x,y| > 

(1.1)

Trong đó  là một ngưỡng được định nghĩa từ trước
Ảnh nền B được cập nhật bằng cách sử dụng phương pháp lọc Infinite Impulse
Response (IIR) theo công thức sau:
Bt 1  I t  (1   ) Bt

(1.2)

Trong đó I t là điểm ảnh nổi tại thời điểm t, Bt là diểm anh nền tại thời điểm
t,  là tham số được định nghĩa trước


14

Phương pháp trừ ảnh nền được sử dụng khá phổ biến song nó khơng là lựa

chọn tốt đối với những đoạn video có khung cảnh khơng ổn định ví dụ như khung
cảnh ánh sáng luôn bị thay đổi liên tục hay những khung cảnh có độ nhiễu lớn (ví dụ
như những cây ln dao động liên tục khi có gió).
 Các phương pháp thông kê (Statistical Methods)
Phương pháp thống kê sử dụng việc thông kê các đặc điểm riêng của các điểm
ảnh để phát triển một thuật tốn có thể vượt qua được những khó khăn mà phương
pháp trừ ảnh nền gặp phải đó là những khó khăn gặp phải khi khung cảnh luôn thay
đổi bởi nhiều yếu tố môi trường. Có nhiều phương pháp thống kê, song phương pháp
thống kê cơ bản vẫn dựa trên kỹ thuật trừ ảnh nền song thêm vào đó nó thực hiện ăn
khớp, và cập nhật động thông tin các điểm ảnh thuộc ảnh nền đang được xử lý. Các
điểm ảnh nổi sẽ được xác định bởi việc so sánh các thông tin của điểm ảnh với các
mơ hình ảnh nền. Phương pháp này được sử dụng khá phổ biến trong những khung
cảnh có nhiều nhiễu, ánh sáng thay đổi liên tục.
Xét một hệ thống sử dụng phương pháp thông kê. Trong phương pháp này mỗi
điểm ảnh sẽ được biếu diễn bởi cường độ lớn nhất M và nhỏ nhất N và độ khác nhau
D giữa các khung hình liên tiếp được chỉ ra trong một khoảng thời gian mà ở đó chưa
có chuyển động của đối tượng. Một điểm ảnh I t tại thời điểm t được xác định là điểm
ảnh nổi lên khi :
| M ( x, y)  I t ( x, y) | D( x, y | hoặc | N ( x, y) |  I t ( x, y)  D( x, y)

(1.3)

Sau bước này các điểm ảnh nổi lên sẽ được xử lý để xóa đi các điểm có độ
nhiễu cao. Một ví dụ của phương pháp thống kê, Stauffer và Grismon mô tả một
phương pháp tương hợp các ảnh nền cho bài toán theo vết đối tượng. Phương pháp
của họ đó là mọi điểm ảnh sẽ được mơ hình hóa riêng rẽ bởi phép kết hợp Gauss.
Trong quá trình phát hiện liệu điểm ảnh này thuộc ảnh nền hay là điểm ảnh nổi lên,
phương pháp phân tán Gauss các mơ hình hỗn độn này sẽ đưa ra đánh giá về điểm
ảnh và có thể kết luận được điểm ảnh đó thuộc ảnh nền hay thuộc phần ảnh nổi lên
được phát hiện ra.

15

 Phương pháp chênh lệch tạm thời (Temporal Differencing)
Phương pháp chênh lệch tạm thời được thực hiện qua công thức

| I t ( x, y)  I t 1 ( x, y) | 

(1.4)

Trong đó I t ( x, y) là điểm ảnh có tọa độ (x,y) của khung hình tại thời điểm t
còn I t 1 là điểm ảnh có tọa độ (x,y) của khung hình tại thời điểm t-1. Cịn  là ngưỡng
được định nghĩa trước đó.

Hình 1.7. Mô tả nhược điểm của phương pháp chênh lệch tạm thời
Phương pháp chênh lệch tạm thời thực hiện việc phát hiện vùng chuyển động
bằng cách sử dụng sự khác nhau ở mức điểm ảnh giữa hai hoặc ba khung hình liên tiếp
trong một chuỗi các khung hình video. Phương pháp này khá tốt đối với khung cảnh
động nhiều thay đổi song nó lại thất bại trong việc phát hiện ra các điểm ảnh có liên quan
đến một số kiểu chuyển động. Ví dụ đối tượng chuyển động trong Hình 1.7. Vùng ảnh
màu đỏ là vùng đưa ra các điểm ảnh khác nhau dựa trên phương pháp chênh lệch tạm
thời song nó khơng thể đưa được ra tất các các vùng chuyển động của người đó.
1.4.2.2 Xử lý các vùng ảnh nổi

Hình 1.8. Xử lý các vùng ảnh nổi (Foreground Processing)