Nghiên cứu giải pháp ứng dụng camera giám sát trong an ninh và giao thông

..

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
--------------------------------------Phan Huy Tùng

NGHIÊN CỨU GIẢI PHÁP ỨNG DỤNG CAMERA GIÁM SÁT TRONG
AN NINH VÀ GIAO THƠNG

Chun ngành : Cơng nghệ thơng tin

LUẬN VĂN THẠC SĨ KHOA HỌC
CƠNG NGHỆ THƠNG TIN

NGƯỜI HƯỚNG DẪN KHOA HỌC
TS. Tạ Tuấn Anh

Hà Nội – 2011

1


LỜI CẢM ƠN
Sau hơn 6 năm học tập và rèn luyện tại trường Đại học Bách Khoa Hà
Nội, đến nay em đã hồn thành chương trình học tập và luận văn tốt nghiệp
Thạc sĩ khoa học chuyên ngành Công nghệ thơng tin.
Để có được những kết quả khiêm tốn ngày hôm nay, em xin trân trọng cảm
ơn:
 Ban giám hiệu nhà trường đã quan tâm, tạo điều kiện thuận lợi cho
chúng em học tập và rèn luyện tốt.
 Các Thầy, Cô trong viện Công nghệ thông tin và truyền thông đã tận

tâm giảng dạy, truyền đạt những kiến thức nền tảng là hành trang quý
báu để chúng em bước vào đời.
Em xin đặc biệt bày tỏ lịng kính trọng và biết ơn chân thành đến Thầy giáo,
Tiến sĩ Tạ Tuấn Anh, người đã trực tiếp hướng dẫn tận tình và tạo mọi điều
kiện giúp em hoàn thành được luận văn tốt nghiệp này. Em xin cảm ơn Thầy.
Em cũng xin được đặc biệt cảm ở đến các anh, chị đồng nghiệp tại công ty
CadPro đã tạo điều kiện, giúp đỡ em trong thời gian vừa qua.
Đồng thời, tôi cũng xin gửi lời cảm ơn đến :
 Bạn Nguyễn Danh Thắng, người đã nhiệt tình tham gia, giúp đỡ
để tạo bộ dữ liệu mẫu.
 Bạn Vũ Mạnh Thiên, người đã có những góp q báu trong q
trình thực hiện các nghiên cứu.
Cuối cùng, tôi xin được gửi lời cảm ơn đến gia đình và bạn bè, những người đã
ln ở bên, động viên và khích lệ tơi trong suốt chặng đường học tập đã qua.

2


Hà Nội, ngày 10, tháng 11, năm 2011

Phan Huy Tùng

3


MỤC LỤC
DANH MỤC CÁC THUẬT NGỮ VÀ KÝ HIỆU VIẾT TẮT ................................. 6
T
2
3

T
2
3

DANH MỤC CÁC HÌNH VẼ TRONG LUẬN VĂN .............................................. 7
T
2
3

T
2
3

MỞ ĐẦU .............................................................................................................. 10
T
2
3

32T

Chương 1 - CƠ SỞ LÝ THUYẾT ......................................................................... 13
T
2
3

T
2
3

Tổng quan ................................................................................................ 13

1.1
T
2
3

T
2
3

32T

Phát hiện chuyển động.............................................................................. 16

1.2
T
2
3

32T

T
2
3

32T

T
2

3

1.2.1
T
2
3

32T

1.2.2
T
2
3

32T

1.2.3
T
2
3

32T

1.2.4
T
2
3

32T

1.3
T
2
3

T
2
3

Các phương pháp cơ bản.................................................................... 19
32T

T
2
3

Các phương pháp nâng cao ................................................................ 29
32T

T
2
3

So sánh và đánh giá các phương pháp ................................................ 34
32T

T
2
3

Tracking ................................................................................................... 36

T
2
3

32T

32T

Kết chương ............................................................................................... 40

1.4
T
2
3

Các vấn đề của bài toán ..................................................................... 18
32T

T
2
3

32T

32T

Chương 2 - ỨNG DỤNG CAMERA GIÁM SÁT ĐỂ PHÁT HIỆN CHUYỂN
ĐỘNG ................................................................................................................... 41

T
2
3

32T

2.1
T
2
3

T
2
3

2.2
T
2
3

T
2
3

Tổng quan ................................................................................................ 41
32T

32T

Giải thuật phát hiện chuyển động ............................................................. 41

32T

T
2
3

2.2.1
T
2
3

32T

2.2.2
T
2
3

32T

2.3
T
2
3

T
2
3

T

2
3

T
2
3

32T

2.3.2
T
2
3

32T

2.3.3
T
2
3

32T

T
2
3

Giải thuật trung bình liên tục.............................................................. 43
32T

Thực nghiệm: vòng từ ảo .......................................................................... 50

2.3.1

2.4

T
2
3

32T

T
2
3

T
2
3

Giải thuật trừ frame............................................................................ 41
32T

Vòng từ vật lý .................................................................................... 50
32T

32T

Vòng từ ảo ......................................................................................... 51
32T

32T

Kết quả thực nghiệm .......................................................................... 54
32T

T
2
3

Kết chương ............................................................................................... 57
32T

32T

Chương 3 - ỨNG DỤNG CAMERA GIÁM SÁT TRONG TRONG HỆ THỐNG
GIÁM SÁT AN NINH .......................................................................................... 58
T
2
3

32T

3.1
T
2
3

T
2

3

3.2
T
2
3

T
2
3

Tổng quan ................................................................................................ 58
32T

32T

Các chức năng của hệ thống ..................................................................... 62
32T

T
2
3

4


3.2.1
T
2
3

Kiểm tra camera................................................................................. 62

32T

32T

3.2.2
T
2
3

Phát hiện kẻ xâm nhập ....................................................................... 64

32T

32T

3.2.3
T
2
3

32T

32T

32T

32T

32T

32T

32T

3.2.7

32T

32T

3.3

T
2
3

32T

Đếm đầu người .................................................................................. 80

3.2.8
T
2
3

32T

People tracking .................................................................................. 77

32T

T
2
3

T
2
3

Phát hiện mất đồ ................................................................................ 76

3.2.6
T
2
3

T
2
3

Phát hiện quên đồ .............................................................................. 73

3.2.5
T
2
3

T
2
3

Phát hiện vượt rào .............................................................................. 69

3.2.4
T
2
3

T
2
3

Phát hiện vào vùng cấm ..................................................................... 66

32T

T
2
3

32T

32T

32T

Kết chương ............................................................................................... 81

32T

32T

Chương 4 - GIẢI PHÁP ỨNG DỤNG CAMERA GIÁM SÁT TRONG GIAO
THƠNG ................................................................................................................ 82
T
2
3

32T

4.1
T
2
3

T
2
3

4.2
T
2
3

T
2
3

4.3
T
2
3

T
2
3

4.5
T
2
3

T
2
3

Tổng quan ................................................................................................ 82
32T

32T

Xác định các thơng số của phương tiện giao thông ................................... 82
32T

T
2
3

Các ứng dụng ........................................................................................... 83
32T

32T

Kết chương ............................................................................................... 85
32T

32T

KẾT LUẬN ........................................................................................................... 86
T
2
3

32T

DANH MỤC THAM KHẢO................................................................................. 87
T
2
3

32T

5


DANH MỤC CÁC THUẬT NGỮ VÀ KÝ HIỆU VIẾT TẮT
STT

Nghĩa

Từ

1

BG

Background – nền

2

FG

Foreground – tiền cảnh

3

KDE

Kernel Density Estimators

4

MDP

Motion Detection Problem

5

MM

Motion mask

6

MVC

Mẫu thiết kế Model–view–controller

7

OM

Object mask

8

ROI

Region of interest

9

Fps

frame per second

10

Frame

Khung ảnh

6


DANH MỤC CÁC HÌNH VẼ TRONG LUẬN VĂN
Hình 1: Mơ hình hệ thống camera giám sát truyền thống .......................................... 13
U
T
2
3

T
2
3
U

Hình 2: Phòng điều khiển hệ thống camera giám sát ................................................. 14
U
T
2
3

T
2
3
U

Hình 3: Sơ đồ quy trình thực hiện của hệ thống camera giám sát .............................. 15
U
T
2
3

T
2
3
U

Hình 4: Sơ đồ chung cho giải thuật phát hiện chuyển động ....................................... 16
U
T
2
3

T
2
3
U

Hình 5: Minh họa nhược điểm nhạy với ngưỡng của phương pháp trừ frame............ 21
U
T
2
3

T
2

3
U

Hình 6: Phương pháp xác định ngưỡng động ............................................................ 23
U
T
2
3

T
2
3
U

Hình 7: Minh họa phương pháp trộn gaussian........................................................... 26
U
T
2
3

T
2
3
U

Hình 8: Minh họa quỹ đạo dịch trung vị trong không gian dữ liệu ............................ 27
U
T
2
3

T
2
3
U

Hình 9: So sánh giữa KDE(trên) và SKDA(dưới) ..................................................... 28
U
T
2
3

T
2
3
U

Hình 10: Minh họa cách xây dựng một codebook ..................................................... 30
U
T
2
3

T
2
3
U

Hình 11:Minh họa sự thay đổi giá trị của đường các điểm ảnh.................................. 31
U

T
2
3

T
2
3
U

Hình 12: Codebook mẫu ........................................................................................... 32
U
T
2
3

32T
U

Hình 13: So sánh foreground thu được từ phương pháp codebook và phương pháp
U
T
2
3

trung bình ................................................................................................................. 33
32T
U

Hình 14: Kết quả thực nghiệm của Toyama, K et al với một số phương pháp trong
U

T
2
3

các mơi trường khác nhau ......................................................................................... 34
32T
U

Hình 15: Mơ hình tổng quan của giải thuật tracking ................................................. 36
U
T
2
3

T
2
3
U

Hình 16: Gán ID cho các blob dựa vào tập các track hiện thời .................................. 37
U
T
2
3

T
2
3
U

Hình 17: Cách tính khoảng cách giữa các blob ......................................................... 37
U
T
2
3

T
2
3
U

Hình 18: Ma trận khoảng cách giữa các blobs và các tracks...................................... 38
U
T
2
3

T
2
3
U

Hình 19: Các trường hợp ứng với từng blob ............................................................. 38
U
T
2
3

T
2

3
U

Hình 20: hai trường hợp khi blob bị tách .................................................................. 39
U
T
2
3

T
2
3
U

Hình 21: Minh họa hai đối tượng đụng độ nhau ........................................................ 40
U
T
2
3

T
2
3
U

Hình 22: Sơ đồ giải thuật trừ frame .......................................................................... 42
U
T
2
3

T
2
3
U

Hình 23: Sơ đồ giải thuật trung bình liên tục ............................................................ 43
U
T
2
3

T
2
3
U

7


Hình 24: Mơ hình giải thuật lấy ngưỡng động .......................................................... 45
U
T
2
3

T
2
3
U

Hình 25: Dạng histogram của ảnh hiệu ..................................................................... 46
U
T
2
3

T
2
3
U

Hình 26: Vị trí các ngưỡng cao và ngưỡng thấp ........................................................ 47
U
T
2
3

T
2
3
U

Hình 27: Lượng hóa histogram để xác định các cực đại, cực tiểu.............................. 48
U
T
2
3

T

2
3
U

Hình 28: Cài đặt vịng từ cảm ứng trong thực tế ....................................................... 51
U
T
2
3

T
2
3
U

Hình 29: Mơ hình giải thuật vịng từ ảo .................................................................... 51
U
T
2
3

T
2
3
U

Hình 30: Tín hiệu trước và sau khi khử nhiễu ........................................................... 52
U
T
2

3

T
2
3
U

Hình 31: Kết quả thực nghiệm vịng từ ảo ................................................................ 54
U
T
2
3

T
2
3
U

Hình 32: Kết quả của bước set ROI .......................................................................... 55
U
T
2
3

T
2
3
U

Hình 33: Kết quả tại các bước của giải thuật trừ frame, lần lượt từ trên xuống: frame

U
T
2
3

đầu vào, ảnh xám, ảnh hiệu, motion mask................................................................. 56
T
2
3
U

Hình 34: Mơ hình MVC ........................................................................................... 59
U
T
2
3

32T
U

Hình 35: Giao diện lựa chọn và điều chỉnh tham số đầu vào ..................................... 60
U
T
2
3

T
2
3
U

Hình 36: Khung ảnh hiển thị ảnh đầu ra của chức năng đang thực hiện .................... 61
U
T
2
3

T
2
3
U

Hình 37: Sơ đồ giải thuật kiểm tra camera bị che/dịch chuyển .................................. 62
U
T
2
3

T
2
3
U

Hình 38: Kết quả thực nghiệm chức năng kiểm tra camera ....................................... 63
U
T
2
3

T

2
3
U

Hình 39: Sơ đồ giải thuật phát hiện kẻ xâm nhập ..................................................... 64
U
T
2
3

T
2
3
U

Hình 40: Ảnh đầu ra của chức năng phát hiện kẻ xâm nhập ở chế độ verbose ........... 65
U
T
2
3

T
2
3
U

Hình 41: Kết quả thực nghiệm chức năng phát hiện kẻ xâm nhập ............................. 66
U
T
2

3

T
2
3
U

Hình 42: Sơ đồ giải thuật phát hiện vào vùng cấm .................................................... 67
U
T
2
3

T
2
3
U

Hình 43: Thực nghiệm chức năng phát hiện vào vùng cấm, cảnh không vào vùng
U
T
2
3

cấm........................................................................................................................... 68
T
2
3
U

Hình 44: Thực nghiệm chức năng phát hiện vào vùng cấm, cảnh vào vùng cấm ....... 69
U
T
2
3

T
2
3
U

Hình 45: Sơ đồ giải thuật phát hiện vượt rào............................................................. 70
U
T
2
3

T
2
3
U

Hình 46: Giải thích đầu vào frame ............................................................................ 70
U
T
2
3

T
2

3
U

Hình 47: Các vị trí ứng với các thông báo khác nhau trong chức năng phát hiện vượt
U
T
2
3

rào ............................................................................................................................ 71
T
2
3
U

Hình 48: Kết quả thực nghiệm chức năng phát hiện vượt rào, phát hiện người tiếp
U
T
2
3

cận hàng rào ............................................................................................................. 72
32T
U

8


Hình 49: Kết quả thực nghiệm chức năng phát hiện vượt rào, phát hiện người vượt
U

T
2
3

rào ............................................................................................................................ 73
T
2
3
U

Hình 50: Sơ đồ giải thuật phát hiện quên đồ ............................................................. 74
U
T
2
3

T
2
3
U

Hình 51: So sánh Object mask và SOM .................................................................... 75
U
T
2
3

T
2
3

U

Hình 52: Kết quả thực nghiệm của chức năng phát hiện quên đồ .............................. 76
U
T
2
3

T
2
3
U

Hình 53: Dự đốn vị trí mới của đối tượng trong frame kế tiếp................................. 78
U
T
2
3

T
2
3
U

Hình 54: Sự tương đồng giữa hai histogram ............................................................. 79
U
T
2
3

T
2
3
U

Hình 55: Kết quả thực nghiệm chức năng poeple tracking ........................................ 80
U
T
2
3

T
2
3
U

Hình 56: Sơ đồ giải thuật đếm người ........................................................................ 81
U
T
2
3

T
2
3
U

Hình 57: Sơ đồ giải thuật xác định thông số của phương tiện tham gia giao thơng .... 82
U
T

2
3

T
2
3
U

Hình 58: Sơ đồ giải thuật tổng qt của các ứng dụng cảnh báo vi phạm ................. 84
U
T
2
3

T
2
3
U

9


MỞ ĐẦU
Mục đích và lý do chọn đề tài

Ngày nay, với sự bùng nổ mạnh mẽ, ngành công nghệ thông tin đã có những
đóng góp quan trọng trong việc thúc đẩy đất nước phát triển, hịa vào cùng thành
cơng chung trong sự nghiệp cơng nghiệp hóa hiện đại hóa đất nước. Nhờ công nghệ
thông tin, mà xu hướng tin học hóa đã đi sâu vào hầu hết các lĩnh vực kinh tế-xã hội,
đem lại hiệu quả làm việc, năng suất lao động cao, và trình độ quản lý hiệu quả.

Một trong những ứng dụng vô cùng quan trọng của công nghệ thơng tin mà ta
khơng thể khơng kể đến, đó là : Ứng dụng công nghệ thông tin trong việc giám sát
các chuyển động.
Như đã biết trên thế giới hiện đã triển khai rất nhiều mơ hình, ứng dụng của hệ
thống giám sát chuyển động bằng hình ảnh :Hệ thống giám sát giao thơng bằng hình
ảnh (theo dõi xe lưu thông, điều khiển xe, phát hiện xe vi phạm,…), hệ thống an
ninh (camera thông minh, phát hiện các chuyển động và cảnh báo xâm phạm , phát
hiện các tình huống bất ngờ như ẩu đả, cướp ngân hàng,…), các hệ thống theo dõi
quản lý bằng hình ảnh ở các cửa khẩu, sân bay, bến cảng,…
Ở nước ta, một số tuyến, nút giao thông quan trọng cũng đã triển khai hệ thống
giám sát giao thơng bằng hình ảnh như Quốc lộ 1 đoạn Pháp Vân - Cầu Giẽ. Đây là
một ứng dụng vô cùng quan trọng, hữu hiệu trong việc giải quyết bài tốn giao
thơng vốn rất nan giải ở nước ta.
Xuất phát từ thực tiễn cùng niềm đam mê về lĩnh vực xử lý ảnh, tác giả mong muốn
có được hiểu biết sâu rộng hơn, có nhiều kinh nghiệm hơn về lĩnh vực giám sát
chuyển động bằng hình ảnh. Chính vì vậy, tác giả quyết định chọn đề tài :

10


“Nghiên cứu giáp pháp ứng dụng camera giám sát trong an ninh và giao
thông”
Lịch sử nghiên cứu

Trước khi thực hiện luận văn này, tác giả đã có một số nghiên cứu trong lĩnh vực
xử lý ảnh:
1. 2009, Tìm hiểu thư viện mở về xử lý ảnh OpenCV của Intel: sử dụng thư
viện để xây dựng chương trình xử lý ảnh với hầu hết các tính năng cơ bản.
2. 2010, Xây dựng giao diện và module nhận dạng ký tự trong hệ thống nhận
dạng biển số xe.

3. 2011, Xây dựng ứng dụng tăng cường ảnh cho ảnh X quang trong y tế: tác
giả đã nghiên cứu, và cài đặt nhiều giải thuật tăng cường ảnh trong lĩnh vực
y tế. Lựa chọn, thay đổi để tối ưu giải thuật cân bằng mức xám.
Đối tượng, phạm vi nghiên cứu của luận văn

Đối tượng nghiên cứu của luận văn là các giải thuật phát hiện chuyển động,
tracking.
Phạm vi nghiên cứu của luận văn khá rộng: là toàn bộ các ứng dụng trong giám sát
an ninh và giao thông. Luận văn sẽ phải chỉ ra được giải pháp hợp lý cho mỗi ứng
dụng cụ thể.
Bố cục trình bày và đóng góp mới của tác giả

Tồn bộ nội dung luận văn được trình bày trong bốn chương:
 Chương 1 - Cơ sở lý thuyết: đưa ra cái nhìn tổng quan về bài tốn giám sát
chuyển động. Đồng thời, trình bày về các giải thuật phát hiện chuyển động
và tracking. Trong quá trình trình bày, tác giả có liên hệ với những phương

11


pháp đã tìm hiểu qua các bài báo khoa học. Đồng thời, đưa ra những đánh
giá dựa trên kết quả cài đặt các giải thuật.
 Chương 2 - Ứng dụng camera giám sát để phát hiện chuyển động: trình
bày chi tiết các vấn đề của hai giải thuật phát hiện chuyển động phổ biến
trong luận văn: giải thuật trừ frame và giải thuật trung bình liên tục. Tác giả
đã đưa ra phương pháp xác định ngưỡng động. Cuối chương có trình bày ứng
dụng vịng từ ảo, để có thể minh họa cho giải thuật phát hiện chuyển động.
 Chương 3 - Ứng dụng camera giám sát trong hệ thống giám sát an ninh:
trình bày các ứng dụng, chức năng của hệ thống giám sát an ninh. Tác giả đã
đưa ra các giải thuật hợp lý cho từng chức năng. Và chứng minh tính hợp lý

đó bằng kết quả thực nghiệm.
 Chương 4 – Giải pháp ứng dụng camera giám sát trong giao thơng: trình
bày cách tiếp cận dựa vào tracking để đưa ra những thông báo khi phát hiện
vi phạm, hoặc những thơng tin thơng kê về tình hình giao thơng.
Cuối cùng, trong phần kết luận, tác giả trình bày những đóng góp của cá nhân,
những khó khăn khi làm luận văn, và hướng phát triển tiếp theo của đề tài.
Phương pháp nghiên cứu

Trong quá trình làm luận văn, tác giả nghiên cứu theo phương pháp:
 Lựa chọn các bài báo thuộc lĩnh vực đang làm theo sự định hướng của thầy
hướng dẫn.Nghiên cứu và cài đặt một số giải thuật trong các bài báo để kiểm
định kết quả.
 Tham khảo các ứng dụng camera giám sát đã có trong thực tiễn.
 Trao đổi với bạn bè, đồng nghiệp để có thể có được những ý tưởng tốt.
Báo cáo này là kết quả của phương pháp nghiên cứu trên, và nỗ lực của tác giả.

12


Chương 1 - CƠ SỞ LÝ THUYẾT

1.1

Tổng quan
Mục đích của hệ thống camera giám sát là đưa ra thông báo khi một trong

các sự kiện định trước xảy ra. Các sự kiện định trước này rất đa dạng. Ví như trong
hệ thống giám sát an ninh có: phát hiện kẻ xâm nhập, vi phạm vùng cấm, mất đồ…
Còn trong hệ thống giám sát giao thơng có: xe vượt q tốc độ, đi sai làn đường, tắc
đường…

Ở mơ hình hệ thống camera giám sát truyền thống, tất cả tín hiệu từ camera giám
sát được truyền về phịng điều khiển. Ở đó đặt tất cả các thiết bị lưu trữ, các màn
hình hiển thị, bảng điều khiển, và nhân viên giám sát phải thực hiện giám sát một
cách thủ cơng.

Hình 1: Mơ hình hệ thống camera giám sát truyền thống

13


Hình 2: Phịng điều khiển hệ thống camera giám sát
Ngày nay, thay vì việc tập trung quá nhiều thứ tại phịng điều khiển. Chúng ta có
thể phân tán hệ thống thành nhiều trạm với những nhiệm vụ riêng, có thể lưu trữ
video ngay tại camera giám sát, dùng ethernet thay vì sử dụng cable đồng trục. Và
điều quan trọng hơn cả, phần mềm hệ thống camera giám sát sẽ thông minh hơn –
tự động phát hiện các sự kiện. Các bước trong một phần mềm hệ thống camera giám
sát được phân chia như sau:

14


Video
Phát hiện đối tượng
chuyển động
Đối tượng chuyển động
Theo vết đối tượng
Các đường đi của đối tượng
Phân loại đối tượng
Các đối tượng được phân loại
Đánh nhãn sự kiện

Các sự kiện
Hình 3: Sơ đồ quy trình thực hiện của hệ thống camera giám sát
Video lấy từ các camera giám sát là đầu vào của hệ thống. Video bản chất là các
frame (khung ảnh) thay đổi theo thời gian. Công việc tại mỗi bước cụ thể như sau:
 Phát hiện các đối tượng chuyển động: tìm ra các vật thể chuyển động trong
frame hiện thời. Ở bước này, chúng ta đã có thể nhận biết được rất nhiều các
sự kiện, như: phát hiện kẻ xâm nhập, phát hiện vào vùng cấm, phát hiện vượt
rào, phát hiện mất đồ, ước lượng mật độ giao thông…
 Theo vết đối tượng – tracking: lưu lại đường đi của các đối tượng chuyển
động giữa các frame liên tiếp nhau. Việc xác định vị trí và lưu đường đi của
các đối tượng giúp chúng ta giải quyết được rất nhiều bài tốn, như: đếm số
phương tiện giao thơng, đi ngược chiều, ước lượng tốc độ…
 Phân loại đối tượng: các đối tượng được phân loại thành: người, xe máy, ơtơ con, ơ-tơ tải… giúp ích cho việc thống kê, cũng như hỗ trợ đưa ra cảnh
báo đi sai làn đường.

15


 Đánh nhãn sự kiện: dựa vào kết quả của các bước trên, bước này sẽ chỉ ra
các sự kiện tương ứng và phát đi những cảnh báo cần thiết.
Trong bốn bước trên, phát hiện chuyển động là bước quan trọng nhất. Khơng chỉ
cần thiết cho mọi bài tốn, mà kết quả của bước này còn ảnh hưởng lớn đến độ
chính xác của các bước sau. Theo vết đối tượng – tracking cũng đóng vai trị khơng
thể thiếu trong một số bài tốn.

1.2

Phát hiện chuyển động
Mục đích chính của bài toán này là xác định được vật chuyển động trong

khung ảnh hiện thời của chuỗi video đầu vào. Camera giám sát có thể là cố định
hoặc di chuyển, nhưng thường là cố định. Trong luận văn này, chúng ta mặc định là
camera được cố định.
Một hệ thống phát hiện chuyển động được hình dung theo sơ đồ sau:

Video
sequence
Update

Preprocessing

Background
modeling

Foreground
detection

PostProcessing

Foreground
mask

Hình 4: Sơ đồ chung cho giải thuật phát hiện chuyển động

16


Đầu vào video sequence là chuỗi các hình ảnh - có thể là một stream, hoặc một file
trên ổ cứng. Đầu ra foreground mask cho thơng tin về vị trí và hình dáng của vật.
Một giải thuật phát hiện chuyển động cơ bản có bốn bước chính:

1. Tiền xử lý (Preprocessing): lấy và chuẩn hóa frame ảnh từ video đầu vào để
phục vụ cho các bước sau. Thông thường, frame ảnh sẽ được chuyển về
grayscale nhằm giảm thiểu việc xử lý, hoặc có thể chuyển về khơng gian
màu HSV, hoặc YUV cho đúng với bản chất vật lý của ảnh.
2. Xây dựng mơ hình nền (Background modeling): đây là bước quan trọng,
tùy vào từng giải thuật mà mơ hình nền được xây dựng theo những cách khác
nhau. Những giải thuật đơn giản sẽ mơ hình hóa background chỉ bằng một
ảnh, còn những giải thuật phức tạp hơn sẽ đưa ra một bản mô tả, với cấu trúc
dữ liệu phức tạp hơn.
3. Phát hiện tiền cảnh (Foreground detection): dựa vào frame (khung ảnh)
hiện tại, và background model đã xây dựng từ bước trước sẽ đưa ra hình ảnh
cơ bản của foreground.
4. Hậu xử lý (Postprocessing): xác nhận lại ảnh foreground, loại trừ những
điểm ảnh khơng thực sự thuộc foreground (nhiễu). Có thể xử lý thêm để
được foreground tốt hơn: không bị phân mảnh, khơng bị dính các vật với
nhau…
Một số giải thuật có sử dụng ảnh âm bản của foreground để làm mặt nạ khi cập nhật
nền background. Việc này sẽ giúp cho vật không bị cập nhật vào nền.
Hiện nay có rất nhiều giải thuật phát hiện chuyển động, nhưng khơng có giải thuật
nào được coi là hồn hảo1[14]. Bởi MDP (Motion Detection Problem – bài toán
0F
P

P

phát hiện chuyển động) có rất nhiều vấn đề phải đương đầu.

Giải thuật phát hiện chuyển động hồn hảo là giải thuật có thể khắc phục được tất cả các
vấn đề của bài toán phát hiện chuyển động
1

17


1.2.1 Các vấn đề của bài toán
 Vật thuộc nền chuyển động: một vật vốn là một phần của nền, đột nhiên
di chuyển khỏi vị trí của nó, và vị trí này sẽ xuất hiện trên foreground mà
đúng ra nó phải thuộc về background.
Lấy ví dụ: hệ thống phát hiện chuyển động quan sát một sân. Khi khởi tạo,
trên sân có đậu một chiếc ơ-tơ. Sau một khoảng thời gian, ô-tô di chuyển
khỏi vị trí ban đầu. Khi này hệ thống phát hiện chuyển động phải xem xét
để cập nhật lại nền tại vị trí ơ-tơ đỗ trước kia, nếu khơng trên foreground
sẽ ln có một ơ-tơ đứng n. Một số bài báo gọi hiện tượng này là ghost
(bóng ma).
 Ánh sáng thay đổi trong ngày: cường độ ánh sáng thay đổi từ từ theo
thời gian trong ngày cũng cần được để ý để cập nhập sự thay đổi này lên
background. Đặc biệt là những camera quan sát ngoài trời.
 Ánh sáng thay đổi đột ngột: sự thay đổi đột ngột về cường độ ánh sáng
có thể làm hỏng background model.
 Cây rung: background đôi khi không tĩnh như mong đợi, mà có thể có
những sự di chuyển, thường là nhỏ , dao động tại chỗ… Những phần tử
này sẽ gây ra nhiễu, và rất dễ bị nhầm lẫn là foreground.
 Ngụy trang: đây là hiện tượng rất thú vị và khó xử lý. Khi mà vật có một
số đặc điểm giống với nền, dẫn đến foreground không bao gồm tồn bộ
vật, mà chỉ chỉ là các phần có thể không liên thông dẫn đến bị nhận biết
thành nhiều vật.
 Mồi: trong một số trường hợp, khơng thể có thời gian để khởi tạo
background. Có thể là do yêu cầu của ứng dụng, cũng có thể là do cảnh
với foreground dày đặc.
 Sự đồng màu: màu sắc của vật giống với background, nên hệ thống

khơng phát hiện ra vật đó. Đặc biệt, khi tồn bộ background chỉ có 1 màu
(đồng màu), mà vật cũng cùng màu. Dẫn đến, toàn bộ vật có thể khơng
được nhận biết.

18


 Vật ngủ quên: một vật vốn thuộc về foreground, nhưng khơng di chuyển
nữa. Khi đó hệ thống cần phải có cơ chế biến vật đó thành thuộc về
background.
 Bóng: đây là vấn đề rất phổ biến, đặc biệt khi quan sát ngồi trời. Hệ
thống, cần có cơ chế để loại bỏ bóng để có được foreground chính xác.
Để khắc phục các vấn đề trên đã có rất nhiều các phương pháp được để cử. Mỗi
phương pháp có những ưu, nhược điểm riêng. Có thể chia thành 2 nhóm dựa vào
cách biểu diễn mơ hình background: các phương pháp cơ bản và các phương
pháp nâng cao.
1.2.2 Các phương pháp cơ bản
Nhóm các phương pháp cơ bản hầu hết được phát triển từ giải thuật trừ nền
cơ bản sau đây.

Trong đó:


: là khung ảnh hiện tại
: là ảnh nền hiện tại




: là ngưỡng

Có thể thấy phương pháp này nhận biết foreground bằng sự khác biệt giữa
khung ảnh hiện thời với một ảnh nền. Ở các phương pháp cơ bản,
thường là một ảnh tĩnh, hơn là một cấu trúc dữ liệu đặc thù. Phương pháp trừ frame
được coi là đơn giản nhất trong tất cả các phương pháp phát hiện chuyển động .
a. Phương pháp trừ frame
Phương pháp này nhận biết foreground bằng sự khác biệt giữa khung ảnh hiện
tại

và khung ảnh trước đó

.

19


Ánh xạ với phương pháp trừ nền cơ bản thì
. Lưu ý:

được coi là nền ứng với

không nhất thiết phải là frame ngay trước

.

Trong một số trường hợp, do sự khác biệt giữa hai frame liên tiếp là quá nhỏ, chúng
ta có thể nhảy cách vài frame.
Ưu điểm:
U

 Tốc độ thực thi nhanh
 Không yêu cầu bộ nhớ nhiều hơn các phương pháp khác
 Cài đặt đơn giản
Do vậy, phương pháp này phù hợp để tích hợp trong các thiết bị phần cứng để phát
hiện chuyển động.
Nhược điểm :
U

 Rất nhạy cảm với ngưỡng
 Không thể áp dụng trong một số trường hợp, khi mà sự khác biệt giữa các
khung ảnh liên tiếp là quá ít (vật chuyển động chậm chẳng hạn)
 foreground lấy được từ phương pháp này không cho hình dạng đúng của vật
thể

20


Hình 5: Minh họa nhược điểm nhạy với ngưỡng của phương pháp trừ frame
b. Phương pháp trung bình
Background là trung bình của n frame trước đó.Tốc độ nhanh hơn nhưng bù lại
yêu cầu bộ nhớ lớn: bộ nhớ yêu cầu là n*kích thước của một frame.
Đơi khi người ta cũng áp dụng trọng số cho mỗi frame (các frame có càng mới thì
có trọng số càng lớn). Tùy từng trường hợp, việc áp dụng trọng số sẽ cho kết quả tốt
hơn.

21


c. Phương pháp trung bình liên tục
Ở phương pháp này, background được thay đổi liên tục bằng việc cập nhật

frame hiện tại vào nền với một hệ số alpha rất nhỏ.

Trong đó:





: background của frame kế tiếp
: background của frame hiện tại
: frame hiện tại
: hệ số cập nhật, hệ số này thường nhỏ cỡ 0.1

Đây là phương pháp khá tốt để tạo background mà khắc phục được vấn đề mồi, khi
mà background hồn hảo khơng có.
Để ý rằng, phương pháp này cũng không chỉ ra một cách rõ ràng để lựa chọn
hợp lý. Để đơn giản, người ta có thể chọn

là một giá trị hằng. Nhưng chỉ với

một giá trị cố định sẽ không thể cho kết quả tốt với tất cả các trường hợp được.
Gupte et al đề cử phương pháp xác định ngưỡng dựa vào độ cao của histogram [6] :

22


Số
điể
m
ảnh

Đỉnh của histogram

10% độ cao của đỉnh

Th

Mức xám

Hình 6: Phương pháp xác định ngưỡng động
Cụ thể các bước thực hiện :
 Xây dựng histogram của ảnh hiệu (

)

 Xác định đỉnh của histogram (số điểm ảnh lớn nhất tại một mức xám xác
định)
 Đi từ phải qua trái, hay từ mức xám cao xuống mức xám thấp, nếu gặp vị trí
đầu tiên trên histogram có số điểm ảnh bằng 10% số điểm ảnh của đỉnh thì
mức xám tại vị trí đó được chọn làm ngưỡng Th.
Gupte et al đồng thời cũng sử dụng mặt nạ vùng chuyển động (motion mask) để tối
ưu việc cập nhật lại nền. Young-Kee Jung et al cũng tận dụng motion mask[16],
nhưng cách cập nhật nền có thay đổi:

Qua thực nghiệm, background tạo ra bằng cách này sẽ cho ra những vùng có chung
một mức xám. Dẫn đến ảnh hiệu sẽ có hiện tượng phân thành những vùng giống
như đường đồng mức.

23

d. Phương pháp trung bình liên tục Gaussian
Được để cử bởi Christopher Wren et all (1997)[2]. Coi toàn bộ histogram là một
phân bố chuẩn Gaussian

: hàm phân bố mật độ xác suất PDF(probability

density function) của background. Phương pháp cập nhật background pdf: là
phương pháp trung bình liên tục.

Foreground được xây dựng từ :
có thể được chọn bằng

, thường lấy

. Như vậy, ngưỡng Th với mỗi

điểm ảnh tại mỗi thời điểm là khác nhau.
Có thể thấy độ phức tạp tính tốn ở giải thuật này đã lớn hơn các giải thuật trước.
Để giảm độ phức tạp Jianpeng Zhou et al đã đơn giản hóa cách tính độ lệch chuẩn
[8]:

Đồng thời cũng đưa ra thêm hai ngưỡng, ba giá trị

khác nhau nhằm tối ưu hóa

giải thuật. Qua thực nghiệm, giải thuật chạy khá nhanh. Nhưng giải thuật phụ thuộc
nhiều vào tham số, và số lượng tham số thì khá lớn.
Phương pháp này khơng thực hiện được với background đa mơ hình, mà phải dùng
đến phương pháp trộn Gaussian.

e. Phương pháp trộn Gaussian
Trộn của K hàm Gaussians

[Stauffer and Grimson, 1999]

Trong phương pháp này, background ln ln phải là đa mơ hình. Nhưng:
 Số lượng mơ hình phải đặt trước

24


 Làm thế nào để khởi tạo các hàm Gaussian này?
 Làm thế nào để cập nhật các hàm Gaussian?
Với mỗi frame mới:
 Cập nhật/chuẩn hóa tất cả các
 Cập nhật

với những hàm gaussian được chấp nhận (khoảng cách

)
Có thể nhận thấy rằng, phương pháp trộn gaussian thực chất mô hình cả foreground
lẫn background. Vậy làm thế nào để nhặt ra những phân bố là mơ hình của
background? Tất cả các phân bố được xếp hạng dựa theo tỷ lệ
phân bố đầu tiên sẽ được chọn làm “background”.

25

tương ứng,