Kỹ thuật xử lý vùng quan sát và phát triển bất thường của các đối tượng trong hệ thống camera giám sát

VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM
HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ
_______________________________________________

NGÔ ĐỨC VĨNH

KỸ THUẬT XỬ LÝ VÙNG QUAN SÁT VÀ PHÁT HIỆN
BẤT THƯỜNG CỦA CÁC ĐỐI TƯỢNG TRONG
HỆ THỐNG CAMERA GIÁM SÁT

LUẬN ÁN TIẾN SĨ TOÁN HỌC

HÀ NỘI – 2016


VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM
HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ
_______________________________________________

NGÔ ĐỨC VĨNH

KỸ THUẬT XỬ LÝ VÙNG QUAN SÁT VÀ PHÁT
HIỆN BẤT THƯỜNG CỦA CÁC ĐỐI TƯỢNG
TRONG HỆ THỐNG CAMERA GIÁM SÁT
LUẬN ÁN TIẾN SĨ TOÁN HỌC

Chuyên ngành: Cơ sở Toán học cho Tin học
Mã số: 62.46.01.10

Người hướng dẫn khoa học:
PGS.TS. Đỗ Năng Toàn

Hà Nội – 2016


LỜI CAM ĐOAN
Tôi xin cam đoan về nội dung trong bản luận án tiến sĩ với tên đề tài “Kỹ
thuật xử lý vùng quan sát và phát hiện bất thường của các đối tượng trong
hệ thống camera giám sát” là không sao chép nội dung cơ bản từ các luận án
hay công trình khác, mà là công trình nghiên cứu thực sự của bản thân nghiên
cứu sinh, được thực hiện trên cơ sở nghiên cứu lý thuyết, kiến thức kinh điển,
nghiên cứu khảo sát tình hình thực tiễn và dưới sự hướng dẫn khoa học của
PGS.TS. Đỗ Năng Toàn.
Các kỹ thuật và những kết quả trong luận án là trung thực, đưa ra xuất
phát từ những yêu cầu ứng dụng, chưa từng được công bố dưới bất cứ hình
thức nào trước khi trình, bảo vệ và công nhận bởi “Hội đồng đánh giá luận án
Tiến sĩ”.

Tác giả luận án

Ngô Đức Vĩnh


LỜI CẢM ƠN
Luận án được thực hiện tại Viện Công nghệ thông tin, Học viện Khoa
học và Công nghệ - Viện Hàn lâm Khoa học và Công nghệ Việt Nam, dưới sự
hướng dẫn của PGS.TS. Đỗ Năng Toàn – Viện Công nghệ thông tin ĐH Quốc
Gia Hà Nội.
Tôi xin bày tỏ lòng biết ơn sâu sắc đến PGS.TS. Đỗ Năng Toàn, Thầy đã
có những định hướng quý báu giúp tôi thành công trong công việc nghiên cứu
của mình. Thầy cũng động viên chỉ bảo cho tôi vượt qua những khó khăn và

cho tôi nhiều kiến thức quý báu về nghiên cứu khoa học. Nhờ sự chỉ bảo của
Thầy, tôi mới có thể hoàn thành luận án.
Tôi xin chân thành cảm ơn các Thầy, Cô thuộc Viện Công nghệ thông
tin, các anh chị em cán bộ trong phòng Công nghệ Thực tại ảo đã tạo mọi điều
kiện thuận lợi và đóng góp ý kiến cho tôi trong quá trình làm nghiên cứu sinh.
Đặc biệt tôi xin chân thành cảm ơn lãnh đạo Viện Công nghệ thông tin,
Học viện Khoa học và Công nghệ – Viện Hàn lâm Khoa học và Công nghệ
Việt Nam, Viện Công nghệ thông tin – ĐH Quốc gia Hà Nội, Trường Đại học
Công nghiệp Hà Nội đã tạo điều kiện thuận lợi và hỗ trợ tôi trong quá trình
học tập và làm luận án.
Cuối cùng, tôi xin gửi lời cảm ơn sâu sắc đến gia đình và bạn bè, đã tạo
cho tôi điểm tựa vững chắc để có được kết quả như hôm nay.


5

MỤC LỤC

LỜI CAM ĐOAN ......................................................................................... 3
LỜI CẢM ƠN ............................................................................................... 4
MỤC LỤC

............................................................................................... 5

DANH MỤC CÁC KÝ HIỆU, CÁC TỪ VIẾT TẮT................................... 8
DANH MỤC CÁC BẢNG ........................................................................... 9
DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ ..................................................... 10
MỞ ĐẦU

............................................................................................. 12

CHƯƠNG 1: TỔNG QUAN VỀ CHUYỂN TIẾP VÀ PHÁT HIỆN BẤT
THƯỜNG TRONG CÁC HỆ THỐNG CAMERA GIÁM SÁT
............................................................................................. 20
1.1. Hệ thống camera giám sát tự động .................................................... 20
1.1.1. Giới thiệu ................................................................................. 20
1.1.2. Các vấn đề cơ bản trong hệ thống camera giám sát tự động ... 23
1.2. Chuyển tiếp camera và phát hiện bất thường..................................... 27
1.2.1. Theo vết đối tượng với với nhiều camera ................................ 27
1.2.2. Bài toán chuyển tiếp camera .................................................... 34
1.2.3. Phát hiện bất thường trong giám sát video .............................. 36
1.3. Kết luận và vấn đề nghiên cứu........................................................... 41
CHƯƠNG 2: MỘT SỐ KỸ THUẬT XỬ LÝ VÙNG QUAN SÁT TRONG
CHUYỂN TIẾP CAMERA .................................................. 43
2.1. Giới thiệu ........................................................................................... 43


6

2.2. Phân vùng giám sát ............................................................................ 44
2.2.1. Giới thiệu ................................................................................. 44
2.2.2. Giao cắt của hai đa giác ........................................................... 46
2.2.3. Phân chia vùng quan sát của hệ thống camera ........................ 48
2.2.4. Thực nghiệm ............................................................................ 52
2.3. Chuyển tiếp camera dựa vào đường ranh giới ảo .............................. 55
2.3.1. Đường ranh giới ảo .................................................................. 55
2.3.2. Tính toán va chạm của đối tượng với đường ranh giới ảo ...... 59
2.3.3. Kỹ thuật đề xuất ....................................................................... 65
2.3.4. Thực nghiệm ............................................................................ 66
2.4. Chọn lựa camera dựa trên hướng chuyển động của đối tượng .......... 70

2.4.1. Dự đoán vị trí và hướng chuyển động của đối tượng .............. 71
2.4.2. Biểu diễn mối quan hệ giữa các vùng quan sát của hệ thống .. 74
2.4.3. Thuật toán chọn lựa camera dựa vào hướng chuyển động ...... 75
2.4.4. Thực nghiệm ............................................................................ 78
2.5. Kết luận chương 2 .............................................................................. 80
CHƯƠNG 3: PHÁT HIỆN BẤT THƯỜNG DỰA VÀO QUỸ ĐẠO TRONG
CÁC VIDEO GIÁM SÁT .................................................... 82
3.1. Giới thiệu ........................................................................................... 82
3.1.1. Tiếp cận dựa trên phân tích hình ảnh dòng video.................... 83
3.1.2. Tiếp cận dựa vào phân tích quỹ đạo ........................................ 86
3.2. Một số khái niệm, định nghĩa trong mô hình đề xuất ........................ 91
3.3. Phân đoạn quỹ đạo ............................................................................. 96


7

3.4. Phát hiện bất thường dựa trên phân đoạn tuyến đường ..................... 98
3.5. Thực nghiệm .................................................................................... 101
3.5.1. Thực nghiệm với quỹ đạo cho trước...................................... 101
3.5.2. Thực nghiệm với dữ liệu thu nhận từ video giám sát ............ 107
3.6. Kết luận chương 3 ............................................................................ 109
KẾT LUẬN

........................................................................................... 110

DANH MỤC CÔNG TRÌNH CỦA TÁC GIẢ ......................................... 112
TÀI LIỆU THAM KHẢO ......................................................................... 113


8

DANH MỤC CÁC KÝ HIỆU, CÁC TỪ VIẾT TẮT
AABB

Axis Aligned Bounding Boxes

BTF

Brightness transfer function

COR

Co-occurrence Ratio

FOV

Field of View

FSOM

fuzzy self-organized map

GMM

Gaussian mixture model

HMM

Hiden Markov Model

HOG

Histogram of oriented gradients

MDT

Mixtures of Dynamic Textures

MRF

Markov Random Field

NOVL

Non – Overlapping

OBB

Oriented Bounding Boxes

OVL

Overlapping

PCA

Principal Component Analysis

RGB

Red Green Blue

SRA

Sparse Reconstruction Analysis

VSAM

Video Surveillance and Monitoring


9

DANH MỤC CÁC BẢNG
Bảng 2.1. Các giá trị R, R0, R1..................................................................... 65
Bảng 3.1. Kết quả phân đoạn các đường đại diện của tuyến đường ........... 104
Bảng 3.2. Khảo sát độ tương tự từ quỹ đạo 254 tới các tuyến đường ........ 105
Bảng 3.3. Kết quả đo độ chính xác phát hiện bất thường trên dữ liệu video
............................................................................................................. 108


10

DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ
Hình 1. Phòng điều khiển trong Trung tâm giám sát bằng camera .............. 14
Hình 2. Hệ thống giám sát với nhiều camera có vùng quan sát bị chồng chéo
[43] ........................................................................................................ 16
Hình 1.1. Sơ đồ hệ thống camera giám sát tự động [97] .............................. 23
Hình 1.2. Mô hình xử lý trong bài toán phát hiện đối tượng chuyển động .. 24
Hình 1.3. Quy trình theo vết đối tượng ........................................................ 26

Hình 1.4. Các phương pháp tiếp cận trong phát hiện bất thường [12] ......... 41
Hình 2.1. Một số hình thức phân vùng giám sát ........................................... 46
Hình 2.2. Các trường hợp giao nhau của hai đa giác .................................... 47
Hình 2.3. Với giao cắt đơn, số điểm giao cắt không quá 2 ........................... 48
Hình 2.4. Chia cắt phần giao giữa hai đa giác .............................................. 50
Hình 2.5. Phân chia vùng quan sát của hệ thống camera giám sát ............... 53
Hình 2.6. Phân vùng giám sát cho các camera của hệ thống giám sát ......... 54
Hình 2.7. Đường ranh giới ảo ....................................................................... 55
Hình 2.8. Đường ranh giới ảo và khu vực giám sát của mỗi camera............ 56
Hình 2.9. Vị trí của đối tượng với đường ranh giới ảo ................................. 57
Hình 2.10. Phép biến đổi homography ......................................................... 58
Hình 2.11. Đối tượng chuyển động và đường ranh giới ảo trong môi trường 3D
............................................................................................................... 58
Hình 2.12. Mặt phẳng tách và trục tách ........................................................ 60
Hình 2.13. Hình chiếu A lên đường thẳng d với tâm chiếu C0. ................... 61
Hình 2.14. Chiếu 8 đỉnh của hình hộp lên trục tách d .................................. 61
Hình 2.15. Kết quả chiếu 2 hình hộp lên trục tách d .................................... 63


11

Hình 2.16. Mô hình cấu trúc của hệ thống .................................................... 66
Hình 2.17. Sơ đồ thực hiện chương trình của hệ thống ................................ 67
Hình 2.18. Sơ đồ mặt bằng bố trí camera ..................................................... 68
Hình 2.19. Chuyển tiếp giữa 2 camera.......................................................... 69
Hình 2.20. Biểu đồ so sánh giá trị Precision ở mỗi camera .......................... 70
Hình 2.21. Biểu diễn mối quan hệ giữa các vùng quan sát của hệ thống ..... 74
Hình 2.22. Chọn lựa camera dựa vào hướng chuyển động của đối tượng ... 76
Hình 2.23. Biểu diễn mối quan hệ giữa vùng quan sát của hệ thống ........... 78
Hình 2.24. Kết quả thực hiện giải thuật chọn lựa camera............................. 79

Hình 3.1. Phát hiện bất thường dựa vào phân cụm quỹ đạo ......................... 89
Hình 3.2. Quỹ đạo chuyển động của đối tượng ............................................ 92
Hình 3.3. Tuyến đường ................................................................................. 95
Hình 3.4. Quỹ đạo được chia thành các giai đoạn ........................................ 97
Hình 3.5. Sơ đồ khối phát hiện bất thường dựa vào các phân đoạn của tuyến
đường..................................................................................................... 99
Hình 3.6. Tập 200 quỹ đạo bình thường ..................................................... 102
Hình 3.7. Phân nhóm các quỹ đạo .............................................................. 103
Hình 3.8. Đường đại diện của mỗi tuyến đường......................................... 103
Hình 3.9. Kết quả phân đoạn đường đại diện của tuyến đường.................. 104
Hình 3.10. Phát hiện các quỹ đạo bất thường ............................................. 105
Hình 3.11. Các tuyến đường trong khu vực giám sát ................................. 107
Hình 3.12. Phát hiện bất thường trên dữ liệu video .................................... 108


12

MỞ ĐẦU
1. Tính cấp thiết của luận án
Xuất hiện từ những năm 1940, ban đầu hệ thống camera giám sát được
dùng vào mục đích quân sự. Từ đó đến nay, trải qua 3 thế hệ, từ camera tương
tự, đến camera kỹ thuật số và giờ đây là camera IP, hệ thống camera giám sát
đã trở nên phổ biến và đang được sử dụng rộng rãi trong nhiều lĩnh vực. Trong
giao thông, người ta lắp đặt các camera giám sát ở các ngã ba, ngã tư, đường
hầm, nhà ga và các vị trí quan trọng để giám sát giao thông, cảnh báo tình
trạng ùn tắc, phát hiện các vi phạm luật giao thông của các phương tiện…
Trong các bảo tàng, người ta sử dụng hệ thống camera trong việc giám sát các
vật trưng bày để tránh trường hợp bị mất cắp. Tại các vùng nhạy cảm về an
ninh, các hệ thống giám sát được thiết lập để có thể cảnh báo kịp thời những
hành vi khả nghi liên quan đến khủng bố, trộm cắp, hỏa hoạn…

Mặc dù không có thống kê chính thức, tuy vậy theo một nghiên cứu gần
đây [33], ước tính có khoảng 1.85 triệu camera giám sát tại Vương quốc Anh,
trong đó xấp xỉ 30.000 tại các điểm công cộng, số lượng camera giám sát gia
tăng nhanh, điều này đòi hỏi cần thiết phải quản lý chúng và đây là một lĩnh
vực nghiên cứu được nhiều nhà khoa học quan tâm nhằm đáp ứng nhu cầu của
thực tiễn [9].
Hệ thống camera giám sát có thể được thực hiện thủ công, bán tự động,
hoặc hoàn toàn tự động. Trong các hệ thống giám sát video thủ công truyền
thống, thường có một trung tâm điều khiển với một bức tường có gắn các màn
hình hiển thị thông tin thu nhận từ các camera (Hình 1), các luồng video được
quan sát bởi các giám sát viên trong thời gian thực, cho phép họ can thiệp
nhanh chóng nếu có một sự kiện quan tâm được phát hiện. Việc xử lý trực tiếp
của tất cả các luồng video là rất khó khăn do số lượng camera được triển khai


13

nhiều cùng với một lượng lớn dữ liệu thu nhận từ chúng, ước tính mỗi cá nhân
trong các trung tâm giám sát theo dõi khoảng 20 – 100 camera cùng một lúc.
Chính vì vậy, dữ liệu video đã được lưu trữ lại trên các phương tiện truyền
thông kỹ thuật số trong một khoảng thời gian xác định, chúng được tái sử dụng
để truy vấn, trích xuất thông tin hữu ích khi cần thiết như nhận dạng hoặc tìm
kiếm bằng chứng.
Tuy nhiên, khi số lượng camera tăng lên đáng kể thì rõ ràng đây là một
nhiệm vụ hết sức khó khăn để một giám sát viên có thể theo dõi đầy đủ tất cả
các đối tượng trong hệ thống, điều này dẫn đến khả năng bỏ sót các cảnh quan
trọng tại các camera tăng lên. Nguyên nhân chính là sự mất tập trung của giám
sát viên vào camera ngay tại thời điểm xảy ra sự việc, bởi hầu hết thời gian
trong quá trình giám sát không có sự kiện đặc biệt nào xảy ra nên sau một thời
gian theo dõi các hình ảnh mà không có vấn đề gì xảy ra, cơn buồn ngủ, sự

mệt mỏi và sự giảm mức độ cảnh giác thường gây ra các sai sót trong việc
phát hiện sự kiện quan trọng.
Hơn nữa, khi cần truy vấn hoặc trích rút thông tin với các dữ liệu đã lưu
trữ, đặc biệt là đối với các cơ quan an ninh chính phủ như cảnh sát, tìm kiếm
một người nào đó quan tâm trong hàng trăm hoặc hàng ngàn giờ video ghi lại
từ nhiều camera, phải cần một lượng lớn các cán bộ thực thi trong nhiều giờ
hoặc nhiều ngày để thực hiện, việc dành quá nhiều nhân lực trong thời gian
dài sẽ dẫn lãng phí về thời gian và tài chính.
Chính vì vậy, vấn đề giám sát tự động là nhiệm vụ hàng đầu trong hệ
thống giám sát bằng camera nhằm hỗ trợ tối đa con người trong việc điều
khiển, giám sát, giảm thiểu các sai sót không đáng có, đồng thời qua đó cũng
giải phóng sức lao động của các giám sát viên. Các hệ thống hoàn toàn tự động
là hệ thống có khả năng thực hiện nhiệm vụ giám sát ở các mức độ khác nhau
không có sự can thiệp của con người, từ các tác vụ bậc thấp như: phát hiện


14

chuyển động tới các tác vụ bậc cao như phát hiện sự kiện, hành vi. Các hệ
thống này cần có các kỹ thuật thông minh để theo dõi, phân loại và xác định
các đối tượng được giám sát. Ngoài ra, nó còn thực hiện báo cáo và phát hiện
các hành vi đáng ngờ, các hoạt động bất thường của các đối tượng trong khu
vực giám sát.

Hình 1. Phòng điều khiển trong Trung tâm giám sát bằng camera


15

Nói chung, một hệ thống giám sát hình ảnh tự động thường thực hiện các

giai đoạn: Phát hiện đối tượng chuyển động, phân loại đối tượng, theo vết đối
tượng, nhận biết hoạt động, hành vi của đối tượng và chuyển giao camera.
Phát hiện đối tượng chuyển động là công việc đầu tiên của hầu hết các hệ
thống giám sát bằng camera. Phát hiện chuyển động nhằm xác định vùng hình
ảnh tương ứng với đối tượng di chuyển từ mỗi khung hình. Các quá trình tiếp
theo như: theo vết đối tượng, phân tích hành vi phụ thuộc rất nhiều vào giai
đoạn này. Theo vết đối tượng nhằm tìm ra đối tượng chuyển động từ khung
hình này sang khung hình khác trong một dãy khung hình. Đầu vào của quá
trình này là đầu ra của các quá trình phát hiện và phân lớp đối tượng chuyển
động. Phân tích, nhận biết hành vi của đối tượng giám sát là một công việc
quan trọng trong hệ thống giám sát trực quan, trong một số trường hợp, việc
phân tích hành vi của đối tượng được giám sát là cần thiết để xác định xem
hành vi của chúng là bình thường hay bất thường.
Trong thực tế khi triển khai các hệ thống giám sát tự động, một camera
là không đủ để quan sát bởi nó bị giới hạn về độ phân giải, thị trường quan sát.
Do vậy, khi giám sát một vùng rộng lớn, người ta thường sử dụng nhiều
camera thay vì chỉ dùng một camera. Có thể tổ chức một hệ thống giám sát
nhiều camera theo hai hướng: Hệ thống các camera có vùng quan sát chồng
chéo (OVL) hoặc vùng quan sát không chồng chéo (NOVL). Với mỗi hệ thống
theo dõi bằng nhiều camera đều có những thách thức cần giải quyết, và thông
thường các nghiên cứu đều giả định giải quyết trong một điều kiện cụ thể [44].
Việc sử dụng nhiều camera không chỉ cải thiện vùng theo dõi mà còn
mang đến sự linh hoạt hơn khi giám sát đối tượng, đặc biệt là sự theo dõi liên
tục khi đối tượng di chuyển qua các khu vực. Một vấn đề cần được giải quyết
trong hệ thống giám sát có nhiều camera đó là sự xuất hiện hoặc biến mất của
đối tượng từ camera này sang camera khác, hay còn gọi là sự chuyển tiếp


16

camera. Chuyển tiếp camera là một quá trình quyết định chuyển giao một đối
tượng di chuyển từ camera này tới camera khác và là một bước quan trọng để
có được sự theo dõi liên tục nhãn của các đối tượng cùng với hành trình của
nó trong hệ thống giám sát có nhiều camera [16], với việc chuyển tiếp camera,
hệ thống giám sát với nhiều camera sẽ có được những lợi thế từ các camera
đơn lẻ có thị trường bị giới hạn.
Tuy nhiên, việc chuyển tiếp giữa các camera là một nhiệm vụ khó khăn
[63] bởi nhiều nguyên nhân. Nguyên nhân chính là do thông tin về cùng một
đối tượng sẽ rất khác nhau khi nhìn từ mỗi camera. Thực tế cho thấy, khi quan
sát từ các camera thì mỗi camera có một góc nhìn khác nhau về cùng một đối
tượng và các đối tượng thường cách xa nhau theo thời gian và không gian. Sự
xuất hiện của cùng một đối tượng ở camera này có thể rất khác so với camera
khác (Hình 2), do khác nhau về sự chiếu sáng, tư thế và các đặc điểm của mỗi
camera [44].

Hình 2. Hệ thống giám sát với nhiều camera có vùng quan sát
bị chồng chéo [44]
Đã có nhiều công trình nghiên cứu nhằm giải quyết bài toán theo dõi liên
tục khi đối tượng di chuyển qua các camera, phần lớn các nghiên cứu đều tập
trung vào việc tìm cách thiết lập sự tương ứng của các đối tượng ở camera này


17

với các camera khác, thực chất là đối sánh các đối tượng nằm trong vùng giao
nhau giữa các trường quan của các camera trong môi trường 2D [44]. Nhiều
kỹ thuật đã được áp dụng như: sử dụng lược đồ màu, mô hình xác suất [14],
mạng Beysian, mô hình Markov, hình học pipolar [102], đường FOV [52],
[53], [55]. Các nghiên cứu này mới chỉ dừng ở việc chuyển tiếp đối tượng, tức
là tìm cách thiết lập sự tương ứng giữa các đối tượng chuyển động ở các góc

nhìn khác nhau của mỗi camera, việc xác định một cơ chế để lựa chọn một
camera cho một số đối tượng chuyển động và chuyển tiếp chúng từ camera
này sang camera khác để việc theo dõi được liền mạch là vấn đề đang được
nghiên cứu.
Việc chuyển tiếp camera thường yêu cầu khối lượng tính toán lớn khi
phải thực hiện các thao tác như: xác định thời điểm và camera nhận chuyển
tiếp, bàn giao đối tượng. Do vậy, để nâng cao hiệu suất hoạt động của hệ thống
thì việc thường xuyên chuyển đổi giữa các camera cần được giảm thiểu, đây
là trọng tâm nghiên cứu của luận án, chi tiết được trình bày trong chương 2
của luận án.
Xuất phát từ thực tế trên, luận án lựa chọn đề tài “Kỹ thuật xử lý vùng
quan sát và phát hiện bất thường của các đối tượng trong hệ thống
camera giám sát”.
Luận án tập trung nghiên cứu hai đối tượng chính trong hệ thống camera
giám sát đó là: chuyển tiếp camera và phát hiện chuyển động bất thường.
2. Mục tiêu nghiên cứu
Luận án tập trung nghiên cứu các vấn đề sau:
 Thứ nhất: Hệ thống camera giám sát và các bài toán liên quan;
 Thứ hai: Các kỹ thuật chuyển tiếp camera trong hệ thống camera giám sát
với nhiều camera;


18

 Thứ ba: Các kỹ thuật phát hiện bất thường trong giám sát video.
3. Phương pháp nghiên cứu
Trên cơ sở nghiên cứu sự cần thiết của hệ thống camera giám sát và các
mục tiêu chính của luận án, phương pháp nghiên cứu của luận án được xác
định gồm:
 Kết hợp nghiên cứu lý thuyết với khảo sát, phân tích và đánh giá thông

qua thực nghiệm.
 So sánh, phân tích và đánh giá các kết quả nghiên cứu của luận án với các
kết quả trong những công trình của các tác giả khác đã công bố. Trên cơ
sở đó, đưa ra những phương pháp, kỹ thuật mới và đề xuất cải tiến.
 Công bố, trao đổi, thảo luận và báo cáo tại các buổi seminar, hội thảo, hội
nghị khoa học…
4. Những đóng góp mới của luận án
Có thể khái quát các kết quả chính của luận án như sau:
 Đề xuất kỹ thuật phân vùng giám sát cố định cho các camera trong hệ
thống camera giám sát dựa trên quan hệ hình học giữa thị trường quan sát
của các camera, giúp giảm thiểu số lần tính toán chuyển tiếp camera thông
qua việc giảm thiểu các cạnh của đa giác quan sát trong vùng giao nhau
giữa các camera trong hệ thống OVL. Kỹ thuật đề xuất được công bố
trong Chuyên san của Tạp chí Công nghệ thông tin và Truyền thông năm
2014.
 Đề xuất một cách tiếp cận giải quyết việc chuyển tiếp camera dựa trên
việc tính toán sự va chạm của đối tượng chuyển động với đường ranh giới
ảo, kỹ thuật đề xuất đã được công bố tại Tạp chí Khoa học Công nghệ,
Viện Hàn lâm Khoa học và Công nghệ Việt Nam năm 2013.


19

 Đề xuất một kỹ thuật giải quyết việc chuyển tiếp camera thông qua việc
lựa chọn camera, nhằm giảm thiểu số lần chuyển tiếp camera khi giám sát
đối tượng. Kỹ thuật đề xuất đã được trình bày và đăng trong Kỷ yếu Hội
nghị Quốc Gia “Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin –
FAIR” năm 2013.
 Đề xuất một kỹ thuật phát hiện chuyển động bất thường dựa vào quỹ đạo
chuyển động của đối tượng. Kỹ thuật đề xuất cho phép thao tác trên các

quỹ đạo không hoàn chỉnh, đáp ứng được yêu cầu triển khai thời gian
thực. Kỹ thuật đề xuất được công bố tại Chuyên san của Tạp chí Công
nghệ thông tin và Truyền thông năm 2015.
5. Bố cục luận án
Luận án bao gồm phần mở đầu, kết luận và 3 chương nội dung:
Chương 1: Tổng quan về chuyển tiếp camera và phát hiện bất thường
trong các hệ thống camera giám sát. Các vấn đề chung về giám sát tự động
trong hệ thống camera giám sát, cùng với các bài toán liên quan được khảo sát
và trình bày trong chương này.
Chương 2: Một số kỹ thuật xử lý vùng quan sát trong chuyển tiếp camera.
Đề xuất các kỹ thuật xử lý vùng quan sát trong việc giải quyết bài toán chuyển
tiếp camera nhằm mục đích giảm thiểu các thao tác tính toán chuyển tiếp
camera, từ đó giúp nâng cao hiệu quả hoạt động của hệ thống camera giám
sát.
Chương 3: Phát hiện bất thường dựa vào quỹ đạo trong giám sát video.
Chương này trình bày tóm lược về các hướng tiếp cận, các kỹ thuật đã được
áp dụng giải quyết bài toán phát hiện bất thường trong giám sát video, từ đó
đề xuất một kỹ thuật phát hiện bất thường trong giám sát video dựa vào phân
tích quỹ đạo chuyển động của đối tượng.


20

CHƯƠNG 1:

TỔNG QUAN VỀ CHUYỂN TIẾP VÀ PHÁT HIỆN
BẤT THƯỜNG TRONG CÁC HỆ THỐNG CAMERA
GIÁM SÁT

Nghiên cứu về hệ thống camera giám sát thông minh là một trong những

chủ đề rất được quan tâm trong lĩnh vực thị giác máy tính, với mục đích nhằm
trích xuất một cách hiệu quả những thông tin hữu ích từ một số lượng lớn các
video thu được từ các camera giám sát bằng cách tự động phát hiện, theo dõi,
nhận biết, phân tích và hiểu các hành vi hoạt động của các đối tượng được
giám sát.
Trong chương này, luận án trình bày sơ lược về một số vấn đề cơ bản của
hệ thống camera giám sát tự động cùng với các khảo sát liên quan đến bài toán
chuyển tiếp camera và phát hiện bất thường trong các hệ thống camera giám
sát.
1.1. Hệ thống camera giám sát tự động
1.1.1. Giới thiệu
Ra đời từ những năm 1930, camera đã trở thành một phần của cuộc sống
hiện nay. Với những tiến bộ công nghệ gần đây, camera đã trở nên phổ biến
hơn, nó có mặt từ máy tính để bàn, máy tính xách tay, đến thiết bị di động và
nhiều thiết bị khác sử dụng hàng ngày. Ngày càng nhiều các hệ thống giám sát
bằng camera được triển khai và đã chứng minh được tính hiệu quả nhất định
trên một số lĩnh vực như giám sát hoạt động con người, giám sát giao thông,...
Trong giao thông, người ta lắp đặt các camera giám sát ở các nơi đường giao
nhau, đường hầm, nhà ga và các vị trí quan trọng để giám sát giao thông, dự
báo tình trạng ùn tắc, điều phối phân làn giao thông, phát hiện các vi phạm
luật giao thông của các phương tiện… Trong các siêu thị, kho bãi, bảo tàng,
người ta sử dụng hệ thống camera để giám sát hoạt động của nhân viên, khách


21

hàng, các vật trưng bày để tránh trường hợp bị mất cắp. Các vùng nhạy cảm
về an ninh, các hệ thống giám sát được triển khai để có thể cảnh báo kịp thời
những hành vi khả nghi liên quan đến khủng bố, trộm cắp, hỏa hoạn…
Có nhiều mức độ triển khai các hệ thống camera giám sát, từ hệ thống

thủ công, đến bán tự động và hệ thống hoàn toàn tự động. Đối với các hệ thống
camera giám sát thủ công, công việc giám sát được xử lý trực tiếp bởi các giám
sát viên trong thời gian thực, hệ thống chỉ hỗ trợ các thao tác cơ bản như: sao
lưu dữ liệu hoặc trích xuất các đoạn video khi cần thiết. Các hệ thống hoàn
toàn tự động là hệ thống có khả năng thực hiện nhiệm vụ giám sát ở các mức
độ khác nhau không có sự can thiệp của con người, từ các tác vụ bậc thấp như:
phát hiện đối tượng chuyển động tới các tác vụ bậc cao như phát hiện sự kiện,
hành vi của đối tượng được giám sát.
Hiện nay, một số hệ thống giám sát hình ảnh đã được triển khai thành
công. Ví dụ, hệ thống VSAM (Video Surveillance and Monitoring) được phát
triển theo một chương trình do chính phủ Mỹ tài trợ [20]. Đây là một hệ thống
được thiết kế để phát hiện đối tượng chuyển động, phân loại các đối tượng di
chuyển như phương tiện giao thông hoặc người và theo dõi chúng. Hệ thống
VSAM cũng có khả năng phát hiện các hoạt động đơn giản và tương tác giữa
các đối tượng.
Hệ thống KNIGHT do Shah và cộng sự đề xuất [94] sử dụng cả hai loại:
đơn camera và nhiều camera. KNIGHT có khả năng phát hiện đối tượng, phân
loại, theo dõi và nhận dạng hoạt động của đối tượng giám sát. Ngoài ra,
KNIGHT cho phép theo vết đối tượng kết hợp từ các camera khác nhau có thị
trường chồng chéo và không chồng chéo mà không cần thao tác hiệu chuẩn
camera.
Hệ thống giám sát thông minh IBM (S3) [101] có thể tự động phát hiện
và theo dõi đối tượng chuyển động, nó cũng có khả năng xác định các hoạt


22

động của các đối tượng trong khu vực giám sát, cho phép nhận dạng biển số
xe và chụp hình khuôn mặt. Một số hệ thống giám sát khác đã được phát triển
và thương mại hóa như: Acuity, Agent Vi, Avocado, Axis, AxonX, Cernium,

Emza, ioimage, Mate, VideoIQ, Vidient, Vistascape (Siemens).
Ở Việt Nam, gần đây nghiên cứu và triển khai các hệ thống camera giám
sát rất được quan tâm, một số hệ thống giám sát bằng camera đã được triển
khai như: hệ thống gửi xe thông minh, hệ thống phát hiện vi phạm giao
thông… Đã có một số nhóm nghiên cứu tập trung vào lĩnh vực này, trong đó
điển hình là Trung tâm MICA thuộc Trường đại học Bách khoa Hà Nội [38]
với các dự án được hỗ trợ từ quỹ NAFOSTED như: phát hiện bất thường trong
giám sát video [61], [103], định vị đối tượng chuyển động trong hệ thống
camera giám sát…; Phòng thí nghiệm truyền thông đa phương tiện của Đại
học Công nghệ thông tin – Đại học Quốc gia Thành phố Hồ chí Minh [39] với
các dự án: phát hiện thông tin bạo lực trong video, phát hiện sự kiện trong kho
dữ liệu video, tìm kiếm đối tượng trong dữ liệu ảnh và dữ liệu video…
Mô hình tổng quát hệ thống camera giám sát tự động với nhiều camera
được thể hiện ở Hình 1.1 [99].
Đầu vào của hệ thống là các khung hình video thu nhận được từ các
camera. Qua quá trình xử lý phát hiện đối tượng chuyển động (Motion and
Object Detection), các đối tượng chuyển động trong các khung hình video
được đưa ra. Các đối tượng được phát hiện sẽ qua quá trình phân lớp đối tượng
(Object Classification) để phân lớp các đối tượng đó thuộc lớp nào, sự vật nào.
Tiếp theo là quá trình xử lý để theo vết đối tượng (Object Tracking) nhằm dự
đoán và tìm ra đường chuyển động của đối tượng, từ đó có thể phân tích, nhận
biết hành vi của đối tượng giám sát.


23

Hình 1.1. Sơ đồ hệ thống camera giám sát tự động [99]
1.1.2. Các vấn đề cơ bản trong hệ thống camera giám sát tự động
Nhìn chung, quá trình xử lý của hệ thống camera giám sát tự động được
thực hiện thông qua việc giải quyết các một số vấn đề cơ bản sau:

1.1.2.1. Phát hiện đối tượng chuyển động
Hầu hết các hệ thống giám sát hình ảnh đều bắt đầu với việc phát hiện
đối tượng chuyển động. Phát hiện đối tượng chuyển động là bước đầu tiên và
quan trọng nhất trong hệ thống camera giám sát tự động. Mục tiêu của của
việc phát hiện đối tượng chuyển động là xác định vị trí các khu vực đại diện
cho các đối tượng di chuyển trong cảnh quay [99] và thực hiện tách chúng ra
khỏi nền, mô hình thực hiện được chỉ ra trong Hình 1.2. Các quá trình tiếp


24

theo như: phân loại đối tượng, theo vết đối tượng, phân tích và nhận biết hành
vi đối tượng phụ thuộc rất nhiều vào quá trình này.
Chuỗi video

Phát hiện các vùng ảnh
chuyển động

Các đối tượng chuyển
động

Xử lý các vùng ảnh
chuyển động

Hình 1.2. Mô hình xử lý trong bài toán phát hiện đối tượng chuyển động
Việc trích rút đối tượng chuyển động khỏi nền phụ thuộc và chịu nhiều
tác động bởi các yếu tố như: sự thay đổi cường độ ánh sáng, bóng của đối
tượng, sự chuyển động và thay đổi của nền.
Có nhiều phương pháp phát hiện đối tượng chuyển động khác nhau đã
được sử dụng, Teddy [99] phân loại thành ba nhóm chính gồm các kỹ thuật:

phương pháp chênh lệch tạm thời, trừ nền, các phương pháp thống kê và các
phương pháp sử dụng kỹ thuật luồng quang học.
1.1.2.2. Phân loại đối tượng
Trong hệ thống giám sát hình ảnh, phát hiện đối tượng chuyển động là
bước quyết định thì bước quan trọng tiếp theo là phân loại các đối tượng
chuyển động đã được phát hiện. Các vùng ảnh được phân đoạn trong giai đoạn
phát hiện đối tượng chuyển động có thể là con người, phương tiện, động vật,
những đám mây di chuyển, lá cây, hoặc bất kỳ các loại nhiễu khác…, nhiệm
vụ của công đoạn phân loại đối tượng trong hệ thống giám sát hình ảnh là phân
loại các đối tượng chuyển động đã được phát hiện vào các lớp được xác định
trước như: một người, nhóm người, hay một chiếc xe,… bởi trên thực tế, các
hệ thống giám sát hình ảnh được sử dụng chủ yếu cho người và phương tiện.


25

Sau khi phân loại các đối tượng về các lớp phù hợp, các nhiệm vụ tiếp theo
như: theo dõi đối tượng, định danh và phân tích hành vi đối tượng có thể được
thực hiện hiệu quả và chính xác hơn.
Phân loại đối tượng chính là nhận dạng mẫu tiêu chuẩn. Nhìn chung việc
phân loại đối tượng được chia làm hai giai đoạn xử lý chính: trích rút các đặc
trưng và phân loại các véc tơ đặc trưng. Trong giai đoạn thứ nhất, các đặc
trưng của đối tượng như: chiều cao, độ rộng, diện tích, hình bóng, vị trí góc…
được trích rút từ vùng ảnh đại diện cho đối tượng chuyển động. Trong giai
đoạn thứ hai, các thuật toán phân lớp được sử dụng để phân lớp các thuộc tính
vào các lớp đã được xác định trước đó.
1.1.2.3. Theo vết đối tượng
Mục đích của theo vết đối tượng là tìm ra đối tượng chuyển động đã được
phát hiện trong giai đoạn phát hiện đối tượng chuyển động từ khung hình này
sang khung hình khác trong một dãy khung hình [57].

Đầu vào của bài toán theo vết đối tượng chuyển động là vùng ảnh của đối
tượng, các đặc trưng của đối tượng đã được phát hiện thông qua khối xử lý
phát hiện đối tượng, đồng thời vùng ảnh của đối tượng đó đã được phân loại
thuộc các lớp đối tượng cụ thể (lớp đối tượng người, phương tiện giao thông,
đồ vật…) được thực hiện qua khối xử lý phân loại đối tượng. Nhiệm vụ của
theo vết đối tượng là chính xác hoá sự tương ứng của vị trí đối tượng trong
các khung hình liên tiếp từ đó dự đoán đường đi, vận tốc, hướng chuyển động
của các đối tượng.
Quy trình theo vết đối tượng được thể hiện trong Hình 1.3.