Nghiên cứu một số kỹ thuật phát hiện đối tượng chuyển động từ camera và ứng dụng giám sát tự động trong siêu thị

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƢỜNG ĐẠI HỌC QUY NHƠN

TRƢƠNG MINH THƢƠNG

NGHIÊN CỨU MỘT SỐ KỸ THUẬT PHÁT HIỆN ĐỐI
TƢỢNG CHUYỂN ĐỘNG TỪ CAMERA VÀ ỨNG DỤNG
GIÁM SÁT TỰ ĐỘNG TRONG SIÊU THỊ

Chuyên ngành : Khoa học máy tính
Mã số

: 8480101

Ngƣời hƣớng dẫn: TS. Lê Thị Kim Nga


LỜI CAM ĐOAN
Tơi xin cam đoan đây là cơng trình nghiên cứu của riêng tôi. Các số liệu,
kết quả nêu trên trong luận văn là trung thực và có nguồn gốc rõ ràng.
Quy Nhơn, ngày 26 tháng 07 năm 2019
Học viên

Trƣơng Minh Thƣơng


LỜI CẢM ƠN
Trƣớc hết em xin đƣợc bày tỏ lòng biết ơn sâu sắc đối với cô giáo hƣớng
dẫn TS. Lê Thị Kim Nga, Khoa Công nghệ thông tin – Trƣờng Đại học Quy
Nhơn đã tận tình giúp đỡ, hƣớng dẫn em trong thời gian vừa qua và đã dành
rất nhiều thời gian quý báu để giúp em hoàn thành đề tài luận văn đƣợc giao.

Em xin chân thành cảm ơn cô.
Em xin gửi lời cảm ơn đến các Thầy cô giáo trong Khoa Công nghệ
thông tin, trƣờng Đại học Quy Nhơn đã giảng dạy em trong suốt quãng thời
gian qua, cung cấp cho chúng em những kiến thức chuyên môn cần thiết và
quý báu giúp chúng em hiểu rõ hơn các lĩnh vực đã nghiên cứu để hoàn thành
đề tài luận văn đƣợc giao.
Cuối cùng, em xin cảm ơn gia đình và bạn bè đã động viên cổ vũ, đóng
góp ý kiến cho em trong suốt q trình học cũng nhƣ làm luận văn tốt nghiệp,
giúp em hoàn thành đề tài luận văn đúng thời hạn.
Quy Nhơn, ngày 26 tháng 07 năm 2019
Học viên

Trƣơng Minh Thƣơng


MỤC LỤC
Trang
LỜI CAM ĐOAN
LỜI CẢM ƠN
DANH MỤC CÁC HÌNH
MỞ ĐẦU .......................................................................................................... 1
1. Lý do chọn đề tài:.......................................................................................... 1
2. Tổng quan tình hình nghiên cứu đề tài: ........................................................ 1
3. Mục đích và nhiệm vụ nghiên cứu: ............................................................... 2
4. Đối tƣợng và phạm vi nghiên cứu: ................................................................ 2
5. Phƣơng pháp nghiên cứu:.............................................................................. 2
CHƢƠNG 1. TỔNG QUAN VỀ BÀI TOÁN PHÁT HIỆN ĐỐI TƢỢNG
CHUYỂN ĐỘNG. ............................................................................................ 4
1.1. Khái quát về xử lý ảnh. .............................................................................. 4
1.1.1. Xử lý ảnh là gì? ............................................................................... 4

1.1.2. Một số vấn đề cơ bản trong xử lý ảnh. ............................................ 5
1.1.3. Một số ứng dụng của xử lý ảnh. ...................................................... 6
1.2. Vấn đề xử lý video..................................................................................... 6
1.2.1. Sơ lƣợc về lịch sử video .................................................................. 6
1.2.2. Một số khái niệm............................................................................. 7
1.2.3. Một số vấn đề cơ bản trong xử lý video .......................................... 8
1.3. Bài toán phát hiện đối tƣợng chuyển động ................................................ 9
1.4. Hệ thống giám sát đối tƣợng đối với bài toán phát hiện đối tƣợng chuyển
động ................................................................................................................ 10
1.4.1. Lịch sử phát triển của hệ thống giám sát đối tƣợng ...................... 11
1.4.2. Các thành phần trong xây dựng hệ thống giám sát đối tƣợng....... 13
1.5. Kết luận chƣơng 1 ................................................................................... 14


CHƢƠNG 2. KỸ THUẬT PHÁT HIỆN ĐỐI TƢỢNG CHUYỂN ĐỘNG .. 15
2.1. Kỹ thuật trừ ảnh ....................................................................................... 15
2.1.1. Trừ ảnh dựa vào điểm ảnh............................................................. 16
2.1.2. Trừ ảnh dựa vào khối .................................................................... 17
2.1.3. Trừ ảnh dựa vào biểu đồ ............................................................... 19
2.1.4. Trừ ảnh dựa vào thống kê ............................................................. 24
2.1.5. Trừ ảnh dựa vào đặc trƣng ............................................................ 25
2.1.6. Kỹ thuật trừ nền ............................................................................ 26
2.2. Hậu xử lý với các phép tốn hình thái ..................................................... 32
2.2.1. Phần tử cấu trúc ............................................................................. 33
2.2.2. Phép toán giãn nở .......................................................................... 34
2.2.3. Phép toán co .................................................................................. 35
2.2.4. Phép mở ........................................................................................ 36
2.2.5. Phép đóng ...................................................................................... 36
2.3. Kết luận chƣơng 2 ................................................................................... 37
CHƢƠNG 3. ỨNG DỤNG PHÁT HIỆN ĐỔI TƢỢNG CHUYỂN ĐỘNG

TRONG GIÁM SÁT TẠI SIÊU THỊ. ............................................................ 38
3.1. Mơ tả bài tốn .......................................................................................... 38
3.1.1. Phát biểu bài tốn .......................................................................... 38
3.1.2. Phân tích u cầu bài tốn và trình bày giải thuật......................... 39
3.2. Thử nghiệm và đánh giá .......................................................................... 41
3.2.1. Chƣơng trình hồn chỉnh............................................................... 41
3.2.2. Kết quả thử nghiệm thực tế ........................................................... 42
3.2.3. Điều kiện ràng buộc của chƣơng trình .......................................... 44
3.2.4. Đánh giá ........................................................................................ 44
3.3. Kết luận chƣơng 3 ................................................................................... 45


KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN...................................................... 46
1. Kết luận ...................................................................................................... 46
1.1. Về mặt lý thuyết ............................................................................... 46
1.2. Về mặt thực tiễn ............................................................................... 46
2. Hạn chế ....................................................................................................... 46
3. Hƣớng phát triển ......................................................................................... 47
DANH MỤC TÀI LIỆU THAM KHẢO ....................................................... 48
PHỤ LỤC
QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN (bản sao)


DANG MỤC BẢNG, BIỂU, SƠ ĐỒ, HÌNH VẼ
Trang
Hình 1.1. Q trình xử lý ảnh. .......................................................................... 4
Hình 1.2. Các bƣớc cơ bản trong một hệ thống xử lý ảnh................................ 5
Hình 1.3. Mơ tả khung hình.............................................................................. 8
Hình 1.4. Các khối xử lý trong bài tốn phát hiện đối tƣợng ......................... 10
Hình 1.5. Phòng điều khiển hệ thống giám sát bằng đĩa từ truyền thống....... 12

Hình 1.6. Phịng điều khiển hệ thống giám sát hiện đại ................................. 13
Hình 1.7. Mơ hình hệ thống giám sát đối tƣợng. ............................................ 14
Hình 2.1. Các cửa sổ cơ sở trong thuật tốn. .................................................. 19
Hình 2.2. So sánh biểu đồ giữa hai ảnh. ......................................................... 21
Hình 2.3. Mẫu vector cho các di chuyển camera............................................ 25
Hình 2.4. Quy trình trừ nền ........................................................................... 26
Hình 2.5. Ví dụ phần tử cấu trúc .................................................................... 33
Hình 2.6. Ví dụ phép giãn nở ......................................................................... 35
Hình 2.7. Ví dụ phép co.................................................................................. 35
Hình 2.8. Ví dụ phép mở ................................................................................ 36
Hình 2.9. Ví dụ phép đóng ............................................................................. 36
Hình 3.1: Kết quả phát hiện đối tƣợng chuyển động...................................... 39
Hình 3.2: Sơ đồ thực hiện chƣơng trình ......................................................... 40
Hình 3.3. Cách truyền video vào chƣơng trình thử nghiệm ........................... 42
Hình 3.4. Kết quả chƣơng trình với Video 01 ................................................ 43
Hình 3.5. Kết quả chƣơng trình với Video 02 ................................................ 44


1

MỞ ĐẦU
1. Lý do chọn đề tài:
Ngày nay, Sự phát triển của công nghệ thông tin đã xâm nhập vào hầu
hết các mặt của đời sống xã hội với những ứng dụng rộng rãi hỗ trợ cho con
ngƣời trên nhiều lĩnh vực, trong đó có lĩnh vực giám sát, an ninh.
Hiện nay, thơng tin hình ảnh đóng vai trị rất quan trọng trong trao đổi
thơng tin, bởi vì phần lớn các thông tin mà con ngƣời thu nhận đƣợc đều
thông qua thị giác. Trong các lĩnh vực công nghệ thông tin thì lĩnh vực giám
sát tự động đã và đang thu hút đƣợc sự quan tâm của các nhóm nghiên cứu
trong và ngoài nƣớc. Giám sát tự động là một hƣớng mới đƣợc nghiên cứu và

phát triển trong lĩnh vực nhận dạng và xử lý ảnh và tạo cách tiếp cận cho phần
mềm thiết kế chuyên dụng cho các thiết bị giám sát tự động. Việc phát hiện ra
các đối tƣợng chuyển động trong camera nhờ các kỹ thuật xử lý ảnh đã đoán
nhận một số hành vi của đối tƣợng là một việc làm có ý nghĩa khoa học và
thực tiễn.
Ở nƣớc ta hiện nay, lĩnh vực giám sát tự động đã có những bƣớc phát
triển đáng kể. Tuy nhiên, trong lĩnh vực siêu thị thì mới chỉ dựa vào phần
cứng và sự phân tích giám sát của con ngƣời. Việc giải quyết vấn đề này theo
hƣớng phần mềm đang đƣợc nghiên cứu và phát triển. Do vậy em chọn đề tài:
“Nghiên cứu một số kỹ thuật phát hiện đối tượng chuyển động từ camera và
ứng dụng giám sát tự động trong siêu thị” nhằm nghiên cứu và ứng dụng phát
hiện đối tƣợng khách hàng trong các gian hàng của siêu thị.
2. Tổng quan tình hình nghiên cứu đề tài:
Vấn đề phát hiện đối tƣợng đang đƣợc nghiên cứu và có nhiều ứng dụng
trong cuộc sống. Các đối tƣợng đƣợc phát hiện nhờ những thông tin trong một
frame ảnh. Có rất nhiều hƣớng tiếp cận để giải quyết vấn đề trên.


2

Việc lựa chọn phƣơng pháp áp dụng phải dựa vào tình huống cụ thể, đối
với trƣờng hợp có ảnh nền khơng thay đổi việc phát hiện đối tƣợng chuyển
động có thể bằng các phƣơng pháp trừ nền. Hƣớng giải quyết là xây dựng mơ
hình nền, sau đó sử dụng mơ hình này cùng với frame hiện tại để rút ra đƣợc
các foreground chuyển động. Để có thể tiếp cận cần phải xây dựng đƣợc mơ
hình background.
Trong luận văn này, Thuật toán trừ nền xác định mức xám của ảnh
Video từ một camera tĩnh, sau đó khởi tạo một nền tham khảo với frame đầu
tiên của Video đầu vào. Sau đó, thực hiện trừ giá trị cƣờng độ của mỗi điểm
ảnh trong ảnh hiện thời cho giá trị tƣơng ứng trong ảnh nền tham khảo.

3. Mục đích và nhiệm vụ nghiên cứu:
Nghiên cứu cơ sở lý thuyết, sơ đồ thuật toán, hoạt động của một số kỹ
thuật phát hiện đối tƣợng chuyển động từ camera, trên cơ sở đó áp dụng thử
nghiệm với dữ liệu video thu đƣợc từ hệ thống camera giám sát trong siêu thị.
4. Đối tƣợng và phạm vi nghiên cứu:
Đối tượng:

4.1.

 Nghiên cứu các kỹ thuật xử lý ảnh và video phục vụ phát hiện đối tƣợng
chuyển động từ camera.
 Nghiên cứu bài toán phát hiện đối tƣợng chuyển động.
 Các cơng trình đã nghiên cứu về phát hiện đối tƣợng chuyển động.
 Các thuật toán, phƣơng pháp áp dụng trong vấn đề này.
4.2.

Phạm vi:
Phạm vi nghiên cứu là với các dữ liệu video thu từ nguồn camera giám

sát, cụ thể là từ hệ thống camera an ninh siêu thị MM Mega Market Quy
Nhơn.
5. Phƣơng pháp nghiên cứu:
Phƣơng pháp nghiên cứu của đề tài là lý thuyết kết hợp với thực nghiệm.


3

 Bước 1: Sƣu tập tài liệu liên quan.
 Bước 2: Nghiên cứu lý thuyết về xử lý ảnh.
 Bước 3: Nghiên cứu các kỹ thuật, thuật toán phát hiện đối tƣợng

chuyển động trong camera.
 Bước 4: Tìm hiểu về bài toán phát hiện đối tƣợng chuyển động.
 Bước 5: Xây dựng chƣơng trình thực nghiệm.
 Bước 6: Đánh giá và hiệu chỉnh thuật tốn, chƣơng trình.


4

Chƣơng 1. TỔNG QUAN VỀ BÀI TOÁN PHÁT HIỆN ĐỐI
TƢỢNG CHUYỂN ĐỘNG.
1.1. Khái quát về xử lý ảnh.
1.1.1. Xử lý ảnh là gì?
Con ngƣời thu nhận thơng tin qua các giác quan, trong đó thị giác đóng
vai trị quan trọng nhất. Những năm trở lại đây với sự phát triển của phần
cứng máy tính, xử lý ảnh và đồ hoạ đó phát triển một cách mạnh mẽ và có
nhiều ứng dụng trong cuộc sống. Xử lý ảnh và đồ hoạ đóng một vai trị quan
trọng trong tƣơng tác ngƣời máy.
Q trình xử lý ảnh đƣợc xem nhƣ là quá trình thao tác ảnh đầu vào nhằm
cho ra kết quả mong muốn. Kết quả đầu ra của một quá trình xử lý ảnh có thể
là một ảnh “tốt hơn” hoặc một kết luận nào đó.

Hình 1.1. Q trình xử lý ảnh.

Ảnh có thể xem là tập hợp các điểm ảnh và mỗi điểm ảnh đƣợc xem nhƣ
là đặc trƣng cƣờng độ sáng hay một dấu hiệu nào đó tại một vị trí nào đó của
đối tƣợng trong khơng gian và nó có thể xem nhƣ một hàm n biến P(c1, c2,...,
cn). Do đó, ảnh trong xử lý ảnh có thể xem nhƣ ảnh n chiều.
Sơ đồ tổng quát của một hệ thống xử lý ảnh:

5

Hình 1.2. Các bước cơ bản trong một hệ thống xử lý ảnh.

Trong sơ đồ trên, ảnh cần đƣợc xử lý đƣợc thu nhận thông qua hệ thống
thu nhận ảnh. Hệ thống thu nhận ảnh này bao gồm các thiết bị chụp nhƣ
camera, máy quét scanner, máy chụp hình… Ảnh sau khi thu nhận đƣợc qua
hệ thống thu nhận, ảnh sẽ đƣợc lấy mẫu và số hóa, sau đó sẽ đƣợc phân tích
theo các loại ảnh. Có rất nhiều loại ảnh khác nhau, chúng đƣợc lƣu trữ dƣới
các file khác nhau nhƣ: file Bitmap, file PCX, file Gif… Ảnh sau khi phân
tích sẽ đƣợc lƣu trữ và tùy theo từng ứng dụng cụ thể mà chọn ra cách thích
hợp để phân tích.
Vì vậy, Mục đích của xử lý ảnh là:
 Biến đổi ảnh và làm cho ảnh đẹp
 Tự động phân tích nhận dạng ảnh hay đốn nhận ảnh và đánh giá các nội
dung của ảnh.
1.1.2. Một số vấn đề cơ bản trong xử lý ảnh.
Tiền xử lý: Tiền xử lý là giai đoạn đầu tiên trong xử lý ảnh số. Tùy thuộc
vào quá trình xử lý tiếp theo trong giai đoạn này sẽ thực hiện các công đoạn
khác nhau nhƣ: nâng cấp, khơi phục ảnh, nắn chỉnh hình học, khử nhiễu…
Trích chọn đặc điểm: Các đặc điểm của đối tƣợng đƣợc trích chọn tùy
theo mục đích nhận dạng trong q trình xử lý ảnh. Trích chọn hiệu quả các
đặc điểm giúp cho việc nhận dạng các đối tƣợng ảnh chính xác, với tốc độ
tính tốn cao và dung lƣợng nhớ, lƣu trữ giảm


6

Đối sánh, nhận dạng: Nhận dạng tự động, mô tả đối tƣợng, phân loại và
phân nhóm các mẫu là những vấn đề quan trọng trong thị giác máy, đƣợc ứng

dụng trong nhiều ngành khoa học khác nhau. Mẫu có thể là ảnh của vật nào
đó đƣợc chụp, một chữ viết tay…
1.1.3. Một số ứng dụng của xử lý ảnh.
Xử lý ảnh là một trong những ngành khoa học có nhiều thành tựu và khả
năng ứng dụng trong nhiều lĩnh vực, chẳng hạn:
 Cơng việc văn phịng: nhận dạng ký tự quang học, xử lý tài liệu, nhận
dạng kịch bản, nhận dạng logo và biểu tƣợng, xác định vị trí địa chỉ trên
phong bì tài liệu….
 Cơng nghiệp tự động hóa: Công nghệ chế tạo rô-bốt, xe tự hành…
 Xử lý ảnh y tế: Phân tích ảnh điện tâm đồ ECG- Electrocardiogram, điện
não đồ EEG- Electroencephalogram, đo điện cơ EMG- Electromyography;
phân tích ảnh X-quang,…
 Viễn thám: Nghiên cứu và quản lý tài ngun thiên nhiên, kiếm sốt ơ
nhiễm mơi trƣờng, dự báo thời tiết, xác định thay đổi thời tiết dựa vào
ảnh thu nhận từ vệ tinh, phân tích mẫu mây…
 Kiểm soát tội phạm (Criminology): nhận dạng vân tay, đối sánh mặt
ngƣời, giám định pháp y…
1.2. Vấn đề xử lý video
1.2.1. Sơ lược về lịch sử video
Khái niệm video đã xuất hiện từ rất lâu theo sự xuất hiện của những phát
kiến về hình ảnh chuyển động. Năm 1834, nhà toán học William George
Horner phát minh ra máy Zeotrope, một thiết bị dùng để tạo sự chuyển động
từ một dãy ảnh liên tục. Phát minh này có thể coi là sự mở màn cho công cuộc
khai sinh ra ảnh video. Năm 1877, Emile Reynaud cải tiến chiếc zeotrope
thành praxinoscope. Hình ảnh thu nhận đƣợc từ máy này rõ ràng hơn từ


7

zeotrope. Năm 1889, George Eastman đã phát minh ra phim chụp ảnh linh

hoạt, cho phép lƣu trữ nhiều hình ảnh trên một cuộn phim. Đến năm 1895,
Louis Lumiere là một trong những ngƣời đầu tiên đƣa ra hệ thống máy chiếu
phim. Đây cũng là thời điểm đánh dấu sự phát triển của phim với hình ảnh
chuyển động.
Kỹ thuật video đƣợc phát triển đầu tiên cho hệ thống ti vi sử dụng bóng
cathode CRT. Trong thời kỳ này cũng có nhiều nhà khoa học nghiên cứu để
phát minh ra những kỹ thuật mới cho thiết bị hiển thị video. Charles Ginsburg
đã cùng với đội nghiên cứu của mình phát triển chiếc băng ghi hình đầu tiên
VTR-Video Tape Recorder. Năm 1951, băng từ lần đầu tiên đƣợc sử dụng để
ghi lại hình ảnh và đã thu đƣợc 50,000 bảng vào năm 1956. Tiếp sau đó lần
lƣợt là sự ra đời của băng cát sét ghi VCR- Video Cassette Recorder năm
1971. Ngày nay, cơng nghệ máy tính phát triển chúng ta đã có thể ghi, lƣu trữ,
chỉnh sửa và truyền thơng tin hình ảnh qua mạng máy tính dƣới dạng các
video clips.
1.2.2. Một số khái niệm
Video là một tập hợp các khung hình (frames). Mỗi khung hình là một
hình ảnh, là đơn vị dữ liệu cơ bản nhất của video. Video có thể đƣợc hiểu là
một chuỗi các hình ảnh liên tiếp. Để mắt ngƣời có thể cảm nhận đƣợc sự
chuyển động của các hình ảnh thì các khung hình phải đƣợc phát liên tục với
một tốc độ nhất định. Thông thƣờng, tốc độ đó là 25 hình/giây hoặc 30
hình/giây.


8

Hình 1.3. Mơ tả khung hình.

Do bản chất video là một dãy các khung hình nên bài tốn xử lý video có
thể hiểu là một trƣờng hợp con của bài toán xử lý ảnh số. Trong này đầu vào
sẽ cụ thể hơn đó là một dãy các khung hình. Việc xử lý video thƣờng sẽ đi

kèm với việc phân tích những thơng tin thời gian của các khung hình, nhƣ
quan hệ trƣớc sau, quan hệ liền kề của các khung hình. Những thơng tin này
thƣờng sẽ đóng vai trị quan trọng trong việc phân tích dữ liệu hình ảnh của
các đối tƣợng xuất hiện trong video. Chẳng hạn nhƣ nếu một ngƣời xuất hiện
tại một vị trí trong khung hình video của một camera giám sát, thì trong
khung hình tiếp theo ngƣời đó chỉ có thể xuất hiện tại những vị trí xung quanh
vị trí đã xuất hiện trƣớc.
1.2.3. Một số vấn đề cơ bản trong xử lý video
Video là do một chuỗi ảnh liên tiếp chuyển động tạo thành. Để có thể
truyền tải video, các thơng tin và dữ liệu này đƣợc mã hóa. Do đó, để có thể
xử lý đƣợc các tín hiệu video bên cạnh việc xử lý các vấn đề khách quan nhƣ
điều kiện ánh sáng, vị trí đặt camera… ta cũng cần quan tâm tới các vấn đề về
tiêu chuẩn nén của video.
Về cơ bản hệ thống xử lý video gần giống với hệ thống xử lý ảnh. Tuy nhiên,
do đặc trƣng chuyển động của hình ảnh nên ta cần quan tâm tới các vấn đề:


9

 Xác định đối tƣợng, số lƣợng đối tƣợng có trong ảnh
 Xác định đối tƣợng chuyển động trong ảnh: các đối tƣợng dời đi hay
chuyển tới, chuyển động đơn hay chuyển động trong đám đông
 Tách đối tƣợng từ một nhóm đối tƣợng chuyển động
 Tách đối tƣợng với bóng của bản thân.
1.3. Bài tốn phát hiện đối tƣợng chuyển động
Phát hiện chuyển động là một bài toán quan trọng có ứng dụng rộng rãi
trong các hệ thống phân tích dữ liệu video. Chẳng hạn với các hệ thống giám
sát tự động với các vấn đề yêu cầu tri thức từ lĩnh vực nhận dạng và xử lý ảnh
và tạo cách tiếp cận cho phần mềm thiết kế chuyên dụng cho các thiết bị giám
sát tự động. Việc phát hiện ra các đối tƣợng chuyển động trong camera nhờ

các kỹ thuật xử lý ảnh để đoán nhận một số hành vi của đối tƣợng là một việc
làm có ý nghĩa khoa học và thực tiễn. Kết quả của việc phát hiện chuyển động
nhằm vào những gì thay đổi trên khung hình video, đây là cơ sở để thực hiện
rất nhiều thao tác xử lý, nhƣ phát hiện chuyển cảnh video, phát hiện trộm cắp
từ camera an ninh, phát hiện vi phạm giao thông nhƣ vƣợt đèn đỏ, lấn làn,
ngƣợc chiều từ camera đƣờng phố…
Phát hiện đối tƣợng chuyển động là quá trình đƣa ra các đối tƣợng
chuyển động từ các khung hình video. Với mỗi khung hình xử lý, hệ thống
cần đƣa ra đƣợc các vị trí, các vùng là đối tƣợng chuyển động trong video.
Quá trình này thực chất là quá trình xử lý chuỗi ảnh liên tiếp trong một đoạn
video để phát hiện ra đối tƣợng chuyển động trong một đoạn hình ảnh theo
mơ hình sau đây:


10

Hình 1.4. Các khối xử lý trong bài tốn phát hiện đối tượng

Đối với bài toán phát hiện đối tƣợng chuyển động thƣờng có hai cách
tiếp cận chính sau đây:
 Dựa hoàn toàn vào phần cứng
 Dựa vào các kỹ thuật xử lý ảnh trên cơ sở xử lý các hình ảnh thu đƣợc,
phân tích và kết luận xem có đối tƣợng chuyển động tại khu vực quan sát
hay không? Nếu có thì là đâu?
1.4. Hệ thống giám sát đối tƣợng đối với bài toán phát hiện đối tƣợng
chuyển động
Việc xuất hiện và phổ biến các hệ thống camera giám sát cùng với các
mô đun giám sát đối tƣợng trên đó đóng một vai trị quan trọng đối với việc
nghiên cứu bài toán phát hiện đối tƣợng trên video. Khá nhiều hệ thống
camera giám sát hiện nay khi đƣợc triển khai đều sẽ có đi kèm một số tính

11

năng phát hiện chuyển động một cách đơn giản, hoặc thậm chí đó có thể là
một tính năng đƣợc xây dựng nhúng trong nhiều dòng camera hiện đại. Việc
triển khai phổ biến các hệ thống camera là một động lực quan trọng đối với
những nhà nghiên cứu xử lý ảnh cũng nhƣ những nhà đầu tƣ trong lĩnh vực
công nghệ thông tin dồn nhiều sức lực và tiền bạc để tìm kiếm những giải
pháp cho bài tốn phát hiện đối tƣợng chuyển động trên dữ liệu video.
1.4.1. Lịch sử phát triển của hệ thống giám sát đối tượng
Dù ra đời muộn, vào nửa cuối của thập niên 90, hệ thống giám sát đối
tƣợng đã trải qua những thăng trầm và có những kết quả đáng khích lệ và vẫn
đang đƣợc tiếp tục nghiên cứu, phát triển.
Hệ thống giám sát đối tƣợng trƣớc tiên là thời kỳ của mạch tivi khép kín
(CCTV-Closed Circuit Television). CCTV là một hệ thống gồm các camera
đƣợc kết nối theo một mạch kín hay vịng với các hình ảnh đƣợc gửi tới màn
hình trung tâm hay đƣợc lƣu trữ lại.
Tiếp đến là sự ra đời của tín hiệu analog cùng với đĩa từ đã giúp lƣu trữ
lại những thơng tin giám sát. Các hình ảnh thu nhận đƣợc từ camera đƣợc lƣu
lại trong các băng từ (VHS- Video Home System) Tuy nhiên, trong thời kỳ
này thì hình ảnh đƣợc lƣu lại chậm và tốn nhiều khơng gian lƣu trữ. Hằng
ngày, nhân viên phụ trách hệ thống phải thay băng, đĩa từ. Hệ thống băng từ
này đƣợc lƣu trong khoảng thời gian 1 tháng, rồi đƣợc xóa đi để lƣu lại cho
tháng kế tiếp.


12

Hình 1.5. Phịng điều khiển hệ thống giám sát bằng đĩa từ truyền thống

(Nguồn video surveillance E6998-007 senior/feris/tian…)

Sự phát triển của kỹ thuật số đã đem lại những kết quả đáng ghi nhớ cho
hệ thống giám sát. Các dữ liệu thu nhận đƣợc từ hệ thống camera đƣợc lƣu lại
trực tiếp trên ổ đĩa cứng của máy tính. Các dữ liệu này đƣợc bảo mật nhờ tính
năng khóa mã của máy tính và sự phát triển của Internet giúp các thông tin
đƣợc truyền đi từ máy này sang máy khác trong một khoảng thời gian ngắn
mà vẫn đảm bảo tính chính xác của dữ liệu.


13

Hình 1.6. Phịng điều khiển hệ thống giám sát hiện đại
(Nguồn: http://www. securite-surveillance. com/blog/index. php/video-surveillance-laville-de-mexico-signe-avec-thales/)

1.4.2. Các thành phần trong xây dựng hệ thống giám sát đối tượng
Trong hệ thống giám sát đối tƣợng, tất cả các thơng tin về hình ảnh thu
nhận đƣợc từ camera hoặc hệ thống camera đƣợc truyền về trung tâm. Tại
đây, các thông tin sẽ đƣợc phân tích, xử lý để đƣa ra các quyết định phù hợp.
Hệ thống giám sát đối tƣợng với quy mô nhỏ hay lớn đều cần có:
 Camera (hoặc hệ thống camera - với quy mơ lớn): Trong hệ thống nhỏ
có thể chỉ cần một camera. Đối với các hệ thống lớn, ta có một hệ thống
camera đƣợc đặt tại các khu vực cần quan sát. Ví dụ nhƣ tại một tòa nhà
ta cần đặt camera tại bãi đỗ xe, tại sảnh, cầu thang (cầu thang bộ, cầu
thang máy), tại các tầng….
 Màn hình theo dõi (hoặc hệ thống màn hình): Trên một màn hình có thể
đặt tƣơng ứng với một camera hoặc chia chế độ màn hình hiển thị với
các phân vùng ứng với số lƣợng camera…

14

 Đầu ghi hình DVR độc lập ( hoặc card DVR cắm máy tính).
 Phịng điều khiển (giám sát): Tại đây đặt màn hình theo dõi của hệ thống.
Phịng có bố trí nhân viên để phụ trách quản lý và điều hành hệ thống.

Hình 1.7. Mơ hình hệ thống giám sát đối tượng.

1.5. Kết luận chƣơng 1
Chƣơng 1 đã giới thiệu cơ bản về xử lý ảnh số và video. Trên cơ sở đó
đã trình bày một bài tốn quan trọng đó là bài tốn phát hiện đối tƣợng
chuyển động. Việc giải quyết bài toán phát hiện đối tƣợng chuyển động đã và
đang đƣợc ứng dụng vào các lĩnh vực trong đời sống xã hội đồng thời nó vẫn
đang thu hút đƣợc sự quan tâm của nhiều nhóm nghiên cứu. Một số kỹ thuật
xử lý ảnh đang đƣợc ứng dụng cho bài tốn này có thể kể đến là: Kỹ thuật trừ
ảnh dựa vào điểm ảnh, phƣơng pháp biểu đồ, kỹ thuật trừ nền (Background
Subtraction). Trong chƣơng 2 chúng ta sẽ tìm hiểu một số kỹ thuật phát hiện
đối tƣợng chuyển động này.


15

Chƣơng 2. KỸ THUẬT PHÁT HIỆN ĐỐI TƢỢNG CHUYỂN
ĐỘNG
Nhƣ đã phân tích ở chƣơng 1, video đƣợc xem là một dãy N khung hình
liên tiếp (f1, f2, …, fN), mỗi khung hình là một ảnh tĩnh. Các hình ảnh có tính
liên tục đƣợc hiển thị lần lƣợt. Độ sáng của một điểm ảnh cụ thể trong khung
hình đƣợc coi là một hàm của thời gian f(x, y, t) trong đó (x, y) là tọa độ của
điểm ảnh trong không gian và t là thời gian xét khung hình.
Quá trình phát hiện đối tƣợng chuyển động trong video đƣợc thực hiện

bằng việc phân tích các khung hình liên tiếp và cần đƣa ra đƣợc các đối
tƣợng chuyển động đối với khung hình hiện tại. Thơng thƣờng, q trình
này đƣợc thực hiện bằng một kỹ thuật trừ ảnh và sau đó đi kèm một số thao
tác hậu xử lý.
2.1. Kỹ thuật trừ ảnh
Với kỹ thuật trừ ảnh, mục tiêu chính để kiểm tra xem giữa hai ảnh có
sự sai lệch nhau hay khơng và xác định đƣợc vị trí của vùng sai lệch. Cần
phải lƣu ý rằng sai lệch ở đây là sai lệch về vị trí và đồng thời là sai lệch về
giá trị màu.
Ký hiệu D(f1,f2) là sự sai khác giữa hai khung hình f1, f2. Sự sai khác này
lớn hơn một ngƣỡng nào đó sẽ xác định đƣợc có đối tƣợng chuyển động giữa
hai khung hình. Sự thay đổi trên khung hình đƣợc tính tốn trên một đặc trƣng
nhất định. Thông thƣờng, các đặc trƣng đƣợc sử dụng là nội dung màu sắc là
biểu đồ (biểu đồ màu hoặc biểu đồ mức xám), cạnh, vectơ chuyển động, góc
hay kết cấu hình ảnh (texture).
Để thực hiện đƣợc kỹ thuật này ta cần:
 Xác định đặc trƣng cần so sánh
 Xác định công thức trừ ảnh D


16

 Xác định ngƣỡng sai khác Tb. Những sai khác lớn hơn ngƣỡng là những
giá trị cần xem xét và là dấu hiệu có đối tƣợng.
2.1.1. Trừ ảnh dựa vào điểm ảnh
Về cơ bản, đây là thao tác thực hiện so sánh các cặp điểm ảnh tƣơng ứng
trên hai ảnh liên tiếp. Trừ ảnh dựa vào điểm ảnh là phƣơng pháp đơn giản
nhất để xác định sự khác biệt giữa hai khung hình. Phƣơng pháp này đƣợc
tính dựa vào giá trị biểu diễn sự chênh lệch tổng cộng về cƣờng độ của tất cả
các điểm ảnh tƣơng ứng trên hai khung hình:

(

)

∑ ∑| (

)

(

)|

(2.1)

Giá trị chênh lệch tìm đƣợc từ công thức trên đƣợc so sánh với ngƣỡng
chuyển động Tb để xác định xem có sự khác biệt hay khơng.
Kỹ thuật trừ ảnh dựa vào điểm ảnh là kỹ thuật đơn giản. Tuy nhiên, kỹ
thuật này có nhƣợc điểm lớn là không phân biệt đƣợc sự thay đổi lớn trong
một vùng ảnh nhỏ và thay đổi nhỏ trong một vùng ảnh lớn. Nói cách khác, kỹ
thuật trừ giá trị điểm ảnh rất nhạy với nhiễu và sự di chuyển của camera. Một
trong những phƣơng pháp cải tiến kỹ thuật này đƣợc thực hiện bằng cách đếm
tổng số điểm ảnh có thay đổi lớn hơn một ngƣỡng nào đó và so sánh giá trị
tính đƣợc với một ngƣỡng khác để phát hiện có sự thay đổi về hình ảnh.
(
(

)
)

{

| (

∑∑

)

(

(

)

)|

(2.2)

(2.3)

Nếu tỷ lệ số điểm ảnh thay đổi D(f1,f2) lớn hơn ngƣỡng T1 thì đó có sự
khác biệt về hình ảnh, có sự chuyển động. Tuy các thay đổi không liên quan
trong khung hình đó đƣợc loại bỏ bớt nhƣng hƣớng tiếp cận này vẫn nhạy với
các di chuyển camera và đối tƣợng. Chẳng hạn, khi camera quay theo đối


17

tƣợng, rất nhiều điểm ảnh đƣợc cho là thay đổi, dù trên thực tế có ít điểm ảnh
dịch chuyển. Kết quả này là do khi camera quay theo đối tƣợng thì cƣờng độ
của một số điểm ảnh dịch chuyển ít bị thay đổi nên sẽ bị hiểu là có sự dịch

chuyển của các điểm ảnh này. Để làm giảm sự ảnh hƣởng này, ta có thể sử
dụng một bộ lọc trơn: trƣớc khi so sánh, mỗi điểm ảnh đƣợc thay thế bằng giá
trị trung bình của các điểm ảnh lân cận.
Một nhƣợc điểm khác của kỹ thuật trừ điểm ảnh là độ nhạy của điểm ảnh
với việc chiếu sáng. Khi đó ngƣời ta điều chỉnh độ sai khác giá trị điểm ảnh
bằng cách chia nó cho cƣờng độ của điểm ảnh trên khung hình thứ hai. Ảnh
thu đƣợc từ độ chênh lệch hiệu chỉnh là ảnh chromatic:
(

)

∑∑

| (

)
(

(
)

)|

(2.4)

Phƣơng pháp trừ giá trị điểm ảnh cơ bản là tính tốn từ các giá trị điểm
ảnh nhƣng có thể mở rộng đối với các ảnh màu. Ví dụ với ảnh màu RGB
(RED, GREEN, BLUE – màu đỏ, màu xanh lá, màu xanh dƣơng), ta tính tổng
có trọng số các sai khác của ba giá trị Red, Green, Blue của các điểm ảnh.
(

)

∑∑

|

∑
*

(

)

(

)| (2.5)

+

2.1.2. Trừ ảnh dựa vào khối
Với ý tƣởng chia ảnh thành các miền sau đó tiến hành so sánh các miền
tƣơng ứng nên trái ngƣợc với hƣớng tiếp cận sử dụng các đặc tính tồn cục
của cả khung hình, hƣớng tiếp cận phân khối sử dụng các đặc tính cục bộ
nhằm tăng tính độc lập với các di chuyển của camera và đối tƣợng. Mỗi
khung hình đƣợc chia thành b khối. Các khối trên khung hình f1 đƣợc so sánh
với các khối tƣơng ứng trên khung hình f2. Về cơ bản, độ chênh lệch giữa hai
khung hình đƣợc tính nhƣ sau:

18

(

)

∑

(

)

(2.6)

Trong đó:
Ck là hệ số cho trƣớc
DP(f1, f2, k) là độ chênh lệch giữa hai khối thứ k của hai khung hình f1
và f2.
Ta có cơng thức:
[

.

/ ]

(2.7)

Trong đó:
,

là giá trị cƣờng độ trung bình của khối thứ k

,

là độ chênh lệch tƣơng ứng với hai khối.
(

)

{

(2.8)

Chuyển động đƣợc coi là xảy ra khi số các khối thay đổi đủ lớn, nghĩa là
D(f1,f2) > T2 và Ck=1 cho tất cả các khối.
Một hƣớng tiếp cận khác là chia khung hình thành nhiều miền và tìm
miền thích hợp nhất cho mỗi miền ở khung hình kia. Độ chênh lệch tính bằng
kỹ thuật trừ ảnh dựa vào điểm ảnh của từng miền đƣợc sắp xếp. Tổng các
trọng số của các chênh lệch đó sắp xếp cho ta kết quả D cuối cùng.
Một phƣơng pháp khác phát hiện chuyển động chỉ bằng việc so sánh một
phần của ảnh. Phƣơng pháp này chỉ ra rằng, sai sót mắc phải hồn tồn có thể
bỏ qua nếu ít hơn một nửa số các cửa sổ cơ sở (các ô vuông chồng nhau) đều
đƣợc kiểm tra. Với giả thiết rằng, trong trƣờng hợp thay đổi nhiều nhất giữa
hai khung hình thì kích thƣớc các cửa sổ đƣợc chọn đủ lớn để bất biến với các
thay đổi không làm vỡ và đủ nhỏ để có thể chứa thơng tin về không gian