Nghiên cứu một số kỹ thuật phát hiện đối tượng chuyển động từ camera và ứng dụng giám sát tự động trong siêu thị

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC QUY NHƠN

TRƯƠNG MINH THƯƠNG

NGHIÊN CỨU MỘT SỐ KỸ THUẬT PHÁT HIỆN ĐỐI
•••
TƯỢNG CHUYỂN ĐỘNG TỪ CAMERA VÀ ỨNG DỤNG
•••
GIÁM SÁT TỰ ĐỘNG TRONG SIÊU THỊ
•••

Chun ngành : Khoa học máy tính
Mã số

: 8480101

Người hướng dẫn: TS. Lê Thị Kim Nga


LỜI CAM ĐOAN
Tơi xin cam đoan đây là cơng trình nghiên cứu của riêng tôi. Các số liệu,
kết quả nêu trên trong luận văn là trung thực và có nguồn gốc rõ ràng.
Quy Nhơn, ngày 26 tháng 07 năm 2019
Học viên

Trương Minh Thương


LỜI CẢM ƠN
Trước hết em xin được bày tỏ lòng biết ơn sâu sắc đối với cô giáo hướng

dẫn TS. Lê Thị Kim Nga, Khoa Công nghệ thông tin - Trường Đại học Quy
Nhơn đã tận tình giúp đỡ, hướng dẫn em trong thời gian vừa qua và đã dành rất
nhiều thời gian quý báu để giúp em hoàn thành đề tài luận văn được giao. Em
xin chân thành cảm ơn cô.
Em xin gửi lời cảm ơn đến các Thầy cô giáo trong Khoa Công nghệ
thông tin, trường Đại học Quy Nhơn đã giảng dạy em trong suốt quãng thời
gian qua, cung cấp cho chúng em những kiến thức chuyên môn cần thiết và
quý báu giúp chúng em hiểu rõ hơn các lĩnh vực đã nghiên cứu để hoàn thành
đề tài luận văn được giao.
Cuối cùng, em xin cảm ơn gia đình và bạn bè đã động viên cổ vũ, đóng
góp ý kiến cho em trong suốt q trình học cũng như làm luận văn tốt nghiệp,
giúp em hoàn thành đề tài luận văn đúng thời hạn.
Quy Nhơn, ngày 26 tháng 07 năm 2019
Học viên

Trương Minh Thương


MỤC LỤC
••
Trang
LỜI CAM ĐOAN
LỜI CẢM ƠN
DANH MỤC CÁC HÌNH
1.1................................................................................................................
CHƯƠNG 2. KỸ THUẬT PHÁT HIỆN ĐỐI TƯỢNG CHUYỂN ĐỘNG .. 15
2.1..............................................................................................................
2.2...................................................................................................................
2.3.

PHỤ LỤC

2.4.

QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN (bản sao)


2.5.

DANG MỤC BẢNG, BIỂU, SƠ ĐỒ, HÌNH VẼ
2.6.

Trang

2.7....................................................................................................................
2.8....................................................................................................................


6

2.9.

MỞ ĐẦU

1. Lý do chọn đề tài:
2.10. Ngày nay, Sự phát triển của công nghệ thông tin đã xâm nhập vào
hầu hết các mặt của đời sống xã hội với những ứng dụng rộng rãi hỗ trợ cho
con người trên nhiều lĩnh vực, trong đó có lĩnh vực giám sát, an ninh.
2.11. Hiện nay, thơng tin hình ảnh đóng vai trị rất quan trọng trong trao
đổi thơng tin, bởi vì phần lớn các thông tin mà con người thu nhận được đều

thông qua thị giác. Trong các lĩnh vực công nghệ thơng tin thì lĩnh vực giám
sát tự động đã và đang thu hút được sự quan tâm của các nhóm nghiên cứu
trong và ngồi nước. Giám sát tự động là một hướng mới được nghiên cứu và
phát triển trong lĩnh vực nhận dạng và xử lý ảnh và tạo cách tiếp cận cho phần
mềm thiết kế chuyên dụng cho các thiết bị giám sát tự động. Việc phát hiện ra
các đối tượng chuyển động trong camera nhờ các kỹ thuật xử lý ảnh đã đoán
nhận một số hành vi của đối tượng là một việc làm có ý nghĩa khoa học và thực
tiễn.
2.12. Ở nước ta hiện nay, lĩnh vực giám sát tự động đã có những bước
phát triển đáng kể. Tuy nhiên, trong lĩnh vực siêu thị thì mới chỉ dựa vào phần
cứng và sự phân tích giám sát của con người. Việc giải quyết vấn đề này theo
hướng phần mềm đang được nghiên cứu và phát triển. Do vậy em chọn đề tài:
“Nghiên cứu một số kỹ thuật phát hiện đối tượng chuyển động từ camera và
ứng dụng giám sát tự động trong siêu thị” nhằm nghiên cứu và ứng dụng phát
hiện đối tượng khách hàng trong các gian hàng của siêu thị.
2. Tổng quan tình hình nghiên cứu đề tài:
2.13. Vấn đề phát hiện đối tượng đang được nghiên cứu và có nhiều
ứng dụng trong cuộc sống. Các đối tượng được phát hiện nhờ những thông tin
trong một frame ảnh. Có rất nhiều hướng tiếp cận để giải quyết vấn đề trên.


7

2.14.

Việc lựa chọn phương pháp áp dụng phải dựa vào tình huống cụ

thể, đối với trường hợp có ảnh nền khơng thay đổi việc phát hiện đối tượng
chuyển động có thể bằng các phương pháp trừ nền. Hướng giải quyết là xây
dựng mơ hình nền, sau đó sử dụng mơ hình này cùng với frame hiện tại để rút

ra được các foreground chuyển động. Để có thể tiếp cận cần phải xây dựng
được mơ hình background.
2.15.

Trong luận văn này, Thuật toán trừ nền xác định mức xám của ảnh

Video từ một camera tĩnh, sau đó khởi tạo một nền tham khảo với frame đầu
tiên của Video đầu vào. Sau đó, thực hiện trừ giá trị cường độ của mỗi điểm
ảnh trong ảnh hiện thời cho giá trị tương ứng trong ảnh nền tham khảo.
3. Mục đích và nhiệm vụ nghiên cứu:
2.16.

Nghiên cứu cơ sở lý thuyết, sơ đồ thuật toán, hoạt động của một

số kỹ thuật phát hiện đối tượng chuyển động từ camera, trên cơ sở đó áp dụng
thử nghiệm với dữ liệu video thu được từ hệ thống camera giám sát trong siêu
thị.
4. Đối tượng và phạm vi nghiên cứu:
4.1.

Đối tượng:

- Nghiên cứu các kỹ thuật xử lý ảnh và video phục vụ phát hiện đối tượng
chuyển động từ camera.

- Nghiên cứu bài toán phát hiện đối tượng chuyển động.
- Các cơng trình đã nghiên cứu về phát hiện đối tượng chuyển động.
- Các thuật toán, phương pháp áp dụng trong vấn đề này.
4.2.
2.17.

Phạm vi:
Phạm vi nghiên cứu là với các dữ liệu video thu từ nguồn camera

giám sát, cụ thể là từ hệ thống camera an ninh siêu thị MM Mega Market Quy
Nhơn.
5. Phương pháp nghiên cứu:


8

2.18.

Phương pháp nghiên cứu của đề tài là lý thuyết kết hợp với thực

nghiệm.
•

Bước 1: Sưu tập tài liệu liên quan.

•

Bước 2: Nghiên cứu lý thuyết về xử lý ảnh.

•

Bước 3: Nghiên cứu các kỹ thuật, thuật toán phát hiện đối tượng chuyển
động trong camera.

•

Bước 4: Tìm hiểu về bài toán phát hiện đối tượng chuyển động.

Bước 5: Xây dựng chương trình thực nghiệm.
2.19.
Bước 6: Đánh giá và hiệu chỉnh thuật tốn, chương
trình.
•


2.20. Chương 1. TỔNG QUAN VỀ BÀI TOÁN PHÁT HIỆN

ĐỐI TƯỢNG CHUYỂN ĐỘNG.
1.1.

Khái quát về xử lý ảnh.

1.1.1.

Xử lý ảnh là gì?

2.21.

Con người thu nhận thơng tin qua các giác quan, trong đó thị giác

đóng vai trị quan trọng nhất. Những năm trở lại đây với sự phát triển của phần
cứng máy tính, xử lý ảnh và đồ hoạ đó phát triển một cách mạnh mẽ và có
nhiều ứng dụng trong cuộc sống. Xử lý ảnh và đồ hoạ đóng một vai trị quan
trọng trong tương tác người máy.
2.22.

Q trình xử lý ảnh được xem như là quá trình thao tác ảnh đầu

vào nhằm cho ra kết quả mong muốn. Kết quả đầu ra của một quá trình xử lý
ảnh có thể là một ảnh “tốt hơn” hoặc một kết luận nào đó.
2.23.

2.25.
2.26.

2.24.

Hình 1.1. Q trình xử lý ảnh.

Ảnh có thể xem là tập hợp các điểm ảnh và mỗi điểm ảnh được

xem như là đặc trưng cường độ sáng hay một dấu hiệu nào đó tại một vị trí nào
đó của đối tượng trong khơng gian và nó có thể xem như một hàm n biến P(c1,
c2,..., cn). Do đó, ảnh trong xử lý ảnh có thể xem như ảnh n chiều.
2.27.

Sơ đồ tổng quát của một hệ thống xử lý ảnh:


Hệ quyết
định

1

k

ĩ
>
Lưu trữ

Đối sánh nít
ra kết luận

2.28.
2.29. Hình 1.2. Các bước cơ bản trong một hệ thống xử lý ảnh.
2.30.

Trong sơ đồ trên, ảnh cần được xử lý được thu nhận thông qua hệ

thống thu nhận ảnh. Hệ thống thu nhận ảnh này bao gồm các thiết bị chụp như
camera, máy quét scanner, máy chụp hình... Ảnh sau khi thu nhận được qua hệ
thống thu nhận, ảnh sẽ được lấy mẫu và số hóa, sau đó sẽ được phân tích theo
các loại ảnh. Có rất nhiều loại ảnh khác nhau, chúng được lưu trữ dưới các file
khác nhau như: file Bitmap, file PCX, file Gif. Ảnh sau khi phân tích sẽ được
lưu trữ và tùy theo từng ứng dụng cụ thể mà chọn ra cách thích hợp để phân
tích.
2.31.

Vì vậy, Mục đích của xử lý ảnh là:

2.32.

- Biến đổi ảnh và làm cho ảnh đẹp

2.33.

- Tự động phân tích nhận dạng ảnh hay đoán nhận ảnh và đánh

giá các nội dung của ảnh.
1.1.2.
2.34.

Một số vấn đề cơ bản trong xử lý ảnh.
Tiền xử lý: Tiền xử lý là giai đoạn đầu tiên trong xử lý ảnh số. Tùy

thuộc vào quá trình xử lý tiếp theo trong giai đoạn này sẽ thực hiện các công
đoạn khác nhau như: nâng cấp, khôi phục ảnh, nắn chỉnh hình học, khử nhiễu.
2.35.

Trích chọn đặc điểm: Các đặc điểm của đối tượng được trích chọn

tùy theo mục đích nhận dạng trong q trình xử lý ảnh. Trích chọn hiệu quả
các đặc điểm giúp cho việc nhận dạng các đối tượng ảnh chính xác, với tốc độ
tính tốn cao và dung lượng nhớ, lưu trữ giảm
2.36.

Đối sánh, nhận dạng: Nhận dạng tự động, mô tả đối tượng, phân

loại và phân nhóm các mẫu là những vấn đề quan trọng trong thị giác máy,


được ứng dụng trong nhiều ngành khoa học khác nhau. Mẫu có thể là ảnh của
vật nào đó được chụp, một chữ viết tay...
1.1.3.
2.37.

Một số ứng dụng của xử lý ảnh.
Xử lý ảnh là một trong những ngành khoa học có nhiều thành tựu

và khả năng ứng dụng trong nhiều lĩnh vực, chẳng hạn:

- Cơng việc văn phịng: nhận dạng ký tự quang học, xử lý tài liệu, nhận
dạng kịch bản, nhận dạng logo và biểu tượng, xác định vị trí địa chỉ trên
phong bì tài liệu..

- Cơng nghiệp tự động hóa: Cơng nghệ chế tạo rơ-bốt, xe tự hành.
- Xử lý ảnh y tế: Phân tích ảnh điện tâm đồ ECG- Electrocardiogram, điện
2.38.

não đồ EEG- Electroencephalogram, đo điện cơ EMG-

Electromyography; phân tích ảnh X-quang,.

- Viễn thám: Nghiên cứu và quản lý tài ngun thiên nhiên, kiếm sốt ơ
nhiễm mơi trường, dự báo thời tiết, xác định thay đổi thời tiết dựa vào
ảnh thu nhận từ vệ tinh, phân tích mẫu mây.

- Kiểm soát tội phạm (Criminology): nhận dạng vân tay, đối sánh mặt
người, giám định pháp y.
1.2.

Vấn đề xử lý video

1.2.1.

Sơ lược về lịch sử video

2.39.

Khái niệm video đã xuất hiện từ rất lâu theo sự xuất hiện của

những phát kiến về hình ảnh chuyển động. Năm 1834, nhà toán học William
George Horner phát minh ra máy Zeotrope, một thiết bị dùng để tạo sự chuyển
động từ một dãy ảnh liên tục. Phát minh này có thể coi là sự mở màn cho công
cuộc khai sinh ra ảnh video. Năm 1877, Emile Reynaud cải tiến chiếc zeotrope
thành praxinoscope. Hình ảnh thu nhận được từ máy này rõ ràng hơn từ
zeotrope. Năm 1889, George Eastman đã phát minh ra phim chụp ảnh linh
hoạt, cho phép lưu trữ nhiều hình ảnh trên một cuộn phim. Đến năm 1895,
Louis Lumiere là một trong những người đầu tiên đưa ra hệ thống máy chiếu


phim. Đây cũng là thời điểm đánh dấu sự phát triển của phim với hình ảnh
chuyển động.
2.40.

Kỹ thuật video được phát triển đầu tiên cho hệ thống ti vi sử dụng

bóng cathode CRT. Trong thời kỳ này cũng có nhiều nhà khoa học nghiên cứu
để phát minh ra những kỹ thuật mới cho thiết bị hiển thị video. Charles
Ginsburg đã cùng với đội nghiên cứu của mình phát triển chiếc băng ghi hình
đầu tiên VTR-Video Tape Recorder. Năm 1951, băng từ lần đầu tiên được sử
dụng để ghi lại hình ảnh và đã thu được 50,000 bảng vào năm 1956. Tiếp sau
đó lần lượt là sự ra đời của băng cát sét ghi VCR- Video Cassette Recorder
năm 1971. Ngày nay, cơng nghệ máy tính phát triển chúng ta đã có thể ghi, lưu
trữ, chỉnh sửa và truyền thơng tin hình ảnh qua mạng máy tính dưới dạng các

video clips.
1.2.2.
2.41.

Một số khái niệm
Video là một tập hợp các khung hình (frames). Mỗi khung hình là

một hình ảnh, là đơn vị dữ liệu cơ bản nhất của video. Video có thể được hiểu
là một chuỗi các hình ảnh liên tiếp. Để mắt người có thể cảm nhận được sự
chuyển động của các hình ảnh thì các khung hình phải được phát liên tục với
một tốc độ nhất định. Thông thường, tốc độ đó là 25 hình/giây hoặc 30
hình/giây.

2.42.
2.44. 2.43. Hình 1.3. Mơ tả khung hình.


2.45.

Do bản chất video là một dãy các khung hình nên bài tốn xử lý

video có thể hiểu là một trường hợp con của bài toán xử lý ảnh số. Trong này
đầu vào sẽ cụ thể hơn đó là một dãy các khung hình. Việc xử lý video thường
sẽ đi kèm với việc phân tích những thơng tin thời gian của các khung hình, như
quan hệ trước sau, quan hệ liền kề của các khung hình. Những thơng tin này
thường sẽ đóng vai trị quan trọng trong việc phân tích dữ liệu hình ảnh của các
đối tượng xuất hiện trong video. Chẳng hạn như nếu một người xuất hiện tại
một vị trí trong khung hình video của một camera giám sát, thì trong khung
hình tiếp theo người đó chỉ có thể xuất hiện tại những vị trí xung quanh vị trí
đã xuất hiện trước.

1.2.3.
2.46.

Một số vấn đề cơ bản trong xử lý video
Video là do một chuỗi ảnh liên tiếp chuyển động tạo thành. Để có

thể truyền tải video, các thơng tin và dữ liệu này được mã hóa. Do đó, để có
thể xử lý được các tín hiệu video bên cạnh việc xử lý các vấn đề khách quan
như điều kiện ánh sáng, vị trí đặt camera... ta cũng cần quan tâm tới các vấn đề
về tiêu chuẩn nén của video.
2.47.

Về cơ bản hệ thống xử lý video gần giống với hệ thống xử lý ảnh.

Tuy nhiên, do đặc trưng chuyển động của hình ảnh nên ta cần quan tâm tới các
vấn đề:

- Xác định đối tượng, số lượng đối tượng có trong ảnh
- Xác định đối tượng chuyển động trong ảnh: các đối tượng dời đi hay
chuyển tới, chuyển động đơn hay chuyển động trong đám đông

- Tách đối tượng từ một nhóm đối tượng chuyển động
- Tách đối tượng với bóng của bản thân.
1.3.
2.48.

Bài tốn phát hiện đối tượng chuyển động
Phát hiện chuyển động là một bài tốn quan trọng có ứng dụng

rộng rãi trong các hệ thống phân tích dữ liệu video. Chẳng hạn với các hệ

thống giám sát tự động với các vấn đề yêu cầu tri thức từ lĩnh vực nhận dạng


và xử lý ảnh và tạo cách tiếp cận cho phần mềm thiết kế chuyên dụng cho các
thiết bị giám sát tự động. Việc phát hiện ra các đối tượng chuyển động trong
camera nhờ các kỹ thuật xử lý ảnh để đoán nhận một số hành vi của đối tượng
là một việc làm có ý nghĩa khoa học và thực tiễn. Kết quả của việc phát hiện
chuyển động nhằm vào những gì thay đổi trên khung hình video, đây là cơ sở
để thực hiện rất nhiều thao tác xử lý, như phát hiện chuyển cảnh video, phát
hiện trộm cắp từ camera an ninh, phát hiện vi phạm giao thông như vượt đèn
đỏ, lấn làn, ngược chiều từ camera đường phố...
2.49.

Phát hiện đối tượng chuyển động là quá trình đưa ra các đối tượng

chuyển động từ các khung hình video. Với mỗi khung hình xử lý, hệ thống cần
đưa ra được các vị trí, các vùng là đối tượng chuyển động trong video. Quá
trình này thực chất là quá trình xử lý chuỗi ảnh liên tiếp trong một đoạn video
để phát hiện ra đối tượng chuyển động trong một đoạn hình ảnh theo mơ hình
sau đây:


2.50.
2.51.
Hình 1.4. Các khối xử lý trong bài tốn phát hiện đối tượng
2.52.
2.53. Đối với bài toán phát hiện đối tượng chuyển động thường có hai
cách tiếp cận chính sau đây:

- Dựa hoàn toàn vào phần cứng

- Dựa vào các kỹ thuật xử lý ảnh trên cơ sở xử lý các hình ảnh thu được,
phân tích và kết luận xem có đối tượng chuyển động tại khu vực quan
sát hay khơng? Nếu có thì là đâu?
1.4.

Hệ thống giám sát đối tượng đối với bài toán phát hiện đối

tượng chuyển động
2.54.

Việc xuất hiện và phổ biến các hệ thống camera giám sát cùng với

các mô đun giám sát đối tượng trên đó đóng một vai trị quan trọng đối với
việc nghiên cứu bài toán phát hiện đối tượng trên video. Khá nhiều hệ thống
camera giám sát hiện nay khi được triển khai đều sẽ có đi kèm một số tính
năng phát hiện chuyển động một cách đơn giản, hoặc thậm chí đó có thể là một


tính năng được xây dựng nhúng trong nhiều dịng camera hiện đại. Việc triển
khai phổ biến các hệ thống camera là một động lực quan trọng đối với những
nhà nghiên cứu xử lý ảnh cũng như những nhà đầu tư trong lĩnh vực công nghệ
thông tin dồn nhiều sức lực và tiền bạc để tìm kiếm những giải pháp cho bài
toán phát hiện đối tượng chuyển động trên dữ liệu video.
1.4.1.
2.55.

Lịch sử phát triển của hệ thống giám sát đối tượng
Dù ra đời muộn, vào nửa cuối của thập niên 90, hệ thống giám sát

đối tượng đã trải qua những thăng trầm và có những kết quả đáng khích lệ và

vẫn đang được tiếp tục nghiên cứu, phát triển.
2.56.

Hệ thống giám sát đối tượng trước tiên là thời kỳ của mạch tivi

khép kín (CCTV-Closed Circuit Television). CCTV là một hệ thống gồm các
camera được kết nối theo một mạch kín hay vịng với các hình ảnh được gửi
tới màn hình trung tâm hay được lưu trữ lại.
2.57.

Tiếp đến là sự ra đời của tín hiệu analog cùng với đĩa từ đã giúp

lưu trữ lại những thông tin giám sát. Các hình ảnh thu nhận được từ camera
được lưu lại trong các băng từ (VHS- Video Home System) Tuy nhiên, trong
thời kỳ này thì hình ảnh được lưu lại chậm và tốn nhiều không gian lưu trữ.
Hằng ngày, nhân viên phụ trách hệ thống phải thay băng, đĩa từ. Hệ thống băng
từ này được lưu trong khoảng thời gian 1 tháng, rồi được xóa đi để lưu lại cho
tháng kế tiếp.


2.58.

2.59. Hình 1.5. Phịng điều khiển hệ thống giám sát bằng đĩa từ truyền thống
2.61. 2.60. (Nguồn video surveillance E6998-007 senior/feris/tian...)
2.62.

Sự phát triển của kỹ thuật số đã đem lại những kết quả đáng ghi

nhớ cho hệ thống giám sát. Các dữ liệu thu nhận được từ hệ thống camera
được lưu lại trực tiếp trên ổ đĩa cứng của máy tính. Các dữ liệu này được bảo

mật nhờ tính năng khóa mã của máy tính và sự phát triển của Internet giúp các
thông tin được truyền đi từ máy này sang máy khác trong một khoảng thời gian
ngắn mà vẫn đảm bảo tính chính xác của dữ liệu.
2.63.
2.65. 2.64. Hình 1.6. Phòng điều khiển hệ thống giám sát hiện đại
2.66. (Nguồn: http://www. securite-surveillance. com/blog/index. php/videosurveillance-laville-de-mexico-signe-avec-thales/)

1.4.2.
2.67.

Các thành phần trong xây dựng hệ thống giám sát đối tượng
Trong hệ thống giám sát đối tượng, tất cả các thơng tin về hình

ảnh thu nhận được từ camera hoặc hệ thống camera được truyền về trung tâm.


Tại đây, các thơng tin sẽ được phân tích, xử lý để đưa ra các quyết định phù
hợp.
2.68.

Hệ thống giám sát đối tượng với quy mô nhỏ hay lớn đều cần có:

- Camera (hoặc hệ thống camera - với quy mơ lớn): Trong hệ thống nhỏ có
thể chỉ cần một camera. Đối với các hệ thống lớn, ta có một hệ thống
camera được đặt tại các khu vực cần quan sát. Ví dụ như tại một tịa nhà
ta cần đặt camera tại bãi đỗ xe, tại sảnh, cầu thang (cầu thang bộ, cầu
thang máy), tại các tầng....

- Màn hình theo dõi (hoặc hệ thống màn hình): Trên một màn hình có thể
đặt tương ứng với một camera hoặc chia chế độ màn hình hiển thị với

các phân vùng ứng với số lượng camera.


2.69.
2.70.
hệ thống.
2.71.
thống.

- Đầu ghi hình DVR độc lập ( hoặc card DVR cắm máy tính).
- Phịng điều khiển (giám sát): Tại đây đặt màn hình theo dõi của
Phịng có bố trí nhân viên để phụ trách quản lý và điều hành hệ
2.72.

2.74.
1.5.
2.75.

2.73.

Hình 1.7. Mơ hình hệ thống giám sát đối tượng.

Kết luận chương 1
Chương 1 đã giới thiệu cơ bản về xử lý ảnh số và video. Trên cơ

sở đó đã trình bày một bài tốn quan trọng đó là bài toán phát hiện đối tượng
chuyển động. Việc giải quyết bài toán phát hiện đối tượng chuyển động đã và
đang được ứng dụng vào các lĩnh vực trong đời sống xã hội đồng thời nó vẫn
đang thu hút được sự quan tâm của nhiều nhóm nghiên cứu. Một số kỹ thuật
xử lý ảnh đang được ứng dụng cho bài toán này có thể kể đến là: Kỹ thuật trừ

ảnh dựa vào điểm ảnh, phương pháp biểu đồ, kỹ thuật trừ nền (Background
Subtraction). Trong chương 2 chúng ta sẽ tìm hiểu một số kỹ thuật phát hiện


đối tượng chuyển động này.
2.76. Chương 2. KỸ THUẬT PHÁT HIỆN ĐỐI TƯỢNG

CHUYỂN ĐỘNG
2.77.

Như đã phân tích ở chương 1, video được xem là một dãy N

khung hình liên tiếp (fi, f2, ..., fN), mỗi khung hình là một ảnh tĩnh. Các hình
ảnh có tính liên tục được hiển thị lần lượt. Độ sáng của một điểm ảnh cụ thể
trong khung hình được coi là một hàm của thời gian f(x, y, t) trong đó (x, y) là
tọa độ của điểm ảnh trong không gian và t là thời gian xét khung hình.
2.78.

Quá trình phát hiện đối tượng chuyển động trong video được thực

hiện bằng việc phân tích các khung hình liên tiếp và cần đưa ra được các đối
tượng chuyển động đối với khung hình hiện tại. Thơng thường, quá trình này
được thực hiện bằng một kỹ thuật trừ ảnh và sau đó đi kèm một số thao tác hậu
xử lý.
2.1.
2.79.

Kỹ thuật trừ ảnh
Với kỹ thuật trừ ảnh, mục tiêu chính để kiểm tra xem giữa hai ảnh

có sự sai lệch nhau hay không và xác định được vị trí của vùng sai lệch. Cần
phải lưu ý rằng sai lệch ở đây là sai lệch về vị trí và đồng thời là sai lệch về giá
trị màu.
2.80.

Ký hiệu D(fi,f2) là sự sai khác giữa hai khung hình f i, f2. Sự sai

khác này lớn hơn một ngưỡng nào đó sẽ xác định được có đối tượng chuyển
động giữa hai khung hình. Sự thay đổi trên khung hình được tính tốn trên một
đặc trưng nhất định. Thơng thường, các đặc trưng được sử dụng là nội dung
màu sắc là biểu đồ (biểu đồ màu hoặc biểu đồ mức xám), cạnh, vectơ chuyển
động, góc hay kết cấu hình ảnh (texture).
2.81.

Để thực hiện được kỹ thuật này ta cần:

- Xác định đặc trưng cần so sánh


- Xác định công thức trừ ảnh D
2.82.

- Xác định ngưỡng sai khác Tb. Những sai khác lớn hơn ngưỡng

là những giá trị cần xem xét và là dấu hiệu có đối tượng.
2.1.1.
2.83.

Trừ ảnh dựa vào điểm ảnh
Về cơ bản, đây là thao tác thực hiện so sánh các cặp điểm ảnh

tương ứng trên hai ảnh liên tiếp. Trừ ảnh dựa vào điểm ảnh là phương pháp
đơn giản nhất để xác định sự khác biệt giữa hai khung hình. Phương pháp này
được tính dựa vào giá trị biểu diễn sự chênh lệch tổng cộng về cường độ của
tất cả các điểm ảnh tương ứng trên hai khung hình:
2.85.
- f4x,y)|

2.84. X-1Y-1
D(fi,f2') =

^\fi(xy)

(2.1)

2.86. x=0 y=0
2.87.

Giá trị chênh lệch tìm được từ cơng thức trên được so sánh với

ngưỡng chuyển động Tb để xác định xem có sự khác biệt hay khơng.
2.88.

Kỹ thuật trừ ảnh dựa vào điểm ảnh là kỹ thuật đơn giản. Tuy

nhiên, kỹ thuật này có nhược điểm lớn là không phân biệt được sự thay đổi lớn
trong một vùng ảnh nhỏ và thay đổi nhỏ trong một vùng ảnh lớn. Nói cách
khác, kỹ thuật trừ giá trị điểm ảnh rất nhạy với nhiễu và sự di chuyển của
camera. Một trong những phương pháp cải tiến kỹ thuật này được thực hiện
bằng cách đếm tổng số điểm ảnh có thay đổi lớn hơn một ngưỡng nào đó và so

sánh giá trị tính được với một ngưỡng khác để phát hiện có sự thay đổi về hình
ảnh.
2.89.
= Í 1 'Nếu \fi(x’y)-f2(x’y)\ > T
u
{
2.90.
F (xxy)
0 'N g ư ự C l ạ i
2.91. X-lY—l
2.92.
XVYZZ

DP

DPCr V)
(2.2)
D

^=

(2.3)

^

2.93. x=0 y=0


2.94.

Nếu tỷ lệ số điểm ảnh thay đổi D(f 1,f2) lớn hơn ngưỡng T1 thì đó

có sự khác biệt về hình ảnh, có sự chuyển động. Tuy các thay đổi khơng liên
quan trong khung hình đó được loại bỏ bớt nhưng hướng tiếp cận này vẫn nhạy
với các di chuyển camera và đối tượng. Chẳng hạn, khi camera quay theo
đốitượng, rất nhiều điểm ảnh được cho là thay đổi, dù trên thực tế có ít điểm
ảnh dịch chuyển. Kết quả này là do khi camera quay theo đối tượng thì cường
độ của một số điểm ảnh dịch chuyển ít bị thay đổi nên sẽ bị hiểu là có sự dịch
chuyển của các điểm ảnh này. Để làm giảm sự ảnh hưởng này, ta có thể sử
dụng một bộ lọc trơn: trước khi so sánh, mỗi điểm ảnh được thay thế bằng giá
trị trung bình của các điểm ảnh lân cận.
2.95.

Một nhược điểm khác của kỹ thuật trừ điểm ảnh là độ nhạy của

điểm ảnh với việc chiếu sáng. Khi đó người ta điều chỉnh độ sai khác (2.4)
giá trị điểm ảnh bằng cách chia nó cho cường độ của điểm ảnh trên khung hình
thứ hai. Ảnh thu được từ độ chênh lệch hiệu chỉnh là ảnh chromatic:

2.97.

2.99.

2.96. r^t- t-ỵ 1 vv|AUy)-/2Uy)|
Ơ1 Á )
' xxrZZ
2.98. x=0 y=0

/2 Uy)

Phương pháp trừ giá trị điểm ảnh cơ bản là tính tốn từ các giá trị

điểm ảnh nhưng có thể mở rộng đối với các ảnh màu. Ví dụ với ảnh màu RGB
(RED, GREEN, BLUE - màu đỏ, màu xanh lá, màu xanh dương), ta tính tổng
có trọng số các sai khác của ba giá trị Red, Green, Blue của các điểm ảnh.
2.1.2.

Trừ ảnh dựa vào khối

2.100. Với ý tưởng chia ảnh thành các miền sau đó tiến hành so sánh các
miền tương ứng nên trái ngược với hướng tiếp cận sử dụng các đặc tính tồn
cục của cả khung hình, hướng tiếp cận phân khối sử dụng các đặc tính cục bộ
nhằm tăng tính độc lập với các di chuyển của camera và đối tượng. Mỗi khung


hình được chia thành b khối. Các khối trên khung hình f 1 được so sánh với các
khối tương ứng trên khung hình f2. Về cơ bản, độ chênh lệch giữa hai khung
hình được tính như sau:


2.101. b

D &,

2.102.
ft) = ỵCk .DP(fi ,ft ,k)
2.103. k-1

(2.6)

2.104. Trong đó:
2.105.

Ck là hệ số cho trước

2.106.

DP(f1, f2, k) là độ chênh lệch giữa hai khối thứ k của hai

khung hình f1 và f2.
2.107. Ta có cơng thức:
ơ

lk ~l~ ơ2k I (P-lk P-2k\2

2.108.
2.109.

=
ơ

ơ

2.110. lk- 2k

(2.7)

LL

2.111. Trong đó:

2.112. ,

là giá trị cường độ trung bình của khối thứ k

2.113. , là độ chênh lệch tương ứng với hai khối.
2.114.
2.115.

1, Nẽu Ảk > Tỵ
0, Ngược lại

2.116. Chuyển động được coi là xảy ra khi số các khối thay đổi đủ lớn,
nghĩa là
2.117. D(f1,f2) > T2 và Ck=1 cho tất cả các khối.
2.118. Một hướng tiếp cận khác là chia khung hình thành nhiều miền và
tìm miền thích hợp nhất cho mỗi miền ở khung hình kia. Độ chênh lệch tính
bằng kỹ thuật trừ ảnh dựa vào điểm ảnh của từng miền được sắp xếp. Tổng các
trọng số của các chênh lệch đó sắp xếp cho ta kết quả D cuối cùng.
2.119. Một phương pháp khác phát hiện chuyển động chỉ bằng việc so
sánh một phần của ảnh. Phương pháp này chỉ ra rằng, sai sót mắc phải hồn
tồn có thể bỏ qua nếu ít hơn một nửa số các cửa sổ cơ sở (các ô vuông chồng
nhau) đều được kiểm tra. Với giả thiết rằng, trong trường hợp thay đổi nhiều
nhất giữa hai khung hình thì kích thước các cửa sổ được chọn đủ lớn để bất
biến với các thay đổi không làm vỡ và đủ nhỏ để có thể chứa thơng tin về
khơng gian nhiều chừng nào có thể. Các cửa sổ cơ sở được so sánh và tính độ
chênh lệch mức xám hoặc giá trị màu của các điểm ảnh. Khi giá trị chênh lệch
lớn hơn một ngưỡng nào đó thì xem như miền đang xét đó thay đổi. Khi số


miền thay đổi lớn hơn một ngưỡng khác thì sự chuyển động xảy ra. Thực

nghiệm cho thấy rằng hướng tiếp cận này cho tốc độ nhanh hơn phương pháp
so sánh từng cặp điểm.
2.120.

2.122. 2.121.

Hình 2.1. Các cửa sổ cơ sở trong thuật toán.

2.123. Một số nghiên cứu mở rộng ý tưởng lấy mẫu theo không gian
thành lấy mẫu theo không gian và thời gian. Thuật toán này so sánh hai khung
hình I và J, ở đó j= i + step.
2.124. Nếu khơng có sự thay đổi đáng kể nào thì chuyển sang so sánh
các khung hình cách nửa bước nhảy, nghĩa là so sánh hai khung hình i + step/2
và j + step/2. Hiển nhiên, thuật toán này phụ thuộc vào bước nhảy step: bước
nhảy lớn thì tăng hiệu quả nhưng tăng khả năng sai sót, bước nhảy nhỏ sẽ bỏ
qua những chuyển động dần dần. Thuật tốn này có độ nhạy rất cao với sự di
chuyển của đối tượng và sự di chuyển của camera.
2.1.3.

Trừ ảnh dựa vào biểu đồ

2.125. Với ý tưởng là so sánh sự phân bố thuộc tính ví dụ như biểu đồ
màu, biểu đồ mức xam,... Tiếp cận này hường đến mục tiêu làm giảm ảnh
hưởng của sự chuyển camera và đối tượng là thực hiện trừ ảnh dựa vào biểu
đồ. Biểu đổ mô tả sự phân bố giá trị điểm ảnh của khung hình. Ý tưởng của
cách tiếp cận này là các ảnh có nền khơng đổi và đối tượng khơng đổi sẽ có
chênh lệch ít trong biểu đồ. Hơn nữa biểu đồ bất biến với việc quay ảnh và
thay đổi ít khi góc nhìn thay đổi.
2.126. Có thể dựng biểu đồ màu hoặc biểu đồ mức xám để tính sự sai