Lọc kalman ứng dụng hệ thống dò vết đối tượng trong chuỗi video

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
------------------------------------NGUYỄN HỒNG HẠNH

LỌC KALMAN ỨNG DỤNG HỆ THỐNG DÒ VẾT ĐỐI TƯỢNG
TRONG CHUỖI VIDEO

LUẬN VĂN THẠC SĨ KHOA HỌC
NGÀNH CÔNG NGHỆ THÔNG TIN

Hà Nội – Năm 2010


Dò vết đối tượng chuyển động trong chuỗi video

LỜI CAM ĐOAN

Tôi – Nguyễn Hồng Hạnh - cam đoan Luận văn này là công trình nghiên cứu của
bản thân tôi dưới sự hướng dẫn của TS. Nguyễn Linh Giang.
Các kết quả nêu trong Luận văn là trung thực, không phải là sao chép toàn văn của
bất kỳ công trình nào khác.
Hà Nội, ngày 20 tháng 04 năm 2010
Tác giả Luận văn

Nguyễn Hồng Hạnh

Học viên thực hiện: Nguyễn Hồng Hạnh - Lớp CH CNTT 2007-2009

1

Dò vết đối tượng chuyển động trong chuỗi video

MỤC LỤC
LỜI CAM ĐOAN ............................................................................................... 1
MỤC LỤC ........................................................................................................... 2
DANH MỤC CÁC THUẬT NGỮ VIẾT TẮT ................................................ 4
DANH SÁCH CÁC HÌNH VẼ .......................................................................... 5
LỜI NÓI ĐẦU .................................................................................................... 7
CHƯƠNG 1: TỔNG QUAN VỀ BÀI TOÁN .................................................. 9
THEO VẾT ĐỐI TƯỢNG................................................................................. 9
1.1. Giới thiệu bài toán phân tích đối tượng trong chuỗi video .......................... 9
1.2. Một số ứng dụng thực tiễn của bài toán theo vết đối tượng ...................... 11
1.3. Một số nghiên cứu về vấn đề dò vết đối tượng trong chuỗi video............ 11
1.4. Phát biểu bài toán quan tâm: Dò vết đối tượng trong chuỗi video ............ 16

KẾT CHƯƠNG ................................................................................................ 16
CHƯƠNG 2: CÁC NỀN TẢNG LÝ THUYẾT LIÊN QUAN ĐẾN BÀI
TOÁN DÒ VẾT ĐỐI TƯỢNG ....................................................................... 17
2.1. Bài toán phát hiện chuyển động ................................................................. 18
2.1.1. Tổng quan bài toán phát hiện đối tượng chuyển động............................ 18
2.1.2. Tiền xử lý các khung hình....................................................................... 19
2.1.3. Các phương pháp lấy vùng ảnh nổi......................................................... 20
A. Phương pháp trừ ảnh nền (Background Subtraction):.................................. 21
B. Phương pháp dựa trên thống kê (Statistical Methods) ................................. 21
C. Phương pháp pháp dựa trên sự chênh lệnh tạm thời giữa các khung hình
(Temporal Differencing) ................................................................................... 21
2.1.4. Xử lý vùng ảnh nổi.................................................................................. 22
2.1.4.1. Những vấn đề gặp phải trong xử lý nhiễu vùng ảnh nổi...................... 23
2.1.4.2. Thiết lập ngưỡng ảnh ........................................................................... 24
2.1.4.3. Thuật toán xử lý ảnh hình thái học ...................................................... 25

2.1.4.4. Nhận dạng biên. ................................................................................... 33
2.2. Bài toán dò vết đối tượng chuyển động ..................................................... 35
2.2.1. Theo vết đối tượng dựa trên vùng........................................................... 36
2.2.2. Theo vết đối tượng dựa trên biên ............................................................ 39
2.2.3. Theo vết đối tượng dựa trên điểm đặc trưng........................................... 40
2.2.4. Theo vết đối tượng dựa trên mẫu ........................................................... 42
2.2.5. Theo vết đối tượng phụ thuộc vào các lớp không gian trạng thái
(Bayesian object tracking)................................................................................. 43
2.2.5.1. Bộ lọc Kalman..................................................................................... 43
2.2.5.2. Bộ lọc Particle ...................................................................................... 51

KẾT CHƯƠNG ................................................................................................ 53
CHƯƠNG 3: DÒ VẾT ĐỐI TƯỢNG TRONG CHUỖI VIDEO SỬ
DỤNG BỘ LỌC KALMAN THÍCH NGHI .................................................. 54

Học viên thực hiện: Nguyễn Hồng Hạnh - Lớp CH CNTT 2007-2009

2


Dò vết đối tượng chuyển động trong chuỗi video

3.1. Tổng quát về hướng tiếp cận giải quyết đề xuất của luận văn................... 54
3.2. Các giai đoạn chính của hướng tiếp cận .................................................... 56
3.2.1. Phân vùng đối tượng khởi tạo và trích chọn đặc trưng........................... 56
3.2.1.1. Phương thức xác định độ sai khác khung hình và gia tăng vùng......... 56
3.2.1.2. Trích xuất màu sắc chủ đạo của vật thể ............................................... 60
3.2.2. Dò vết đối tượng chuyển động sử dụng bộ lọc Kalman thích nghi ........ 61
3.2.2.1. Bộ lọc Kalman điển hình ..................................................................... 62
3.2.2.2. Tạo mô hình chuyển động.................................................................... 64

3.2.2.3. Phát hiện đối tượng chuyển động trong chuỗi hình liên tục ................ 65
3.2.2.4. Lọc Kalman thích nghi......................................................................... 68

KẾT CHƯƠNG ................................................................................................ 70
CHƯƠNG 4: CÀI ĐẶT, THỬ NGHIỆM VÀ ĐÁNH GIÁ CHƯƠNG
TRÌNH............................................................................................................... 72
4.1. Tổng quan về chương trình ........................................................................ 72
4.2. Tiêu chí thử nghiệm thuật toán – Bộ dữ liệu video thử nghiệm ................ 72
4.3. Hình ảnh kết quả thử nghiệm thuật toán cài đặt trên bộ dữ liệu video ...... 73
4.4. Nhận xét về kết quả thử nghiệm ................................................................ 82
4.5. Đánh giá thuật toán đề xuất với phương pháp khác................................... 83

KẾT LUẬN VÀ ĐỊNH HƯỚNG PHÁT TRIỂN ĐỀ TÀI............................ 86
TÀI LIỆU THAM KHẢO ............................................................................... 87
TÓM TẮT LUẬN VĂN ................................................................................... 92
ABSTRACT OF THESIS ................................................................................ 93

Học viên thực hiện: Nguyễn Hồng Hạnh - Lớp CH CNTT 2007-2009

3


Dò vết đối tượng chuyển động trong chuỗi video

DANH MỤC CÁC THUẬT NGỮ VIẾT TẮT
Số TT

Từ

Dạng đầy đủ

Giải nghĩa

1.

AKF

Adaptive Kalman filter

Lọc Kalman thích nghi

2.

HSI

Hue, Saturation, Intensity

Không gian màu HSI (màu
sắc, độ bão hòa màu, cường
độ sáng)

3.

TD

Temporal Differencing

Chênh lệch tạm thời giữa các
khung hình

4.

RGB

5.

Heuristic

6.

PCA

Red, Green, Blue
Luật tự sinh
Principal

Component Phân tích thành phần chính

Analysis
7.

EKF

Extended Kalman Filter

Lọc Kalman mở rộng

Học viên thực hiện: Nguyễn Hồng Hạnh - Lớp CH CNTT 2007-2009

4

Dò vết đối tượng chuyển động trong chuỗi video

DANH SÁCH CÁC HÌNH VẼ
Hình
Hình 2-1.
Hình 2-2.
Hình 2-3.
Hình 2-4.
Hình 2-5.
Hình 2-6.
Hình 2-7.
Hình 2-8.
Hình 2-9.
Hình 2-10.
Hình 2-11.
Hình 2-12.
Hình 2-13.
Hình 2-14.
Hình 2-15.
Hình 2-16.
Hình 2-17.
Hình 2-18.
Hình 3-1.
Hình 3-2.
Hình 3-3.
Hình 3-4.
Hình 3-5.
Hình 3-6.

Hình 3-7.
Hình 3-8.
Hình 3-9.
Hình 4-0.
Hình 4-1.
Hình 4-2.
Hình 4-3.
Hình 4-4.
Hình 4-5.

Tiêu đề
Tổng quan bài toán phát hiện đối tượng
Trích rút các màu cơ bản từ ảnh gốc
Phát hiện vùng ảnh nổi
Mô tả nhược điểm của phương pháp chênh lệch tạm thời
Xử lý vùng ảnh nổi
Vùng nổi của các đối tượng sử dụng các ngưỡng khác
nhau
Ví dụ phép toán hình thái học
Liên kết giữa các điểm ảnh
Phép dãn ảnh tổng quát theo Minkowski
Dãn ảnh và co ảnh tổng quát với thành phần cấu trúc là 5x5
Trích đường bao của đối tượng
Trích rút đường bao của đối tượng
Hình nền có một màu duy nhất
Điểm đặc trưng được trích xuất từ các đối tượng
Thông tin vào ra bộ lọc
Mô hình hóa hoạt động của mạch lọc Kalman.
Cơ chế lọc Kalman
Tóm tắt cơ bản của mạch lọc Kalman

Cấu trúc chung của hướng tiếp cận đề xuất trong luận văn
Ví dụ về phương thức so sánh độ sai khác giữa các khung
hình
Ví dụ về phương thức gia tăng vùng
Sơ đồ giai đoạn phân vùng đối tượng chuyển động và trích
chọn đặc trưng
Biểu đồ luồng lọc Kalman điển hình
Biểu đồ luồng của giai đoạn phát hiện đối tượng chuyển
động
Sơ đồ khối giai đoạn phát hiện đối tượng
Biểu đồ luồng lọc Kalman thích nghi
Sơ đồ khối chỉ định các tham số ước lượng cho bộ lọc
Kalman thích nghi
Kỹ thuật sai khác khung hình
Đối tượng phát hiện đứng tách biệt
Đối tượng di chuyển theo đám đông và sau đó tách ra.
Hình ảnh thử nghiệm thuật toán lọc Kalman cơ sở
Trường hợp đối tượng thay đổi hướng chuyển động
Trường hợp đối tượng đột ngột tăng tốc

Học viên thực hiện: Nguyễn Hồng Hạnh - Lớp CH CNTT 2007-2009

Trang
18
19
20
22
23
25
26

27
30
33
34
35
38
41
44
46
47
49
55
57
59
61
64
66
67
68
69
74
75
76
77
78
79

5

Dò vết đối tượng chuyển động trong chuỗi video

Hình 4-6.
Hình 4-7.
Hình 4-8.
Hình 4-9.
Hình 4-10.
Hình 4-11.

Hình ảnh mất đối tượng khi xuất hiện che khuất
Đối tượng di chuyển đi vào vùng che khuất.
Trường hợp đối tượng di chuyển tốc độ nhanh.
So sánh hiệu quả thuật toán
So sánh hiệu quả thuật toán
So sánh hiệu quả thuật toán

Học viên thực hiện: Nguyễn Hồng Hạnh - Lớp CH CNTT 2007-2009

80
81
82
83
83
84

6


Dò vết đối tượng chuyển động trong chuỗi video

LỜI NÓI ĐẦU
Trong nhiều năm gần đây, những nghiên cứu về quá trình phân vùng, ước
lượng và theo dõi chuyển động của các vật thể trong chuỗi video thu hút đựợc rất
nhiều mối quan tâm. Sở dĩ nhận được nhiều mối quan tâm như vậy là do lĩnh vực
ứng dụng của những nghiên cứu này là rất lớn. Có thể liệt kê ra đây một số ứng
dụng quan trọng của nghiên cứu này, đầu tiên không thể không kể đến sự cần thiết
của nó trong lĩnh vực phát triển các giao diện người-máy, hỗ trợ robot nhận định,
hiểu và phân tích được các chuyển động của con người cũng như các vật thể di
động. Thứ nữa là các ứng dụng của nghiên cứu trong hệ thống giám sát an ninh tại
những khu vực nhạy cảm như ngân hàng, các trung tâm thương mại, các bãi đỗ xe,
các khu vực biên giới… Ngoài ra nghiên cứu này còn được ứng dụng trong việc
theo dõi các hoạt động giao thông, hỗ trợ phân tích hình ảnh trong thể thao…
Trong kỹ thuật phân tích hình ảnh video, chúng ta buộc phải xác định các
thông số của vật thể chuyển động ví dụ như màu sắc, chất liệu, hình thể..v.v. khi đó
vật thể chuyển động mới được xác định và theo dõi vết. Có một số tình huống thực
tế như ống kính máy quay có được cố định không, vật thể chuyển động có dạng
phức hợp không, vật thể rắn hay dạng khác, có bị che khuất bởi vật nào không, hình
ảnh thu nhận được là của một hay nhiều ống kính, sự thay đổi về điều kiện ánh sáng
của hình ảnh … ứng với mỗi tình huống lại có sự phức tạp riêng mà không phải hệ
thống nào cũng có thể xử lý được hết.
Đứng trước những thú vị về tầm ứng dụng cũng như những thách thức của
bài toán, tác giả đã chọn bài toán “Dò vết đối tượng trong chuỗi video” làm đề tài
nghiên cứu cho Luận văn thạc sỹ của mình. Trong quá trình nghiên cứu, tác giả
nhận thấy bài toán này còn có rất nhiều ứng dụng thiết thực khác.
Trong luận văn này, tác giả sẽ trình bày về một hệ thống có khả năng phát
hiện và theo vết đối tượng. Hệ thống xử lý trên cả những đoạn video đen trắng lẫn
mầu từ một camera tĩnh.

Học viên thực hiện: Nguyễn Hồng Hạnh - Lớp CH CNTT 2007-2009

7


Dò vết đối tượng chuyển động trong chuỗi video

Về mặt bố cục, Luận văn này gồm năm chương, nội dung chính như sau:
Chương 1: Giới thiệu tổng quan về bài toán phân tích đối tượng trong chuỗi
video, phát biểu bài toán cần nghiên cứu: bài toán dò vết đối tượng, trình bày một số
ứng dụng của bài toán, xác định nhiệm vụ và những mục tiêu mà Luận văn phải đạt
được.
Chương 2: Trình bày những nền tảng lý thuyết liên quan đến bài toán dò vết
đối tượng. Cụ thể ở đây là nghiên cứu các hướng tiếp cận, các phương pháp thực
hiện bài toán cơ sở: Phát hiện và dò vết đối tượng
Chương 3. Đề xuất nghiên cứu xây dựng bài toán dò vết đối tượng theo
hướng tiếp cận dựa vùng sử dụng bộ lọc ước đoán Kalman thích nghi.
Chương 4: Cài đặt chương trình. Kiểm thử, đánh giá, nhận xét các ưu,
nhược điểm và đề xuất các hướng phát triển trong tương lai.

Học viên thực hiện: Nguyễn Hồng Hạnh - Lớp CH CNTT 2007-2009

8


Dò vết đối tượng chuyển động trong chuỗi video

CHƯƠNG 1: TỔNG QUAN VỀ BÀI TOÁN
THEO VẾT ĐỐI TƯỢNG
Những nội dung chính của chương:
• Giới thiệu bài toán phân tích đối tượng trong chuỗi video
• Một số ứng dụng của bài toán theo vết đối tượng

• Một số phương pháp tiếp cận bài toán theo vết đối tượng
•

Xác định nhiệm vụ và phạm vi nghiên cứu của luận văn.

1.1. Giới thiệu bài toán phân tích đối tượng trong chuỗi video
Hệ thống giám sát đối tượng ngày càng được phát triển và được ứng dụng
rộng rãi trong thực tế như việc hỗ trợ giám sát cho các hệ thống an ninh tại những
khu vực nhạy cảm đặc biệt là trong giao thông – một vấn đề bức bách trong xã hội
hiện nay. Với hệ thống giám sát đối tượng này sẽ giải quyết được một số công việc
trong các khu vực cần giám sát an ninh như là phát hiện đối tượng chuyển động
phân loại đối tượng, xác định vận tốc các đối tượng, đếm số đối tượng di chuyển,…
Để xây dựng hệ thống giám sát đối tượng thường phải giải quyết ba bài toán sau:
phát hiện đối tượng, phân loại đối tượng và theo vết đối tượng. Các bài toán có quan
hệ chặt chẽ và hỗ trợ cho nhau.
Bài toán 1: Phát hiện các đối tượng chuyển động là bước cơ bản đầu tiên
trong bài toán phân tích hình ảnh video. Nhiệm vụ của bài toán là từ những khung
hình video thu được phát hiện ra những vùng đối tượng chuyển động từ đó đưa ra vị
trí, một số tính chất đặc trưng của đối tượng chuyển động. Phương pháp thường
được sử dụng trong bài toán này đó là: phương pháp trừ ảnh nền, các phương pháp
dựa trên thống kê, phương pháp chênh lệch tạm thời.
Bài toán 2: Phân lớp đối tượng là công việc phân loại ra các lớp đối tượng đã
được tìm ra theo các lớp đã được định nghĩa trước như: Lớp người, lớp phương tiện,
lớp động vật,… Đây là bước cần thiết để có thể tiếp tục phân tích các hoạt động của
chúng. Để có thể phân loại được đối tượng, không có cách nào khác là chúng ta

Học viên thực hiện: Nguyễn Hồng Hạnh - Lớp CH CNTT 2007-2009

9

Dò vết đối tượng chuyển động trong chuỗi video

phải biết được các đặc trưng của đối tượng. Hiện tại, một số hướng chính để có thể
giải quyết bài toán này là:
• Hướng tiếp cận dựa trên hình dáng của các vết
• Hướng tiếp cận dựa trên chuyển động của các đối tượng
• Hướng tiếp cận dựa trên bộ khung xương của đối tượng
• Hướng tiếp cận dựa trên thành phần của đối tượng.
Hướng tiếp cận dựa trên hình dáng của đối tượng hoàn toàn dựa vào các tính
chất 2D của các vết tìm được, trong khi đó hương tiếp cận dựa trên chuyển động
của đối tượng dựa trên các tính chất chuyển động của đối tượng theo thời gian,
hướng tiếp cận dựa trên bộ khung xương của đối tượng được thực hiện bởi việc xác
định một số điểm đặc trưng mà các đối tượng khác nhau thì bộ khung đó hoàn toàn
khác nhau, hướng tiếp cận dựa trên các thành phần của đối tượng là việc phân biệt
các thành phần của đối tượng (bánh xe, đèn chiếu,…) khi so sánh các đối tượng với
nhau.
Bài toán 3: Theo vết đối tượng
Theo dõi đối tượng đó là công việc đưa ra một chuỗi các hành vi của đối tượng
chuyển động trong một thời gian từ các khung hình thu được.
Việc theo dõi đối tượng có một ý nghĩa quan trọng trong thực tiễn như là:
• Đưa ra đường đi của đối tượng
• Xác định vận tốc của đối tượng
• Đếm số lượng tham gia chuyển động trong hệ thống.
Để có thể theo vết đối tượng cần giải quyết những vấn đề sau: chính xác hóa đối
tượng, phát hiện sự nhập nhằng, xử lý sự nhập nhằng. Chính xác hóa đối tượng là
việc kiểm tra các vết tương ứng với nhau trong khung hình liên tiếp. Tuy nhiên
trong quá trình chuyển động, các đối tượng có thể bị nhập nhằng – đối tượng đó bị
che mất một phần hoặc nó che mất một phần đối tượng khác. Khi gặp những trường
hợp hệ vậy đòi hỏi hệ thống phải phát hiện và giải quyết.

Học viên thực hiện: Nguyễn Hồng Hạnh - Lớp CH CNTT 2007-2009

10


Dò vết đối tượng chuyển động trong chuỗi video

Trong luận văn này, hai bài toán phát hiện và theo vết đối tượng được quan
tâm nghiên cứu. Để thực hiện bài toán này, luận văn tìm hiểu phương thức xử lý
dựa trên sự chênh lêch tạm thời giữa các khung hình (Temporal Differencing) để
phát hiện đối tượng và nghiên cứu bộ lọc dự đoán Kalman ứng dụng trong quá trình
dò vết đối tượng.

1.2. Một số ứng dụng thực tiễn của bài toán theo vết đối tượng
Bài toán theo vết đối tượng được ứng dụng trong nhiều lĩnh vực. Một số ứng
dụng quan trọng của bài toán theo vết đối tượng có thể được liệt kê dưới đây:
1. Hệ thống giám sát tự động qua video: Trong những ứng dụng này, hệ thống thị
giác máy tính được thiết kế để giám sát các di chuyển trong một vùng xác định, xác
định các đối tượng di chuyển và ghi chép lại những tình huống nghi vấn. Hệ thống
cần phân biệt được đâu là các đối tượng tự nhiên và đâu là con người; điều này đòi
hỏi một hệ thống theo vết đối tượng tốt.
2. Thị giác robot: Trong việc định hướng cho robot, hệ thống định hướng cần xác
định các chướng ngại vật khác nhau trên đường để tránh va chạm. Nếu bản thân
chướng ngại vật là các đối tượng di chuyển khác thì nó cần một hệ thống theo vết
đối tượng xử lý thời gian thực.
3. Hệ thống giám sát giao thông: Ở một số nước, giao thông trên các đường cao tốc
được giám sát liên tục nhờ các máy camera. Bất kỳ phương tiện nào vi phạm luật
giao thông hoặc thực hiện những hành động bất hợp pháp đều bị theo dõi và bắt
được dễ dàng nếu hệ thống giám sát được trang bị hệ thống theo vết đối tượng.

1.3. Một số nghiên cứu về vấn đề dò vết đối tượng trong chuỗi video.
Khá nhiều nhà nghiên cứu trên thế giới đã cố gắng thử nhiều hướng tiếp cận giải
quyết bài toán theo vết đối tượng. Dưới đây là một vài hướng nghiên cứu trong lĩnh
vực dò vết đối tượng.
Nghiên cứu [1] đề cập đến một phương pháp theo dõi chuyển động của vật thể
ngoài trời và phân loại chúng theo 3 nhóm chính như sau: người đơn thể, người theo
nhóm, các vật thể khác. Phương pháp này sử dụng đến các thông số về chuyển

Học viên thực hiện: Nguyễn Hồng Hạnh - Lớp CH CNTT 2007-2009

11


Dò vết đối tượng chuyển động trong chuỗi video

động, vị trí không gian, hình dạng, màu sắc vật thể. Vật thể được chia thành các
điểm có độ rộng pixel khác nhau cùng với hình nền thông qua điểm lọc tại tâm. Tập
trung vào việc thiết lập sự liên hệ giữa vật thể và các mẫu định sẵn mỗi khi vật thể
di chuyển vào khung hình theo dõi. Thuật toán xác định thành phần trọng tâm (PCA
– Principal Component Analysis) cho phép lọc tách các thông số màu sắc để giảm
sự phụ thuộc của vật thể vào sự thay đổi của ánh sáng. Sự khác nhau của hướng di
chuyển hoặc mật độ phân bổ được dùng làm tham số phân loại vật thể. Bài báo cũng
đã ứng dụng phương pháp này để xây dựng một hệ thống giám sát video cho phép
theo dỗi và phân loại vật thể chuyển động ngoài trời nhưng vẫn chưa giải quyết
được trường hợp vật thể bị che khuất hoặc gắn với nhau thành nhóm vật thể phức.
Nghiên cứu [2] lại đề xuất việc sử dụng kiến trúc mạng Bayes để theo vết vật thể
trong chuỗi video. Kiến trúc mạng Bayes cho phép mô hình hóa tương tác giữa các
đường biên được nhận dạng từ đó nhận dạng được vật thể một cách chính xác ngay
cả khi có che khuất giữa các đối tượng. Phương pháp này dựa trên quy luật

heuristic, dẫn đến nhiều sai sót trong một vài trường hợp nhất định. Nghiên cứu này
tập trung đánh giá và đưa ra phương pháp gần đúng để xây dựng kiến trúc mạng
Bayes. Phần lớn các ứng dụng theo dõi vật thể gồm 2 bước: nhận dạng khu vực vật
thể, sau đó tách vật thể khỏi phần nền. Tuy nhiên trong kiến trúc mạng Bayes, người
ta dùng đến một chủ thể theo dõi. Chủ thể này dựa trên một vùng giả định và quy
luật heuristic sẽ kiểm tra và xác nhận xem trên vùng đó có vật thể không. Kiến trúc
xác định được rõ biên và tìm được vật thể ngay cả khi có che khuất, tuy nhiên tính
đúng đắn của tập luật không được đảm bảo nên nhiều trường hợp, kiến trúc không
đạt được kết quả như mong muốn.
Nghiên cứu [3] lại đề cập đến một thuật toán trong đó vật thể được xác định từ
chuyển động giữa các khung hình, có một điểm khác biệt là camera trong nghiên
cứu cũng chuyển động cùng vật thể. Kết quả ban đầu của thuật toán có nhiều hứa
hẹn, tuy nhiên cũng còn nhiều hạn chế trong một số trường hợp phức tạp như khi
vật thể bắt đầu một đường chuyển động mới, dừng chuyển động, vật thể va chạm
lẫn nhau và cùng chuyển động. Tuy nhiên họ cũng đã xây dựng được một cơ sở các

Học viên thực hiện: Nguyễn Hồng Hạnh - Lớp CH CNTT 2007-2009

12


Dò vết đối tượng chuyển động trong chuỗi video

luật để khắc phục điều này. Thuật toán đề cập trong nghiên cứu giúp xác định và
theo dõi chuyển động của vật thể một cách rất nhanh chóng tuy nhiên sự chuyển
động của chính máy quay lại mất nhiều thời gian tính toán và chưa giải quyết được
trường hợp vật thể bị che khuất.
Ở Việt Nam, bài toán này cũng đã được triển khai nghiên cứu (ví dụ như các
công trình của các tác giả: Lê Hoài Bắc(2006), Nguyễn Phi Vũ(2006) [1-TLTV],
Vũ Ngọc Hà(2007), Nguyễn Thị Thúy Tâm (2007) [2-TLTV]. Hướng tiếp cận của

các tác giả này là sử dụng bộ lọc Particle với mô hình quan sát dựa trên màu áp
dụng trong hệ thống giám sát giao thông. Theo vết đối tượng sử dụng lọc Particle
thuộc vào loại phương pháp top-down (giải quyết bài toán một cách thuận chiều hơn
bằng cách ước lượng mức hợp lý (likelihood) của các giả thuyết cho trước dựa trên
quan sát thu được). Giống như các phương pháp lọc phi tuyến khác, lọc Particle
cũng lấy ước lượng Bayes hồi quy làm giải pháp lý thuyết, nhưng nó lại sử dụng ý
tưởng của phương pháp Monte Carlo để xấp xỉ cho giải pháp lý thuyết này. Cụ thể,
lọc Particle sử dụng một tập lớn các mẫu - mỗi mẫu được ví như một particle – rút
ra từ một hàm mật độ đề xuất để biểu diễn cho hàm mật độ hậu nghiệm, sau đó sử
dụng các giá trị mật độ hậu nghiệm này để đưa ra ước lượng trạng thái hiện thời của
hệ thống. Những điểm mạnh khiến cho lọc Particle được xem là một công cụ ưu
việt cho các bài toán lọc phi tuyến hiện nay đó là: khả năng giải quyết các bài toán
lọc tổng quát mà không đòi hỏi bất cứ giả định nào về hệ thống, tốc độ hội tụ không
phụ thuộc vào số thành phần của vectơ trạng thái, có khả năng mở rộng để thực hiện
trong môi trường tính toán toán song song, ngoài ra với sức mạnh của máy tính,
người ta có thể gia tăng độ chính xác của phép xấp xỉ bằng cách tăng số lượng các
điểm mẫu.
Nói chung, các vấn đề gặp phải khi theo dõi vật thể chuyển động có thể chia
thành ba nhóm chính như sau:
-

Vấn đề về xác định trạng thái đầu tiên vật thể được khởi tạo và bắt đầu phân
vùng

-

Vấn đề xác định vật thể chuyển động

Học viên thực hiện: Nguyễn Hồng Hạnh - Lớp CH CNTT 2007-2009

13


Dò vết đối tượng chuyển động trong chuỗi video

-

Theo dõi mục tiêu chuyển động ngay cả khi có sự che lấp bởi các vật thể
khác

Ở vấn đề đầu tiên, nhiều nghiên cứu như [11,15,20] có đề nghị sử dụng sự trợ
giúp của người dùng để xác định vật thể như một mục tiêu để theo dõi. Hay còn gọi
các phương pháp này là bán tự động. Hoặc trong một môi trường có hình nền ở
trạng thái phẳng hoặc tĩnh, một số nghiên cứu [9,14] lại sử dụng các thông tin khác
nhau thu được từ hai trạng thái chuyển động liền kề. Với mục đích đơn giản tối đa,
để giải quyết vấn đề này, phần lớn các phương pháp coi trạng thái đầu tiên là trạng
thái mà môi trường ở dạng tĩnh, phẳng. Phương pháp này mặc dù đơn giản hóa tối
đa khâu khởi tạo vật thể, nó vẫn được dùng khá phổ biến trong thực tế.
Về vấn đề xác định vật thể chuyển động, phần lớn các kỹ thuật nhận diện đều
dựa vào các yêu tố màu sắc, chất liệu, hình thể, đường biên và chuyển động, Nói
một cách chung nhất, nghiên cứu dựa trên đặc trưng màu sắc đuợc sử dụng nhiều
hơn [15,20,23,26] vì con người nhạy cảm với màu sắc hơn cả. Nhược điểm duy nhất
của kỹ thuật này là chỉ áp dụng được với các trường hợp màu sắc được phân bố một
cách có quy luật trên vật thể. Để khắc phục, nghiên cứu [8] của Jang và Choi đề
xuất một mô hình phát hiện và theo vết chuyển động linh hoạt hơn nghiên cứu sự
kết hợp với hàm lọc Kalman nhằm dự đoán một khoảng xác định vật thể nhằm giảm
thiểu độ phức tạp tính toán, tuy nhiên cách này lại không giải quyết được yêu cầu
khi vật thể bị che khuất. Do đó, để theo dõi những vật thể bị che khuất một phần bởi
các vật thể khác,Jang và Choi trong nghiên cứu [7] tiếp tục đề xuất sử dụng hàm lọc
Kalman có cấu trúc bao gồm 2 hàm lọc: hàm lọc xác định vật thể và hàm lọc xác

định liên kết. Với phương pháp này người ta chia vật thể thành các vùng nhỏ và
thông tin về quan hệ liên kết giữa các vùng nhỏ này với nhau để tổng hợp thành vật
thể nguyên dạng. Hàm lọc xác định vật thể sẽ xác định các thông tin về sự chuyển
động của từng vùng nhỏ này, sau đó hàm lọc xác định liên kết sẽ theo dõi chuyển
động tương đối của hai vùng kế nhau. Khi một vùng nhỏ không bị che lấp, chỉ cần
hàm lọc xác định vật thể là đủ để xác định thông tin chuyển động. Khi vùng nhỏ bị
che lấp, hàm lọc xác định liên kết của vùng kế tiếp được sử dụng để làm phần bù lại

Học viên thực hiện: Nguyễn Hồng Hạnh - Lớp CH CNTT 2007-2009

14


Dò vết đối tượng chuyển động trong chuỗi video

cho hàm lọc xác định vật thể tại vùng bị che lấp. Sẽ có trọng số xác định độ che lấp
áp dụng cho các hàm lọc liên kết này. Tuy nhiên ý tưởng về hàm lọc Kalman có cấu
trúc lại hạn chế do tính phức tạp của nó, không dễ dàng chọn lựa các tiêu chí phân
chia vật thể thành các vùng nhỏ trong các ứng dụng khác nhau của việc theo dõi
chuyển động của vật thể trên video. Thêm vào đó, trọng số xác định độ che khuất
được tính theo một mô hình khác. Và quan trọng nhất là độ phức tạp này sẽ tăng
nhanh khi muốn theo dõi các vật thể phức hợp.
Ngoài ra cũng đã có rất nhiều công trình nghiên cứu mô hình chuyển động
dựa trên nhận dạng của con người và đánh giá dáng điệu của cơ thể như các công
trình [27-31]. Nói chung, những phương pháp cần đến sự trợ giúp của con người sẽ
gặp phải khó khăn khi có sự che lấp một phần vật thể, điều kiện ánh sáng hoặc vị trí
vật thể thay đổi. Tuy nhiên những phương pháp này chỉ thích hợp với nhận dạng
con người, và quan trọng hơn cả, mô hình tính toán rất tốn kém với số lượng tham
số tính toán rất lớn. Nó cũng chỉ giải quyết được hiện tượng che lấp một phần vật
thể, khi vật thể bị che khuất một cách phức tạp hơn sẽ không còn xác định đúng.

Trên thực tế, với sự đa dạng của các ứng dụng giám sát video khi vật thể luôn
chuyển động với những khoảng cách nhật định trước máy quay, hệ thống theo dõi
sẽ không cần thiết một mô hình tách rời các hình khối vật thể vì nó có thể suy ra từ
sự chuyển động của vật thể. Và việc theo dõi hình dạng bề ngoài vật thể thay vì cấu
trúc hình học của nó sẽ dễ dàng hơn do các đặc tính nhận dạng bề ngoài tốt hơn,
theo đề xuất của nghiên cứu [23]
Theo [23], các tác giả H.T.Nguyen và A.W.M.Smeulders đề ra mục đích theo
vết đối tượng tốt là phải đảm bảo tính đơn giản và độ linh hoạt, nghĩa là thuật toán
phải dễ dàng triển khai với số lượng nhỏ tham số, đồng thời khả thi ngay cả khi vật
thể bị che khuất, ánh sáng, hướng chuyển động thay đổi, máy quay, hình nền, độ
phóng to thu nhỏ hoặc góc quay thay đổi.

Học viên thực hiện: Nguyễn Hồng Hạnh - Lớp CH CNTT 2007-2009

15


Dò vết đối tượng chuyển động trong chuỗi video

1.4. Phát biểu bài toán quan tâm: Dò vết đối tượng trong chuỗi video
Trong Luận văn này, tác giả tiếp tục nghiên cứu bài toán được xem là không
mới này, nhưng với một hướng tiếp cận sử dụng phương thức khác: sử dụng bộ lọc
Kalman thích nghi nhằm hoàn thiện thêm phương pháp luận cho bài toán này, đây
là một phương pháp đơn giản và hiệu quả theo dõi chuyển động của đối tượng với
chất lượng tốt như mục đích đề ra. Bài toán Dò vết đối tượng trong chuỗi video có
thể được phát biểu như sau:
Phát biểu bài toán:
Cho:

một đoạn video ghi hình từ một camera tĩnh có xuất hiện đối tượng chuyển

động.

Yêu cầu: Nghiên cứu bài toán theo vết đối tượng chuyển động trong chuỗi video,
tìm hiểu bộ lọc Kalman (Kalman filter) ứng dụng xây dựng hệ thống giám
sát có khả năng mạnh trong việc dò vết đối tượng ở một số tình huống
phức tạp.
Mục đích của Luận văn là đề xuất và thử nghiệm hướng tiếp cận giải quyết
bài toán, để dựa trên đó có thể tạo nền tảng cho việc xây dựng được một hệ thống
giám sát video có hiệu quả, độ chính xác cao, thay thế và giảm thiểu được công sức
thủ công cho con người trong các ứng dụng thực tế.

KẾT CHƯƠNG
Trong chương này, luận văn tìm hiểu khái quát chung những vấn đề liên quan
đến bài toán, trình bày những ứng dụng của bài toán dò vết trong thực tiễn, tìm hiểu
một số hướng nghiên cứu giải quyết bài toán này của các nhà khoa học ở Việt Nam
cũng như trên thế giới. Đề ra những mục tiêu mà Luận văn cần đạt được. Chương
sau sẽ tập trung tìm hiểu chi tiết một số hướng tiếp cận phổ biến nhất giải quyết bài
toán phát hiện và dò vết đối tượng. Các ưu điểm cũng như hạn chế của từng phương
pháp cũng sẽ được đề cập trong chương này.

Học viên thực hiện: Nguyễn Hồng Hạnh - Lớp CH CNTT 2007-2009

16


Dò vết đối tượng chuyển động trong chuỗi video

CHƯƠNG 2: CÁC NỀN TẢNG LÝ THUYẾT LIÊN QUAN
ĐẾN BÀI TOÁN DÒ VẾT ĐỐI TƯỢNG
Những nội dung chính của chương:

• Cơ sở lý thuyết chung (tổng quan, các phương pháp xử lý, các
kỹ thuật liên quan đến hai bài toán)
o Bài toán phát hiện đối tượng chuyển động
o Bài toán theo vết đối tượng chuyển động

Cơ sở lý thuyết chung của bài toán
Video thực tế là một chuỗi các hình ảnh, mỗi hình trong số đó được gọi là
một khung hình (frame), hiển thị với tần số đủ nhanh để mắt người có thể nhận thấy
tính liên tục của nội dung. Điều này cho thấy rằng tất cả các kỹ thuật xử lý hình ảnh
được áp dụng cho từng khung hình riêng biệt. Bên cạnh đó, nội dung của hai khung
hình liên tiếp thường có liên quan đến nhau.
Các nội dung trực quan có thể được mô hình hóa như là một hệ thống các
mức độ trừu tượng. Ở cấp độ đầu tiên là các điểm ảnh gốc với thông tin màu sắc
hoặc độ sáng. Các xử lý tiếp theo sẽ cung cấp các đặc trưng như các cạnh, góc,
đường, đường cong, và các vùng màu. Một lớp trừu tượng cao hơn có thể kết hợp
và giải thích các đặc trưng này như là các đối tượng và thuộc tính của chúng. Ở cấp
độ cao nhất là các khái niệm mức độ con người gồm một hoặc nhiều đối tượng và
mối quan hệ giữa chúng.
Phát hiện đối tượng trong các video liên quan đến việc xác minh sự hiện diện
của một đối tượng trong chuỗi hình ảnh và có thể định vị nó chính xác để nhận biết.
Theo vết đối tượng là giám sát một đối tượng thay đổi không gian và thời gian trong
một chuỗi video, bao gồm sự hiện diện của đối tượng, vị trí, kích thước, hình dạng,
vv. Điều này được thực hiện bằng cách giải quyết vấn đề tương ứng thời gian, đối
sánh các vùng mục tiêu trong các khung kế tiếp của một chuỗi các hình ảnh chụp ở
khoảng thời gian gần nhau. Hai quá trình liên quan chặt chẽ bởi vì theo vết thường

Học viên thực hiện: Nguyễn Hồng Hạnh - Lớp CH CNTT 2007-2009

17

Dò vết đối tượng chuyển động trong chuỗi video

bắt đầu với việc phát hiện đối tượng, trong khi phát hiện một đối tượng liên tục theo
thứ tự tiếp theo là cần thiết để theo vết.

2.1. Bài toán phát hiện chuyển động
Mỗi ứng dụng khi sử dụng hệ thống giám sát đối tượng trong các điều kiện
khác nhau thì cần phải có những cách xử lý khác nhau, tuy nhiên chúng đều có điểm
chung là: các đối tượng chuyển động. Vì vậy việc phát hiện các vùng mà tương ứng
với các đối tượng chuyển động như: người, xe cộ,…trong video là bước cơ bản đầu
tiên trong hầu hết các hệ thống giám sát, sau đó nó cung cấp một sự chú ý trọng tâm
và làm đơn giản hóa quá trình xử lý của các bước phân tích tiếp theo. Do quang
cảnh thiên nhiên là động như: độ chiếu sáng bất thường, thời tiết thay đổi, các
chuyển động lặp do nhiều nguyên nhân lộn xộn gây ra (chuyển động của lá trong
khi có gió). Phát hiện chuyển động là một vấn đề khó xử lý xác thực. Các công nghệ
được sử dụng thường xuyên cho phát hiện chuyển động là phương pháp trừ ảnh nền,
phương pháp dựa trên thống kê, phương pháp sai khác giữa các khung hình liên tục.

2.1.1. Tổng quan bài toán phát hiện đối tượng chuyển động
Bài toán phát hiện đối tượng có thể được mô tả bởi mô hình sau:
Tiền xử lý khung ảnh
- chuyển đổi không gian màu

Phát hiện vùng ảnh nổi

- đưa ra vùng đối tượng

Xử lý vùng ảnh nổi
-

loại bỏ nhiễu
đường bao đối tượng

Vị trí, đường bao của đối
tượng

Hình 2-1. Tổng quan bài toán phát hiện đối tượng

Học viên thực hiện: Nguyễn Hồng Hạnh - Lớp CH CNTT 2007-2009

18


Dò vết đối tượng chuyển động trong chuỗi video

2.1.2. Tiền xử lý các khung hình
Hiện nay, do khoa học kĩ thuật phát triển, giúp cho việc thu được các bức ảnh
có màu sắc thật sống động. Đối với con người, đó là một điểm thuận lợi giúp cho
việc xác định các đối tượng được tốt hơn. Nhưng đối với một hệ thống, việc phân
biệt những hình ảnh đó lại gây ra khó khăn và phải mất rất nhiều thao tác để xử lý.
Vì vậy, trong các hệ thống giám sát, việc tìm kiếm một cách chuyển đổi các không
gian màu, tìm kiếm một không gian màu đơn giản nhưng vẫn chứa đựng đầy đủ các
thông tin ban đầu trong một giới hạn có thể chấp nhận được là một điều cần thiết.
Một bức ảnh màu trong điều kiện hiện nay thường sử dụng không gian màu
RGB để thể hiện ảnh. Mỗi một màu trong không gian RGB được tổ hợp từ 3 màu cơ
bản: R-Red, G-Green và B-blue và được chứa trong 24 bits, với mỗi màu cơ bản giá
trị của nó có thể được biểu diễn trong 8 bits tức là giá trị màu của nó có thể biến
thiên từ 0 ÷ 255. Ta hoàn toàn có thể biểu diễn khung ảnh ban đầu với từng thành
phần màu cơ bản: Red- Green- Blue. Ví dụ dưới đây sẽ minh họa kết quả đó:

(a)

(b)

(c)

(d)

Hình 2 – 2. Trích rút các màu cơ bản từ ảnh gốc: (a) - Ảnh ban đầu, (b) - Ảnh
chỉ sử dụng màu đỏ (R), (c) - Ảnh chỉ sử dụng màu xanh lá cây (G), (d) - Ảnh sử
dụng màu xanh da trời (B)
Vì số lượng màu của các điểm ảnh là quá lớn, độ biến thiên màu của các điểm
ảnh là cao dẫn đến có thể thu được những hình ảnh không rõ nét, gây khó khăn cho
việc so sánh ảnh mẫu sau. Mà biện pháp dựa trên màu sắc để phát hiện đối tượng là
không thể tiến hành được. Do vậy, để giảm sự phức tạp của bài toán chúng ta đưa ra

Học viên thực hiện: Nguyễn Hồng Hạnh - Lớp CH CNTT 2007-2009

19


Dò vết đối tượng chuyển động trong chuỗi video

một giải pháp chuyển ảnh về các không gian màu khác. Đồng thời, việc chuyển đối
sang một không gian màu khác cũng giúp việc cho việc loại bỏ nhiễu sau này tốt
hơn.
Một số không gian màu thường sử dụng: không gian màu YcbCr là một họ của
không gian màu được sử dụng trong hệ thống video(Y là thành phần độ chói và Cb
và Cr là các thành phần sắc độ xanh và đỏ); không gian màu HSV(Hue-màu sắc,

Saturation- độ bão hòa, Value- giá trị) cũng còn được biết là HSB(Hue, Saturation,
Brightness) hay HSI (Hue, Saturation, Intensity) xác định một không gian màu bằng
3 thành phần cấu tạo độc lập nhau.

2.1.3. Các phương pháp lấy vùng ảnh nổi
Việc phát hiện đối tượng vị trí các đối tượng là bước đầu tiên, đóng một vai
trò quan trọng trong hệ thống. Hiện nay, hầu hết các hệ thống giám sát thông minh
đều xử dụng phương pháp phát hiện vùng ảnh nổi. Nhiệm vụ của phần này là từ
những khung hình sau khi tiền xử lý đưa ra vùng ảnh nổi trên khung hình nền. Để
minh họa cho chức năng module này ta có thể nhìn hình dưới đây:

Hình 2 - 3. Phát hiện vùng ảnh nổi: (a) - Hình ảnh nền, (b) - hình ảnh xuất hiện đối tượng
chuyển động, (c) - Vùng ảnh nổi của đối tượng

Quan sát những hình trên, ta thấy hình (c) chính là vùng ảnh nổi của đối tượng
thu được khi so sánh ảnh có đối tượng chuyển động ( hình b) ở trên với ảnh nền
(hình a).
Có nhiều phương pháp để lấy được vùng ảnh nổi của đối tượng. Sau đây sẽ là
một số phương pháp chung, thường sử dụng nhất để có lấy được vùng ảnh nổi
tượng:

Học viên thực hiện: Nguyễn Hồng Hạnh - Lớp CH CNTT 2007-2009

20


Dò vết đối tượng chuyển động trong chuỗi video

– Các phương pháp trừ ảnh nền (Background Subtraction)
– Các phương pháp dựa trên thống kê (Statistical Methods)

– Các phương pháp dựa trên sự chênh lệnh tạm thời giữa các khung hình
(Temporal Differencing)

A. Phương pháp trừ ảnh nền (Background Subtraction):
Phương pháp trừ ảnh nền là phương pháp phổ biến và thực sự có ích khi giải quyết
những hình ảnh trong khung ảnh tĩnh. Phương pháp trừ ảnh nền sử dụng phép trừ
ảnh ở mức điểm ảnh, bằng cách so sánh và thực hiện phép trừ ảnh giữa khung hình
hiện tại và khung hình nền. Hình ảnh thu được là hình ảnh sau khi so sánh các điểm
ảnh trừ với một ngưỡng để xác định xem nó có là các điểm ảnh nổi hay không.

B. Phương pháp dựa trên thống kê (Statistical Methods)
Phương pháp thống kê sử dụng việc thống kê các đặc điểm riêng của các điểm ảnh
để phát triển một thuật toán có thể vượt qua được những khó khăn mà phương pháp
trừ ảnh nền gặp phải đó là những khó khăn gặp phải khi khung cảnh luôn thay đổi
bởi nhiều yếu tố môi trường. Đặc điểm cơ bản của phương pháp thống kê là dựa
trên kỹ thuật trừ ảnh nền song thêm vào đó nó thực hiện ăn khớp, và cập nhật động
thông tin các điểm ảnh thuộc ảnh nền đang được xử lý. Các điểm ảnh nổi sẽ được
xác định bởi việc so sánh các thông tin của điểm ảnh với các mô hình ảnh nền.
Phương pháp này được sử dụng khá phổ biến trong những khung cảnh có nhiều
nhiễu, ánh sáng thay đổi liên tục.

C. Phương pháp pháp dựa trên sự chênh lệnh tạm thời giữa các khung
hình (Temporal Differencing)
Phương pháp chênh lệch tạm thời thực hiện việc phát hiện vùng chuyển động bằng
cách sử dụng sự khác nhau ở mức điểm ảnh giữa hai hoặc ba khung hình liên tiếp
trong một chuỗi các khung hình video. Phương pháp này khá tốt đối với khung cảnh
động nhiều thay đổi song nó lại thất bại trong việc phát hiện ra các điểm ảnh có liên
quan đến một số kiểu chuyển động. Hình ảnh dưới đây là sử dụng phương pháp
chênh lệch tạm thời, qua đó ta có thấy được điểm yếu của phương pháp này:

Học viên thực hiện: Nguyễn Hồng Hạnh - Lớp CH CNTT 2007-2009

21


Dò vết đối tượng chuyển động trong chuỗi video

Hình 2-4. Mô tả nhược điểm của phương pháp chênh lệch tạm thời. Người mặc áo
đen di chuyển quá chậm do đó khôg thể đưa ra được cả vùng đối tượng di chuyển
mà chỉ đưa ra được một phần đối tượng nổi lên khác nhau giữa hai khung hình liên
tiếp.
Sau đưa ra vùng ảnh nổi, chúng ta phần nào biết được vị trí đối tượng. Tuy
nhiên, khi quan sát ảnh thu được sau khi phát hiện ra vùng ảnh nổi, ta vẫn thấy được
trong ảnh vẫn còn nhiều nhiễu. Do đó, chúng ta phải có những biện pháp để loại bỏ
nhiễu từ đó đưa ra được vị trí chính xác cũng như các đặc trưng, tính chất của đối
tượng. Đó cũng chính là nhiệm vụ của phần tiếp theo: xử lý vùng ảnh nổi.

2.1.4. Xử lý vùng ảnh nổi
Xử lý vùng ảnh nổi đóng một vai trò quan trọng trong việc phát hiện đối tượng
chuyển động. Mục đích của Module này là loại bỏ nhiễu trong khung hình thu được,
sau đó đưa ra đường bao đối tượng. Đó chính là cơ sở để đưa ra những đặc trưng,
tính chất của đối tượng từ đó có thể phân biệt được các đối tượng chuyển động theo
những lớp đã được định nghĩa. Hình ảnh minh họa chức năng của module này:

Học viên thực hiện: Nguyễn Hồng Hạnh - Lớp CH CNTT 2007-2009

22


Dò vết đối tượng chuyển động trong chuỗi video

(b)

(a)

Hình 2 –5. Xử lý vùng ảnh nổi: (a) – Ảnh chưa được xử lý vùng ảnh nổi, (b) Ảnh sau khi được xử lý vùng ảnh nổi
Quy trình của việc xử lý vùng ảnh nổi:
Khung hình sau khi phát hiện
vùng ảnh nổi

Lọc bỏ nhiễu
-

thiết lập ngưỡng ảnh
các phép toán hình thái học

Đường bao đối tượng
- các phép toán hình thái học

Hình 2-6. Quá trình xử lý vùng ảnh nổi

2.1.4.1. Những vấn đề gặp phải trong xử lý nhiễu vùng ảnh nổi
Các hình ảnh mà ta thu được thực sự có rất nhiều nhiễu do điều kiện thực hiện
việc ghi hình không được tốt. Nhiều yếu tố điều kiện tác động vào khiến cho việc
lọc nhiễu gặp rất nhiều khó khăn. Có nhiều nguyên nhân gây nhiễu, các nguyên
nhân cơ bản có thể nhận thấy là:

Học viên thực hiện: Nguyễn Hồng Hạnh - Lớp CH CNTT 2007-2009

23

Dò vết đối tượng chuyển động trong chuỗi video

- Nhiễu do Camera quan sát: Các camera sử dụng có độ phân giải không cao,
việc điều chỉnh camera không tốt có thể khiến cho các khung hình thu được có độ
rung, dẫn đến các ảnh tiếp nhau sẽ không có cùng một ảnh nền.
- Nhiễu do màu sắc của đối tượng: Các đối tượng chuyển động có rất nhiều
các màu sắc khác nhau, đôi khi những màu sắc đó lại trùng với màu nền, hoặc do
điều kiện ngoài trời khiến cho các màu sắc của đối tượng trở nên nhập nhằng khó có
thể phân biệt được.
- Nhiễu do điều kiện ngoài trời: Điều kiện quan sát ngoài trời là điều kiện quan
sát phức tạp nhiều nhiễu nhất ví dụ như nhiễu do tán lá cây lay động, nhiễu do sự
thay đổi liên tục của ánh sáng ngoài trời,…
Việc sử dụng không gian màu đơn giản hơn đã giúp cho ta được một phần
trong công việc loại bỏ bớt nhiễu của các khung hình. Tuy nhiên bấy nhiêu là chưa
đủ, ta cần phải sử dụng các phương pháp lọc nhiễu khác để thu được đối tượng thích
hợp.

2.1.4.2. Thiết lập ngưỡng ảnh
Trong các phương pháp lấy vùng ảnh nổi, công việc chung nhất có lẽ là sử
dụng phép trừ ảnh. Nếu 2 mẫu là giống nhau, trả lại kết quả là một điểm ảnh nền(có
giá trị 0 – điểm ảnh màu đen). Ngược lại, chúng thì đó là điểm ảnh nổi.
Nhưng trong điều kiện không lý tưởng, có nhiều yếu tố ngoại cảnh tác động
vào vì vậy mà sẽ có những vị trí mà màu của điểm ảnh tại đó sẽ khác nhau do tác
động của ngoại cảnh. Các điểm ảnh thực tế là giống nhau nhưng do tác động của
ánh sáng,… nên đã làm cho có sai lệch trong phép trừ ảnh. Để khắc phục một phần
của vấn đề trên, người ta sử dụng một ngưỡng qua đó sẽ xác định giá trị của từng
điểm màu.
Biểu thức để phân biệt ngưỡng là:

P(q)=

0 (q < t)

255 (q ≥ t)

Học viên thực hiện: Nguyễn Hồng Hạnh - Lớp CH CNTT 2007-2009

24