Thuật toán phát hiện chuyển động

0

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ


ĐÀO NGỌC ANH



THUẬT TOÁN
PHÁT HIỆN CHUYỂN ĐỘNG




LUẬN VĂN THẠC SĨ






HÀ NỘI - 2010

1


ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ

ĐÀO NGỌC ANH



THUẬT TOÁN
PHÁT HIỆN CHUYỂN ĐỘNG

Ngành:
Công nghệ Điện tử - Viễn thông
Chuyên ngành:
Kỹ thuật điện tử
Mã số:
605270

LUẬN VĂN THẠC SĨ

NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS. TS. NGÔ DIÊN TẬP




HÀ NỘI - 2010
2

LỜI CẢM ƠN
Trƣớc hết em xin gửi tới PGS. TS. Ngô Diên Tập lời cảm ơn chân thành
và sâu sắc đã trực tiếp hƣớng dẫn, chỉ bảo tận tình trong suốt quá trình em làm
Luận văn Thạc sĩ.
Em cũng xin chân thành cảm ơn các thầy cô giáo trong Trƣờng Đại học

Công Nghệ - Đại học Quốc Gia Hà Nội đã hết lòng dạy bảo, giúp đỡ em trong
suốt quá trình học, giúp em có những kiến thức và kinh nghiệm quý báu trong
chuyên môn và cuộc sống. Những hành trang đó là một tài sản vô giá nâng bƣớc
cho em tới đƣợc với những thành công trong tƣơng lai.
Cuối cùng, em xin cảm ơn những ngƣời thân trong gia đình và các bạn đã
giúp đỡ, động viên em hoàn thành Luận văn Thạc sĩ này.
Hà nội, ngày 8 tháng 10 năm 2010.

3

LỜI CAM ĐOAN
Tôi là Đào Ngọc Anh, học viên Cao học K15, khoa Điện tử - Viễn thông,
trƣờng Đại học Công nghệ, xin cam đoan đây là công trình nghiên cứu của riêng
tôi. Các số liệu, kết quả nêu trong luận văn là trung thực và chƣa từng đƣợc ai
công bố trong bất kỳ công trình nào khác.


Hà Nội, ngày 08 tháng 10 năm 2010

Học viên






Đào Ngọc Anh
4

MỤC LỤC

Trang
Chƣơng 1. THUẬT TOÁN PHÁT HIỆN CHUYỂN ĐỘNG 1
1.1 Bộ lọc Kalman 1
1.2 Mô hình hỗn hợp nền thích nghi thời gian thực 7
1.2.1 Phƣơng pháp mô hình hóa hỗn hợp nền thích nghi 9
1.2.2 Ƣớc lƣợng mô hình nền 12
1.3 Mô hình không tham số thích nghi 13
1.3.1 Mô hình nền cơ bản 16
1.3.2 Ƣớc lƣợng độ rộng lõi 17
1.3.3 Giảm các phát hiện sai 18
1.3.4 Cập nhật nền 20
1.3.5 Phát hiện vùng tối 22
1.4 Mô hình từ điển thích nghi thời gian thực 22
1.4.1 Mô hình nền và phát hiện nền 24
1.4.2 Phát hiện vật thể từ nền 29
1.4.3 So sánh mô hình sử dụng từ điển với các mô hình khác 29
1.4.4 Mô hình nền sử dụng từ điển phân lớp 31
1.5 Mô hình từ điển hai lớp thích nghi thời gian thực 32
1.5.1 Mô hình từ điển cơ bản 32
1.5.2 Thuật toán tách nền 34
Chƣơng 2. THƢ VIỆN CHƢƠNG TRÌNH XỬ LÝ ĐỒ HỌA OPENCV 35
2.1 Kiến trúc của thƣ viện 35
2.1.1 Cấu trúc dữ liệu khởi thủy 36
2.2 Thƣ viện ngƣời dùng đồ họa mức cao 46
2.3 Các khái niệm cần thiết trong cài đặt mô hình nền sử dụng từ điển 52
2.3.1 Không gian nhớ 52
2.3.2 Dãy đối tƣợng liên kết 53
2.3.3 Đƣờng bao 58
5
2.3.4 Theo dõi chuyển động 62

Chƣơng 3. CÀI ĐẶT MÔ HÌNH NỀN SỬ DỤNG TỪ ĐIỂN HAI LỚP 68
3.1 Cấu trúc dữ liệu 68
3.2 Giải thuật thực hiện mô hình hóa nền sử dụng từ điển hai lớp thích nghi .
70
3.2.1 Pha khởi tạo mô hình nền M 71
3.2.2 Pha tối ƣu mô hình nền M đã xây dựng 72
3.2.3 Pha tách nền, cập nhât mô hình M và H đồng thời 72
3.3 Phân tích thông tin chuyển động 73
3.4 Kết quả 73
KẾT LUẬN 76
6
DANH MỤC HÌNH VẼ
Trang
Hình 1. Sự kết hợp giữa phân bố đã biết với kết quả phép đo thu đƣợc. 5
Hình 2. Giá trị cƣờng độ sáng theo thời gian 14
Hình 3. Histogram của giá trị cƣờng độ sáng 14
Hình 4. So sánh kết quả sau khi hạn chế các phát hiện sai 20
Hình 5. Kết quả phát hiện chuyển động 22
Hình 6. Giá trị cƣờng độ sáng theo thời gian và cách  đƣợc sử dụng. 26
Hình 7. Biểu diễn giá trị màu trong không gian màu RGB. 27
Hình 8. Mô hình phân tách giá trị màu đề xuất 28
Hình 9. Các thành phần chính trong thƣ viện OpenCV. 36
Hình 10. Quan hệ kế thừa giữa các cấu trúc trong OpenCV. 37
Hình 11. Ảnh lối vào và biểu diễn kết quả sau khi tách đƣờng bao. 58
Hình 12. Quá trình cập nhật vệt theo thời gian. 63
Hình 13. Các vệt mẫu chuyển động của 2 đối tƣợng. 63
Hình 14. Tính độ chuyển vết của chuyển động. 64
Hình 15. Tách các chuyển động cục bộ trong ảnh. 66
Hình 16. Tổ chức dữ liệu lƣu trữ từ điển. 68
Hình 17. Chƣơng trình mô phỏng quá trình nhận dạng chuyển động 74

7

BẢNG KÝ HIỆU VIẾT TẮT

STT
Kí hiệu
Dạng đầy đủ
Ý nghĩa
1
MOG
Mixture of
Gauss
Dạng hỗn hợp các phân phối Gauss
2
EM
Expectation-
maximization
Thuật toán EM là phƣơng pháp đi tìm ƣớc
lƣợng lân cận cực đại của các tham số trong
mô hình thống kê dựa trên các giá trị hiện
có.
8
MỞ ĐẦU
Lĩnh vực xử lý tín hiệu, cụ thể là xử lý hình ảnh đã phát triển từ lâu với đa
dạng các lĩnh vực nhƣ tăng cƣờng chất lƣợng ảnh, tách thành phần nền, dự đoán,
theo dõi chuyển động, nhận dạng đối tƣợng,… Với sự phát triển mạnh mẽ trong
công nghệ phần cứng máy tính và sự hỗ trợ của các hệ thống mô phỏng, thƣ viện
mã nguồn mở thƣ viện xử lý đồ họa đã cho phép thực hiện nhiều thuật toán phức
tạp đòi hỏi số lƣợng tính toán lớn đƣợc nghiên cứu, đánh giá, cải tiến và áp dụng

trong thực tế. Trong đó, các phƣơng pháp phát hiện chuyển động là một lớp ứng
dụng liên quan tới khá nhiều các kĩ thuật trong xứ lý ảnh nhƣ tăng cƣờng chất
lƣợng ảnh, mô hình hóa nền – tách nền, theo dõi chuyển động, dự đoán chuyển
động,…
Do thời gian nghiên cứu và khuôn khổ nội dung Luận văn có hạn nên chúng
ta sẽ đi vào tập trung nghiên cứu các thuật toán phát hiện chuyển động dựa trên
việc mô hình hóa nền đƣợc trình bày chủ yếu trong chƣơng 1. Các phƣơng pháp
mô hình hóa sẽ đƣợc trình bày theo thứ tự phát triển tăng dần. Thứ nhất là mô
hình sử dụng bộ lọc Kalman để dự đoán trong việc ƣớc lƣợng nền thích nghi.
Thứ hai là mô hình nền hỗn hợp thích nghi sử dụng K phân bố Gauss để mô
hình hóa nền có các chuyển động nhỏ, phức tạp với các tham số mô hình. Thứ
ba là mô hình nền không tham số sử dụng các ƣớc lƣợng hàm lõi cho phép thích
nghi tốt với thay đổi của môi trƣờng, loại bỏ các yếu tố tham số của mô hình.
Thứ tƣ là mô hình nền sử dụng từ điển cho phép mô hình hóa nền phức tạp trong
khoảng thời gian dài và thích nghi thời gian thực. Và cuối cùng là mô hình cải
tiến của mô hình nền sử dụng từ điển nhằm tăng tốc độ xử lý khung hình và
khắc phục vấn đề thích nghi với thay đổi nhỏ trong thời gian dài của mô hình
trƣớc đó.
Tiếp đó, ở chƣơng 2 sẽ đi tìm hiểu thƣ viện xử lý đồ họa mã nguồn mở
OpenCV. Chúng ta chủ yếu đề cập tới các khái niệm, nguyên mẫu hàm cần thiết
cho việc xây dựng chƣơng trình thực hiện mô hình hóa nền sử dụng từ điển nhƣ:
khởi thủy cấu trúc dữ liệu, các hàm xử lý đồ họa ngƣời dùng mức cao, các thuật
toán xử lý hình ảnh phổ biến…
Cuối cùng, ở chƣơng 3 sẽ mô tả quá trình, kết quả xây dựng chƣơng trình,
những lƣu ý cụ thể khi cài đặt. Chƣơng trình nguồn thu đƣợc có thể dùng để
nghiên cứu thuật toán hoặc sử dụng trong các ứng dụng thƣơng mại liên quan tới
nhận dạng chuyển động.
1
Chƣơng 1. THUẬT TOÁN PHÁT HIỆN CHUYỂN ĐỘNG

1.1 Bộ lọc Kalman
Đƣợc giới thiệu năm 1960, bộ lọc Kalman đã đƣợc chú ý đặc biệt trong
lĩnh vực xử lý tín hiệu. Bộ lọc Kalman,với các điều kiện ràng buộc, cho phép
chúng ta xây dựng một mô hình trạng thái với cực đại xác suất trƣớc mà không
cần giữ giá trị của nhiều giá trị đo trƣớc đó. Thay vì phải lƣu lại các giá trị này,
chúng ta chỉ cập nhật mô hình trạng thái hệ thống và chỉ giữ lại mô hình để sử
dụng ở bƣớc tiếp theo
[6]
.
Trƣớc khi tìm hiểu chi tiết về ý nghĩa thực tế của bộ lọc này, chúng ta hãy
phân tích các giả thiết cũng là điều kiện ràng buộc khi sử dụng của bộ lọc. Có 2
giả thiết quan trọng về mặt lý thuyết khi xây dựng bộ lọc Kalman đó là:
 Hệ thống đƣợc mô hình hóa là tuyến tính. Có nghĩa là trạng thái của
hệ thống tại thời điểm k có thể đƣợc mô hình hóa nhƣ là tích của
một số ma trận (ta sẽ không định nghĩa tƣờng minh các ma trận này)
với trạng thái tại thời điểm (k-1).
 Ồn trong phép đo là ồn trắng và có phân bố Gauss. Nghĩa là ồn sẽ
không tƣơng quan trong miền thời gian và biên độ của nó có thể
đƣợc mô hình hóa thông qua giá trị trung bình và phƣơng sai.
Ý nghĩa của phép “cực đại hóa xác suất trƣớc của các phép đo đã thực
hiện” có nghĩa là một mô hình mới đƣợc xây dựng sau khi thực hiện một phép
đo đƣợc tính toán dựa trên mô hình trƣớc đó với độ không chắc của nó và phép
đó mới cũng cùng với độ không chắc chắn của nó. Và mô hình nào đƣợc tìm ra
có xác suất cao nhất thì đƣợc gọi là mô hình đƣợc chọn. Với mục đích này, bộ
lọc Kalman với 2 điều kiện ràng buộc là cách tốt nhất để kết hợp dữ liệu từ các
nguồn khác nhau hoặc từ cùng một nguồn tại các thời điểm khác nhau. Khi có
thông tin mới thì chúng ta quyết định thay đổi trên cơ sở thông tin đã có và
thông tin mới sử dụng phép lấy trung bình theo trọng số giữa các giá trị này.
Giả sử ta thực hiện 2 phép đo xác định vị trí của x. Do có ồn nên chúng ta
có 2 kết quả đo không chắc chắn – theo quan điểm Gauss – là x

1
và x
2
. Bởi vì có
độ không chắc chắn Gauss trong phép đo nên chúng có giá trị trung bình và
với phƣơng sai chuẩn ζ
1
và ζ
2
. Phƣơng sai ở đây mang thông tin về độ không
2
chắc chắn của phép đo. Phân bố xác suất mô tả của phép đo là hàm phân bố
Gauss.

Trong trƣờng hợp này i = 1,2. Chúng ta kì vọng rằng mật độ xác suất cho
giá trị của x cho bởi hai phép đo này sẽ tỉ lệ với . Nhƣ ta
đã biết thì tích của 2 phân bố Gauss là một phân bố Gauss tƣơng đƣơng với giá
trị trung bình và phƣơng sai chuẩn đƣợc tính nhƣ sau:

Do phân bố Gauss cực đại tại giá trị trung bình, mà ta có thể xác định giá
trị này một cách dễ dàng thông qua việc tính đạo hàm của p
12
(x) theo x và cho
đạo hàm này bằng 0.

Vì hàm phân bố xác suất p(x) luôn khác 0 nên biểu thức trên tƣơng đƣơng
với biểu thƣc trong dấu ngoặc bằng 0. Giải biểu thức đó theo x cho ta mối quan
hệ hết sức quan trọng:

Nhƣ vậy, giá trị trung bình là trung bình theo trọng số của hai giá trị

trung bình của hai phép đo; với trọng số xác định độ không chắc chắn liên quan
giữa 2 phép đo. Nếu độ không chắc chắn ζ
2
của phép đo thứ 2 đặc biệt lớn thì
giá trị trung bình thu đƣợc sẽ gần với giá trị trung bình của x
1
với độ chính xác
hơn.
Với giá trị trung bình có đƣợc, chúng ta thay vào trong biểu thức xác
suất p
12
(x) và tính đƣợc độ không chắc chắn tƣơng ứng là:
3

Công thức này nói lên rằng: chúng ta có thể tạo ra một phép đo mới với
giá trị trung bình và độ không chắc chắn tƣơng ứng bằng cách kết hợp các phép
đo trƣớc đó. Tính chất này của hai phép đo Gauss có nghĩa là: nếu chúng ta có
M phép đo thì có thể kết hợp hai phép đo đầu, sau đó kết hợp phép đo thứ 3 với
kết quả hai phép đo đó và cứ nhƣ vậy đến hết. Cuối cùng ta sẽ thu đƣợc kết quả
là phép đo tƣơng đƣơng của M phép đo đó mong muốn.
Giả sử với mỗi phép đo có , chúng ta có thể tính trạng thái của ƣớc
lƣợng hiện tại nhƣ sau:
Bƣớc thứ 1, chúng ta có . Ta có biểu thức ƣớc lƣợng:

Giản ƣớc biểu thức trên ta có:

Tƣơng tự nhƣ vậy ta có:

Nhƣ vậy, các công thức trên cho phép chúng ta có thể tách biệt hoàn toàn
thông tin cũ với thông tin mới. Đặt hệ số cập nhật là K:

Khi đó sẽ thu đƣợc dạng biểu thức đệ quy đơn giản hơn:


Ở phần trƣớc, chúng ta nói đến là việc thực hiện nhiều phép đo đối với
một đối tƣợng x cố định mà chƣa đề cập đến vấn đề là đối tƣợng đó có thể
4
chuyển động trong quá trình đo. Trƣờng hợp này chúng ta sẽ gọi là pha dự đoán.
Trong suốt pha dự đoán này, chúng ta sử dụng các thông tin đã biết để dự đoán
về kết quả phép đo mới mà hệ thống sẽ diễn ra.
Trong thực tế, pha dự đoán đƣợc hoàn thành ngay sau khi một phép đo
mới đƣợc thực hiện nhƣng trƣớc khi phép đo mới đƣợc đƣa vào ƣớc lƣợng trạng
thái hệ thống. Ví dụ nhƣ khi chúng ta đo vị trí của một ô tô tại thời điểm t và sau
đó là (t+dt). Nếu ô tô đó đang chuyển động với vận tốc v thì chúng ta không thể
kết hợp phép đo đó một cách trực tiếp. Đầu tiên, chúng ta cần tiến tịnh tiến mô
hình của chúng ta về phía trƣớc dựa trên cơ sở những thông tin đã biết tại thời
điểm t vì thế chúng ta có một mô hình không chỉ của hệ thống tại thời điểm t mà
cả (t+dt) ngay trƣớc khi thông tin mới đƣợc kết hợp. Theo cách này, thông tin
mới nhận đƣợc tại thời điểm (t+dt) phù hợp với cả mô hình cũ và mô hình tại
thời điểm (t+dt) của hệ thống.
Có 3 loại chuyển động mà chúng ta sẽ xét đến:
 Chuyển động tự thân của đối tượng: đây là loại chuyển động mà chúng ta
có thể xác định trạng thái hệ thống trực tiếp từ lần đo trƣớc. Nếu chúng ta
đã đo hệ thống tại vị trí x với tốc độ v tại thời điểm t thì sau đó tại thời
điểm (t+dt) chúng ta kì vọng hệ thống sẽ ở vị trí (x+v*dt).

 Chuyển động được điều khiển: là loại chuyển động do tác động của các
yếu tố bên ngoài. Ví dụ phổ biến nhất của loại vận động này là chúng ta
biết về yếu tố tác động gây ra vận động đó. Ví dụ nhƣ hệ thống rô-bốt với
phần điểu khiển là hệ thống ra lệnh cho nó. Rõ ràng trong trƣờng hợp này,

nếu rô-bốt đã ở vị trí x và chuyển động với vận tốc v tại thời điểm (t+dt)
thì chúng ta kì vọng nó sẽ di chuyển không chỉ tới (x+v*dt) mà có thể xa
hơn.

 Chuyển động ngẫu nhiên: là các chuyển động mà chúng ta không biết
hoặc không điều khiển đƣợc. Nhƣ giả thiết trƣớc kia thì chuyển động
ngẫu nhiên ở đây cũng có phân bố Gauss hay ít nhất là có thể đƣợc mô
hình hóa bởi phân bố này.
Nhƣ đã cấp ở trên, để thêm yếu tố chuyển động vào trong mô hình thì
chúng ta cần một bƣớc cập nhật trƣớc khi có thể thêm kết quả phép đo mới.
Bƣớc cập nhật này sẽ đòi hỏi thông tin đã có về chuyển động của đối tƣợng cùng
với các thông tin mà chúng ta có hoặc biết khác - mang hàm ý điều khiển đƣợc
5
và thêm tính ngẫu nhiên của sự kiện để xác định trạng thái có thể xảy ra của hệ
thống từ phép đo trƣớc.
Chúng ta đã có một nhận xét là: Nếu độ không chắc chắn của phép đo mới
là lớn thì phép đo đó không có nhiều ý nghĩa và không đƣợc giữ lại trong kết
quả. Còn nếu phép đo đầu có phƣơng sai lớn và sau đó là một phép đo chính xác
hơn thì chúng ta tin rằng đó là kết quả của phép đo mới. Khi cả hai phép đo có
cùng độ chắc chắn – phƣơng sai – thì giá trị mới là đáng tin cậy.

Hình 1. Sự kết hợp giữa phân bố đã biết với kết quả phép đo thu đƣợc.
Ý tƣởng về cách cập nhật nhạy với độ không chắc chắn có thể đƣợc tổng
quát hóa thành rất nhiều các biến trạng thái. Ví dụ nhƣ khi theo dõi chuyển động
của vật thể trong đoạn video thì đối tƣợng có thể di chuyển theo nhiều hƣớng.
Thông thƣờng có thêm các thông khác nhƣ vật tốc mà đối tƣợng đƣợc theo
dõi… Chúng ta sẽ mô hình hóa các mô tả về trạng thái tại thời điểm k bằng hàm
trạng thái tại thời điểm (k-1):

Trong đó, là véc-tơ n chiều của các thành phần trạng thái và F là ma

trận chuyển kích thƣớc nxn. Véc-tơ u
k
cho phép thêm vào các điều khiển mong
muốn, là véc-tơ c chiều nhƣ là nguồn điều khiển. B là ma trận nxc liên quan tới
lối vào điều khiển. w
k
là biến ngẫu nhiên để mô tả yếu tố ngẫu nhiên của hệ
thống. Giả thiết rằng thành phần w
k
có phân bố Gauss N(n,Q
k
) với ma trận hiệp
phƣơng sai kích thƣớc nxn.
Thông thƣờng, chúng ta tiến hành thực hiện phép đo z
k
có thể là trực tiếp
hoặc gián tiếp trên biến trạng thái x
k
. Chúng ta có thể tóm tắt bằng phép đo véc-
tơ m chiều của phép đo z
k
nhƣ sau:
Giá trị đã đo
Giá trị biết ở hiện tại
Giá trị đã biết trong quá khứ
6

Với H
k
là ma trận mxn và v

k
là sai số phép đo có phân bố Gauss N(0,R
k
)
với R
k
là ma trận hiệp phƣơng sai mxm.
Giả sử trạng thái của đối tƣợng đƣợc mô tả bằng 2 biến vị trí x và y, hai
biến tốc độ theo 2 hƣớng là v
x
và v
y
. 4 biến đơn này có thể đƣợc biểu diễn dạng
véc-tơ trạng thái x
k
cùng với dạng ma trận chuyển phù hợp nhƣ sau:
và
Tuy nhiên, khi sử dụng máy quay để thực hiện phép đo trạng thái của đối
tƣợng thì chúng ta thƣờng chỉ đo giá trị vị trị

Khi đó cấu trúc của H sẽ là:

Trong trƣờng hợp này, chúng ta có thể không tin rằng vận tốc của đối
tƣợng là hằng số nên sẽ gán một giá trị Q
k
để phản ảnh yếu tố này. Ta chọn R
k

trên cơ sở ƣớc lƣợng độ chính xác của phép đo vị trí của đối tƣợng thu đƣợc sử
dụng các kĩ thuật phân tích ảnh trong luồng video.

Bây giờ ta sẽ thay các biểu thức trên vào dạng tổng quát của biểu thức cập
nhật. Trƣớc hết, chúng ta đi tính ƣớc lƣợng trƣớc của trạng thái , ƣớc lƣợng
ngay trƣớc khi nhận đƣợc giá trị mới. Khi đó ta có:

Kí hiệu để chỉ sai số tự tƣơng quan trong ƣớc lƣợng tự tƣơng quan tại
thời điểm k thu đƣợc từ các giá trị tại thời điểm k-1

7
Biểu thức này tạo nên cơ sở cho phần dự đoán của ƣớc lƣợng cho ta biết
thông tin mà ta kì vọng dựa trên những thông tin đã biết. Hệ số nhân Kalman K
hay hệ số trộn cho ta biết trọng số của thông tin mới so với những thứ chúng ta
đã biết:

Hệ số K cho phép chúng ta có thể tính một cách tối ƣu các giá trị đƣợc
cập nhật x
k
và P
k
với mỗi phép đo mới



1.2 Mô hình hỗn hợp nền thích nghi thời gian thực
Phƣơng pháp chung để tách các vùng chuyển động theo thời gian thực từ
chuỗi các ảnh có liên quan tới việc tách nền hay xác định ngƣỡng sai khác giữa
một ƣớc lƣợng của ảnh không có đối tƣợng chuyển động với ảnh hiện tại. Có
nhiều đề xuất liên quan tới vấn đề này đã đƣợc đƣa ra cùng với các mô hình nền
khác nhau trong việc sử dụng và cập nhật mô hình. Trong phần này, chúng ta đi
nghiên cứu về việc mô hình hóa mỗi điểm ảnh nhƣ là hỗn hợp của nhiều thành
phần mà mỗi thành phần đƣợc biểu diễn bằng một phân bố Gauss và sử dụng

phép xấp xỉ để cập nhật
[2]
. Phân bố Gauss của mô hình hỗn hợp thích nghi sau
đó đƣợc ƣớc lƣợng để xác định ra thành phần gần nhất từ quá trình xử lý nền.
Mỗi một điểm ảnh đƣợc phân nhóm trên cơ sở phân bố Gauss đặc trƣng cho nó
sao cho việc biểu diễn cho nền hiệu quả nhất. Kết quả sẽ cho ta một mô hình ổn
định, thời gian thực sử dụng để theo dõi chuyển động ngoài trời với sự thay đổi
về độ sáng, có các đối tƣợng chuyển động và các thay đổi xét trong thời gian
dài.
Trƣớc kia, do những hạn chế trong tính toán đã giới hạn các ứng dụng xử
lý video thời gian thực phức tạp. Kết quả là phần lớn các hệ thống đều chậm
đƣợc đƣa vào ứng dụng hoặc khả năng ứng dụng thực tế khá hạn chế. Ngày nay,
với sự phát triển của máy tính cho phép các nhà nghiên cứu có thể xây dựng các
mô hình mạnh mẽ, phức tạp hơn đối với việc phân tích thời gian thực luồng dữ
liệu. Phƣơng pháp nghiên cứu mới này cho phép các nhà nghiên cứu có thể bắt
đầu nghiên cứu việc mô hình hóa các quá trình trong thế giới thực dƣới nhiều
điều kiện khác nhau.
8
Một hệ thống tốt sẽ có thể làm việc với các vị trí đặt máy quay, các điều
kiện ánh sáng thay đổi, có vật thể chuyển động trong thời gian mô hình hóa
nền,… Đây chính là điều mà các phƣơng pháp trƣớc kia vẫn chƣa giải quyết
đƣợc. Hầu hết các nhà nghiên cứu đi mô hình hóa nền không thích nghi nên cần
các thiết lập khá tỉ mỉ để việc mô hình có thể hoạt động đƣợc. Nếu không có các
thông số phù hợp thì sai số nền sẽ đƣợc tích lũy theo thời gian và sẽ làm cho các
phƣơng pháp này chỉ hoạt động trong thời gian ngắn hoặc không có khả năng
thích nghi với các thay đổi.
Một phƣơng pháp cơ bản cho mô hình hóa nền thích nghi là trung bình hóa
các ảnh theo thời gian tạo nên một nền đƣợc xấp xỉ với nền thực tế khi không có
các đối tƣợng chuyển động. Tuy vậy, phƣơng pháp này sẽ không hiệu quả khi có
các đối tƣợng chuyển động liên tục khiến cho nền ít đƣợc xuất hiện, các đối

tƣợng chuyển động chậm, đa nền,… Đã có nhiều phƣơng pháp đƣa ra để xử lý
vấn đề thay đổi về độ sáng của nền: Ridder
[3]
đã mô hình hóa mỗi điểm ảnh với
một bộ lọc Kalman giúp cho hệ thống xử lý tốt hơn với những thay đổi đó. Mặc
dù phƣơng pháp này có một ngƣỡng thích nghi cho mỗi điểm ảnh nhƣng vẫn
thích nghi chậm và không xử lý đƣợc các trƣờng hợp đa nền. Pfinder
[7]
sử dụng
mô hình thống kê nhiều lớp cho các đối tƣợng đƣợc theo dõi, nhƣng mô hình
nền vẫn chỉ sử dụng một phân bố Gauss cho mỗi điểm ảnh. Với quá trình khởi
tạo trong phòng trống, hệ thống cho kết quả tốt. Nhƣng lại không hoạt động
trong điều kiện ngoài trời.
Để giải quyết các vấn đề tồn tại ở trên, thay vì mô hình hóa giá trị của tất
cả các điểm ảnh theo một kiểu phân bố nào đó, chúng ta chỉ đơn giản mô hình
hóa các giá trị điểm ảnh nhƣ là một hỗn hợp các phân bố Gauss. Trên cơ sở tính
cố định và sai khác của mỗi phân bố trong tập, chúng ta có thể xác định đƣợc
các phân bố nào thuộc màu nền. Các giá trị điểm ảnh không phù hợp với phân
bố nền thì đƣợc coi nhƣ là thuộc vật thể cho tới khi có một phân bố Gauss chứa
chúng. Hệ thống này thích nghi tốt với các thay đổi ánh sáng, các thành phần
chuyển động lặp lại, các đối tƣợng chuyển động,… Các đối tƣợng chuyển động
chậm sẽ mất nhiều thời gian hơn để đƣợc sáp nhập vào nền bởi vì màu của
chúng có một phƣơng sai lớn hơn nền. Các phƣơng sai lặp lại đƣợc cập nhật,
một mô hình cho phân bố nền đƣợc duy trì hoặc có thể đƣợc thay thế bởi một
phân bố khác. Mô hình có 2 tham số quan trọng là α – hằng số học hay hằng số
thích nghi – và T là lƣợng thông tin sẽ đƣợc lấy nhƣ nền.
9
1.2.1 Phƣơng pháp mô hình hóa hỗn hợp nền thích nghi
Với mỗi điểm ảnh ở một vùng có độ sáng nhất định thì chỉ cần một phân
bố Gauss là có thể mô hình hóa đƣợc giá trị điểm ảnh với các giá trị nhiễu thay

đổi. Nếu chỉ có sự thay đổi về độ sáng thì một phân bố Gauss đơn thích nghi là
đủ. Trong thực tế, thì các giá trị của điểm ảnh thƣờng có độ sáng khác nhau.
Chính vì vậy, chúng ta cần sử dụng hỗn hợp các phân bố Gauss thích nghi để
xấp xỉ quá trình này. Tại mỗi thời điểm, tham số của Gauss lại đƣợc cập nhật và
đƣợc ƣớc lƣợng sử dụng các giá trị thu đƣợc để tìm ra thành phần nào gần với
quá trình nền nhất. Các giá trị điểm ảnh không phù hợp với phân bố Gauss nền –
điểm ảnh thuộc vật thể - sẽ đƣợc nhóm lại thành các thành phần liên kết. Các
thành phần liên kết này đƣợc theo dõi từ khung hình này tới khung hình khác sử
dụng bộ theo dõi đa giả thiết.
Chúng ta xét các giá trị của mỗi điểm ảnh theo thời gian nhƣ là một quá
trình điểm ảnh. Quá trình này là một chuỗi theo thời gian các giá trị của điểm
ảnh. Tại thời điểm t, tất cả các thông tin đã biết về điểm ảnh {x
0
,y
0
}, là lịch sử
của nó.
{X
1
,X
2
, X
t
} = {I(x
0
,y
0
,i) với 1 ≤ i ≤ t}
Trong đó, I là chuỗi ảnh.
Giá trị của mỗi điểm ảnh đƣợc biểu diễn bằng số đo của độ chói của nó.

Với một nền tĩnh và độ sáng cố định, giá trị này gần nhƣ là cố định. Nếu chúng
ta giả thiết rằng nhiễu Gauss độc lập xuất hiện trong quá trình lấy mẫu có thể mô
tả bởi một phân bố Gauss trung tâm tại giá trị trung bình của điểm ảnh. Tuy vậy,
trong hầu hết các chuỗi video thì độ sáng thay đổi, cảnh nền thay đổi và có các
đối tƣợng chuyển động. Nếu ánh sáng thay đổi trong một nền cố định thì nó cần
một phân bố Gauss để theo dõi sự thay đổi này. Nếu một đối tƣợng đứng yên
đƣợc thêm vào nền thì sẽ không đƣợc coi nhƣ là một thành phần của nền cho tới
khi nó tồn tại đủ lâu. Điều này dẫn tới nó đƣợc coi nhƣ vật thể trong suốt thời
gian dài. Việc tích lũy các sai số trong việc ƣớc lƣợng vật thể, kết quả làm cho
việc theo dõi chuyển động không hiệu quả. Các yếu tố này cũng có nghĩa là kết
quả phát hiện gần với thời điểm hiện tại đóng vai trò quan trọng trong việc ƣớc
lƣợng các tham số Gauss hơn so với trong quá khứ. Khi có các thay đổi do các
đối tƣợng chuyển động thì sự cố định về màu của các đối tƣợng chuyển động
đƣợc sử dụng làm căn cứ để phân biệt với các đối tƣợng đứng yên. Thƣờng thì
chúng ta sẽ cần nhiều thông tin để mô tả cho phân bố của nền do tính lặp lại
10
trong khi các giá trị điểm ảnh của các đối tƣợng khác nhau thƣờng có màu khác
nhau.
Các giá trị của điểm ảnh {X
1
, X
t
} đƣợc mô hình hóa bằng một hỗn hợp K
phân bố Gauss. Xác suất xảy ra giá trị điểm ảnh hiện tại là

Trong đó, K là số lƣợng phân bố; ω
i,t
là ƣớc lƣợng của các hệ số của phân
bố Gauss trong hỗn hợp tại thời điểm t – phần chia dữ liệu đƣợc mô tả cho phân
bố Gauss thứ i; μ

i,t
là giá trị trung bình của Gauss thứ i trong tập tại thời điểm t.
Σ
i,t
là ma trận phƣơng sai của phân bố Gauss thứ i trong hỗn hợp tại thời điểm t
và η là hàm mật độ xác suất Gauss.

Giá trị K phụ thuộc vào dung lƣợng bộ nhớ và khả năng tính toán cho
phép. Tại thời điểm phƣơng pháp này đề xuất thì tác giả đề xuất K nhận giá trị
từ 3 đến 5. Cũng vì lý do để hạn chế số lƣợng tính toán cần thiết thì ma trận hiệp
phƣơng sai giả thiết có dạng:

Giả thiết mang ý nghĩa các giá trị điểm ảnh màu đỏ, xanh lá cây và xanh
nƣớc biển phải có cùng phƣơng sai. Nó cho phép chúng ta đơn giản hóa việc
tính ma trận nghịch đảo với độ chính xác biết trƣớc.
Từ đó phân bố của giá trị thu đƣợc gần nhất của điểm ảnh có thể đƣợc đặc
trƣng bởi một hỗn hợp các phân bố Gauss. Mỗi một giá trị điểm ảnh mới thông
thƣờng sẽ đƣợc biểu diễn bởi một trong số các thành phần của mô hình hỗn hợp
và đƣợc dùng để cập nhật mô hình này.
Nếu quá trình điểm ảnh có thể đƣợc đƣợc xem nhƣ là một quá trình dừng
thì một phƣơng thức chuẩn cho việc cực đại hóa tính gần đúng của dữ liệu thông
qua xác định kì vọng cực đại. Tuy vậy, mỗi quá trình điểm ảnh lại khác nhau
theo thời gian khi các yếu tố bên ngoài thay đổi. Vì thế nên chúng ta sử dụng
quy tắc học chuẩn để bổ sung các dữ liệu mới.
11
Do mỗi một điểm ảnh có một mô hình hỗn hợp biểu diễn cho nó nên việc
cài đặt thuật toán EM trên cửa sổ dữ liệu mới nhận đƣợc sẽ khá tốn tài nguyên.
Thay vào đó chúng ta cài đặt ƣớc lƣợng K thành phần đƣợc cập nhật liên tục.
Với mỗi giá trị ảnh mới X
t

sẽ đƣợc kiểm tra xem có tồn tại trong K phân bố
Gauss đã có không. Sự phù hợp ở đây đƣợc định nghĩa là giá trị điểm ảnh nằm
trong khoảng 2,5 giá trị độ lệch chuẩn của phân bố đã có. Ngƣỡng lấy mẫu này
có thể bị nhiễu do một vài hiệu ứng. Nếu không tìm ra phân phối nào phù hợp
thì phân bố xác suất nhỏ nhất sẽ đƣợc thay thế bằng phân bố của điểm ảnh hiện
tại cùng với giá trị trung bình, phƣơng sai khởi tạo lớn và một trọng số thấp.
Trọng số của K phân bố tại thời điểm t là ω
k,t
có thể đƣợc điều chỉnh theo
công thức:

Trong đó, α là tốc độ học – nhƣ đã nói ở phần trên. M
k,t
= 1 cho mô hình
phù hợp và 0 cho các mô hình còn lại. Sau khi tiến hành ƣớc lƣợng, các hệ số
đƣợc chuẩn hóa. 1/ α đƣợc hiểu là hằng số thời gian, xác định tốt độ các tham số
phân bố thay đổi. ω
k,t
đóng vai trò nhƣ phép lấy trung bình thông qua sử dụng bộ
lọc thông thấp nhân quả các xác suất thu đƣợc mà giá trị phù hợp với mô hình k
trong khoảng thời gian từ 1 đến t. Điều này tƣơng đƣơng với xác định kì vọng
của giá trị này với một cửa sổ mũ trên các giá trị đã có.
Tham số μ, ζ cho các phân bố không phù hợp là không đổi. Các tham số
cho các phân bố phù hợp đƣợc cập nhật theo công thức


Trong đó,
Các thông số này cũng có tác dụng nhƣ bộ lọc thông thấp nhân quả nhƣ
đã trình bày ở trên ngoại trừ chỉ có dữ liệu phù hợp với mô hình mới đƣợc nhóm
vào trong ƣớc lƣợng.

Một trong những đặc điểm nổi bật của phƣơng pháp này là khi một thành
phần mới đƣợc hiểu nhƣ là nền thì nó sẽ không làm phá vỡ mô hình nền hiện có.
Màu nền gốc đƣợc giữ lại trong tập cho đến khi nó trở thành xác suất thứ thƣờng
xảy ra nhất – ít xảy ra nhất trong K xác suất hiện có - thì một màu mới đƣợc
thiết lập. Vì vậy, nếu một đối tƣợng là đứng yên trong khoảng thời gian đủ dài
12
nó sẽ trở thành nền và khi nó di chuyển trở lại thì phân bố mô tả nền trƣớc đây
vẫn tồn tại với cùng giá trị μ, ζ
2
nhƣng ω sẽ thấp hơn và sẽ sớm đƣợc đƣa trở lại
nền.
1.2.2 Ƣớc lƣợng mô hình nền
Khi các tham số của mô hình nền hỗn hợp thay đổi, chúng ta sẽ xác định
đƣợc các phân bố Gauss nào tạo nên quá trình nền. Khi một đối tƣợng mới xuất
hiện, thông thƣờng nó sẽ không phù hợp với các phân bố đã có và kết quả là tạo
ra một phân bố mới hoặc làm tăng phƣơng sai của phân bố đã có. Ngoài ra,
phƣơng sai của các đối tƣợng chuyển động đƣợc coi có giá trị lớn hơn của các
điểm ảnh nền cho tới khi đối tƣợng này dừng lại. Để mô hình hóa nó, chúng ta
cần một phƣơng thức để quyết định phần nào của mô hình hỗn hợp có thể biểu
diễn tốt nhất quá trình nền.
Đầu tiên, các phân bố Gauss đƣợc sắp xếp theo giá trị ω/ζ. Giá trị này
tăng cả khi phân bố tăng và khi phƣơng sai giảm. Sau khi dự đoán lại các tham
số của mô hình, ta có đủ căn cứ để sắp xếp và tìm ra các phân bố phù hợp để tạo
các phân bố. Bởi vì chỉ có các giá trị liên quan tới mô hình phù hợp mới thay
đổi. Thứ tự đƣợc thiết lập sẽ là các phân bố gần với nền nhất ở đầu, tiếp đó là
các các phân bố ít gần hơn ở cuối cùng và có thể đƣợc thay thể bởi các phân bố
mới.
Từ đó, B phân bố đầu tiên đƣợc chọn nhƣ là mô hình hóa của nền:

Với T là số đo phần dữ liệu nhỏ nhất đƣợc coi nhƣ là nền. Việc này sẽ

thiết lập các phân bố tốt nhất cho tới khi một phân bố mới đƣợc thiết lập. Nếu
giá trị T đƣợc chọn là nhỏ, mô hình nền thƣờng là đơn-mốt. Trong trƣờng hợp
này, chỉ có các phân bố thƣờng xảy ra nhất mới đƣợc giữ lại. Nếu chọn T lớn thì
một phân bố đa-mốt sẽ đƣợc tạo ra do các yếu tố nền chuyển động lặp lại. Kết
quả là hiệu ứng trong suốt cho phép nền đƣợc chấp nhận với hai hay nhiều hơn
các màu khác nhau.
Phƣơng pháp đƣợc mô tả ở trên cho phép chúng ta phát hiển ra các điểm
ảnh thuộc vật thể trong mỗi một khung hình mới trong khi cập nhật các thông tin
quá trình của mỗi điểm ảnh. Các điểm ảnh tìm đƣợc có thể đƣợc nhóm vào một
vùng thông qua thuật toán tìm thành phần liên kết đƣợc trình bày trong “Robot
13
Vision” của B. K. P. Horn. Đây là một cách hiệu quả để xác định toàn bộ vật
thể, đối tƣợng chuyển động đƣợc đặc trƣng không chỉ qua vị trí của nó mà còn là
kích thƣớc, mô-men hay các thông tin hình dạng khác. Các đặc tính này không
chỉ hữu dụng trong các bƣớc xử lý sau này mà còn đặc biệt hỗ trợ rất nhiều trong
việc theo dõi quá chuyển động.
1.3 Mô hình không tham số thích nghi
Trong phần này chúng ta sẽ xây dựng một mô hình không tham số có thể
xử lý các tình huống nền có ồn và không hoàn toàn tĩnh – nhƣ chứa các chuyển
động nhỏ nhƣ cành cây rung rinh. Mô hình ƣớng lƣợng xác suất của các giá trị
cƣờng độ của điểm ảnh dựa trên cơ sở các mẫu cƣờng độ mỗi điểm ảnh. Mô
hình thích nghi nhanh với các thay đổi môi trƣờng cho phép phát hiện nhạy với
vật chuyển động. Chúng ta cũng tìm ra bằng cách mà mô hình có thể sử dụng
thông tin màu để chặn các phát hiện sai ở vùng tối. Thuật toán này có thể ứng
dụng cho cả ảnh mức xám và ảnh màu.
Nếu giả thiết nền là tĩnh hoàn toàn thì giá trị cƣờng độ của điểm ảnh có thể
đƣợc mô hình hóa bằng một phân bố chuẩn N(μ,ζ
2
). Nếu thêm các yếu tố nhiễu
theo thời gian thì có thể đƣợc mô hình hoá bằng phân bố chuẩn trung bình 0

N(0,ζ
2
). Mô hình phân bố chuẩn này cho các giá trị cƣờng độ của một điểm ảnh
là mô hình cơ bản cho rất nhiều kĩ thuật tách nền. Ví dụ, một kĩ thuật tách nền
đơn giản nhất là tính ảnh trung bình của nền khi không có các đối tƣợng chuyển
động, tách khung hình mới từ ảnh này và lấy mẫu kết quả.
Mô hình cơ bản có thể thích nghi với các thay đổi chậm bằng cách cập nhật
liên tục mô hình bằng bộ lọc thích nghi đơn giản. Trong hầu hết các ứng dụng
hoạt động ngoài trời thì nền thƣờng chứa các thành phần không tĩnh hoàn toàn.
Chính điều này là nguyên nhân làm các giá trị cƣờng độ điểm ảnh thay đổi theo
thời gian. Ví dụ: một điểm ảnh có thể là ảnh của bầu trời trong một khung hình
nhƣng lại là lá cây trong khung hình khác hay cành cây trong khung hình thứ
ba,

14
Hình 2. Giá trị cƣờng độ sáng theo thời gian


Hình 3. Histogram của giá trị cƣờng độ sáng
Hình 3 mô tả histogram mức sáng của điểm ảnh theo thời gian 30 giây với
900 khung hình. Giản đồ histogram này cho thấy phân bố cƣờng độ sáng là đa-
mốt vì thế nên mô hình phân bố chuẩn không thể mô tả đƣợc điểm ảnh này.
Trong một số mô hình công trình nghiên cứu về việc tách chuyển động từ
chuỗi các ảnh lối vào, một tập gồm 3 phân bố chuẩn đã đƣợc sử dụng để mô
hình giá trị điểm ảnh trong ứng dụng theo dõi lƣu lƣợng phƣơng tiện giao thông.
Cƣờng độ sáng của điểm ảnh đƣợc mô hình hóa nhƣ là tổng theo trọng số của
các phân bố chuẩn biểu diễn: phân bố đƣờng – giao thông, vùng tối và các
phƣơng tiện giao thông. Thuật toán EM đƣợc sử dụng để học và cập nhật các
tham số của mô hình. Mặc dù trong trƣờng hợp này, cƣờng độ sáng của điểm
ảnh đƣợc mô hình hóa bằng 3 phân bố nhƣng vẫn là phân bố đơn đƣợc sử dụng

cho nền – thành phần đƣờng giao thông.
Trong mô hình hỗn hợp nền thích nghi thời gian thực
[2]
, đƣợc trình bày ở
phần 1, thì độ sáng của điểm ảnh đƣợc mô hình hóa bằng hỗn hợp của K phân
bố Gauss để mô hình hóa các thành phần thay đổi của nền nhƣ là chuyển động
15
của lá cây hay các chuyển động nhỏ khác khi làm việc ở ngoài trời. Xác suất
điểm ảnh nhận giá trị cƣờng độ sáng x
t
tại thời điểm t xác định bởi:

Trong đó, ω
j
là trọng số, μ
j
là giá trị trung bình, là phƣơng sai
cho phân bố thứ j. K phân phối đƣợc sắp xếp theo và chỉ có B phân phối
đầu tiên đƣợc sử dụng nhƣ là mô hình của nền. Trong đó B đƣợc ƣớc lƣợng nhƣ
sau:

Việc tách nền đƣợc thực hiện bằng cách đánh dấu các điểm có phƣơng sai
lớn hơn 2,5 lần phƣơng sai chuẩn của mọi B phân phối đã xác định nhƣ là thuộc
vật thể.
Trong trƣờng hợp khi nền thay đổi với tần suất lớn, mô hình này gặp phát
hiện sai. Ví dụ: histogram cƣờng độ sáng trong 30 giây thể hiện rằng phân bố
cƣờng độ sáng nằm trên một dải rộng các mức xám (điều này cũng đúng cho
trƣờng hợp ảnh màu). Tất cả các thay đổi này diễn ra trong thời gian ngắn (chỉ
cỡ 30 giây). Việc mô hình hóa thay đổi nền với một số ít các phân bố Gauss sẽ
không còn chính xác. Hơn nữa, phân bố nền rất rộng sẽ cho kết quả phát hiện

kém bởi vì phổ mức xám sẽ bị chiếm hầu hết bởi mô hình nền.
Một yếu tố quan trọng khác là mô hình nền thay đổi nhanh nhƣ thế nào để
thích nghi với các thay đổi. Qua trở lại giản đồ histogram ở trên, với cùng một
điểm ảnh đƣợc quan sát trong 9 khoảng thời gian bằng nhau - mỗi khoảng gồm
100 khung hình, ta nhận thấy rằng phân bố cƣờng độ sáng thay đổi đột ngột
trong những thời gian ngắn. Sử dụng nhiều các phân bố trong thời gian ngắn sẽ
cho phép chúng ta thu đƣợc độ nhạy phát hiện tốt hơn. Tuy nhiên, chúng ta phải
đối mặt với sự đánh đổi là: nếu mô hình nền thích nghi quá chậm với thay đổi
của môi trƣờng thì sẽ thu đƣợc một mô hình không chính xác – có độ nhạy phát
hiện thấp. Mặc khác, nếu mô hình thích nghi quá nhanh thì sẽ dẫn tới vấn đề: mô
hình sẽ tự tƣơng thích với các đối tƣợng của chính chúng, cũng giống nhƣ
trƣờng hợp trên cũng sẽ dẫn tới kết quả không chính xác.
16
Mục tiêu của chúng ta là đi mô hình hóa quá trình nền không cần tham số.
Mô hình hƣớng tới hƣớng tới ở phần này sẽ thích nghi nhanh với các thay đổi
của nền và phát hiện các đối tƣợng với độ nhạy cao. Mô hình này giữ các mẫu
cho mỗi điểm ảnh của khung hình và dự đoán xác suất một điểm ảnh mới nhận
đƣợc có giá trị thuộc nền. Mô hình sẽ ƣớc lƣợng các xác suất một cách độc lập
cho các khung hình.
1.3.1 Mô hình nền cơ bản
Trong phần này, chúng ta sẽ mô tả mô hình nền cơ bản và quá trình tách
nền. Mục tiêu của mô hình là bắt đƣợc toàn bộ các thông tin gần nhất về các
chuỗi ảnh và liên tục cập nhật thông tin này để bắt nhanh các thay đổi của nền.
Do phân bố cƣờng độ sáng của các điểm ảnh thay đổi nhanh vì thế nên chúng ta
phải ƣớc lƣợng các hàm mật độ của phân bố tại mỗi thời điểm để tìm ra thông
tin nhằm cải thiện độ nhạy phát hiện.
Giả sử x
1
,x
2

,…x
N
là các mẫu gần của các giá trị cƣờng độ sáng cho một
điểm ảnh. Sử dụng các mẫu này, hàm mật độ xác suất của điểm ảnh sẽ có giá trị
cƣờng độ sáng x
t
tại thời điểm t có thể đƣợc ƣớc lƣợng mà không cần tham số
nào khác sử dụng bộ ƣớc lƣợng lõi K nhƣ sau:

Nếu chúng ta chọn hàm ƣớc lƣợng lõi K là hàm chuẩn N(0,Σ) trong đó Σ
biểu diễn băng thông hàm lõi thì mật độ có thể đƣợc ƣớc lƣợng nhƣ sau:

Nếu chúng ta giả thiết sự độc lập giữa các kênh màu khác nhau sẽ có cùng
một độ rộng băng lõi khác nhau cho kênh màu thứ j thì:


Và khi đó ƣớc lƣợng mật độ đƣợc đơn giản còn