Đo tốc độ xe ô tô chuyển động bằng camera: luận văn thạc sĩ

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC LẠC HỒNG
***

ĐẶNG MINH QUANG

ĐO TỐC ĐỘ XE Ô TÔ CHUYỂN ĐỘNG
BẰNG CAMERA
Chuyên ngành: Công Nghệ Thông Tin
Mã số: 60.48.02.01
LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN
NGƯỜI HƯỚNG DẪN KHOA HỌC:
PGS. TS. VŨ ĐỨC LUNG

ĐỒNG NAI - NĂM 2017


i

LỜI CẢM ƠN
Em xin chân thành cảm ơn tới Thầy PGS TS Vũ Đức Lung, người thầy đã tận tình
hướng dẫn em trong quá trình thực hiện luận văn này.
Em xin chân thành cảm ơn các thầy, cô khoa Công nghệ thông tin, khoa Sau đại
học Trường Đại học Lạc Hồng cùng các thầy cô tham gia giảng dạy cho lớp Cao học
khóa 7 đã hết lòng truyền đạt những kiến thức quý báu cho chúng em trong thời gian
học tập tại Trường Đại học Lạc Hồng, giúp chúng em học hỏi được những kiến thức
chuyên ngành để áp dụng vào thực tực tiễn cuộc sống và công việc sau này. Dù đã cố
gắng để hoàn thành luận văn, song cũng không tránh khỏi những sai sót.
Kính mong nhận được những nhận xét và góp ý của quý thầy cô và các bạn để
em có thể hoàn chỉnh đề tài của mình tốt hơn.

ii

LỜI CAM ĐOAN
Tôi cam đoan đây là công trình nghiên cứu và phát triển từ những quan điểm của
bản thân dưới sự hướng dẫn của PGS TS Vũ Đức Lung. Các số liệu, kết quả nêu trong
luận văn là trung thực. Tôi xin chịu trách nhiệm về nghiên cứu của mình.

Đồng Nai, tháng 7 năm 2017
Học viên

Đặng Minh Quang


iii
TRƯỜNG ĐẠI HỌC LẠC HỒNG
KHOA SAU ĐẠI HỌC
¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯

TÓM TẮT LUẬN VĂN
(Dùng cho học viên và người hướng dẫn)
Đề tài: Đo tốc độ xe ô tô chuyển động bằng camera.
Ngành: Công nghệ thông tin

Mã số: 60.48.02.01.

Học viên: Đặng Minh Quang.
Người hướng dẫn: PGS. TS. Vũ Đức Lung
NỘI DUNG TÓM TẮT
1. Nội dung được giao và kết quả mong đợi của người hướng dẫn

a. Nội dung được giao:
- Tìm hiểu các công trình khoa học có liên quan nhằm xác định xem bài toán này
các tác giả trong và ngoài nước đã giải quyết như thế nào để áp dụng vào xây dựng luận
văn.
- Nghiên cứu các lý thuyết liên quan cơ bản về xử lý ảnh, nhận dạng và theo vết
đối tượng, phương pháp trừ nền, phương pháp tính vận tốc dựa vào hình ảnh. Tìm hiểu
thư viện OpenCV làm nền tảng xây dựng chương trình thử nghiệm. Tiến hành thử
nghiệm, so sánh và đánh giá kết quả đạt được.
- Viết bài báo khoa học
b. Kết quả mong đợi của người hướng dẫn:
- Kết quả lý thuyết: Trình bày các phương pháp theo vết và phát hiện đối tượng,
phương pháp tính vận tốc.
- Kết quả thực nghiệm: Cài đặt và sử dụng OpenCV. Xây dựng chương trình đo
tốc độ xe ô tô chuyển động.
2. Cách thức giải quyết vấn đề
NỘI DUNG

PHƯƠNG PHÁP THỰC HIỆN

Nghiên cứu các phương pháp theo vết
Tìm hiểu các tài liệu, các công trình khoa
và phát hiện đối tượng, phương pháp
học có liên quan.
tính vận tốc.


iv

Thư viện OpenCV

Tiến hành tìm hiểu về OpenCV: cấu trúc,
ứng dụng, chức năng, cài đặt và cấu hình
cho Windows và Visual Studio.

Chương trình demo

Xây dựng chương trình demo dựa trên thư
viện OpenCV. Chương trình được xây dựng
trên nền tảng C++ và lập trình giao diện đồ
họa MFC.

3. Đánh giá về mặt khoa học của kết quả
a. Kết quả đạt được
Qua quá trình tìm hiểu, nghiên cứu xây dựng chương trình đo tốc độ xe ô tô chuyển
động bằng camera, luận văn đã đạt được các vấn đề sau:
 Tìm hiểu cơ sở lý thuyết nền tảng.
 Tìm hiểu được các phương pháp theo vết và phát hiện đối tượng, phương pháp
tính vận tốc.
 Tìm hiểu thư viện OpenCV, cài đặt và cấu hình cho Windows và Visual Studio.
 So sánh và đánh giá được kết quả đo tốc độ.
b. Đóng góp của luận văn
 Hệ thống hoá các lý thuyết về kỹ thuật trừ nền, phương pháp phát hiện và theo
vết đối tượng, phương pháp tính vận tốc.
 Xây dựng chương trình thực nghiệm đo tốc độ xe ô tô chuyển động bằng camera
dựa trên thị giác máy tính, xử lý ảnh và máy học.
4. Những vấn đề còn tồn tại so với nội dung được giao (nếu có)
- Chưa có bài báo khoa học.
Ngày 02 tháng 7 năm 2017
NGƯỜI HƯỚNG DẪN

Vũ Đức Lung

HỌC VIÊN

Đặng Minh Quang


v

MỤC LỤC
Trang
Trang phụ bìa
Lời cảm ơn
Lời cam đoan
Tóm tắt luận văn
Mục lục
Danh mục các ký hiệu, các chữ viết tắt
Danh mục bảng
Danh mục hình vẽ, sơ đồ
CHƯƠNG 1: TỔNG QUAN ...........................................................................................1
1.1

Lý do chọn đề tài................................................................................................1

1.2

Tổng quan về tình hình trong và ngoài nước .....................................................1

1.3

Mục đích đề tài...................................................................................................3

1.4

Giới hạn đề tài ....................................................................................................3

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT................................................................................4
2.1 Giới thiệu về xử lý ảnh ..........................................................................................4
2.1.1 Tổng quan về một hệ thống xử lý ảnh ............................................................4
2.1.2 Một số khái niệm ............................................................................................5
2.2. Phương pháp phát hiện đối tượng chuyển động (Các kĩ thuật trừ nền trong camera
giám sát). .....................................................................................................................7
2.2.1 Phát hiện đối tượng chuyển động là gì ? ........................................................7
2.2.2 Phát hiện các vùng ảnh nổi .............................................................................8
2.2.3 Xử lý các vùng ảnh nổi ...................................................................................9
2.2.4 Các kỹ thuật trừ ảnh .......................................................................................9
2.2.5 Một số kỹ thuật trừ nền cơ bản .....................................................................13
2.2.6 Kỹ thuật trừ nền nâng cao ............................................................................14
2.3 Phương pháp theo vết đối tượng..........................................................................16
2.3.1 Theo vết đối tượng .......................................................................................16
2.3.2 Quy trình theo vết đối tượng ........................................................................17
2.4 Giới thiệu về OpenCV .........................................................................................19
2.4.1 Tổng quan về OpenCV .................................................................................19


vi
2.4.2 Cấu trúc OpenCV .........................................................................................19
2.4.3 Các ứng dụng OpenCV ................................................................................20
2.4.4 Chức năng OpenCV .....................................................................................20
CHƯƠNG 3: PHÂN TÍCH THIẾT KẾ HỆ THỐNG ...................................................21

3.1 Phát biểu bài toán ................................................................................................21
3.2 Phương pháp tính vận tốc ....................................................................................21
3.2.1 Xác định vận tốc dựa vào phương pháp luồng quang (optical flow) ...........21
3.2.2 Xác định vận tốc dựa vào phương pháp khung đo .......................................21
3.3 Xây dựng chương trình ........................................................................................24
3.3.1 Sơ đồ khối .....................................................................................................24
3.3.2 Công cụ thực hiện .........................................................................................26
CHƯƠNG 4: THỬ NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ .........................................28
4.1 Thử nghiệm..........................................................................................................28
4.1.1 Thiết lập cấu hình .........................................................................................28
4.1.2 Dữ liệu thực nghiệm .....................................................................................28
4.1.3. Quá trình và kết quả thực nghiệm ...............................................................29
4.2 Đánh giá kết quả ..................................................................................................36
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ....................................................................38
TÀI LIỆU THAM KHẢO


vii
DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT
Ký hiệu

Thuật ngữ

CCIR

Consultive Committee for International Radio

CCD

Charge Coupled Device

OpenCV

Open Source Computer Vision Library

CUDA

Compute Unified Device Architecture

GMM

General Method of Moments

Rađa

Radio Detection and Ranging

LPR

License Plate Recognition

SaaS

Software-as-a-Service

MOG

Mixture of Gaussians

MFC

Microsoft Foundation Class


viii

DANH MỤC BẢNG
Bảng 1. Kết quả vận tốc đo được từ chương trình demo ............................................. 31
Bảng 2. Vận tốc đo được tại cầu vượt metro đường Nguyễn Ái Quốc xuất ra từ hệ thống
giám sát giao thông bằng hình ảnh ............................................................................... 33
Bảng 3. Vận tốc đo được tại D2D đường Võ Thị Sáu xuất ra từ hệ thống giám sát giao
thông bằng hình ảnh ..................................................................................................... 35
Bảng 4. So sánh vận tốc từ camera bắn tốc độ thật và vận tốc đo được ...................... 35


ix

DANH MỤC HÌNH VẼ, SƠ ĐỒ
Hình 2. 1. Quá trình xử lý ảnh ........................................................................................ 4
Hình 2. 2. Các giai đoạn chính trong xử lý ảnh .............................................................. 5
Hình 2. 3. Tổng quan các khối xử lý trong bài toán phát hiện đối tượng ...................... 7
Hình 2. 4. Phát hiện vùng ảnh nổi .................................................................................. 8
Hình 2. 5. Quy trình theo vết đối tượng ....................................................................... 17
Hình 3. 1. Mô hình khung đo ....................................................................................... 22
Hình 3. 2. Tỷ lệ chiều dài thực và chiều dài khung đo ................................................. 22
Hình 3. 3. Tính vận tốc trung bình của các giai đoạn................................................... 23
Hình 3. 4. Minh họa xác định đối tượng ...................................................................... 25
Hình 3. 5. Giao diện chương trình khi mở ................................................................... 26
Hình 3. 6. Giao diện chương trình chạy video ............................................................. 27
Hình 4. 1. Camera quay quét ........................................................................................ 28

Hình 4. 2. Hình ảnh và thông số file video vothisau.mp4 ............................................ 28
Hình 4. 3. Hình ảnh và thông số file video vothisau.mp4 ............................................ 29
Hình 4. 4. Phát hiện và theo vết đối tượng chuyển động ............................................. 30
Hình 4. 5 Kết quả thử nghiệm đo tốc độ ...................................................................... 30
Hình 4. 6. Giao diện chương trình thực tế của hệ thống ..............................................32
Hình 4. 7. Danh sách xe vi phạm tốc độ được trích xuất ............................................. 32
Sơ đồ 3. 1. Lưu đồ hoạt động ....................................................................................... 24
Sơ đồ 3. 2. Lưu đồ thuật toán tính khoảng cách di chuyển của 2 đối tượng ................ 25


1

CHƯƠNG 1: TỔNG QUAN
1.1 Lý do chọn đề tài
Hiện nay, với sự phát triển nhanh chóng của công nghệ thông tin đã giúp cho con
người rất nhiều trong nhiều lĩnh vực như kinh tế, giáo dục, dịch vụ… Nhiều hệ thống
camera để theo dõi tình hình giao thông kết hợp với giám sát an ninh đã được lắp đặt.
Ngày càng nhiều ứng dụng khai thác dữ liệu từ hệ thống giám sát này như tính toán mật
độ lưu thông, đếm lưu lượng xe, nhận dạng biển số, đo tốc độ xe...
Việc đưa ứng dụng công nghệ thông tin vào việc kiểm soát, kiềm chế tai nạn giao
thông cũng như bảo đảm trật tự an toàn giao thông nhằm điều chỉnh nhận thức cũng như
hành vi của người tham gia giao thông là cần thiết.
Từ thực tiễn cho thấy, tốc độ chuyển động của phương tiện giao thông không những
ảnh hưởng rất lớn đến xác suất xảy ra tai nạn giao thông mà còn ảnh hưởng đến mức độ
nghiêm trọng của mỗi vụ tai nạn. Trong điều kiện hạ tầng và tổ chức giao thông ở nước
ta còn nhiều hạn chế cùng với việc người tham gia điều khiển phương tiện giao thông
thường xuyên không làm chủ được tốc độ đã dẫn đến tình trạng tai nạn giao thông
nghiêm trọng ngày càng gia tăng. Do vậy, để giảm thiểu tai nạn giao thông ngoài việc
quản lí, giám sát giao thông, xây dựng đường xá mới đạt chuẩn hiện đại thì cũng cần
phải tăng cường các biện pháp tuyên truyền và chế tài góp phần nâng cao nhận thức của

người dân trong việc nghiêm chỉnh chấp hành những quy định khi tham gia giao thông.
Từ các lý do trên, tôi quyết định tìm hiểu, nghiên cứu và thực hiện đề tài: “Đo tốc
độ xe ô tô chuyển động bằng camera” với mong muốn nghiên cứu để nắm bắt các kỹ
thuật, công nghệ để có thể tiếp cận vào thực tế công việc tại cơ quan đang công tác.
1.2 Tổng quan về tình hình trong và ngoài nước
Tại các nước phát triển, việc sử dụng camera bắn tốc độ (speeding camera) khá phổ
biến với vô số camera bắn tốc độ và camera chụp vượt đèn đỏ được bố trí kín đáo và
chằng chịt trên khắp mọi nẻo đường.
Camera bắn tốc độ đầu tiên bắt đầu được giới thiệu từ thập niên 1960. Sử dụng film
để ghi lại hình ảnh, những chiếc camera thời kỳ đầu vẫn tiếp tục duy trì vị trí cho đến
tận thập niên 1990 bắt đầu xuất hiện các camera kỹ thuật số.


2
Gatsometer là nhà cung cấp các hệ thống camera bắn tốc độ lớn nhất thế giới. Đồng
thời, đây cũng là hãng sản xuất loại rađa đầu tiên ứng dụng cho hệ thống giám sát giao
thông đường bộ.
Camera bắn tốc độ có 02 loại: Camera bắn tốc độ truyền thống dùng tia laser và
camera hình ảnh. Việc đầu tư một hệ thống bắn tốc độ rất tốn kém do đó việc không sử
dụng súng radar mà chỉ dùng một camera bắn tốc độ sẽ làm cho chi phí giảm đáng kể.
Hiện nay, trên thế giới có rất nhiều nghiên cứu về kỹ thuật trừ nền và camera xử lý
ảnh để đo tốc độ. Tác giả Kenneth S. Palacio-Baus [12] từ Đại học Illinois tại Chicago
theo dõi tốc độ xe trên quốc lộ sử dụng trừ nền MOG2 từ thư viện OpenCV cho kết quả
nhận diện đối tượng tốt. Công ty Traffiko [13] với giải pháp vận chuyển thông minh
sáng tạo cung cấp nhiều ứng dụng SaaS thông minh và các ứng dụng dựa trên web để
quản lý bãi đỗ xe, phân tích thời gian hành trình, thực thi pháp luật liên quan đến giao
thông đường phố và ngoài phố, kiểm soát truy cập, phân tích video dựa trên một nền
tảng tích hợp. Tại Thái Lan [14] công ty SmartVision Technology với công nghệ (Smart
- LPR) đây là sản phẩm thương mại, có khả năng đọc biển số xe tự động, với tốc độ đo
tối đa 180 km/h có độ chính xác 85% trở lên…

Ở nước ta, các nghiên cứu về vấn đề đo tốc độ xe chuyển động qua camera còn
rất hạn chế do tính phức tạp và ứng dụng vào thực tế. Chủ yếu là các nghiên cứu liên
quan về các phương pháp bám đối tượng trong video, dự đoán hướng di chuyển... Do
vậy, việc nghiên cứu vấn đề này là cấp thiết và có ý nghĩa khoa học cao. Một số các bài
báo khoa học có các thành viên tham gia nghiên cứu như: Năm 2015 các tác giả Nguyễn
Văn Hùng, Nguyễn Văn Xuất, Lê Mạnh Cường [3] dùng phương pháp một mô hình xác
suất có sử dụng hai đặc trưng đó là màu sắc và kết cấu bề mặt để đi tìm đối tượng trong
các khung ảnh mới, phương pháp này có thể bám các đối tượng hiệu quả trong các cảnh
khác nhau. Hơn nữa, phương pháp này áp dụng các đặc tính chuyển động của đối tượng
để hạn chế không gian tìm kiếm đối tượng trong khung ảnh mới, làm tăng tốc độ tính
toán. Kết quả có độ chính xác trên 90% từ việc sử dụng 08 video mẫu để thử nghiệm so
sánh với một vài phương pháp bám đối tượng khác. Năm 2016 đã có nhiều tác giả đưa
ra nghiên cứu liên quan như Lâm Hữu Tuấn, Huỳnh Phụng Toàn, Trần Cao Đệ, Nguyễn
Thị Hồng Nhung [4] sử dụng phương pháp xác định tốc độ chuyển động của xe từ hình
ảnh video với một “khung đo” phương pháp trừ nền để phát hiện đối tượng chuyển động,


3
sử dụng phép toán trung bình có trọng số để dự đoán hướng di chuyển và vận tốc của
đối tượng. Kết quả có độ chính xác 90% từ việc thực hiện 12 lượt chạy bằng xe môtô ở
các mức tốc độ khác nhau với mức dao động ±3km/h, mỗi tốc độ thực hiện 2 lần chạy
thu được 12 video…
1.3 Mục đích đề tài
Luận văn tập trung nghiên cứu các lý thuyết liên quan cơ bản về xử lý ảnh, nhận
dạng và theo vết đối tượng, phương pháp trừ nền để ứng dụng vào bài toán tính toán vận
tốc của xe ô tô đang chuyển động. Từ kết quả nghiên cứu lý thuyết, xây dựng một phần
mềm thử nghiệm thực tế.
Nội dung luận văn: gồm 04 chương
- Chương 1: Tổng quan về tình hình nghiên cứu trong và ngoài nước liên quan đến

camera đo tốc độ, mục tiêu đề tài và giới hạn của đề tài.
- Chương 2: Trình bày một số kiến thức cơ bản về xử lý ảnh, theo vết đối tượng,

phương pháp trừ nền, thư viện openCV.
- Chương 3: Phân tích thiết kế hệ thống, trình bày phương pháp đo tốc độ xe, xây

dựng chương trình đo tốc độ xe chuyển động qua camera.
- Chương 4: Trình bày quá trình thử nghiệm, nhận xét đánh giá kết quả đạt được.
- Kết luận và hướng phát triển: Kết luận kết quả đạt được của luận văn và đề ra

hướng phát triển trong tương lai.
- Phụ lục: Nội dung các file trong chương trình và danh sách các file video...

Phương pháp thực hiện:
- Nghiên cứu trong tài liệu (từ các sách, bài báo, tạp chí khoa học...) thừa kế,

tham khảo các kết quả nghiên cứu gần và có liên quan.
- Sử dụng phần mềm Visual Studio 2015 tích hợp mã nguồn mở openCV, ngôn

ngữ C++ và lập trình giao diện đồ hoạ MFC để xây dựng, cài đặt chương trình
thử nghiệm trên file video thực tế để đo tốc độ xe ô tô chuyển động sau đó so
sánh với kết quả đang có.
1.4 Giới hạn đề tài
Đối tượng nghiên cứu là các loại camera đo tốc độ các loại phương tiện trên đường
phố. Giới hạn của luận văn này chỉ tập trung vào đo tốc độ chuyển động của ô tô.


4

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT

2.1 Giới thiệu về xử lý ảnh
2.1.1 Tổng quan về một hệ thống xử lý ảnh
Con người thu nhận thông tin qua các giác quan, trong đó thị giác đóng vai trò
quan trọng nhất. Những năm trở lại đây với sự phát triển của phầ n cứng máy tính, xử lý
ảnh và đồ họa đó phát triển một cách mạnh mẽ và có nhiều ứng dụng trong cuộc sống.
Xử lý ảnh và đồ hoạ đóng một vai trò quan trọng trong tương tác người máy.
Quá trình xử lý ảnh theo [1] bao gồm các giai đoạn như trong hình 2.1: được xem
như là quá trình thao tác ảnh đầ u vào nhằm cho ra kết quả mong muốn. Kết quả đầ u ra
của một quá trình xử lý ảnh có thể là một ảnh “tốt hơn” hoặc một kết luận.

(Nguồn: Giáo trình xử lý ảnh [1])
Hình 2. 1. Quá trình xử lý ảnh
Để có thể hình dung cấu hình một hệ thống xử lý ảnh chuyên dụng hay một hệ
thống xử lý ảnh dùng trong nghiên cứu, đào tạo, trước hết chúng ta sẽ xem xét các bước
cần thiết trong xử lý ảnh.
Quá trình thu nhận ảnh theo [1] như trong hình 2.2. Ảnh có thể thu nhận qua
camera. Thường ảnh thu nhận qua camera là tín hiệu tương tự (loại camera ống kiểu
CCIR), nhưng cũng có thể là tín hiệu số hoá (loại CCD - Charge Coupled Device).


5

(Nguồn: Giáo trình xử lý ảnh [1])
Hình 2. 2. Các giai đoạn chính trong xử lý ảnh
Ảnh cũng có thể thu nhận từ vệ tinh qua các bộ cảm ứng (sensor), hay ảnh, tranh
được quét trên scanner. Tiếp theo là quá trình số hoá (Digitalizer) để biến đổi tín hiệu
tương tự sang tín hiệu rời rạc (lấy mẫu) và số hoá bằng lượng hoá, trước khi chuyển
sang giai đoạn xử lý, phân tích hay lưu trữ lại.
Quá trình phân tích ảnh thực chất bao gồm nhiều công đoạn nhỏ. Trước hết là
công việc tăng cường ảnh để nâng cao chất lượng ảnh. Do những nguyên nhân khác

nhau: có thể do chất lượng thiết bị thu nhận ảnh, do nguồn sáng hay do nhiễu, ảnh có
thể bị suy biến. Do vậy cần phải tăng cường và khôi phục lại ảnh để làm nổi bật một số
đặc tính chính của ảnh, hay làm cho ảnh gần giống nhất với trạng thái gốc - trạng thái
trước khi ảnh bị biến dạng. Giai đoạn tiếp theo là phát hiện các đặc tính như biên, phân
vùng ảnh, trích chọn các đặc tính, v.v...
Cuối cùng, tuỳ theo mục đích của ứng dụng, sẽ là giai đoạn nhận dạng, phân lớp
hay các quyết định khác. Các giai đoạn chính của quá trình xử lý ảnh có thể mô tả ở hình
2.1.
Với các giai đoạn trên, một hệ thống xử lý ảnh (cấu trúc phần cứng theo chức
năng) gồm các thành phần tối thiểu như hình 2.2.
2.1.2 Một số khái niệm
• Pixel (Picture Element): phần tử ảnh


6
Ảnh trong thực tế là một ảnh liên tục về không gian và về giá trị độ sáng. Để có
thể xử lý ảnh bằng máy tính cần thiết phải tiến hành số hoá ảnh. Trong quá trình số hoá,
người ta biến đổi tín hiệu liên tục sang tín hiệu rời rạc thông qua quá trình lấy mẫu (rời
rạc hóa về không gian) và lượng hoá thành phần giá trị mà thể về nguyên tắc bằng mắt
thường không phân biệt được hai điểm kề nhau. Trong quá trình này, người ta sử dụng
khái niệm Picture element mà ta quen gọi hay viết là Pixel - phần tử ảnh. Ở đây cũng
cần phân biệt khái niệm pixel hay đề cập đến trong các hệ thống đồ hoạ máy tính. Để
tránh nhầm lẫn ta tạm gọi khái niệm pixel này là pixel thiết bị. Khái niệm pixel thiết bị
có thể xem xét như sau: khi ta quan sát màn hình (trong chế độ đồ hoạ), màn hình không
liên tục mà gồm nhiều điểm nhỏ, gọi là pixel. Mỗi pixel gồm một cặp tọa độ x, y và
màu.
Cặp tọa độ x, y tạo nên độ phân giải (resolution). Như màn hình máy tính có
nhiều loại với độ phân giải khác nhau: màn hình CGA có độ phân giải là 320 x 200; màn
hình VGA là 640 x 350...
Vậy, một ảnh là một tập hợp các điểm ảnh. Khi được số hoá, nó thường được

biểu diễn bởi bảng hai chiều I (n, p): n dòng và p cột. Ta nói ảnh gồm n x p pixels. Người
ta thường kí hiệu I (x, y) để chỉ một pixel. Thường giá trị của n chọn bằng p và bằng
256.
• Gray level: Mức xám
Mức xám là kết quả sự mã hoá tương ứng một cường độ sáng của mỗi điểm ảnh
với một giá trị số - kết quả của quá trình lượng hoá. Cách mã hoá kinh điển thường dùng
16, 32 hay 64 mức. Mã hoá 256 mức là phổ dụng nhất do lý do kỹ thuật. Vì 28 = 256 (0,
1, ..., 255), nên với 256 mức, mỗi pixel sẽ được mã hoá bởi 8 bit.
• Biểu diễn ảnh xám:
Trên ảnh hai chiều, mỗi điểm (x, y) trên mặt phẳng ảnh ứng với một f (x, y) giá
trị mô tả mức xám cho điểm ảnh. Trong đó, x là số hiệu cột và y là số hiệu dòng trên
ảnh.
Nếu là ảnh màu, có bảng màu thì f (x, y) là số hiệu màu.
Nếu là ảnh hơn 256 màu thì f (x, y) là 3 byte thể hiện các giá trị R, G và B của
điểm ảnh.


7
• Tách ngưỡng:
Giả sử ta có ảnh I ~ kích thước m × n, hai số Min, Max và ngưỡng θ khi đó: Kỹ
thuật tách ngưỡng được thể hiện
for (i = 0; i < m; i + +)
for (j = 0; j < n; j + +)
I [i, j] = I [i, j] > = θ? Max : Min;
* Ứng dụng: Nếu Min = 0, Max = 1 kỹ thuật chuyển ảnh thành ảnh đen trắng
được ứng dụng khi quét và nhận dạng văn bản có thể xảy ra sai sót nền thành ảnh hoặc
ảnh thành nền dẫn đến ảnh bị đứt nét hoặc dính.
2.2. Phương pháp phát hiện đối tượng chuyển động (Các kĩ thuật trừ nền trong
camera giám sát).
2.2.1 Phát hiện đối tượng chuyển động là gì ?

Phát hiện đối tượng chuyển động [5] thực ra là quá trình đưa ra các vết đối tượng
chuyển động từ các khung hình video. Quá trình này thực chất là quá trình xử lý chuỗi
ảnh liên tiếp trong một đoạn video để phát hiện ra các đối tượng chuyển động trong một
đoạn hình ảnh theo mô hình 2.3 dưới đây:

(Nguồn: Phát hiện, phân loại, theo dõi đối tượng chuyển động trong hệ thống giám sát
thông minh [5])
Hình 2. 3. Tổng quan các khối xử lý trong bài toán phát hiện đối tượng


8
2.2.2 Phát hiện các vùng ảnh nổi
Phát hiện các vùng ảnh nổi là một module thiết yếu trong bài toán phát hiện đối
tượng chuyển động qua khung hình video. Module này đóng vai trò xử lý các khung
hình video để đưa ra các vùng ảnh nổi lên trên các khung hình nền.

Hình 2. 4. Phát hiện vùng ảnh nổi
Khung hình thu được bên trái sẽ được xử lý để đưa ra các vùng ảnh nổi lên trên
(vết đối tượng chuyển động trên một ảnh nền) được minh họa hình phía bên phải. Vùng
ảnh nổi thu được như ta quan sát, vẫn còn nhiễu nhiều, đối tượng chuyển động chưa có
hình dạng rõ ràng do đó phải được xử lý ở module sau để có thể đưa ra các đối tượng
chuyển động với các tính chất của chúng.
Hình ảnh video là một chuỗi các khung hình liên tiếp được thể hiện trong một
thời gian. Phát hiện vùng ảnh nổi bản chất là việc so sánh các khung hình liên tiếp trong
một đoạn video để từ đó có thể đưa ra các vùng ảnh khác nhau giữa các khung hình liên
tiếp đó. Đây chính là nguyên lý cơ bản để bắt được vết các đối tượng chuyển động, vì
chỉ khi có đối tượng chuyển động trong khung hình thì mới có sự khác nhau giữa các
khung hình liên tiếp từ đó sẽ thu được các vết chuyển động của vật thể. Đã có nhiều
phương pháp được đưa ra để giải quyết vấn đề này, các phương pháp giải quyết có những
ưu nhược điểm riêng phù hợp với các điều kiện và hoàn cảnh giám sát khác nhau. Có

thể khái quát thành các phương pháp sau:
✓ Phương pháp trừ ảnh nền (Background Subtraction)
Phương pháp này rất phổ biến và hiệu quả trong việc giải quyết phân đoạn với
những đoạn hình ảnh có khung cảnh tĩnh. Có nhiều kỹ thuật trừ ảnh [trình bày cụ thể
trong 2.2.4] bằng việc sử dụng phép trừ ảnh ở mức điểm ảnh, một khung hình sẽ được


9
so sánh với một hình nền để từ đó đưa ra vùng các điểm ảnh khác nhau giữa khung hình
đó và ảnh nền. Các điểm ảnh khác nhau sẽ được hiểu như là các điểm ảnh nổi lên trên
ảnh nền. Sau khi tìm ra các vùng ảnh nổi, các vùng này sẽ được xử lý để lọc đi các nhiễu,
các vết không phù hợp bằng một số thuật toán lọc nhiễu khác.
Nhìn chung, phương pháp này được sử dụng khá phổ biến song nó không là lựa
chọn tốt đối với những đoạn video có khung cảnh không ổn định ví dụ như khung cảnh
ánh sáng luôn bị thay đổi liên tục hay những khung cảnh có độ nhiễu lớn (ví dụ như
những cây luôn dao động liên tục khi có gió).
✓ Phương pháp dựa trên thống kê (Statistical Methods)
Sử dụng việc thống kê các đặc điểm riêng của các điểm ảnh để phát triển một
thuật toán có thể vượt qua được những khó khăn mà phương pháp trừ ảnh nền gặp phải
đó là những khó khăn gặp phải khi khung cảnh luôn thay đổi bởi nhiều yếu tố môi
trường. Phương pháp thống kê cơ bản vẫn dựa trên kỹ thuật trừ ảnh nền song thêm vào
đó nó được thực hiện ăn khớp, và cập nhật động thông tin các điểm ảnh thuộc ảnh nền
đang được xử lý. Các điểm ảnh nổi sẽ được xác định bởi việc so sánh các thông tin của
điểm ảnh với các mô hình ảnh nền. Phương pháp này được sử dụng khá phổ biến trong
những khung cảnh có nhiều nhiễu, ánh sáng thay đổi liên tục.
✓ Phương pháp dựa trên sự chênh lệch tạm thời giữa các khung hình.
Phương pháp này phát hiện vùng chuyển động bằng cách sử dụng sự khác nhau
ở mức điểm ảnh giữa hai hoặc ba khung hình liên tiếp trong một chuỗi các khung hình
video. Phương pháp này khá tốt đối với khung cảnh động nhiều thay đổi song nó lại thất
bại trong việc phát hiện ra các điểm ảnh có liên quan đến một số kiểu chuyển động.

2.2.3 Xử lý các vùng ảnh nổi
Các vùng ảnh nổi thực tế vẫn còn nhiều nhiễu do đó để lọc nhiễu, xử lý ghép
mảnh, loại bỏ các vết không liên quan thì cần phải sử dụng module xử lý các vùng ảnh
nổi để đưa ra các đối tượng chuyển động rõ ràng để từ đó xác định được tính chất của
chúng.
2.2.4 Các kỹ thuật trừ ảnh
Gọi sự khác nhau giữa hai khung hình f1, f2 là D (f1, f2), sự sai khác được tính
toán trên một đặc trưng nhất định, khi sự sai khác này lớn hơn một ngưỡng giá trị nào


10
đó ta có thể xác định được có đối tượng chuyển động giữa hai khung hình. Một số đặc
trưng thường hay được dùng là: màu sắc, biểu đồ (biểu đồ màu, biểu đồ mức xám), cạnh,
vector chuyển động, góc hay kết cấu (texture). Giá trị các ngưỡng này thường đã được
xác định trước, trong một số trường hợp có thể dùng ngưỡng thích ứng.
Để phát hiện sự biến động, sai khác giữa các khung hình, trước hết ta phải so
sánh các đặc trưng, xác định công thức trừ ảnh A và cuối cùng là quyết định ngưỡng sai
khác Tb. Chỉ xem xét và xử lý những giá trị sai khác lớn hơn ngưỡng Tb.
Hiện nay, có nhiều kỹ thuật trừ ảnh [5] và có thể chia thành 5 loại như sau:
✓ Trừ ảnh dựa vào khối.
✓ Trừ ảnh dựa vào biểu đồ.
✓ Trừ ảnh dựa vào điểm ảnh.
✓ Trừ ảnh dựa vào thống kê.
✓ Trừ ảnh dựa vào đặc trưng.
Để có sự so sánh chính xác và thống nhất ta giả sử xét hai ảnh I1 và I2 có cùng
kích thước. Thực hiện việc tính toán sự sai khác giữa hai ảnh thông gia trừ 2 ảnh I1 và
I2.
2.3.4.1 Trừ ảnh dựa vào khối:
Sử dụng các đặc tính độc lập với các di chuyển của camera và đối tượng. Mỗi
khung hình được chia làm b khối. Các khối trên khung hình f1 được so sánh với các khối

tương ứng trên khung hình f2. Về cơ bản, độ chênh lệch giữa hai khung hình được tính
như (1):
b

D( f1 , f 2 )   Ck .DP( f1 , f 2 , k )

(1)

k 1

Trong đó Ck là hệ số cho trước, DP (f1, f2, k) là độ chênh lệch giữa hai khối thứ
k của hai khung hình f1 và f2.
Kasturi đưa ra công thức (2):

  1k   2 k  1k  2 k  2 


 
2
2

 

k 
 1k . 2 k

2

(2)

11
Trong đó 1 ,  2 là giá trị cường độ trung bình của khối thứ k  1k ,  2 k là độ
chênh lệch tương ứng với hai khối đó.

1
DP( f1 , f 2 , k )  
2

(3)

Một cắt cảnh xảy ra khi số các khối thay đổi đủ lớn, nghĩa là D (f1, f2) > T2 và Ck
= l cho tất cả các khối.
2.3.4.2 Phương pháp biểu đồ
Một bước xa hơn để giảm ảnh hưởng của sự chuyển camera và đối tượng là thực
hiện trừ ảnh dựa vào biểu đồ. Biểu đồ mô tả sự phân bố giá trị điểm ảnh của khung hình.
Ý tưởng của cách tiếp cận này là các ảnh có nền không đổi và đối tượng không đổi sẽ
có chênh lệch ít trong biểu đồ. Hơn nữa biểu đồ bất biến với việc quay ảnh và thay đổi
ít khi góc nhìn thay đổi. Có thể dùng biểu đồ màu hoặc biểu đồ mức xám để tính sự sai
khác giữa hai khung hình. Biểu đồ màu (mức xám) của khung hình I là một vector G
chiều Hi = (Hi(l), Hi(2),..., Hi(G)). Trong đó G là sổ màu (mức xám), Hi(j) là số điểm
ảnh của khung hình i có màu (mức xám) j. Phương pháp trừ ảnh dựa trên biểu đồ có thể
sử dụng biểu đồ toàn cục hoặc biểu đồ cục bộ. Biểu đồ toàn cục là biểu đồ biểu diễn sự
phân bố giá trị màu (mức xám) của toàn bộ khung hình. Còn biểu đồ cục bộ chỉ mô tả
sự phân bố của một phần nào đó của khung hình mà thôi.
2.3.4.3 Kỹ thuật trừ ảnh dựa vào điểm ảnh
Phương pháp đơn giản nhất để trừ hai khung hình là tính giá trị biểu diễn sự
chênh lệch tổng cộng về cường độ của tất cả các điểm ảnh tương ứng trên hai khung
hình theo (4):
D(f1, f2) =

1
x. y

x 1

y 1

x 0

y 0

  f  x, y   f ( x , y )
1

2

(4)

So sánh giá trị tìm được với ngưỡng chuyển cảnh Tb để xác định xem có chuyển
cảnh hay không.
Kỹ thuật trừ ảnh dựa vào điểm ảnh rất đơn giản. Nhược điểm lớn nhất của kỹ
thuật này là không phân biệt được sự thay đổi lớn trong một vùng ảnh nhỏ và thay đổi
nhỏ trong một vùng ảnh lớn. Nói chung tất cả các kỹ thuật trừ giá trị điểm ảnh đều nhạy
với nhiễu và các di chuyển camera. Có thể cải tiến kỹ thuật này bằng cách đếm tổng số


12
điểm ảnh có thay đổi lớn hơn một ngưỡng nào đó và so sánh giá trị tính được với một
ngưỡng khác để phát hiện chuyển cảnh theo (5), (6).

𝐷𝑃(𝑥, 𝑦) = {
𝐷 (𝑓1 , 𝑓2 ) =

1 𝑘ℎ𝑖 |𝑓1 (𝑥, 𝑦) − 𝑓2 (𝑥, 𝑦)| > 𝑇1
0 𝑘ℎ𝑖 |𝑓1 (𝑥, 𝑦) − 𝑓2 (𝑥, 𝑦)| < 𝑇1

1
𝑥𝑦

𝑦−1
∑𝑥−1
𝑥=0 ∑𝑦=0 𝐷𝑃(𝑥, 𝑦)

(5)
(6)

Nếu tỷ lệ số điểm ảnh thay đổi D (f1, f2) lớn hơn ngưỡng T1 thì đã có sự chuyển
cảnh do cắt. Tuy các thay đổi không liên quan trong khung hình đã được loại bỏ bớt
nhưng hướng tiếp cận này vẫn nhạy với các di chuyển camera và đối tượng. Chẳng hạn,
khi camera quay theo đối tượng, rất nhiều điểm ảnh được cho là thay đổi, dù cho có ít
điểm ảnh dịch chuyển. Có thể giảm tác động này bằng cách sử dụng một bộ lọc trơn:
Trước khi so sánh, mỗi điểm ảnh được thay thế bằng giá trị trung bình của các điểm lân
cận. Một nhược điểm khác của kỹ thuật trừ điểm ảnh là độ nhạy của điểm ảnh với việc
chiếu sáng. Khi đó người ta điều chỉnh độ sai khác giá trị điểm ảnh bằng cách chia nó
cho cường độ của điểm ảnh trên khung hình thứ hai. Hampapur [3] gọi ảnh thu được từ
độ chênh lệch hiệu chỉnh là ảnh chromatic theo (7):

1 x 1 y 1 f1 ( x, y)  f 2 ( x, y)
D( f1 , f 2 ) 


x. y x 0 y 0
f 2 ( x, y)

(7)

Phương pháp trừ giá trị điểm ảnh là tính toán từ các giá trị điểm ảnh, nhưng có
thể mở rộng đối với các ảnh màu. Ví dụ với ảnh màu RGB. ta tính tổng có trọng số các
sai khác của ba giá trị Red, Green, Blue của các điểm ảnh theo (8).
x

y

D( x, y)  



x  0 y  0 i R ,G , B 

Wi f1 ( x, y)  f 2 ( x, y)

(8)

2.3.4.4 Phương pháp thống kê:
Phương pháp sai khác thống kê dựa vào phương pháp trừ giá trị điểm ảnh, nhưng
thay vì tính tổng sự sai khác của tất cả điểm ảnh, ta chia ảnh thành các miền rồi so sánh
các đại lượng thống kê điểm ảnh của miền đó. Ta sử dụng một giá trị d là ngưỡng sai
khác được tính giữa hai điểm ảnh tương ứng. Gọi S là tập các điểm ảnh có sai khác lớn
hơn d:

 S  {( x, y) | f1 ( x, y)  f 2 ( x, y) | d}

(9)


13
Độ sai khác giữa hai khung hình được tính bằng tỷ lệ các điểm ảnh có độ chênh
lệch lớn hơn d.
D ( f1 , f 2 ) 

S .count
X *Y

(10)

Chúng ta cũng có thể sử dụng các đại lượng thống kê cho từng miền.
- Trừ ảnh dựa vào đặc trưng: Để thực hiện được kỹ thuật này, thông thường ta
xét với hai dạng đặc trưng là véc tơ chuyển động hoặc cạnh. Trong đó:
Đặc trưng là vector chuyển động:
Trong các đoạn video, người ta thường thấy các hiệu ứng do chuyển động của
đối tượng trong camera, như pan (quét), zoom (zoom in - phóng to, zoom out - thu nhỏ),
italic (nghiêng).
Đặc trưng là cạnh:
Một hướng tiếp cận khác cho việc phân loại và phát hiện chuyển cảnh là sự phát
hiện sự xuất hiện các cạnh (biên cường độ) trong một khung hình, chúng cách các cạnh
trong khung hình trước một khoảng nhất định. Kỹ thuật này không chỉ phát hiện mà còn
phân loại các loại chuyển cảnh: Cắt cứng, chồng mờ, fade, wipe.
2.2.5 Một số kỹ thuật trừ nền cơ bản
2.2.5.1 Sự khác biệt khung (Frame Differencing)
Trong tất cả các phương pháp trừ nền thì phương pháp khác biệt khung được xem

là phương pháp đơn giản nhất. Chi phí tính toán thấp, tốc độ thực thi thuật toán nhanh.
Tuy nhiên kết quả đạt được khi ta áp dụng thuật toán này là tương đối thấp.
Ý tưởng chính trong phương pháp khác biệt khung: Các đối tượng chuyển động
sẽ được phát hiện dựa trên sự khác biệt giữa hai khung ảnh liên tiếp nhau cùng với một
ngưỡng được chọn trước. Giải thuật trên được thực hiện bằng phương pháp trừ hai khung
liên tiếp, đối với mỗi giá trị pixel kết quả ta so sánh giá trị tại pixel đó với ngưỡng đã
được chọn. Nếu giá trị này nằm trong ngưỡng cho phép thì tại đó ta xem như là nền.
Ngược lại không phải là nền.
2.2.5.2 Lọc trung bình (Running Average)
Trong phương pháp sự khác biệt khung đã đề cập ở trên. Do việc xác định các
đối tượng chỉ dựa vào sự khác biệt ở hai khung liên tiếp nhau. Do vậy độ chính xác của
thuật toán tương đối thấp. Để khắc phục nhược điểm này thì phương pháp lọc trung bình


14
đề ra hướng giải quyết là xây dựng mô hình nền. Sau đó mô hình nền này được sử dụng
để tìm ra đối tượng không phải là nền. Mô hình nền này được xây dựng bằng cách học
qua n khung liên tiếp. Giá trị pixel tại vị trí (x,y) của mô hình nền này được tính bằng
cách lấy trung bình cộng của tất cả các giá trị pixel tại vị trí (x,y) của n khung đã học.
𝑛

𝐵 (𝑥, 𝑦) =

∑𝑖=1 𝐹𝑖=1 (𝑥, 𝑦)
𝑛

(11)

Trong đó:
- B (x, y): Giá trị pixel tại vị trí (x, y) của mô hình nền.

- Fi (x, y): Giá trị pixel tại vị trí (x, y) của khung thứ i.
- n: Tổng số khung học.
Sau khi đã xây dựng được mô hình nền, việc xác định ra được đâu là đối tượng
không phải là nền được thực hiện bằng cách so sánh từng khung ảnh với mô hình nền.
Dựa vào giá trị của ngưỡng đã được chọn trước tương tự như phương pháp sự khác biệt
khung.

Ft  B  th

(12)

Độ chính xác của thuật toán phụ thuộc vào mô hình nền. Do đó để cải tiến thuật
toán tốt hơn ta cập nhật mô hình nền qua từng bước chạy thuật toán.

Bi 1    Fi  (1   )  Bi

(13)

 thường được chọn là 0.05.
Như vậy, mô hình nền sẽ được cập nhật liên tục sau mỗi khung. Vì vậy sẽ giúp
tăng độ chính xác của phương pháp.
2.2.6 Kỹ thuật trừ nền nâng cao
Mô hình Gauss hỗn hợp (Mô hình GMM)
Stauffer and Grimson (1999) đã đưa ra phương pháp trộn các mô hình nền lai để
giải quyết vấn đề ánh sáng thay đổi, các hành động lặp lại, sự lộn xộn từ khung cảnh
thực tế. Mục đích là chứng minh một mô hình nền đơn thì không thể xử lý được các
khung hình liên tục trong một thời gian dài. Sử dụng phương pháp pha trộn phân tán
Gauss để biểu diễn mỗi điểm ảnh trên một mô hình. Theo luận điểm đó, thực hiện và
tích hợp phương pháp này vào trong hệ thống giám sát.

15
Trong mô hình này, coi các giá trị của điểm ảnh theo thời gian như là mô ̣t tiế n
trình điể m. Tiế n trình điể m là mô ̣t chuỗi giá tri ̣ điể m theo thời gian, tức là giá tri ̣ cấ p
xám hoă ̣c là véc tơ đố i với ảnh màu. Ta ̣i thời điể m t, ta ̣i điể m (x0,y0) thì {X1,...,Xt} =
{I(x0,y0,i), 1≤i≤t} là một tiến trình điểm. Đây là các yế u tố hướng dẫn cách lựa cho ̣n mô
hình và các thủ tu ̣c câ ̣p nhâ ̣t. Dãy {X1,...,Xt} được mô hình hoá bởi K phân bố Gauss.
Xác suất quan sát của điểm ảnh hiện tại được tính bởi công thức:
𝐾

𝑃(𝑋𝑡 ) = ∑ 𝜔𝑖,𝑡 𝜂(𝑋𝑡 , 𝜇𝑖,𝑡 , 𝛴𝑖,𝑡 )

(14)

𝑖=1

Trong đó:
i, t là trọng số tương ứng với Gauss thứ i tại thời điểm t;
I, t là giá trị trung bình của các Gauss thứ i tại thời điểm t;
i, t là ma trâ ̣n hiê ̣p phương sai của phân bố Gauss thứ i ta ̣i thời gian t;
 là hàm mật độ xác suất được xác định bởi công thức:
𝜂 (𝑋𝑡 , 𝜇, 𝛴 ) =

1
𝑛
1
(2𝜋) ⁄2 |𝛴| ⁄2

1

(𝑋𝑡 −𝜇𝑡 )𝑇 𝛴 −1 (𝑋𝑡−𝜇𝑡 )

𝑒 −2

(15)

K phụ thuộc vào bộ nhớ và khả năng xử lý của máy tính, thường đươ ̣c cho ̣n từ 3
đế n 5. Để tiê ̣n tính toán, ma trận hiê ̣p phương sai được giả thiế t theo da ̣ng sau:
𝛴𝑘,𝑡 = 𝜎𝑘2 𝐼

(16)

Trong đó, I là ma trận đơn vị.
Với giả thiết các giá trị màu R, G, B của các điểm ảnh là các thành phần độc lập
và có cùng mô ̣t phương sai.
Thủ tục phát hiện các điểm tiền cảnh:
Trước tiên các phân phối K-Gauss cho một điểm ảnh được khởi tạo với các giá
trị trung bình, có trọng số thấp như các công thức ở trên.
Khi có một điểm ảnh mới trong chuỗi khung hình được quan sát, để xác định kiểu
của nó, vector RGB được kiểm tra lại với K-Gauss cho đến khi một truờng hợp đúng
được tìm ra. Sự phù hợp được xác định khi giá trị điểm ảnh trong vòng 2.5 độ lệch chuẩn
của một phân phối.
Tiếp theo, xét K phân phối tại thời điểm t: i,t được cập nhật theo công thức:
𝜔𝑘,𝑡 = (1 − 𝛼 )𝜔𝑘,𝑡−1 + 𝛼𝑀𝑘,𝑡

(17)