nghiên cứu một số kỹ thuật xử lý ảnh phục vụ bài toán đếm phương tiện giao thông trên đường

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƢỜNG ĐẠI HỌC QUY NHƠN

VÕ THANH HOÀNG

NGHIÊN CỨU MỘT SỐ KỸ THUẬT XỬ LÝ ẢNH
PHỤC VỤ BÀI TỐN ĐẾM PHƢƠNG TIỆN
GIAO THƠNG TRÊN ĐƢỜNG

Chun ngành: Khoa học máy tính
Mã số: 8480101

Ngƣời hƣớng dẫn: TS. NGUYỄN THANH BÌNH


LỜI CAM ĐOAN

Tôi xin cam đoan:
- Những nội dung trong luận văn với đề tài: “Nghiên cứu một số kỹ thuật
xử lý ảnh phục vụ bài toán đếm phương tiện giao thông trên đường” là do
bản thân tôi thực hiện dƣới sự giúp đỡ, hƣớng dẫn trực tiếp của Tiến sĩ Nguyễn
Thanh Bình - giảng viên Khoa Cơng nghệ thơng tin, Trƣờng Đại học Quy
Nhơn.
- Mọi tham khảo dùng trong luận văn đều đƣợc trích dẫn rõ ràng và
trung thực tên tác giả, tên cơng trình, thời gian, địa điểm công bố.
- Các số liệu, kết quả thực nghiệm đƣợc trình bày trong luận văn là hồn
tồn trung thực dựa trên khảo sát và cho đến nay chƣa từng đƣợc cơng bố hay
xuất bản dƣới bất kỳ hình thức nào khác. Những tƣ liệu tham khảo đƣợc sử
dụng trong luận văn có nguồn gốc và trích dẫn rõ ràng, đầy đủ.
- Mọi sao chép không hợp lệ, vi phạm quy chế đào tạo tơi xin chịu hồn
tồn trách nhiệm trƣớc Hội đồng.

Bình Định, ngày 20 tháng 09 năm 2021
Học viên

Võ Thanh Hoàng


LỜI CẢM ƠN

Để hồn thành luận văn này, tơi xin chân thành cảm ơn thầy giáo hƣớng
dẫn Tiến sĩ Nguyễn Thanh Bình - giảng viên Khoa Cơng nghệ thơng tin,
Trƣờng Đại học Quy Nhơn. Tơi xin bày tỏ lịng biết ơn sâu sắc đến thầy về sự
hƣớng dẫn tận tình, đầy trách nhiệm trong quá trình tìm hiểu, nghiên cứu và
thực hiện hồn thành tốt đề tài này.
Bên cạnh đó, tơi xin bày tỏ lịng biết ơn đến Ban lãnh đạo Trƣờng Đại
học Quy Nhơn, Khoa công nghệ thông tin, Phịng Đào tạo Sau đại học đã tận
tình động viên, tạo điều kiện giúp đỡ tôi trong thời gian học tập, làm luận văn.
Tôi xin gửi lời cảm ơn chân thành đến những ngƣời thân trong gia đình,
bạn bè và đồng nghiệp về sự quan tâm, động viên và giúp đỡ tơi trong suốt
thời gian học tập và nghiên cứu.
Kính chúc quý Thầy, Cô và các bạn học viên trong lớp cao học ngành
Khoa học máy tính khóa 22 sức khỏe, hạnh phúc và thành đạt.
Xin chân thành cảm ơn!
Bình Định, ngày 17 tháng 9 năm 2021
Học viên

Võ Thanh Hoàng


MỤC LỤC

LỜI CAM ĐOAN
LỜI CẢM ƠN
DANH MỤC HÌNH ẢNH
MỞ ĐẦU ........................................................................................................... 1
CHƢƠNG 1: TỔNG QUAN VỀ HỆ THỐNG GIÁM SÁT TỰ ĐỘNG VÀ
PHÁT HIỆN PHƢƠNG TIỆN GIAO THÔNG TRÊN ĐƢỜNG .................... 4
1.1. Tổng quan về hệ thống giám sát tự động ............................................... 4
1.1.1. Hệ thống camera giát sát tự động ................................................... 4
1.1.2. Dữ liệu video ................................................................................... 6
1.1.2.1. Khái quát về xử lý ảnh và xử lý dữ liệu video ......................... 6
1.1.2.2. Khái niệm video ....................................................................... 7
1.2. Bài toán phát hiện và phân lớp phƣơng tiện giao thông ........................ 9
1.2.1. Phát hiện đối tƣợng ......................................................................... 9
1.2.2. Phát hiện đối tƣợng chuyển động ................................................. 10
1.2.3. Nhận dạng đối tƣợng ..................................................................... 11
1.3. Một số tiếp cận phát hiện và phân lớp phƣơng tiện giao thông ........... 11
1.3.1. Tiếp cận dựa trên Optical Flow .................................................... 12
1.3.2. Tiếp cận dựa trên trừ ảnh .............................................................. 13
1.3.3. Mơ hình hệ thống phát hiện và đếm phƣơng tiện giao thông ....... 16
1.4. Một số ứng dụng .................................................................................. 17
1.4.1. Giám sát bãi đậu xe ....................................................................... 17


nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong

1.4.2. Giám sát giao thông trên đƣờng .................................................... 19
1.5. Kết luận chƣơng 1 ................................................................................ 20
CHƢƠNG 2: ĐẾM PHƢƠNG TIỆN GIAO THÔNG TRÊN ĐƢỜNG ........ 21
2.1. Giới thiệu.............................................................................................. 21

2.2. Xác định phƣơng tiện giao thông ......................................................... 22
2.2.1. Phát hiện phƣơng tiện giao thơng dựa vào mơ hình trộn Gauss ... 22
2.2.2. Tối ƣu vùng quan tâm ROI (Region of Interest) .......................... 24
2.2.3. Kỹ thuật phân tích khối (Blob Analysis) ...................................... 25
2.3. Phân tích và đánh giá kỹ thuật ............................................................. 30
2.4. Kết luận chƣơng 2 ................................................................................ 30
CHƢƠNG 3: CHƢƠNG TRÌNH THỬ NGHIỆM ......................................... 31
3.1. Bài tốn đếm phƣơng tiện giao thơng .................................................. 31
3.2. Phân tích u cầu và lựa chọn cơng cụ ................................................ 32
3.3. Xây dựng chƣơng trình thử nghiệm ..................................................... 34
3.3.1. Thu nhận ảnh và tiền xử lý ảnh ..................................................... 34
3.3.2. Khởi tạo và cập nhật ảnh nền ........................................................ 34
3.3.3. Module phát hiện chuyển động ..................................................... 36
3.3.4. Đếm phƣơng tiện ........................................................................... 38
3.4. Phân tích kết quả thử nghiệm ............................................................... 43
3.5. Kết luận chƣơng 3 ................................................................................ 44
KẾT LUẬN ..................................................................................................... 45
DANH MỤC TÀI LIỆU THAM KHẢO ........................................................ 47
QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN THẠC SĨ (BẢN SAO)
nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong


nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong

DANH MỤC HÌNH ẢNH
Hình 1. 1. Ảnh và điểm ảnh .............................................................................. 6
Hình 1. 2. Độ phân giải ..................................................................................... 7
Hình 1. 3. Khung hình ....................................................................................... 7
Hình 1. 4. Phép chiếu phối cảnh của một đoạn thẳng ....................................... 8
Hình 1. 5. Mơ hình xử lý trong bài tốn phát hiện đối tƣợng chuyển động ... 10

Hình 1. 6. Hình ảnh các xe và phƣơng pháp Optical Flow ............................. 13
Hình 1. 7. Quy trình trừ nền ............................................................................ 15
Hình 1. 8. Các bƣớc thực hiện quy trình đếm phƣơng tiện giao thơng .......... 17
Hình 1. 9. Quy trình nhận dạng và đếm phƣơng tiện giao thơng ................... 17
Hình 1. 10. Mơ hình giám sát bãi đậu xe ........................................................ 18
Hình 1. 11. Giám sát phƣơng tiện giao thơng trên đƣờng .............................. 19
Hình 2. 1. ROI xử lý trƣớc khi phát hiện xe. .................................................. 25
Hình 2. 2. Q trình phân tích blob trong phát hiện xe. ................................. 26
Hình 2. 3. Mơ hình tích hợp GMM, tối ƣu ROI, phân tích Blob trong xác
định phƣơng tiện giao thơng .......................................................... 27
Hình 2. 4. Điều chỉnh lƣợc đồ ROI bằng phân tích blob. ............................... 28
Hình 2. 5. ROI trong một hình ảnh ................................................................. 29
Hình 3. 1. Mơ hình kịch bản thử nghiệm ........................................................ 33
Hình 3. 2. Kết quả tiền xử lý ảnh .................................................................... 34
Hình 3. 3. Khởi tạo và cập nhật ảnh nền ......................................................... 36
Hình 3. 4. Tính mặt nạ chuyển động ............................................................... 38
Hình 3. 5. Kết quả nhận dạng và đếm phƣơng tiện giao thơng ...................... 39
Hình 3. 6. Trƣờng hợp không phát hiện xe là xe không di chuyển hoặc
đứng yên quá lâu. ........................................................................ 40
Hình 3. 7. Trƣờng hợp khơng phát hiện xe vì q xa so với camera quan sát 40

nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong


nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong

Hình 3. 8. Giao diện khởi động chƣơng trình ................................................. 41
Hình 3. 9. Nút chọn file video trên ổ cứng ..................................................... 41
Hình 3. 10. Giao diện chọn file video trên ổ cứng .......................................... 42
Hình 3. 11. Nút Process để thực hiện xử lý .................................................... 42

Hình 3. 12. Số liệu nhận dạng và đếm xe ....................................................... 44

nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong


nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong

1

MỞ ĐẦU
1. Lý do chọn đề tài
Nghiên cứu về hệ thống giám sát tự động là một trong những chủ đề
đƣợc quan tâm trong lĩnh vực xử lý ảnh và thị giác máy tính, với mục đích
nhằm trích xuất một cách hiệu quả những thơng tin hữu ích từ một số lƣợng
lớn các video thu đƣợc từ các camera giám sát bằng cách tự động phát hiện,
theo dõi, nhận biết, phân tích các đối tƣợng đƣợc giám sát. Phát hiện, phân
loại các phƣơng tiện giao thông trên đƣờng là một trong những bài toán quan
trọng trong lĩnh vực giám sát tự động dƣới sự hỗ trợ của camera.
Trong những năm gần đây, nghiên cứu về xử lý ảnh và thị giác máy đã
đạt đƣợc nhiều thành tựu và tiến bộ vƣợt bậc. Trong đó, bài tốn tự động nhận
dạng xe đã đƣợc phổ biến rộng rãi, sử dụng trong các hệ thống giám sát tự
động, hệ thống giao thông thông minh. Vấn đề này đã đƣợc các nhà nghiên
cứu quan tâm hơn từ thập kỷ trƣớc với sự tiến bộ của kỹ thuật số cơng nghệ
xử lý hình ảnh và tính tốn hiệu năng cao. Nhiều hƣớng tiếp cận đƣợc đề xuất
và nghiên cứu, song các thuật toán xử lý ảnh để phát hiện phƣơng tiện trong
dữ liệu video vẫn cịn là bài tốn mở do nhiều tác động từ yếu tố môi trƣờng
và điều kiện thu nhận đa dạng.
Hệ thống phát hiện xe tự động là chìa khóa kiểm sốt giao thơng đƣờng
bộ ngày nay; một số ứng dụng của các hệ thống này là hệ thống phản ứng
giao thơng, bộ điều khiển tín hiệu giao thơng, làn đƣờng hệ thống cảnh báo

khởi hành, tai nạn xe tự động phát hiện và ƣớc tính mật độ giao thơng tự
động. Hệ thống phân loại và đếm xe tự động sử dụng dữ liệu video thu đƣợc
từ camera giao thông, thực hiện các phép tính tốn trên một tập hợp khung
hình thu đƣợc từ video để ƣớc tính số lƣợng xe có mặt tại địa điểm nào đó

nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong


nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong

2
trong một khoảng thời gian. Đếm phƣơng tiện cung cấp nhiều thơng tin cần
thiết để có đƣợc thơng tin về luồng giao thông ở bất kỳ khu vực nào dƣới sự
giám sát tự động.
Để có thể giải quyết các vấn đề giao thông ngày càng nghiêm trọng,
nghiên cứu các kỹ thuật xử lý ảnh và ứng dụng trong hệ thống giám sát cũng
nhƣ đếm phƣơng tiện một cách tự động là cấp thiết. Phát hiện các phƣơng tiện
trên đƣờng trong video cũng nhiều hơn trên thế giới và đặc biệt nhận đƣợc sự
quan tâm nhiều hơn của cộng đồng nghiên cứu trong và ngoài nƣớc.
Xuất phát từ ý nghĩa khoa học và ý nghĩ thực tiễn nhƣ những phân tích
trên, luận văn lựa chọn đề tài: “Nghiên cứu một số kỹ thuật xử lý ảnh phục
vụ bài toán đếm phương tiện giao thông trên đường” nhằm nghiên cứu một
số vấn đề cơ bản của bài toán cùng với những giải pháp liên quan.
2. Tổng quan về tài liệu và bố cục luận văn
Nguồn tài liệu để nghiên cứu về luận văn này bao gồm: các bài báo khoa
học, các luận văn, luận án trong nƣớc và nƣớc ngoài liên quan đến đề tài.
Bố cục của luận văn gồm phần mở đầu, phần kết luận và ba chƣơng nội
dung đƣợc bố cục nhƣ sau:
Chƣơng 1: Tổng quan về hệ thống giám sát tự động và phát hiện
phƣơng tiện giao thông trên đƣờng. Trên cơ sở đó, luận văn giới thiệu một

số bài toán xử lý dữ liệu video, một số vấn đề gặp phải khi đếm phƣơng tiện
giao thông trên đƣờng và sơ đồ xử lý quy trình nhận dạng phƣơng tiện giao
thông trên đƣờng.
Chƣơng 2: Đếm phƣơng tiện giao thông trên đƣờng. Cụ thể là một số
kỹ thuật xác định đối tƣợng chuyển động, phát hiện và phân loại phƣơng tiện
giao thơng và xây dựng thuật tốn đếm phƣơng tiện giao thông theo yêu cầu.

nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong


nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong

3
Chƣơng 3: Chƣơng trình thử nghiệm. Xây dựng chƣơng trình thử
nghiệm, phân tích và đánh giá kết quả đạt đƣợc.
3. Mục đích và nhiệm vụ nghiên cứu
- Nghiên cứu dữ liệu video
- Nghiên cứu thuật toán phát hiện và nhận dạng đối tƣợng phƣơng tiện
giao thông trong video
- Xây dựng mơ hình hệ thống đếm phƣơng tiện giao thơng tự động
- Cài đặt thử nghiệm và đánh giá kết quả.
4. Đối tƣợng và phạm vi nghiên cứu
- Đối tƣợng nghiên cứu: Dữ liệu video lấy từ camera giám sát giao
thông.
- Phạm vi nghiên cứu: Đề tài nghiên cứu các thuật toán xử lý ảnh với dữ
liệu video. Thuật toán xử lý ảnh xác định và nhận dạng phƣơng tiện giao
thông. Xây dựng mơ hình học máy hỗ trợ giám sát và đếm tự động.
5. Phƣơng pháp nghiên cứu
- Phƣơng pháp nghiên cứu tài liệu;
- Phƣơng pháp phân tích, tổng hợp;

- Phƣơng pháp thực nghiệm.
6. Ý nghĩa khoa học và thực tiễn
Tập trung nghiên cứu các thuật toán xử lý ảnh với dữ liệu video. Xác định
và nhận dạng đối tƣợng phƣơng tiện giao thơng. Xây dựng mơ hình học máy
đếm số phƣơng tiện giao thơng.
Ứng dụng xây dựng mơ hình hệ thống giám sát tự động và đếm số lƣợng
phƣơng tiện tham gia giao thông theo yêu cầu, ứng dụng vào hệ thống đƣờng
xá Việt Nam.

nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong


nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong

4

CHƢƠNG 1: TỔNG QUAN VỀ HỆ THỐNG GIÁM SÁT TỰ
ĐỘNG VÀ PHÁT HIỆN PHƢƠNG TIỆN GIAO THÔNG
TRÊN ĐƢỜNG
1.1. Tổng quan về hệ thống giám sát tự động
1.1.1. Hệ thống camera giát sát tự động
Với những tiến bộ công nghệ gần đây, camera đã trở nên phổ biến hơn,
nó có mặt từ máy tính để bàn, máy tính xách tay, đến thiết bị di động và nhiều
thiết bị khác sử dụng hàng ngày. Ngày càng nhiều các hệ thống giám sát bằng
camera đƣợc triển khai và đã chứng minh đƣợc tính hiệu quả nhất định trên
một số lĩnh vực nhƣ giám sát hoạt động con ngƣời, giám sát giao thông v.v.
Trong giao thông, ngƣời ta lắp đặt các camera giám sát ở các nơi đƣờng giao
nhau, đƣờng hầm, nhà ga và các vị trí quan trọng để giám sát giao thơng, dự
báo tình trạng ùn tắc, điều phối phân làn giao thông, phát hiện các vi phạm
luật giao thông của các phƣơng tiện v.v. Trong các siêu thị, kho bãi, bảo tàng,

ngƣời ta sử dụng hệ thống camera để giám sát hoạt động của nhân viên, khách
hàng, các vật trƣng bày để tránh trƣờng hợp bị mất cắp. Các vùng nhạy cảm
về an ninh, các hệ thống giám sát đƣợc triển khai để có thể cảnh báo kịp thời
những hành vi khả nghi liên quan đến khủng bố, trộm cắp, hỏa hoạn v.v.
Có nhiều mức độ triển khai các hệ thống camera giám sát, từ hệ thống
thủ công, đến bán tự động và hệ thống hoàn toàn tự động. Đối với các hệ
thống camera giám sát thủ công, công việc giám sát đƣợc xử lý trực tiếp bởi
các giám sát viên trong thời gian thực, hệ thống chỉ hỗ trợ các thao tác cơ bản
nhƣ: sao lƣu dữ liệu hoặc trích xuất các đoạn video khi cần thiết. Các hệ
thống hoàn tồn tự động là hệ thống có khả năng thực hiện nhiệm vụ giám sát
ở các mức độ khác nhau khơng có sự can thiệp của con ngƣời, từ các tác vụ

nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong


nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong

5
bậc thấp nhƣ: phát hiện đối tƣợng chuyển động, phân loại đối tƣợng đƣợc
giám sát.
Hiện nay, nhiều hệ thống giám sát hình ảnh đã đƣợc triển khai thành cơng.
Ví dụ, hệ thống VSAM (Video Surveillance and Monitoring) đƣợc phát triển theo
một chƣơng trình do chính phủ Mỹ tài trợ [1]. Đây là một hệ thống đƣợc thiết kế
để phát hiện đối tƣợng chuyển động, phân loại các đối tƣợng di chuyển nhƣ
phƣơng tiện giao thông hoặc ngƣời và theo dõi chúng. Hệ thống VSAM cũng có
khả năng phát hiện các hoạt động đơn giản và tƣơng tác giữa các đối tƣợng.
Hệ thống giám sát thơng minh IBM [2] có thể tự động phát hiện và theo
dõi đối tƣợng chuyển động, nó cũng có khả năng xác định các hoạt động của
các đối tƣợng trong khu vực giám sát, cho phép nhận dạng biển số xe và chụp
hình khn mặt. Một số hệ thống giám sát khác đã đƣợc phát triển và thƣơng

mại hóa nhƣ: Acuity, Agent Vi, Avocado, Axis, AxonX, Cernium, Emza,
ioimage, Mate, VideoIQ, Vidient, Vistascape (Siemens).
Ở Việt Nam, gần đây nghiên cứu và triển khai các hệ thống camera giám
sát rất đƣợc quan tâm, một số hệ thống giám sát bằng camera đã đƣợc triển
khai nhƣ: hệ thống gửi xe thông minh, hệ thống phát hiện vi phạm giao thơng
v.v. Đã có một số nhóm nghiên cứu tập trung vào lĩnh vực này, trong đó điển
hình là Trung tâm MICA thuộc Trƣờng đại học Bách khoa Hà Nội với các dự
án đƣợc hỗ trợ từ quỹ NAFOSTED nhƣ: phát hiện bất thƣờng trong giám sát
video định vị đối tƣợng chuyển động trong hệ thống camera giám sát [3], [4].
Phòng thí nghiệm truyền thơng đa phƣơng tiện của Đại học Công nghệ thông
tin – Đại học Quốc gia Thành phố Hồ chí Minh với các dự án: phát hiện thơng
tin bạo lực trong video, phát hiện sự kiện trong kho dữ liệu video, tìm kiếm
đối tƣợng trong dữ liệu ảnh và dữ liệu video [5].
Đầu vào của hệ thống là các khung hình video thu nhận đƣợc từ các

nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong


nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong

6
camera. Qua quá trình xử lý phát hiện đối tƣợng chuyển động, các đối tƣợng
chuyển động trong các khung hình video đƣợc đƣa ra. Các đối tƣợng đƣợc
phát hiện sẽ qua quá trình phân lớp đối tƣợng để phân lớp các đối tƣợng đó
thuộc lớp nào, sự vật nào. Tiếp theo là quá trình xử lý để theo vết đối tƣợng
nhằm dự đốn và tìm ra đƣờng chuyển động của đối tƣợng, từ đó có thể phân
tích, nhận biết hành vi của đối tƣợng giám sát.
1.1.2. Dữ liệu video
1.1.2.1. Khái quát về xử lý ảnh và xử lý dữ liệu video
- Ảnh số: Một hình ảnh có thể đƣợc định nghĩa là hàm hai chiều, f (x, y),

trong đó x và y là tọa độ không gian (mặt phẳng) và biên độ của f tại bất kỳ
cặp tọa độ (x, y) nào đƣợc gọi là cƣờng độ hoặc mức độ màu xám của hình
ảnh tại điểm đó. Khi x, y và các giá trị cƣờng độ của f đều là các đại lƣợng
hữu hạn, rời rạc, chúng ta gọi hình ảnh là hình ảnh kỹ thuật số.
- Điểm ảnh: Ảnh trong tự nhiên là những tín hiệu liên tục về khơng gian và
giá trị độ sáng. Để có thể lƣu trữ và biểu diễn ảnh bằng máy tính, con ngƣời phải
tiến hành biến đổi các tín hiệu liên tục thành một số hữu hạn các tín hiệu rời rạc
thơng qua q trình lƣợng tử hóa và lấy mẫu thành phần giá trị độ sáng. Một
điểm ảnh là một giá trị biểu diễn cho mức xám hay cƣờng độ ảnh tại một vị trí
sau khi đã biến đổi ảnh thành một số hữu hạn các tín hiệu rời rạc.

Hình 1. 1. Ảnh và điểm ảnh

nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong


nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong

7
- Độ phân giải: là thƣớc đo của chi tiết rõ ràng nhỏ nhất trong ảnh, đƣợc
tính là số điểm (pixel) trên một đơn vị khoảng cách (dpi).

Hình 1. 2. Độ phân giải

1.1.2.2. Khái niệm video
Tổng quát video là một file chứa hình ảnh & âm thanh đƣợc đồng bộ với
nhau, đƣợc tạo ra bởi một chuẩn nén nào đó, nhƣ MPEG, XviD, H264 v.v.
Các định dạng phổ biến nhất là MP4, AVI, WMV, WEBM... Để xử lý hình
ảnh từ video thì phải giải mã ra thành những khung hình rồi mới xử lý.

Hình 1. 3. Khung hình

Trong xử lý ảnh không quan tâm đến âm thanh, Video là một dạng hình
ảnh động tập hợp của rất nhiều ảnh tĩnh xuất hiện liên tục nối tiếp nhau, đƣợc
gắn một nhãn thời gian tƣơng ứng thể hiện thời điểm xuất hiện của khung
hình. Thƣờng thì một giây video có 24 hình tĩnh, từ 24 hình trở lên thì mắt

nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong


nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong

8
ngƣời của chúng ta sẽ có cảm giác là hành động đó xảy ra rất mƣợt mà.
Video đƣợc xem là một dãy N khung hình liên tiếp (f1, f2, …, fN), mỗi
khung hình là một ảnh tĩnh. Các hình ảnh có tính liên tục đƣợc hiển thị lần lƣợt.
Độ sáng của một điểm ảnh cụ thể trong khung hình đƣợc coi là một hàm của thời
gian f(x, y, t) trong đó (x, y) là tọa độ của điểm ảnh trong khơng gian và t là thời
gian xét khung hình. Q trình phát hiện đối tƣợng chuyển động trong video
đƣợc thực hiện bằng việc phân tích các khung hình liên tiếp và cần đƣa ra đƣợc
các đối tƣợng chuyển động đối với khung hình hiện tại. Thơng thƣờng, q trình
này đƣợc thực hiện bằng một kỹ thuật trừ ảnh và sau đó đi kèm một số thao tác
hậu xử lý. Dữ liệu về video đƣợc mơ tả nhƣ S=f(x,y,t), Trong đó: (x,y) là tọa độ
điểm ảnh, t là thông tin thời gian. Giám sát trong video, mục tiêu chính là giám
sát đối tƣợng chuyển động. Chuyển động theo các khái niệm trong vật lý là sự
thay đổi vị trí giữa vật này và vật kia. Tức là khi xét tới sự chuyển động thì ta
phải xét là nó chuyển động so với cái gì. Khi xét tới chuyển động ta thƣờng đặt
nó vào một hệ quy chiếu qn tính. Một vật có thể đứng yên trên hệ quy chiếu
này nhƣng lại chuyển động khi xét nó với hệ quy chiếu khác. Chuyển động trong
thực tế là chuyển động 3D nhƣng khi con ngƣời tiếp nhận thì nó trở thành

chuyển động 2D. Nói chung hình ảnh mà mắt ngƣời nhận đƣợc đều là 2D và
phép toán chuyển đổi ảnh 3D thành ảnh 2D mà mắt con ngƣời cảm nhận đƣợc là
phép chiếu phối cảnh.

Hình 1. 4. Phép chiếu phối cảnh của một đoạn thẳng

nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong


nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong

9
Chuyển động trong thế giới thực 3D qua phép chiếu phối cảnh sẽ biến
thành chuyển động trong mặt phẳng 2D. Tuy nhiên con ngƣời nhận biết
chuyển động qua sự thay đổi độ sáng của điểm ảnh. Do đó có những chuyển
động mà con ngƣời khơng có cảm nhận đƣợc nhƣ là chuyển động của quả cầu
đồng màu.
1.2. Bài toán phát hiện và phân lớp phƣơng tiện giao thông
Phƣơng tiện giao thơng là phƣơng tiện chun chở hàng hóa nhƣ ơ tô, xe
van, máy kéo, ô tô tải, ô tô tải, ô tô chở dầu hoặc ô tô đƣờng sắt đƣợc sử dụng
để vận chuyển hàng hóa theo bất kỳ phƣơng thức nào. Mỗi đối tƣợng chuyên
chở hàng hóa (xe kéo, toa tàu, v.v.) là một phƣơng tiện giao thông. Mỗi
phƣơng tiện giao thông trên phƣơng diện xử lý ảnh là một loại đối tƣợng. Phát
hiện và phân lớp phƣơng tiện giao thơng cũng chính là bài tốn phát hiện và
phân lớp đối tƣợng trên ảnh và video.
1.2.1. Phát hiện đối tượng
Phát hiện đối tƣợng trong ảnh là kỹ thuật máy tính nhằm xác định các vị
trí và kích thƣớc của các đối tƣợng quan tâm trong các ảnh số bất kỳ. Kỹ thuật
này dựa trên những đặc điểm có tính phân biệt của đối tƣợng để nhận biết và
bỏ qua những đối tƣợng khơng quan tâm khác trên ảnh. Ví dụ nhƣ phát hiện

xe cộ trên đƣờng thì đối tƣợng quan tâm là vùng ảnh có các loại xe và bỏ qua
những đối tƣợng có thể khác trên ảnh nhƣ con ngƣời, cây cối, nhà cửa…
Phát hiện đối tƣợng trong ảnh là một bài toán quan trọng trong các hệ
thống xử lý ảnh. Nó có thể đóng vai trị là kết quả chủ đạo của một chức năng
cụ thể ví dụ nhƣ tính năng phát hiện phƣơng tiện giao thơng trên các máy
chụp ảnh kỹ thuật số, hoặc cũng có thể đóng vai trị là một cơng đoạn trung
gian nhằm cung cấp dữ liệu xử lý cho các bƣớc tiếp theo, ví dụ nhƣ để nhận
dạng văn bản, ta cần phát hiện vị trí của từng chữ cái để sau đó lấy ra thực

nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong


nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong

10
hiện nhận dạng ký tự. Trong những tình huống nhƣ vậy, việc xác định chính
xác vị trí và kích thƣớc các đối tƣợng quan tâm là một trong những yếu tố
quyết định để giai đoạn xử lý tiếp theo đƣợc thực hiện hiệu quả và chính xác.
1.2.2. Phát hiện đối tượng chuyển động
Hầu hết các hệ thống giám sát hình ảnh đều bắt đầu với việc phát hiện
đối tƣợng chuyển động. Phát hiện đối tƣợng chuyển động là bƣớc đầu tiên và
quan trọng nhất trong hệ thống camera giám sát tự động. Mục tiêu của của
việc phát hiện đối tƣợng chuyển động là xác định vị trí các khu vực đại diện
cho các đối tƣợng di chuyển trong cảnh quay và thực hiện tách chúng ra khỏi
nền, mơ hình thực hiện đƣợc chỉ ra trong Hình 1.5. Các quá trình tiếp theo
nhƣ: phân loại đối tƣợng, theo vết đối tƣợng, phân tích và nhận biết hành vi
đối tƣợng phụ thuộc rất nhiều vào q trình này.

Hình 1. 5. Mơ hình xử lý trong bài toán phát hiện đối tƣợng chuyển động

Việc phát hiện đối tƣợng chuyển động khỏi nền phụ thuộc và chịu nhiều
tác động bởi các yếu tố nhƣ: sự thay đổi cƣờng độ ánh sáng, bóng của đối
tƣợng, sự chuyển động và thay đổi của nền.
Có nhiều phƣơng pháp phát hiện đối tƣợng chuyển động khác nhau đã
đƣợc sử dụng, có thể phân loại thành ba nhóm chính gồm các kỹ thuật:
phƣơng pháp chênh lệch tạm thời, trừ nền, các phƣơng pháp thống kê và các
phƣơng pháp sử dụng kỹ thuật luồng quang học.

nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong


nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong

11
1.2.3. Nhận dạng đối tượng
Trong hệ thống giám sát hình ảnh, phát hiện đối tƣợng chuyển động là
bƣớc quyết định thì bƣớc quan trọng tiếp theo là phân loại các đối tƣợng
chuyển động đã đƣợc phát hiện. Các vùng ảnh đƣợc phân đoạn trong giai
đoạn phát hiện đối tƣợng chuyển động có thể là con ngƣời, phƣơng tiện, động
vật, những đám mây di chuyển, lá cây, hoặc bất kỳ các loại nhiễu khác v.v,
nhiệm vụ của công đoạn phân loại đối tƣợng trong hệ thống giám sát hình ảnh
là phân loại các đối tƣợng chuyển động đã đƣợc phát hiện vào các lớp đƣợc
xác định trƣớc nhƣ: một ngƣời, nhóm ngƣời, hay một chiếc xe v.v, do trên
thực tế, các hệ thống giám sát hình ảnh đƣợc sử dụng chủ yếu cho ngƣời và
phƣơng tiện. Sau khi phân loại các đối tƣợng về các lớp phù hợp, các nhiệm
vụ tiếp theo nhƣ: theo dõi đối tƣợng, định danh và phân tích hành vi đối tƣợng
có thể đƣợc thực hiện hiệu quả và chính xác hơn.
Phân loại đối tƣợng chính là nhận dạng đối tƣợng. Nhìn chung việc phân
loại đối tƣợng đƣợc chia làm hai giai đoạn xử lý chính: trích rút các đặc trƣng
và phân loại các véc tơ đặc trƣng. Trong giai đoạn thứ nhất, các đặc trƣng của

đối tƣợng nhƣ: chiều cao, độ rộng, diện tích, hình bóng, vị trí góc… đƣợc
trích rút từ vùng ảnh đại diện cho đối tƣợng chuyển động. Trong giai đoạn thứ
hai, các thuật toán phân lớp đƣợc sử dụng để phân lớp các thuộc tính vào các
lớp đã đƣợc xác định trƣớc đó. Ngồi ra có thể sử dụng tiếp cận mơ hình học
sâu để phân lớp đối tƣợng.
1.3. Một số tiếp cận phát hiện và phân lớp phƣơng tiện giao thông
Tiếp cận phát hiện phƣơng tiện giao thơng cũng chính là các tiếp cận
phát hiện đối tƣợng là những kỹ thuật để phát hiện vị trí, màu sắc và kích
thƣớc khác nhau trong các ảnh bất kỳ. Kỹ thuật này chỉ nhận biết về các đặc
trƣng của phƣơng tiện giao thông và bỏ qua những đặc trƣng khác.

nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong


nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong

12
Dựa vào tính chất của các phƣơng pháp xác định phƣơng tiện giao thông
trên ảnh, các phƣơng pháp này đƣợc chia thành bốn loại chính, tƣơng ứng với
bốn hƣớng tiếp cận khác nhau.
- Hƣớng tiếp cận dựa trên tri thức.
- Hƣớng tiếp cận dựa trên đặc trƣng không thay đổi.
- Hƣớng tiếp cận dựa trên so sánh khớp mẫu.
- Hƣớng tiếp cận dựa trên ảnh mẫu có sẵn.
Các tiếp cận phát hiện phƣơng tiện giao thông thƣờng gặp phải các vấn
đề khó khăn nhƣ:
- Các phƣơng tiện giao thơng trong ảnh có những góc chụp khác nhau.
- Mỗi loại xe có những đặc trƣng khác nhau.
- Một số xe bị che khuất bởi các đối tƣợng.
- Giới hạn về số hình ảnh cần thiết cho việc huấn luyện.

Do vậy có nhiều cách tiếp cận khác nhau đƣợc nghiên cứu để phát hiện
hiệu quả các phƣơng tiên giao thông nhƣ phát hiện phƣơng tiện đứng yên,
phát hiện phƣơng tiện chuyển động, phân lớp các phƣơng tiện.
1.3.1. Tiếp cận dựa trên Optical Flow
Đây là một phƣơng pháp phức tạp và đòi hỏi các phần cứng đắt tiền để
chạy realtime. Kỹ thuật đƣợc mơ tả hình 1.6. Các chuyển động của đối tƣợng
trong 3D đƣợc gây ra chuyển động 2D trong mặt phẳng ảnh đƣợc gọi là
Optical Flow. Optical Flow tƣơng ứng với sự cảm nhận chuyển động của mắt
ngƣời. Optical Flow đƣợc ứng dụng nhiều trong nhận dạng hoạt động. Khi đó
mỗi vận động đƣợc mơ hình hóa bằng mơ hình chuyển động là tổ hợp tuyến
tính của các vận động cơ bản. Các vận động cơ bản này là các Optical Flow
đƣợc học trong quá trình huấn luyện.

nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong


nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong

13

Hình 1. 6. Hình ảnh các xe và phƣơng pháp Optical Flow

1.3.2. Tiếp cận dựa trên trừ ảnh
Với kỹ thuật trừ ảnh, mục tiêu chính để kiểm tra xem giữa hai ảnh có sự
sai lệch nhau hay khơng và xác định đƣợc vị trí của vùng sai lệch. Cần phải
lƣu ý rằng sai lệch ở đây là sai lệch về vị trí và đồng thời là sai lệch về giá trị
màu.
Ký hiệu D(f1 ,f2) là sự sai khác giữa hai khung hình f1, f2. Sự sai khác
này lớn hơn một ngƣỡng nào đó sẽ xác định đƣợc có đối tƣợng chuyển động
giữa hai khung hình. Sự thay đổi trên khung hình đƣợc tính tốn trên một đặc

trƣng nhất định. Thơng thƣờng, các đặc trƣng đƣợc sử dụng là nội dung màu
sắc là biểu đồ (biểu đồ màu hoặc biểu đồ mức xám), cạnh, vectơ chuyển
động, góc hay kết cấu hình ảnh (texture).
Để thực hiện đƣợc kỹ thuật này ta cần:
1) Xác định đặc trƣng cần so sánh
2) Xác định công thức trừ ảnh D
3) Xác định ngƣỡng sai khác Tb. Những sai khác lớn hơn ngƣỡng là
những giá trị cần xem xét và là dấu hiệu có đối tƣợng.
Tiếp cận trừ ảnh có nhiều kỹ thuật khác nhau nhƣ: trừ ảnh dựa vào điểm
ảnh, trừ ảnh dựa vào khối, trừ ảnh dựa vào biểu đồ, trừ ảnh dựa vào thống kê,
trừ ảnh dựa vào đặc trƣng, kỹ thuật trừ nền v.v.
Kỹ thuật dựa vào điểm ảnh: Về cơ bản, đây là thao tác thực hiện so sánh

nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong


nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong

14
các cặp điểm ảnh tƣơng ứng trên hai ảnh liên tiếp. Trừ ảnh dựa vào điểm ảnh
là phƣơng pháp đơn giản nhất để xác định sự khác biệt giữa hai khung hình.
Phƣơng pháp này đƣợc tính dựa vào giá trị biểu diễn sự chênh lệch tổng cộng
về cƣờng độ của tất cả các điểm ảnh tƣơng ứng trên hai khung hình.
Kỹ thuật dựa vào khối: Với ý tƣởng chia ảnh thành các miền sau đó tiến
hành so sánh các miền tƣơng ứng nên trái ngƣợc với hƣớng tiếp cận sử dụng
các đặc tính tồn cục của cả khung hình, hƣớng tiếp cận phân khối sử dụng
các đặc tính cục bộ nhằm tăng tính độc lập với các di chuyển của camera và
đối tƣợng. Mỗi khung hình đƣợc chia thành b khối. Các khối trên khung hình
f1 đƣợc so sánh với các khối tƣơng ứng trên khung hình f2, sau đó tính độ
lệch giữa các khối.

Kỹ thuật dựa vào biểu đồ: Với ý tƣởng là so sánh sự phân bố thuộc tính
ví dụ nhƣ biểu đồ màu, biểu đồ mức xám v.v. Tiếp cận này hƣờng đến mục
tiêu làm giảm ảnh hƣởng của sự chuyển camera và đối tƣợng là thực hiện trừ
ảnh dựa vào biểu đồ. Biểu đổ mô tả sự phân bố giá trị điểm ảnh của khung
hình. Ý tƣởng của cách tiếp cận này là các ảnh có nền khơng đổi và đối tƣợng
khơng đổi sẽ có chênh lệch ít trong biểu đồ. Hơn nữa biểu đồ bất biến với việc
quay ảnh và thay đổi ít khi góc nhìn thay đổi.
Kỹ thuật dựa vào thống kê: Phƣơng pháp sai khác thống kê dựa vào
phƣơng pháp trừ giá trị điểm ảnh, nhƣng thay vì tính tổng sự sai khác của tất
cả các điểm ảnh, ta chia ảnh thành các miền rồi so sánh các đại lƣợng thống
kê điểm ảnh của miền đó. Một cách là ta sử dụng thống kê tỉ lệ số điểm ảnh
thay đổi trên toàn bộ khung hình. Ta sử dụng một giá trị d là ngƣỡng sai khác
đƣợc tính giữa hai điểm ảnh tƣơng ứng.
Kỹ thuật dựa vào đặc trưng: Với việc coi đặc trƣng là các vectơ chuyển
động trong các đoạn video, ngƣời ta thƣờng thấy các hiệu ứng do chuyển

nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong


nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong

15
động của camera, nhƣ pan (quét), zoom (zoom in – phóng to, zoom out – thu
nhỏ), tilt (nghiêng). Để nâng cao hiệu quả phân đoạn, kỹ thuật trừ ảnh dựa
vào đặc trƣng là vectơ chuyển động đƣợc sử dụng để phát hiện các hiệu ứng
kiểu này.
Kỹ thuật trừ nền: Phát hiện đối tƣợng đƣợc xây dựng bằng phƣơng pháp
xác định thể hiện của khung hình gọi chung là mơ hình nền, sau đó tiếp cận
với các khung nhìn kế tiếp. Bất kỳ thay đổi nào so với mơ hình nền cũng sẽ
đƣợc ghi nhận nhƣ có một đối tƣợng dịch chuyển. Các điểm thay đổi này

đƣợc gom nhóm lại tạo thành một vùng thay đổi để xử lý. Tiến trình này đƣợc
gọi với một tên chung là tách nền. Quy trình tổng quan của kỹ thuật trừ nền
có thể đƣợc mơ tả nhƣ hình 1.7.

Hình 1. 7. Quy trình trừ nền

nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong


nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong

16
1.3.3. Mơ hình hệ thống phát hiện và đếm phương tiện giao thông
Việc phát hiện đối tƣợng trong nhiều trƣờng hợp có thể đƣợc hiểu là đã
bao hàm nhận diện đối tƣợng. Do việc phát hiện đối tƣợng cần chỉ ra vị trí của
các đối tƣợng quan tâm. Tức là trong kết quả đã có các vị trí cùng với tên đối
tƣợng tƣơng ứng. Bởi vì kết quả có tên đối tƣợng, về mặt ngữ nghĩa có thể
hiểu là trong kết quả phát hiện đối tƣợng đã có kết quả nhận diện đối tƣợng.
Trên cơ sở đó, ta có thể hình dung khối xử lý chính việc phát hiện và nhận
diện đối tƣợng trong hệ thống sẽ bao gồm về mặt lý thuyết là hai bƣớc phát
hiện đối tƣợng và nhận diện đối tƣợng. Trong một số kỹ thuật cụ thể, có thể
hai bƣớc này sẽ đƣợc cài đặt xen lẫn vào nhau.
Bên cạnh đó, các đối tƣợng quan tâm trong một hệ thống thƣờng không
phải lúc nào cũng xuất hiện trong khung hình. Chẳng hạn khi ta quan tâm đến
xe cộ, khơng phải lúc nào cũng có xe đứng trƣớc camera. Nhất là khi ban
đêm, sẽ có những quãng thời gian dài khơng có xe xuất hiện. Để tránh việc xử
lý phát hiện và nhận diện đối tƣợng một cách liên tục không cần thiết, ta đặt
thêm một khối tiền xử lý làm nhiệm vụ kiểm tra sơ bộ xem có đối tƣợng trong
khung hình hay khơng.
Từ khung hình hiện tại, hệ thống sẽ thực hiện xác định sơ bộ xem trong

khung có thể có đối tƣợng quan tâm hay không. Đây sẽ là một bƣớc xử lý đơn
giản khơng tốn q nhiều tài ngun tính tốn. Nếu nhƣ nhận định rằng trong
khung hình khơng có đối tƣợng quan tâm, việc xử lý với khung hình hiện tại
sẽ kết thúc. Nếu nhƣ xác định là có thể có đối tƣợng, khối xử lý chính sẽ đƣợc
thực thi. Về mặt lý thuyết là sẽ tiến hành hai bƣớc là phát hiện đối tƣợng và
nhận diện đối tƣợng nhằm xác định các đối tƣợng quan tâm có xuất hiện trong
khung hình hiện tại, sau đó là kết thúc xử lý. Hình 1.8 và hình 1.9 mơ tả giải
pháp có thể cho hệ thống đếm phƣơng tiện giao thông trên đƣờng

nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong


nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong

17

Hình 1. 8. Các bƣớc thực hiện quy trình đếm phƣơng tiện giao thơng

Hình 1. 9. Quy trình nhận dạng và đếm phƣơng tiện giao thông

1.4. Một số ứng dụng
1.4.1. Giám sát bãi đậu xe
Với lƣợng phƣơng tiện ra vào bãi đậu xe liên tục, việc giám sát trên mỗi
phƣơng tiện là cấp thiết để duy trì một mơi trƣờng an toàn cho mọi ngƣời, đặc
biệt là ở những bãi đậu xe kém ánh sáng dễ bị tội phạm hoạt động. Việc triển

nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong


nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong

18
khai một hệ thống giám sát đáng tin cậy trong phạm vi của một bãi đậu xe giúp
tăng cƣờng đáng kể an ninh, an toàn, tiết kiệm tiền làm thêm giờ và cải thiện
hoạt động kinh doanh. Hình 1.10 mơ tả mơ hình giám sát bãi đỗ xe tự động.

Hình 1. 10. Mơ hình giám sát bãi đậu xe

Ngăn chặn trộm xe: Nhiều tên trộm coi bãi đậu xe là mỏ vàng tiềm năng,
hàng dặm đƣờng ô tô hoặc tài sản cá nhân mà chúng có thể lấy đi. Camera an
ninh có thể nhìn thấy, giúp ngăn chặn những tên trộm đột nhập vào ơ tơ lấy
cắp, có thể giúp cơ quan điều tra thực thi pháp luật xác định những tên tội
phạm cƣớp ô tô, lấy cắp các vật dụng khác. Camera cũng có thể giúp chống
trộm tài sản của cửa hàng, đồ trƣng bày ngoài trời, bàn ghế, cảnh quan, …
Tăng cường an tồn cơng cộng: là khía cạnh thiết yếu của nhiều doanh
nghiệp, giữ cho khách hàng hài lòng và mang lại cho họ cảm giác an toàn, yên
tâm và tin cậy khi họ mua sắm tại doanh nghiệp.
Giảm trách nhiệm pháp lý: Trong bãi đậu xe, khơng thể tránh khỏi những
tai nạn xảy ra. Có thể là một vụ tai nạn ô tô, trƣợt ngã hay một chiếc xe đẩy hàng
sai sót làm hỏng ơ tơ, giám sát bằng video là một cách dễ dàng để tránh các yêu
cầu bồi thƣờng trách nhiệm pháp lý tốn kém và thậm chí cả kiện tụng.
Xác định các phương tiện bị cấm hoặc không trả tiền: Ngƣời lái xe có
thể cố gắng rời khỏi bãi đậu xe mà khơng cần trả tiền. Mặc dù hầu hết các bãi
đậu xe đều đƣợc nhân viên giám sát, nhƣng hầu nhƣ không thể đảm bảo rằng
mọi khu vực của bãi đậu xe đều đƣợc nhân viên phục vụ. Camera giám sát có

nghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duongnghien.cuu.mot.so.ky.thuat.xu.ly.anh.phuc.vu.bai.toan.dem.phuong.tien.giao.thong.tren.duong