Phát hiện và phân tích chuyển động của đám đông

ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH
TRƢỜNG ĐẠI HỌC BÁCH KHOA

NGUYỄN THÁI BÌNH

PHÁT HIỆN VÀ PHÂN TÍCH CHUYỂN ĐỘNG
CỦA ĐÁM ĐÔNG

Chuyên ngành : KỸ THUẬT VIỄN THÔNG
Mã số : 60 52 02 08

LUẬN VĂN THẠC SĨ

TP. HỒ CHÍ MINH, NĂM 2018


CƠNG TRÌNH ĐƢỢC HỒN THÀNH TẠI
TRƢỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG –HCM
Cán bộ hƣớng dẫn khoa học : TS. Chế Viết Nhật Anh
(Ghi rõ họ, tên, học hàm, học vị và chữ ký)
Cán bộ chấm nhận xét 1 : GS.TS. Lê Tiến Thƣờng
(Ghi rõ họ, tên, học hàm, học vị và chữ ký)

Cán bộ chấm nhận xét 2 : TS. Mai Linh
(Ghi rõ họ, tên, học hàm, học vị và chữ ký)
Luận văn thạc sĩ đƣợc bảo vệ tại Trƣờng Đại học Bách Khoa, ĐHQG
Tp. HCM ngày 12 tháng 01 năm 2018
Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm:
(Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ luận văn thạc sĩ)
1. TS. Huỳnh Phú Minh Cƣờng
2. TS. Lƣu Thanh Trà

3. GS. TS. Lê Tiến Thƣờng
4. TS. Mai Linh
5. PGS.TS. Võ Nguyễn Quốc Bảo
Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trƣởng Khoa quản lý chuyên
ngành sau khi luận văn đã đƣợc sửa chữa (nếu có).
CHỦ TỊCH HỘI ĐỒNG

TRƢỞNG KHOA ĐIỆN – ĐIỆN TỬ


ĐẠI HỌC QUỐC GIA TP.HCM

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

TRƢỜNG ĐẠI HỌC BÁCH KHOA

Độc lập - Tự do - Hạnh phúc

NHIỆM VỤ LUẬN VĂN THẠC SĨ
HỌ VÀ TÊN : NGUYỄN THÁI BÌNH

MSHV : 7140437

NGÀNH :

MÃ NGÀNH: 60 52 02 08

KỸ THUẬT VIỄN THÔNG

1. Đầu đề luận án : Phát hiện và phân tích chuyển động của đám đơng (Crowded

scene detection and analysis)
2. Nhiệm vụ (yêu cầu về nội dung và số liệu ban đầu)
- Tìm hiểu và đề xuất giải thuật phát hiện vùng đám đông trong một khung ảnh.
3. Các kết quả dự kiến
- Có thể phát hiện đƣợc vùng đám đông trong tập cơ sở dữ liệu chuẩn.
4. Ngày giao nhiệm vụ luận án : 01/2017
5. Ngày hoàn thành nhiệm vụ :

07/2017

6. Họ tên ngƣời hƣớng dẫn :

Phần hƣớng dẫn :

TS. Chế Viết Nhật Anh
TS. Hồ Phƣớc Tiến
Nội dung và yêu cầu LATN đã đƣợc thông qua Bộ môn
Ngày 16 tháng 01 năm 2017
CHỦ NHIỆM BỘ MƠN

NGƢỜI HƢỚNG DẪN CHÍNH

(Ký và ghi rõ họ tên)

(Ký và ghi rõ họ tên)

TS. Chế Viết Nhật Anh

PHẦN DÀNH CHO KHOA, BỘ MÔN
Ngƣời duyệt (chấm sơ bộ) : _____________________

Ngày bảo vệ : ________________________________
Điểm tổng kết : _______________________________
Nơi lƣu trữ luận án : ___________________________


LỜI CẢM ƠN

Từ khi theo học tại trƣờng Đại học Bách khoa tôi đã đƣợc các thầy trong Bộ môn
Viễn thơng đã tận tình chỉ dạy, truyền đạt thêm những kiến thức quý báu giúp tôi hiểu
sâu hơn, rộng hơn, cũng nhƣ thấy đƣợc sự phát triển về công nghệ trong lĩnh vực Viễn
thông trong hiện tại cũng nhƣ trong tƣơng lai và đó sẽ là hành trang để giúp tôi phục
vụ tốt hơn công tác chuyên môn tại cơ quan đang công tác.
Tôi xin gởi lời cảm ơn chân thành và lòng biết ơn sâu sắc nhất đến Thầy giáo,
Tiến sĩ Chế Viết Nhật Anh đã tận tình giúp đỡ,chỉ dạy và dìu dắt để tơi hồn thành
luận văn này.
Xin gởi lời cảm ơn đến các Thầy trong Bộ môn Viễn Thông, những ngƣời Thầy
mà tôi đã theo học thật sự là tấm gƣơng sáng về đạo đức, tri thức và sự tận tụy trong
giảng dạy những phẩm chất ấy thật cao quý và đáng trân trọng.
Xin gởi lời cảm ơn đến lãnh đạo cơ quan Đài PT&TH thành phố Cần Thơ đã tạo
điều kiện và hỗ trợ kinh phí giúp tơi hồn thành việc học.
Xin gởi lời cảm ơn đến các bạn học cùng khóa 2014, các bạn đã luôn hỗ trợ và
giúp đỡ tôi trong những lúc khó khăn trong thời gian theo học tại trƣờng.
Xin cảm ơn gia đình và bà con họ hàng những ngƣời luôn an ủi động viên và là
chỗ dựa vững chắc để giúp tơi an tâm học tập.

TP. Hồ Chí Minh, tháng 12 năm 2017
Học viên

Nguyễn Thái Bình

i


TĨM TẮT
Hiện nay, tại các đơ thị lớn của nƣớc ta cũng nhƣ các nƣớc trên thế giới đều thu
hút một số lƣợng lớn dân cƣ đổ dồn về sinh sống và làm việc dẫn đến việc xuất hiện
đám đông ngày càng nhiều, nhất là trên các tuyến đƣờng giao thông, các trung tâm
thƣơng mại lớn, các khu vui chơi giải trí, các bến xe…Do đó việc giám sát, theo dõi
đám đông một cách tự động thông minh là một vấn đề quan trọng và cấp bách nhằm
góp phần điều tiết giao thơng, cũng nhƣ giữ gìn an ninh trật tự tại nơi công
cộng…Trong khuôn khổ luận văn này tôi xin trình bày các giải thuật xây dựng một hệ
thống giám sát thự động thông minh với mục tiêu là phát hiện, ƣớc lƣợng và phân tích
chuyển động của đám đông. Việc sử dụng phƣơng pháp Gray Level Co-occurrence
Matrix (GLCM) đã mơ tả gần nhƣ đầy đủ thuộc tính thống kê và thông tin không gian
của ảnh nhị phân. Do đó qua thực nghiệm việc sử dụng phƣơng pháp này vào phát
hiện và ƣớc lƣợng độ đám đông gần nhƣ chính xác. Giải thuật Kanade-Lucas-Tomasi
tracker (KLT tracker) chạy trên mơ hình optical flow đã đƣợc sử dụng trong phân tích
chuyển động của đám đông bao gồm xác định đƣờng đi của đối tƣợng, kết hợp với
giải thuật gom nhóm tính tốn độ nhất qn của đám đơng để thấy rõ chuyển động của
từng nhóm trong video clip. Các giải thuật trên đã đƣợc chạy thực nghiệm trên video
thực tế và cho kết chính xác cao.

ii


ABSTRACT
At present, in our country and countries around the world alike, majority of
people flock to megacities for living and working. This causes the occurrence of more
and more crowds, especially on traffic routes, big trade centers, entertainment zones,
bus stations…For this reason, monitoring, watching crowds in automatically smart

manner is an important and urgent issue that contributes to regulating traffic flows as
well as to maintaining security- order at public places…Within this composition, I
will present algorithms for building and analyzing the motions of crowds. The using
of Gray Level Co-occurrence Matrix (GLCM) already describes nearly- sufficient
statistical attributes and spatial information of binary images. Therefore, the test usage
of this method in discovering and measuring crowds is almost precise. Kanade-LucasTomasi tracker (KLT tracker) operated on optical flow model has ever been used in
analyzing motions of crowds, including the definition of orientation of objects,
combined with grouping algorithms of calculating the consistency level of crowds for
clear motions of each group in video clips. These algorithms have been tested in real
videos with highly precise results.

iii


LỜI CAM ĐOAN
Tôi xin cam đoan luận văn này do tôi đƣợc thực hiện. Các kết quả nghiên cứu
và các kết luận trong luận văn này là trung thực không có sự sao chép từ bất kỳ một
nguồn nào và dƣới bất kỳ hình thức nào. Việc tham khảo các nguồn tài liệu đã đƣợc
thực hiện trích dẫn và ghi nguồn tài liệu tham khảo đúng theo yêu cầu.
Tác giả luận văn

Nguyễn Thái Bình

iv


MỤC LỤC
LỜI CẢM ƠN ............................................................................................................................. i
TÓM TẮT ..................................................................................................................................ii
ABSTRACT ..............................................................................................................................iii

LỜI CAM ĐOAN ..................................................................................................................... iv
MỤC LỤC ................................................................................................................................. v
DANH MỤC HÌNH VẼ...........................................................................................................vii
DANH MỤC BẢNG BIỂU ...................................................................................................... ix
DANH MỤC TỪ VIẾT TẮT .................................................................................................... x
Chƣơng 1 MỞ ĐẦU ................................................................................................................. 1
1.1

Giới thiệu đề tài ........................................................................................................... 1

1.2

Mục tiêu của luận văn ................................................................................................. 1

1.3

Nhiệm vụ của luận văn ................................................................................................ 2

1.4

Cấu trúc luận văn......................................................................................................... 2

Chƣơng 2 TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU .......................................................... 3
2.1

Phát hiện và ƣớc lƣợng mật độ đám đông dựa trên kỹ thuật loại bỏ nền .................... 3

2.2

Phát hiện và ƣớc lƣợng mật độ đám đông dựa trên kỹ thuật phân tích cấu trúc ảnh .. 6

2.3

Phát hiện và phân tích chuyển động của đám đơng .................................................. 12

Chƣơng 3

CƠ SỞ LÝ THUYẾT LIÊN QUAN ĐẾN ĐỀ TÀI ............................................. 16

3.1

Phƣơng pháp loại bỏ nền ........................................................................................... 16

3.2

Phƣơng pháp mẫu nhị phân cục bộ ........................................................................... 17

3.3

Phƣơng pháp Gray-Level Co-Occurence Matrix (GLCM) ....................................... 18

3.4

Phƣơng pháp Kanade – Lucas – Tomasi tracker (KLT tracker) ............................... 21

3.5

Phân tích độ nhất quán (collectiveness) của đám đông ............................................. 24

3.5.1

Kiến thức tổng quát về đám đơng ...................................................................... 24

3.5.2

Mơ hình động lực của đám đơng ....................................................................... 25

3.5.3

Đo độ nhất quán trong chuyển động của đám đông........................................... 26

3.5.3.1 Tổng quan ....................................................................................................... 26
3.5.3.2 Tính nhất quán về hành vi trong vùng lân cận ............................................... 26
3.5.3.3 Tính nhất quán về hành vi trên nhiều tập hợp khác nhau............................... 27
3.5.3.4 Sự kết hợp của những cá thể từ đƣờng dẫn tƣơng đồng................................. 28
3.5.3.5 Độ nhất quán đám đông theo hợp thức .......................................................... 28
3.5.3.6 Các tính chất của độ nhất quán trong chuyển động........................................ 29
3.5.3.7 Giải thuật gom nhóm đám đơng ..................................................................... 29

v


Chƣơng 4 PHÁT HIỆN VÀ PHÂN TÍCH CHUYỂN ĐỘNG CỦA ĐÁM ĐÔNG ............... 31
4.1

Tổng quan các bƣớc thực hiện luận văn .................................................................... 31

4.2

Phát hiện và ƣớc lƣợng mật độ đám đông ................................................................. 32

4.2.1

Phát hiện vùng đám đông ................................................................................... 32

4.2.2

Ƣớc lƣợng mật độ đám đơng ............................................................................. 34

4.3

Phân tích chuyển động của đám đông ....................................................................... 36

4.3.1

Theo dõi chuyển động của đám đông ................................................................ 36

4.3.2

Gom nhóm và tính độ nhất qn của đám đơng ................................................ 37

Chƣơng 5 MƠ PHỎNG THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ .............................. 38
5.1

Phát hiện vùng đám đông .......................................................................................... 38

5.2

Ƣớc lƣợng mật độ đám đơng..................................................................................... 43

5.3

Phân tích chuyển động của đám đông ....................................................................... 45

5.4

Đánh giá kết quả thực nghiệm và kết luận ................................................................ 51

5.4.1

Đánh giá kết quả thực nghiệm ........................................................................... 51

5.4.2

Kết luận .............................................................................................................. 54

TÀI LIỆU THAM KHẢO ....................................................................................................... 55
LÝ LỊCH TRÍCH NGANG ..................................................................................................... 57

vi


DANH MỤC HÌNH VẼ
Hình 2.1 - Mơ t kết quả của A.Velastin [1] ................................................................................4
Hình 2.2 - Ví dụ minh họa về thuật toán phân đoạn trong nghiên cứu của V. Ramesh [3] .......5
Hình 2.3 - Kết quả thực nghiệm của B. Yang [4] sử dụng 7 camera để quan sát di chuyển của
4 người trong phịng. .................................................................................................................6
Hình 2.4 - Sơ đồ kỹ thuật mô tả phương pháp ước lượng mật độ đám đơng của N. Marana [5]
....................................................................................................................................................7
Hình 2.5 - Ảnh minh họa kết quả của phương pháp ALBP [6] ..................................................8

Hình 2. 6 - Minh họa các loại mật độ đám đơng .......................................................................9
Hình 2.7 - Sơ đồ phân tích,ước lượng đám đơng của phương pháp LBPCM [7]........................10
Hình 2.8 - Một số kết quả nhận dạng trong nghiên cứu của O. Arandjelovic [9] ...................10
Hình 2.9 - Kết quả phát hiện chuyển động cúa các nhóm đám đơng [11]..............................12
Hình 2.10 - Một kết quả phân tích trong nghiên cứu của K. Lim [12] ....................................12
Hình 2.11 - Mơ tả mơ hình Social Force [13]..........................................................................13
Hình 2.12 - Kết quả tính tốn của mơ hình Optical Flow [14]...............................................14
Hình 2.13 - Một kết quả phân tích trong nghiên cứu của H.Ullah [15] ..................................14
Hình 2.14 - Kết quả phân tích theo dõi chuyển động tronng đám đơng theo H. Idrees [16] ..15
Hình 3. 1 - Sơ đồ khối cách sử dụng phương pháp khung hình khác biệt trích từ [17]........... 16
Hình 3. 2 - Ví dụ minh họa phương pháp Mẫu nhị phân cục bộ (LBP) trích từ [7] ................ 18
Hình 3.3 - Mơ tả phương pháp GLCM .................................................................................... 19
Hình 3.4 - Cách tạo ra 4 ma trận GLCM ................................................................................ 19
Hình 3.5 - Mơ tả cách xác định điểm ảnh của 2 khung hình I và J ......................................... 21
Hình 3. 6 - Mơ hình kim tự tháp của thuật tốn KLT tracker được trích từ [18] .................... 22
Hình 3. 7- Minh họa cấu trúc cảnh đông đúc .......................................................................... 25
Hình 3.8- Mơ tả khơng gian cấu trúc nhất qn...................................................................... 27
Hình 3. 9 - Lưu đồ giải thuật gom nhóm đám đơng ................................................................. 30
Hình 4.1 - Lưu đồ giải thuật phát hiện và ước lượng mật độ đám đơng .................................31
Hình 4.2 - Lưu đồ giải thuật phân tích chuyển động của đám đơng .......................................32
Hình 4.3 - Minh họa bước tạo ảnh mức xám sau khi loại bỏ thành phần tĩnh ........................32
Hình 4.4 - Minh họa kết quả phân tích GLCM trên ơ nhỏ khơng có đối tượng xe cộ hay
người ........................................................................................................................................33
vii


Hình 4.5 - Minh họa kết quả phân tích GLCM trên ơ nhỏ có đối tượng là xe ơ tơ ................33
Hình 4.6 - Minh họa kết quả phân tích GLCM trên ơ nhỏ có đối tượng là xe mơ tơ...............33
Hình 4.7 - Minh họa cách chia khung ảnh ra thành các ơ lớn ................................................34
Hình 4.8 - Minh họa kết quả ước lượng đám đơng bằng phương pháp GLCM ......................35

Hình 4.9 - Mô tả các bước thực hiện theo dõi đám đơng bằng phương pháp KLT .................37
Hình 4.10 - Minh họa phương pháp theo dõi và gom nhóm đám đơng ...................................37
Hình 5.2- Mô tả kết quả nhận dạng vùng đám đông với ngưỡng 𝜶=0.55 ..............................39
Hình 5.3- Mơ tả kết quả nhận dạng vùng đám đơng với ngưỡng 𝛼=0.6 .................................41
Hình 5.4- Mơ tả kết quả nhận dạng vùng đám đông với ngưỡng𝜶=0.65 ................................42
Hình 5.5- Mơ tả kết quả ước lượng mật độ vùng đám đơng ....................................................44
Hình 5.6- Mơ tả kết quả thực nghiệm phân tích chuyển động của đám đơng .........................51
Hình 5. 7- So sánh kết quả phát hiện đám đông với mức ngưỡng 𝜶 khác nhau ......................52
Hình 5. 8- Kết quả phân tíchhạn chế của phương pháp phát hiện và ước lượng đám đơng. ..53
Hình 5.9- Kết quả phân tích chuyển động của đám đông và phương tiện giao thông ............53

viii


DANH MỤC BẢNG BIỂU
Bảng 2. 1 - Định nghĩa đám đông trong một ô [6] ....................................................................8
Bảng 2. 2 - So sánh kết quả thực nghiệm của tác giả A. Fagette [10].....................................11

ix


DANH MỤC TỪ VIẾT TẮT
ALBP

Advanced Local Binary Pattern

GLCM

Gray-level Co-occurrence matrix

LBP

Local Binary Pattern

LBPCM

Local Binary Pattern Co-occurrence Matrix

KLT

Kanade-Lucas-Tomasi

SFM

Social force model

x


Chƣơng 1 – Mở Đầu
Chƣơng 1 MỞ ĐẦU
1.1 Giới thiệu đề tài
Khi nền kinh tế phát triển cùng với tốc độ đơ thị hóa tăng nhanh, các đơ thị lớn
đã thu hút một lƣợng lớn dân cƣ tập trung về sinh sống làm cho mật độ dân cƣ tại các
đô thị ngày càng tăng lên. Trong khi cơ sở hạ tầng chƣa theo kịp sự phát triển thì hiện
tƣợng đám đông đã xuất hiện ngày càng nhiều với mức độ phức tạp hơn. Vì vậy việc
phát hiện, phân tích và đánh giá mật độ đám đông là một vấn đề quan trọng trong giai
đoạn hiện nay. Việc sử dụng camera giám sát thông minh với những giải thuật tối ƣu
trong việc phát hiện và phân tích đám đơng một cách nhanh chóng và kịp thời sẽ góp
phần làm hạn chế tình trạng ùn tắc giao thơng tại các thành phố lớn, cũng nhƣ đảm

bảo an ninh trật tự, an toàn xã hội tại địa phƣơng. Luận văn này xin trình bày các giải
thuật nhằm xây dựng một hệ thống giám sát đám đơng có thể thực hiện đƣợc 3 nhiệm
vụ chính: phát hiện và khoanh vùng khu vực đơng đúc trong hình ảnh, xác định mật
độ đám đơng trong hình và phân tích vận động của đám đơng.
1.2 Mục tiêu của luận văn
Dựa trên những cơng trình nghiên cứu liên quan, tìm hiểu đề xuất giải thuật để
xử lý tín hiệu hình ảnh của camera giám sát đạt đƣợc tiêu chí sau đây:
 Phát hiện vùng đám đơng để có thể cảnh báo sớm, nhằm chủ động hơn trong
phòng chống ùn tắc tại những nơi công cộng, kịp thời giải tán tình trạng tụ tập
gây mất trật tự cơng cộng dẫn đến tình trạng mất kiểm sốt làm ảnh hƣởng đến
trật tự an toàn xã hội.
 Ƣớc lƣợng mật độ đám đơng để ứng dụng vào bài tốn giám sát, phân luồng
giao thơng.
 Từ việc phân tích chuyển động đám đông và ƣớc lƣợng độ nhất quán trong
hành vi của các cá nhân trong tập hợp đám đơng, ta có thể chủ động hơn trong
giám sát, theo dõi hoạt động của đám đơng.

HVTH: Nguyễn Thái Bình

1

GVHD: TS. Chế Viết Nhật Anh


Chƣơng 1 – Mở Đầu
1.3 Nhiệm vụ của luận văn
 Sử dụng phƣơng pháp Gray Level Co-occurrence Matrix (GLCM) để phát hiện
và khoanh vùng khu vực đông đúc trên từng khung hình đƣợc trích ra trong
video đầu vào dựa trên việc phân tích đặc trƣng (features) của ảnh.
 Tính hệ số homogeneity trên từng khung hình để ƣớc lƣợng mật độ tƣơng đối

của vùng đám đông.
 Sử dụng phƣơng pháp KLT tracker trên mơ hình Optical flow kết hợp với giải
thuật gom nhóm và tính độ nhất qn để phân tích chuyển động của đám đơng.
 Các giải thuật đƣợc kiểm nghiệm trên các video thực tế với nhiều cảnh khác
nhau.
1.4 Cấu trúc luận văn
Luận văn sẽ đƣợc trình bày gồm 5 chƣơng:
 Chƣơng 1 – Giới thiệu tổng quan về đề tài, đối tƣợng mục và tiêu nghiên cứu
của đề tài.
 Chƣơng 2 – Khảo sát các nghiên cứu đƣợc công bố trên các bài báo về các
phƣơng pháp xử lý hình ảnh ứng dụng trong việc phát hiện, ƣớc lƣợng và phân
tích chuyển động của đám đơng.
 Chƣơng 3 – Cơ sở lý thuyết liên quan đến đề tài.
 Chƣơng 4 – Các giải thuật cơ bản để xây dựng hệ thống phát hiện và phân tích
chuyển động của đám đông.
 Chƣơng 5 – Mô phỏng thực nghiệm và nhận xét đánh giá.

HVTH: Nguyễn Thái Bình

2

GVHD: TS. Chế Viết Nhật Anh


Chƣơng 2 – Tổng Quan Tình Hình Nghiên Cứu
Chƣơng 2 TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU
Quan sát theo dõi đám đông là một trong những thách thức trong lĩnh vực thị
giác máy tính. Trƣớc nhu cầu phát triển khơng ngừng của đời sống xã hội thì việc xây
dựng hệ thống giám sát tự động thông minh là một vấn đề cấp thiết cần giải quyết.
Trong thời gian qua có nhiều nghiên cứu về lĩnh vực này theo nhiều hƣớng tiếp cận

với nhiều giải thuật khác nhau của các nhà khoa học. Các kết quả công bố cho thấy
các nghiên cứu này không chỉ dừng lại ở việc phát hiện đám đơng mà cịn đi sâu vào
ƣớc ƣợng, phân tích hành vi và chuyển động của đám đơng ngày càng chính xác trong
từng trƣờng hợp quan sát cụ thể và đã đƣợc ứng dụng trong các hệ thống giám sát
thông minh tự động tại các nơi công cộng, hệ thống đƣờng giao thông, các khu vực
nhạy cảm cần giám sát… đã mang lại hiệu quả thiết thực trong việc cảnh báo phát
hiện kịp thời tình trạng đám đơng giúp cơ quan chức năng có hƣớng xử lý kịp thời.
2.1 Phát hiện và ƣớc lƣợng mật độ đám đông dựa trên kỹ thuật loại bỏ nền
A. Velastin [1] đã trình bày nghiên cứu ƣớc lƣợng mật độ đám đông bằng cách
sử dụng hình ảnh tham chiếu. Đây là phƣơng pháp tự động tạo ảnh nền để làm ảnh
tham chiếu đo mật độ đám đông bất cứ lúc nào hoặc tại các địa điểm nghiên cứu khác
nhau. Bởi vì cách trực tiếp để có đƣợc hình nền là chụp một hình ảnh từ địa điểm khảo
sát khi khơng có ngƣời đi bộ. Tuy nhiên, trong các khu vực cơng cộng, hầu nhƣ ln
có ngƣời đi bộ, và việc ghi lại trực tiếp một hình ảnh với nền thƣờng khơng thể thực
hiện đƣợc. Hơn nữa, dự đốn khơng chính xác có thể là kết quả của việc sử dụng chụp
ảnh tham chiếu thủ công vì ảnh hƣởng của sự thay đổi mức độ chiếu sáng sau đó.
Hình ảnh tham chiếu đƣợc tạo ra là hình ảnh chỉ có cảnh nền duy nhất và đã nhận thấy
rằng số lƣợng điểm ảnh tăng gần tuyến tính với sự gia tăng số ngƣời đi bộ. Phƣơng
pháp này có ƣu điểm là đơn giản khơng cần training với bộ ảnh nền đƣợc thiết lập
trƣớc đó từ web có thể ƣớc lƣợng mật độ đám đông tại các địa điểm khác nhau. Hạn
chế của phƣơng pháp này kết quả khơng chính xác nếu màu sắc của quần áo ngƣời đi
bộ tƣơng tự nhƣ nền. Cũng nhƣ đối với những bộ phận của hình ảnh mà ngƣời đi bộ
khơng di chuyển, nền sẽ khơng thể phục hồi.

HVTH: Nguyễn Thái Bình

3

GVHD: TS. Chế Viết Nhật Anh

Chƣơng 2 – Tổng Quan Tình Hình Nghiên Cứu

(a) Ảnh khảo sát ban đầu

(b) Ảnh nền

(c) Ảnh (a) sau khi trừ nền

Hình 2.1 - Mơ tả kết quả củaA.Velastin [1]

Nghiên cứu của R. Ma [2] đã đƣa ra phƣơng pháp đếm điểm ảnh để ƣớc lƣợng
mật độ đám đông. Về cơ bản hình ảnh video đƣợc phân đoạn thành tiền cảnh và nền.
Sau đó, từ tiền cảnh tính điểm pixel ƣớc lƣợng mật độ đám đông. Phƣơng pháp đếm
điểm ảnh dựa vào kết quả phân đoạn tiền cảnh. Nó liên quan đến tổng số pixel ảnh đại
diện cho số ngƣời. Với thiết lập lý tƣởng (tức là chế độ xem đầu, chiếu chính xác),
phân đoạn hồn hảo, tiếp theo với giả định có kích thƣớc của ngƣời bằng nhau, mối
quan hệ là đúng tỷ lệ:
Npersons = a ∗ Npixels

(2.1)

Trong các ứng dụng thực tế, máy ảnh thƣờng đƣợc đặt ở lề đƣờng, nên chiều cao tạo
thành một góc với mặt đất. Với mật độ đám đơng vừa phải khi đó sự tắc nghẻn là
không đáng kể, mối quan hệ tuyến tính vẫn giữ, nhƣng với một tỉ lệ khác nhau:
Npersons = a ∗ Npixels + b

(2.2)

Trong đó b là hệ số hiệu chỉnh nhằm đƣa tất cả các điểm ảnh về cùng một tỉ lệ. Nghiên

cứu cho thấy mối quan hệ đối với sự điều chỉnh hình học cho mặt phẳng nền và chứng
minh rằng nó có thể đƣợc áp dụng trực tiếp cho tất cả các điểm ảnh tiền cảnh và có thể
ứng dụng trong thời gian thực.
Nghiên cứu của V. Ramesh [3] đã giới thiệu một phƣơng pháp nhanh và chính
xác cho vấn đề ƣớc tính số lƣợng con ngƣời và vị trí của họ từ những hình ảnh khác
nhau thu đƣợc từ một camera duy nhất. Các nhà nghiên cứu đã kết hợp kỹ thuật loại
bỏ nền và phát hiện các cạnh để ƣớc lƣợng mật độ, đồng thời áp dụng các mơ hình
tuyến tính để lập bản đồ các điểm ảnh đại diện hoặc các cạnh cho số ngƣời, đƣợc tích
HVTH: Nguyễn Thái Bình

4

GVHD: TS. Chế Viết Nhật Anh


Chƣơng 2 – Tổng Quan Tình Hình Nghiên Cứu
hợp bằng phƣơng pháp mô tả Fourier để cải thiện kết quả. Phƣơng pháp của họ cũng
bao gồm hiệu chỉnh hình học cho đúng với cảnh của camera. Tuy nhiên trên thực tế là
kích thƣớc của cùng một ngƣời (tính bằng pixel) có thể thay đổi ở các vị trí khác nhau
(kích thƣớc bằng pixel giảm xuống khi khoảng cách từ camera tăng lên). Rõ ràng,
chức năng tuyến tính mà bản đồ số đếm đến số ngƣời trong hiện trƣờng không thành
công khi xuất hiện các đám đông lộn xộn và điều này rất phổ biến đối với các thiết lập
camera ở bên hông hoặc xiên trong đám đông.

(a) Ảnh ban đầu

(b) Ảnh sau khi loại bỏ nền

(c) Bộ ảnh mẫu tham chiếu gần giống ảnh tiền cảnh nhất

(d) Ảnh kết quả từ phép nội suy trên bộ ảnh mẫu tham chiếu gần giống nhất
Hình 2.2- Ví dụ minh họa về thuật toán phân đoạn trong nghiên cứu của V. Ramesh [3]

Nghiên cứu của B. Yang [4] đã trình bày phƣơng pháp sử dụng các camera để
đếm ngƣời trong đám đông với mạng thời gian thực. Hệ thống có thể sử dụng nhiều
camera trong mạng cảm biến, các cảm biến mạng có thể hình thành các cụm theo hình
học sao cho mỗi cụm có thể đếm số ngƣời tại một chốt kiểm sốt. Các cụm có thể giao
HVTH: Nguyễn Thái Bình

5

GVHD: TS. Chế Viết Nhật Anh


Chƣơng 2 – Tổng Quan Tình Hình Nghiên Cứu
tiếp với nhau để xác định tính bao qt của đám đơng trong khu vực đó. Hệ thống này
khi ứng dụng ở những nơi đơng đúc thì cịn gặp nhiều khó khăn vì các camera bị che
khuất và các cảm biến khơng thể phát hiện để đếm chính xác số ngƣời trong đám
đơng. Bên cạnh đó khi các đối tƣợng di chuyển các cảm biến cũng gặp nhiều khó khăn
trong tính tốn cũng nhƣ hạn chế tối đa kích thƣớc dữ liệu để truyền trên hệ thống.

(a) Khung hình thứ nhất và kết quả hiển thị kết của hệ thống cảm biến

(b) Khung hình thứ 2 và kết quả hiển thị kết của hệ thống cảm biến

(c) Khung hình thứ 3 và kết quả hiển thị kết của hệ thống cảm biến
Hình 2.3- Kết quả thực nghiệm của B. Yang [4] sử dụng 7 camera để quan sát di chuyển

của 4 người trong phòng.
2.2 Phát hiện và ƣớc lƣợng mật độ đám đơng dựa trên kỹ thuật phân tích cấu

trúc ảnh
Nghiên cứu của N. Marana [5] đã công bố một kỹ thuật ƣớc lƣợng mật độ đám
đông tự động theo thời gian thực dựa trên các mô tả cấu trúc của một chuỗi các hình
ảnh đám đơng. Kỹ thuật này thu đƣợc 73,89% sự phân loại chính xác trong một ứng

HVTH: Nguyễn Thái Bình

6

GVHD: TS. Chế Viết Nhật Anh


Chƣơng 2 – Tổng Quan Tình Hình Nghiên Cứu
dụng thời gian thực trên một chuỗi 9892 hình ảnh đám đơng. Sau khi ƣớc lƣợng bằng
tay với 990 hình ảnh đƣợc phân thành các lớp sau:
 Mật độ rất thấp (VL):

từ 0 đến 20 ngƣời

 Mật độ thấp (L):

từ 21 đến 40 ngƣời

 Mật độ trung bình (M): từ 41- 60 ngƣời
 Mật độ cao (H):

từ 61-80 ngƣời

 Mật độ rất cao (VH):

trên 80 ngƣời

Phân đoạn
cấu trúc ảnh
đầu vào

Cấu trúc
Histogram

Ƣớc lƣợng
mật độ
đám đơng

Hình 2.4- Sơ đồ kỹ thuật mơ tả phương pháp ước lượng mật độ đám đông của N. Marana [5]

Với phƣơng pháp này để hệ thống xử lý trong thời gian thực thì cần có nhiều nút
mạng với nhiều máy tính xử lý phân đoạn ảnh và giải thuật trao đổi dữ liệu giữa các
nút mạng cũng rất phức tạp khi phải xử lý luồng dữ liệu đầu vào lớn.
Nghiên cứu của W. Ma [6] đã đƣa ra mô hình mẫu nhị phân cục bộ nâng cao
(ALBP). Tác giả thực hiện bằng cách chia ảnh đầu vào thành các ô nhỏ sau đó thực
hiện phƣơng pháp ALBP là sử dụng phƣơng pháp mẫu nhị phân cục bộ (LBP) kết hợp
các thuật tốn Ma trận mức xám, Phân tích phổ Fourier để ƣớc lƣợng mật độ đám
đông trong các ô nhỏ trong thời gian thực có thể hoạt động hiệu quả dƣới các môi
trƣờng xung quanh khác nhau và đƣa ra ƣớc lƣợng mật độ mật độ khá chính xác. Tác
giả cũng định nghĩa 5 trạng thải đám đông là: rất thấp (VL), thấp (L), vừa phải (M),
đông (H), rất đông (VH) và mỗi trạng thái đƣợc quy định số ngƣời xuất hiện trong ô
nhỏ cũng nhƣ tỉ lệ % diện tích ngƣời đi bộ chiếm trong ơ nhỏ

HVTH: Nguyễn Thái Bình

7

GVHD: TS. Chế Viết Nhật Anh


Chƣơng 2 – Tổng Quan Tình Hình Nghiên Cứu
Trạng thái

VL

L

M

H

VH

Nhãn

1

2

3

4

5

0 – 0.5

0.5 - 2

2–4

4–6

>6

≤ 10%

10% - 30%

30% - 60%

60 – 90%

≥ 90%

Số ngƣời xuất
hiện trong ơ
Phần diện tích
ngƣời đi bộ
trong ô

Bảng 2.1 - Định nghĩa đám đông trong một ô [6]

Sau khi chuẩn bị thông số đầu vào tiếp theo thực hiện việc chia nhỏ khung ảnh đầu
vào và gán nhãn cho từng ô đƣợc tác giả thực hiện để phát hiện đám đơng.

Hình 2.5 - Ảnh minh họa kết quả của phương pháp ALBP [6]

Các phƣơng pháp phân tích ảnh sử dụng LBP đƣợc sử dụng thành công trong nhận
dạng khuôn mặt, phân loại cấu trúc cũng nhƣ phân đoạn hình ảnh. Phƣơng pháp này
hạn chế trong việc phát hiện đám đông ở những cảnh rộng và cƣờng độ sáng luôn thay
đổi.
Tiếp tục phát triển phƣơng pháp LBP, tác giảZ. Wang [7] đã trình bày phƣơng
pháp Local Binary Pattern Co-occurrence Matrix (LBPCM). Đó là cách tính ma trận
đồng hiện dựa trên hình ảnh kết quả của phƣơng pháp LBP nhằm trích xuất thơng tin
HVTH: Nguyễn Thái Bình

8

GVHD: TS. Chế Viết Nhật Anh


Chƣơng 2 – Tổng Quan Tình Hình Nghiên Cứu
thống kê và sự tƣơng tác không gian giữa các điểm ảnh để phát hiện và xác định mật
độ đám đông. Mỗi đám đơng có mật độ khác nhau, do đó mật dộ đám đông là một
trong những đặc trƣng cơ bản của đám đơng.
Theo A.Polus [8], mật độ đám đơng có thể chia thành 4 loại dựa theo số lƣợng
ngƣời đi bộ trên một đơn vị diện tích là: tự do (free flow), hạn chế (restricted flow),
dày đặc (dense flow) và kẹt cứng (jammed flow).

Hình 2. 6 - Minh họa các loại mật độ đám đông

Phƣơng pháp LBPCM đƣợc xây dựng từ một số ơ chồng lên nhau trong một
khối hình ảnh, mà là có thể đƣợc phân loại thành các cấp độ khác nhau đám đông.
LBPCM mô tả cả hai đặc tính thống kê và các thơng tin khơng gian của LBP và do đó

có thể sử dụng đầy đủ các tính năng LBP cho cấu trúc cục bộ. Ngồi ra, LBPCM trích
xuất cả hai mức xám và gradient của bức ảnh để cải thiện hiệu suất của đánh giá mật
độ đám đơng. Bên cạnh đó, việc kết hợp với kỹ thuật cửa sổ trƣợt đƣợc sử dụng để
phát hiện các khu vực có khả năng xuất hiện đám đơng. Tiếp theo thực hiện cắt khối
hình ảnh từ những hình ảnh ban đầu mà thay đổi trong mật độ đám đông, nền và điều
kiện chiếu sáng. Các khối này đƣợc chú thích với các mức mật độ đám đơng tƣơng
ứng. Sau đó chia mỗi khối thành nhiều ơ chồng lên nhau và tính năng cấu trúc đƣợc
tính tốn từ mỗi ô. Tiếp theo là tổng hợp các tính năng của các ơ để xây dựng một
vector đặc trƣng, đó là mơ tả cấu trúc của một hình khối. Sau khi tính tốn tất cả các
vectơ đặc trƣng của các khối hình ảnh, xây dựng bộ huấn luyện SVM để huấn luyện
phƣơng thức phân loại cho từng mức mật độ đám đơng thì có thể khoanh vùng và ƣớc
lƣợng đám đơng một cách chính xác.

HVTH: Nguyễn Thái Bình

9

GVHD: TS. Chế Viết Nhật Anh


Chƣơng 2 – Tổng Quan Tình Hình Nghiên Cứu

Hình 2.7- Sơ đồ phân tích,ước lượng đám đơng của phương pháp LBPCM [7]

Nghiên cứu của O. Arandjelovic [9] giúp phát hiện đám đơng từ hình ảnh tĩnh
bằng cách sử dụng một mơ hình thống kê cơ bản dựa vào đặc trƣng SIFT lƣợng tử.
Mơ hình này dựa trên yếu tố lặp đi lặp lại của đám đơng và có thể khoanh vùng đám
đơng trong ảnh một cách tƣơng đối chính xác. Để đánh giá hiệu quả của phƣơng pháp
đƣợc đề xuất, tác giả đã thu thập cở sở dữ liệu đƣợc gồm 100 ảnh và chọn ngẫu nhiên
15 ảnh trong đó một nửa có đám đơng và một nữa khơng đơng để huấn luyện thuật

tốn.

a

b

c

(a) Nhận đạng đầy đủ đám đơng
(b) Nhận dạng còn thiếu một số vùng
(c) Nhận dạng nhầm vùng màu đỏ khơng phải là đám đơng
Hình 2.8- Một số kết quả nhận dạng trong nghiên cứu của O. Arandjelovic [9]

HVTH: Nguyễn Thái Bình

10

GVHD: TS. Chế Viết Nhật Anh


Chƣơng 2 – Tổng Quan Tình Hình Nghiên Cứu
Hạn chế của phƣơng pháp này là trong điều kiện ảnh có độ phân giải thấp hay ánh
sáng yếu thì phƣơng pháp này nó có thể nhận sai hoặc nhận thiếu một số vùng đám
đông từ ảnh đầu vào.
Tƣơng tự, tác giả A. Fagette [10] đã trình bày kỹ thuật phân tích multiscaletexture để nhận diện và khoanh vùng những đám đông trong hình ảnh. Thứ nhất, từ
mỗi pixel của hình ảnh, các tính năng liên quan đến kết cấu đám mây đƣợc trích xuất.
Các tính năng này đƣợc lƣu trữ trong một vector các tính năng gắn liền với pixel đƣợc
mơ tả. Sau đó, các điểm ảnh đƣợc phân loại hoặc là thuộc về đám đông hoặc là nền.
Việc phân loại nhị phân này đƣợc thực hiện bằng cách sử dụng một bản đồ khuếch tán
với các tính năng đƣợc chiết xuất làm dữ liệu. Thao tác cuối cùng này gây ra vấn đề

về thời gian và khối lƣợng tính tốn khiến chúng ta phải xem xét việc giảm lƣợng dữ
liệu cần đƣợc xử lý.

Ảnh đầu vào

Kết quả thực nghiệm
(màu xanh đại diện cho đám
đơng)

Tỉ lệ chính
xác (%)

79,3

99,5

Bảng 2. 2 - So sánh kết quả thực nghiệm của tác giả A. Fagette [10]

HVTH: Nguyễn Thái Bình

11

GVHD: TS. Chế Viết Nhật Anh


Chƣơng 2 – Tổng Quan Tình Hình Nghiên Cứu
Kỹ thuật này cho kết quả chính xác tƣơng đối cao đối với những đám đông lớn mật độ
dày đặc nhƣng lại hạn chế đối với ảnh có ngƣời đi bộ rời rạc, mật độ đám đông thấp.
2.3 Phát hiện và phân tích chuyển động của đám đơng
Nghiên cứu của B. Zhou [11] đề xuất một phƣơng pháp là thiết kế một bộ lọc

liên kết để phát hiện chuyển động liên kết từ những nhóm đám đơng. Bộ lọc liên kết
phát hiện tốt các nhóm chuyển động lộn xộn của đám đơng. Các nhóm chuyển động
liên kết đƣợc phát hiện tƣơng ứng với nhiều hành vi và hoạt động. Tuy nhiên, rất khó
để đánh giá, định lƣợng các hành vi này từ các chuyển động liên kết đƣợc phát hiện vì
nó là khó khăn để có đƣợc sự chính xác trên mặt đất.

Hình 2.9- Kết quả phát hiện chuyển động cúa các nhóm đám đơng [11]

Bên cạnh đó, nghiên cứu của K. Lim [12] chỉ ra vùng nổi bật của đám đông và
phân tích vận động của vùng này bằng cách sử dụng cấu trúc Global similarity. Qua
dó xác định các vùng đám đông, vùng không ổn định ( vận động bất thƣờng) và vùng
có mật độ thấp.

Hình 2.10 - Một kết quả phân tích trong nghiên cứu của K. Lim [12]

HVTH: Nguyễn Thái Bình

12

GVHD: TS. Chế Viết Nhật Anh