NGHIÊN cứu các PHƯƠNG PHÁP PHÁT HIỆN và PHÂN TÍCH HÀNH VI đám ĐÔNG QUA CAMERA GIÁM sát

LỜI CAM ĐOAN
Tôi xin cam đoan luận văn này được thực hiện bằng sự đam mê và công sức của tôi
dưới sự hướng dẫn tận tình của TS.Ngô Đức Thành. Luận văn được thực hiện tại
trường Đại học Công Nghệ Thông Tin, TP.Hồ Chí Minh.
Những kết quả thống kê trong luận văn này là do quá trình thực hiện từ hệ thống
của tôi trên các bộ dữ liệu đã được liệt kê.
Những nội dung cơ sở và kế thừa trong quá trình viết luận văn này tôi đã liệt kê
trong mục tài liệu tham khảo một cách trân trọng.
Tp. Hồ Chí Minh, ngày 15 tháng 01 năm 2016
Học viên thực hiện

Nguyễn Phạm Phú Quý

1


LỜI CẢM ƠN
Tôi xin gửi lời cảm ơn sâu sắc đến Tiến sĩ Ngô Đức Thành, người đã tin tưởng, tận
tình hướng dẫn và giúp tôi hoàn thành luận văn này cùng với các thầy cô Trường
Đại học Công Nghệ Thông Tin ĐHQG TP.HCM những người đã tận tình giảng dạy
và cung cấp cho tôi các kiến thức nền tảng của việc nghiên cứu.
Tôi xin cảm ơn các thành viên làm việc tại phòng thí nghiệm Truyền Thông Đa
Phương Tiện (MMLAB) Trường Đại học Công Nghệ Thông Tin đã đóng góp nhiều
ý kiến quý báu trong khi tôi thực hiện luận văn này.
Ngoài ra tôi cũng xin cảm ơn tác giả đã cung cấp dữ liệu cho tôi để thực hiện các
thực nghiệm của mình.
Cuối cùng là lời cảm ơn cao cả dành cho cha mẹ, những người đã hết lòng nuôi
dưỡng và luôn động viên tôi trong quá trình nghiên cứu.

2

MỤC LỤC
LỜI CAM ĐOAN .......................................................................................................1
LỜI CẢM ƠN .............................................................................................................2
THUẬT NGỮ VÀ TỪ VIẾT TẮT .............................................................................5
DANH MỤC CÁC BẢNG..........................................................................................6
DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ .....................................................................7
MỞ ĐẦU .....................................................................................................................8
CHƯƠNG 1.

TỔNG QUAN ................................................................................10

1.1. Giới thiệu chung ..........................................................................................10
1.1.1. Tính cấp thiết ........................................................................................10
1.1.2. Mô tả về bài toán phân tích hành vi đám đông .....................................11
1.1.3. Thách thức, hạn chế và vấn đề cần giải quyết ......................................11
1.2. Mục tiêu luận văn ........................................................................................13
1.3. Đóng góp của luận văn ................................................................................13
1.4. Bố cục luận văn ...........................................................................................13
CHƯƠNG 2.

TÌNH HÌNH NGHIÊN CỨU .........................................................15

2.1. Tình hình nghiên cứu về các hành vi đồng nhất ..........................................15
2.2. Phân tích chuyển động đồng nhất trong thị giác máy tính ..........................17
CHƯƠNG 3. PHƯƠNG PHÁP ĐO LƯỜNG TÍNH ĐỒNG NHẤT TRONG
CHUYỂN ĐỘNG......................................................................................................20
3.1. Khái niệm cơ sở ...........................................................................................20
3.2. Thách thức của bài toán đo lường tính đồng nhất .......................................23
3.3. Đo lường tính đồng nhất đám đông .............................................................25

3.3.1. Sự nổi bật của Collective Manifolds trong các đám đông ....................25
3.3.2. Sự nhất quán hành vi trong vùng lân cận .............................................26
3.3.3. Sự nhất quán toàn cục thông qua các đường (path) ..............................26
3.3.4. Tính đồng nhất tại l-Path Scale .............................................................28
3.3.5. Qui tắc hóa tính đồng nhất trên tất cả phạm vi (All-Scale) ..................30

3


3.4. Hạn chế của phương pháp State-of-The-Art ...............................................32
3.5. Tổng kết .......................................................................................................33
CHƯƠNG 4. PHƯƠNG PHÁP ĐỀ XUẤT CẢI TIẾN ĐỘ ĐO TÍNH ĐỒNG
NHẤT DỰA TRÊN VIỆC LÀM TRƠN TRAJECTORY........................................34
4.1. Cơ sở lý thuyết .............................................................................................34
4.1.1. Trajectory ..............................................................................................34
4.1.2. Làm trơn (Smooth) Trajectory ..............................................................34
4.1.3. Moving Average (MA) Filter ...............................................................35
4.1.4. Savitzky-Golay (SGL) Filter ................................................................36
4.2. Phương pháp đề xuất ...................................................................................37
4.3. Tổng kết .......................................................................................................40
CHƯƠNG 5.

THỰC NGHIỆM VÀ ĐÁNH GIÁ ................................................41

5.1. Tiêu chuẩn đánh giá .....................................................................................42
5.1.1. Hệ số tương quang (Correlation Coefficient) .......................................42
5.1.2. Phân lớp nhị phân (Binary Classification) ............................................42
5.1.3. Đồ thị ROC (Receiver Operating Characteristic) .................................44
5.2. Bộ dữ liệu ....................................................................................................45
5.3. Phân tích giá trị Max, Min, Aveg của L ......................................................46

5.4. So sánh với cảm quan của người (Human Perception) ...............................48
5.5. Độ chính xác phân lớp (Classification Accuracy) .......................................49
5.6. Tổng kết .......................................................................................................50
CHƯƠNG 6.

KẾT LUẬN VÀ HƯỚNG NGHIÊN CỨU TƯƠNG LAI ............52

6.1. Kết luận........................................................................................................52
6.2. Hướng nghiên cứu tương lai ........................................................................52
TÀI LIỆU THAM KHẢO .........................................................................................53
PHỤ LỤC ..................................................................................................................59

4


THUẬT NGỮ VÀ TỪ VIẾT TẮT
Thuật ngữ
Frame
Tracklet

Diễn giải
Là một khung hình trong video.
Tập hợp các vị trí chuyển động của một đối
tượng theo thời gian.

KLT-Tracker

Một phương pháp dùng để trích xuất các đặc

(Kanade-Lucas-Tomasi

trưng chuyển động của đối tượng trong video

Feature Tracker)

[8].
Một phương pháp làm trơn dữ liệu bằng cách

Bộ lọc Moving Average
(Moving Average Filter)

thay thế mỗi điểm bằng giá trị trung bình của
các điểm dữ liệu lân cận.
Một phương pháp làm trơn dạng đa thức

Bộ lọc Savitzky-Golay
(Savitzky-Golay Filter)

(Polynomial Smoothing) hay bình phương
tối thiểu (Least-squares Smoothing), thường
được sử dụng với dữ liệu tần số hoặc với dữ
liệu quang phổ [41].

Đường tương đồng
(Path Similarity)

l-Path Similarity

Đường kết nối dùng cho việc ước lượng sự
tương đồng giữa hai cá nhân không phải là

lân cận của nhau.
Đường tương đồng giữa hai cá nhân với
chiều dài l.
Tập hợp tất cả các đường tương đồng có

l-Path Scale

chiều dài l của tất cả các cá nhân trong đám
đông.

5


DANH MỤC CÁC BẢNG
Ý nghĩa

Số hiệu

Trang

Bảng 5.1

Các kết quả trong bảng sự kiện ngẫu nhiên.

43

Bảng 5.2

Các độ đo và công thức tính toán của phân lớp nhị phân.

44

Bảng 5.3

Các số liệu của đồ thị 5.1

47

Bảng 5.4

Bảng 5.5
Bảng 5.6

Các kết quả so sánh của phương pháp đề xuất với từng
phương pháp khác.
Kết quả phân loại của phương pháp đề xuất với phương
pháp State-of-The-Art.
Các kết quả so sánh giữa việc chọn T động và T cố định.

6

49

50
50


DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ
Ý nghĩa

Số hiệu
Hình 1.1
Hình 1.2
Hình 2.1

Minh họa việc phát hiện và phân tích tính đồng nhất
trong chuyển động.
Minh họa sự phức tạp của hành vi đám đông.
Minh họa các chuyển động đồng nhất của các đám
đông trên cấu trúc đa nếp gấp

Trang
11
12
17

Hình 3.1

Tập các đặc trưng chuyển động đã được trích xuất

21

Hình 3.2

Minh họa cho tính đồng nhất trong chuyển động.

22

Hình 3.3

Minh họa cho sự đồng nhất đa nếp gấp.

23

Hình 3.4

Hình 3.5

Hình 3.6
Hình 3.7

Hỉnh 4.1

Minh họa cho các thách thức của việc đo lường tính
đồng nhất.
Minh họa cho sự nhất quán hành vi của các cá nhân

27

trên cùng Collective Manifold.
Minh họa cho việc kết nối các đường tương đồng
giữa hai cá nhân.
Minh họa cho trường hợp sai sót trong cách đo lường
tính đồng nhất của phương pháp State-of-The-Art
Minh họa cho việc làm trơn Trajectory với 2
Trajectory mẫu.

Hình 4.2

24

Minh họa kết quả đo lường tính đồng nhất của hai
trường hợp sai sót sau khi đã cải tiến thuật toán.

27

33

35

38

Hình 4.3

Minh họa tổng quát toàn bộ Framework.

39

Hình 5.1

Minh họa cho bộ dữ liệu Collective Motion.

46

Đồ thị 5.1
Đồ thị 5.2

Hiển thị các giá trị Max, Min, Average của L tương
ứng với các giá trị của T.
Hiển thị tốc độ thực thi của phương pháp với từng

giá trị của T
7

47

48


MỞ ĐẦU
Phân tích hành vi đám đông gần đây đã trở thành một chủ đề nóng bỏng trong lĩnh
vực thị giác máy tính vì nhu cầu lớn về giám sát đám đông. Nhiều nghiên cứu chỉ ra
rằng các đám đông khác nhau chia sẻ chung một tập các đặc tính phổ biến bởi vì các
kiểu hành vi đám đông khác nhau đều có một vài nguyên tắc chung làm nền tảng.
Việc đo lường một cách định lượng các đặc tính đó và so sánh chúng qua lại giữa
các hệ thống đám đông khác nhau đóng một vai trò quan trọng cho việc hiểu biết
các nguyên tắc chung nền tảng và trong các ứng dụng giám sát.
Một trong số những hướng nghiên cứu phổ biến của phân tích hành vi đám đông là
các nghiên cứu về chuyển động đồng nhất của đám đông. Trong một đám đông, các
chuyển động đồng nhất thể hiện cho các hành vi của các cá nhân thành phần. Một ví
dụ điển hình là các đàn cá sẽ chuyển động cuộn tròn như một chất lỏng được khuấy
mãnh liệt để chống lại sự tấn công của kẻ săn mồi. Vì vậy chuyển động đồng nhất
có thể được xem như là một thể hiện của hành vi đồng nhất. Nhiều nghiên cứu đã
được tiến hành để khám phá các nguyên tắc nền tảng này. Các cá nhân trong một
đám đông sẽ có xu hướng chuyển động đồng nhất nếu chúng điều phối hành vi của
mình với các cá nhân lân cận mà không có sự tác động bên ngoài. Việc dò tìm các
chuyển động đồng nhất trong đám đông thì thách thức vì sự đa dạng của các chuyển
động, chất lượng video cũng như là sự tồn tại của dữ liệu theo vết nhiễu (Tracking
Noise).
Hầu hết các nghiên cứu hiện tại không thể so sánh hành vi đám đông qua các hoàn
cảnh khác nhau vì chúng thiếu những bộ mô tả tổng quát dùng cho việc đặc trưng

hóa các trạng thái của đám đông hoặc chỉ đo lường một cách đơn giản vận tốc trung
bình của các cá nhân thành phần và xem nó như là tính đồng nhất cho toàn bộ đám
đông. Hướng tiếp cận State-of-The-Art đã đề xuất một bộ mô tả dùng cho việc đo
lường tính đồng nhất dựa trên việc xét các chuyển động của đám đông qua từng cặp
frame kế cận liên tiếp nhau nhưng phương pháp này thì đo lường không chính xác
đối với các video có chứa dữ liệu nhiễu, chuyển động chậm (không tồn tại sự

8


chuyển động trong hai frame liên tiếp) hoặc những cấu trúc hoàn cảnh đặc biệt như
các video người chạy bộ theo cùng hướng nhìn.
Luận văn đã đề xuất một phương pháp đơn giản để cải tiến phương pháp State-ofThe-Art dựa trên việc làm trơn các thông tin chuyển động và trích xuất chúng thông
qua một khoảng cách T frame liên tiếp nhau. Bên cạnh đó luận văn cũng tiến hành
thực nghiệm và so sánh phương pháp của mình với phương pháp State-of-The-Art
trên cùng một bộ Dataset chuẩn (Collective Motion Dataset). Kết quả thu được đã
chứng minh tính ổn định và chính xác là tốt hơn so với phương pháp State-of-TheArt trên toàn bộ Dataset và đặt biệt vượt trội trong các video có cấu trúc chuyển
động như các video về người chạy bộ theo cùng hướng nhìn.

9


CHƯƠNG 1.

TỔNG QUAN

Mục tiêu của Chương 1 nhằm giới thiệu đến người đọc cái nhìn tổng quan về bài
toán phân tích hành vi đám đông cũng như ứng dụng, tầm quan trọng và những thú
vị, thách thức của hướng nghiên cứu. Bên cạnh đó chương này cũng trình bày về
những mục tiêu nghiên cứu và đóng góp khoa học của luận văn.

Nội dung chương được chia thành 4 phần:
 Giới thiệu chung: Trình bày về tính cấp thiếp, mô tả bài toán và các thách
thức.
 Mục tiêu luận văn: Trình bày các mục tiêu của việc nghiên cứu.
 Đóng góp của luận văn: Giới thiệu về các đóng góp khoa học của luận
văn.
 Bố cục luận văn: Giới thiệu bố cục tổng thể của luận văn.

1.1. Giới thiệu chung
1.1.1.

Tính cấp thiết

Với sự phát triển nhanh chóng của khoa học công nghệ, các hệ thống camera giám
sát ngày càng phổ biến với chi phí triển khai thấp. Các hệ thống camera này thường
được sử dụng để theo dõi và đánh giá tình hình trật tự ở các địa điểm công cộng
(công viên, trường học, quảng trường, nhà ga, sân bay…), các cơ quan trọng yếu
(tòa nhà/trụ sở quốc hội, trụ sở tiếp dân), cơ quan an ninh. Một trong những đối
tượng quan trọng cần giám sát thông qua camera này là đám đông (hoặc nhóm tụ
tập đông người). Phát hiện và phân tích hành vi đám đông (bao gồm cả hành vi
thông thường và bất thường) là cơ sở quan trọng để đánh giá tình hình an ninh, trật
tự trong phạm vi giám sát.
Việc triển khai và ứng dụng các hệ thống camera giám sát để theo dõi và đánh giá
hành vi đám đông ngày càng phổ biến nhưng cho đến nay việc phân tích các hành vi
trên chủ yếu vẫn dựa vào sức người, mức độ tự động hóa thấp. Khi số lượng camera
lớn (vài chục đến hàng trăm camera) có thể dẫn đến tình trạng quá tải, sai sót trong
quá trình giám sát. Do đó, rất cần thiết xây dựng một hệ thống tự động phát hiện và
10

phân tích hành vi đám đông qua camera giám sát. Hệ thống này có thể hỗ trợ người
giám sát và cơ quan an ninh bằng cách tự động gởi cảnh báo khi đám đông tụ tập ở
những địa điểm cấm, phát hiện hành vi bất thường của đám đông hoặc cá nhân
trong đám đông, phân tích mẫu hành vi đám đông thu thập được nhằm đưa ra các
giải pháp an ninh hiệu quả.
Bên cạnh đó, hệ thống này có thể kết hợp với các hệ thống nhận dạng nhân vật,
nhận dạng hành vi cá nhân để trở thành một hệ thống giám sát an ninh hoàn chỉnh.

1.1.2.

Mô tả về bài toán phân tích hành vi đám đông

Dữ liệu đầu vào là các video giám sát. Đầu ra là kết quả của quá trình phân tích
gồm thông tin về vị trí, hình thái, hành vi đám đông (hướng di chuyển, phân bố),
cảnh báo nếu phát hiện hành vi bất thường được định nghĩa trước. Luận văn này tập
trung vào việc phân tích sự chuyển động đồng nhất của đám đông (Hình 1.1).

Hình 1.1: Minh họa về phát hiện và phân tích tính đồng nhất trong chuyển động. Các mẫu
cùng màu là các nhóm chuyển động đồng nhất theo cùng hướng chuyển động.

1.1.3.
1.1.3.1.

Thách thức, hạn chế và vấn đề cần giải quyết
Thách thức

Đám đông thường bao gồm 4 thuộc tính cơ bản:

11

 Tính đồng nhất: Thể hiện mức độ hoạt động theo tập thể của các thành
viên trong đám đông.
 Tính bền vững: Đặc trưng cho sự tồn tại của đám đông theo thời gian.
 Tính đồng bộ: Mô tả sự phân bố đồng điều theo không gian giữa các thành
viên trong đám đông.
 Tính đụng độ: Phản ánh sự tương tác qua lại của các thành viên từ các
nhóm khác nhau.
Các thuộc tính này phụ thuộc vào nhiều yếu tố như môi trường, văn hóa, ngữ cảnh
ứng dụng và cấu trúc nội tại nên có độ phúc tạp cao (Hình 1.2). Ví dụ như một
nhóm hình thành từ các thành viên có mối quan hệ quen biết với nhau như bạn bè,
gia đình thì tính bền vững sẽ cao hơn một nhóm chỉ hình thành tạm thời hay một
nhóm hình thành trong ngữ cảnh là một cuộc diễu hành thì tính đồng bộ giữa các
thành viên sẽ cao hơn của các nhóm bình thường khác. Các thuộc tính này cũng
đóng vai trò quan trọng trong việc phân tích và hiểu hoàn cảnh đám đông trong các
hệ thống giám sát.

Hình 1.2: Minh họa sự phức tạp của hành vi đám đông. Hình ảnh được sắp xếp từ trái qua
phải theo thứ tự các thuộc tính nhóm: tính đồng nhất, tính bền vững, tính đồng bộ, tính
đụng độ. Hàng trên đại diện cho các thuộc tính ở mức độ thấp, hàng duới đại diện cho các
thuộc tính ở mức độ cao. Các đặc tính này luôn tồn tại ở các cấp độ khác nhau và phục
thuộc vào nhiều yếu tố như môi trường, văn hóa, ngữ cảnh. Nguồn: Hình ảnh được trích
dẫn từ [25].

Đối với một số loại dữ liệu như video giám sát, chất lượng và độ phân giải kém.
12


1.1.3.2.

Hạn chế

Mặc dù hướng nghiên cứu đã đạt được những bước tiến đáng kể nhưng vẫn còn
nhiều hạn chế:
 Độ chính xác chưa cao, chưa đáp ứng được yêu cầu ứng dụng thực tế, hiệu
quả tính toán.
 Sự khác biệt về môi trường, văn hóa, ngữ cảnh ứng dụng dẫn đến sự khác
biệt trong hình thái và hành vi đám đông.

1.2. Mục tiêu luận văn
Nghiên cứu các phương pháp tiên tiến hiện nay về phát hiện và phân tích hành vi
đám đông. Cụ thể là tập trung chủ yếu vào phân tích tính đồng nhất trong chuyển
động của đám đông.
Đưa ra đề xuất cải tiến hiệu quả phân tích đặc trưng, tính đồng nhất trong chuyển
động trên dữ liệu chuẩn.
Xây dựng chương trình thử nghiệm.

1.3. Đóng góp của luận văn
Qua quá trình tìm hiểu và thực nghiệm, luận văn có những đóng góp sau:
 Đề xuất một phương pháp hiệu quả nhằm mục đích tiền xử lý thông tin
chuyển động của các cá nhân dùng cho việc đo lường tính đồng nhất trong
chuyển động của đám đông.
 Xây dựng chương trình thử nghiệm, đánh giá cho phương pháp đã đề xuất.
 So sánh kết quả thực nghiệm so với phương pháp State-of-The-Art [5].

1.4. Bố cục luận văn
Phần còn lại của luận văn được tổ chức như sau:
 Chương 2: Trình bày các công trình nghiên cứu liên quan về hành vi đồng
nhất.
 Chương 3: Trình bày về các khái niệm cơ bản và chi tiết cách thức đo lường

tính đồng nhất trong chuyển động của phương pháp State-of-The-Art.
13


 Chương 4: Trình bày về các cơ sở lý thuyết và phương pháp đề xuất để cải
thiện phương pháp State-of-The-Art.
 Chương 5: Trình bày các tiêu chuẩn đánh giá, bộ dữ liệu và thực nghiệm.
 Chương 6: Trình bày các kết luận và kiến nghị.

14


CHƯƠNG 2.

TÌNH HÌNH NGHIÊN CỨU

Mục tiêu của Chương 2 nhằm cho người đọc cái nhìn tổng quan về tình hình nghiên
cứu hành vi đồng nhất và phân tích chuyển động đồng nhất trong đám đông.
Nội dung chương được trình bày gồm 2 phần:
 Tình hình nghiên cứu về các hành vi đồng nhất.

 Phân tích chuyển động đồng nhất trong thị giác máy tính.
2.1. Tình hình nghiên cứu về các hành vi đồng nhất
Những chuyển động đồng nhất nổi bật của các sinh vật từ lâu đã thu hút sự chú ý
của các nhà khoa học từ các lĩnh vực khoa học khác nhau. Hiểu biết về các hành vi
đồng nhất của đám đông là một vấn đề nền tảng trong khoa học xã hội. Nó đã chỉ ra
rằng các cá nhân ở trong đám đông sẽ có xu hướng đánh mất những tính cách của
mình. Thay vì hành xử một cách độc lập thì họ có xu hướng làm theo những hành vi
của người khác và di chuyển theo hướng tương tự như những người lân cận của họ
[11], [17]. Một số hành vi đồng nhất của những đám đông như nhóm người đã được

nghiên cứu trong lĩnh vực tâm lý học xã hội [44].
Trong sinh học bằng cách sử dụng các phương pháp tiếp cận thực nghiệm hoặc lý
thuyết nhiều tiến bộ đáng kể đã đạt được trong việc hé mở những nguyên tắc của
các hành vi đồng nhất của những đám đông khác nhau. Một đánh giá cô đọng có thể
được tìm thấy trong [67]. Đối với các hướng tiếp cận thực nghiệm, dữ liệu hành vi
của các đám đông khác nhau như là đàn vi khuẩn [20], đàn châu chấu [23], đàn cá
[39],và đàn chim [31] đã được thu thập và phân tích. Con người nghiên cứu các cơ
chế nền tảng của việc tổ chức sự đồng nhất của cá nhân [21], nguồn gốc tiến hóa
của quần thể động vật [24] và việc xử lý thông tin đồng nhất (Collective
Information) trong đám đông [36] ở cả hai cấp độ vĩ mô và vi mô. Nhiều qui luật và
yếu tố quan trọng ảnh hưởng đến chuyển động đồng nhất (Collective Motion) đã
được khám phá và phân tích, chẳng hạn như sự chuyển pha (Phase Transition), tính
quyết định của mật độ đám đông, và tự tổ chức (Self-organization) [50],[22]. Zhang
et al. [20] đã nghiên cứu mối tương quan giữa những chuyển động đồng nhất và mật
15


độ vi khuẩn. Makris et al. [39] đã tiến hành nghiên cứu định lượng về những quá
trình đồng nhất theo không gian - thời gian (The Collective Temporal and Spatial
Processes) được hình thành bởi các đàn cá trong đại dương bao la.
Đối với các hướng tiếp cận lý thuyết, các phương trình vi phân liên tục (Differential
Equations of Continuum) [26], các mô hình vật lý thống kê, như là mô hình
maximum entropy [62], đã được đề xuất để hiểu được cơ chế của chuyển động đồng
nhất. Bên cạnh đó, dựa trên một số quy tắc hành vi cục bộ nhiều mô hình dựa trên
tác nhân (Agent-based Model) đã được đề xuất cho việc mô hình hóa và mô phỏng
đám đông [9], [58], [12]. Vicsek et al. [58] và Chate et al. [19] đã đề xuất mô hình
self-drive particle (SDP) và quan sát một sự chuyển pha nhanh từ hỗn loạn đến sự
đồng bộ cao của các hành vi trong các hệ thống đám đông như mật độ đám đông đạt
đến một mức độ quan trọng. Việc hiểu một quá trình chuyển đổi như vậy thì rất
quan trọng đến nhiều ứng dụng liên quan đến các hệ thống đám đông, chẳng hạn

như quản lý các đại dịch châu chấu. Sự phân tích chi tiết định lượng của các chuyển
động đồng nhất trở nên thiết yếu để hiểu được khi nào, như thế nào và ở đâu chúng
xảy ra và làm sao để cải thiện sự kiểm soát của các hệ thống đám đông. Buhl et al.
[23] đã ghi hình những chuyển động châu chấu, nghiên cứu thực nghiệm các pha
dịch chuyển và đánh giá SDP.
Trong lĩnh vực khoa học mạng và lý thuyết điều khiển (Network Science and
Control Theory), khối của các đơn vị tương tác (con người, robot, agent, và các hệ
thống động) được kết nối vào mạng lưới thay đổi động. Sau đó, các cấu trúc cộng
đồng (Community Structure) với chia sẻ cùng hành vi đồng nhất được phát hiện
[34]. Các hoạt động tiến hóa mạng lưới và cộng đồng tiếp tục được phân tích [18].
Trong khi đó, các thuật toán từ lý thuyết điều khiển đã được đề xuất để kiểm soát
các hệ thống được phân phối phức tạp này trong đó các đơn vị này có thể được
đồng bộ hóa trong sự di chuyển đồng nhất bất chấp sự vắng mặt của sự điều phối
trung tâm [48].
Tuy nhiên với một lượng lớn tài liệu về những hành vi đồng nhất đã được cho thì
các nghiên cứu về các thước đo định lượng của tính đồng nhất (Collectiveness) rất
16


hạn chế. Hầu hết các công trình hiện [58] chỉ đơn giản là đo tính đồng nhất như vận
tốc trung bình của các particle trong một hệ thống đám đông, và giả định rằng độ
lớn của vận tốc trung bình của một hệ thống đám đông hỗn loạn là gần bằng không.
Petitjean et al. [30] đã tính toán nó như là trung bình của cos( 𝜙𝑖 ) điều kiện 𝜙𝑖 là
hướng chuyển động của mỗi cá nhân i. Những đo lường như vậy không thể đối phó
với những chuyển động đồng nhất với các cấu trúc Manifold (Tạm dịch: Đa nếp
gấp) như trong Hình 2.1 hoặc kết hợp của các mẫu vừa đồng nhất vừa hỗn tạp.

Hình 2.1: Minh họa cho những chuyển động đồng nhất của đàn cá, đàn cừu, đàn chim và
đám đông người chạy bộ trên cấu trúc đa nếp gấp (Manifold).

2.2. Phân tích chuyển động đồng nhất trong thị giác máy tính
Trong thị giác máy tính, rất nhiều công trình đã được nghiên cứu về việc học các
mẫu chuyển động toàn cục liên quan đến các hành vi đám đông [3], [6], [7], [14],
[43], [46], [49], [55], [64], [65], [66], dò tìm chuyển động liền mạch hoặc không
liền mạch từ các cụm đám đông [1] , [4], [16], [28], [37], [53], [54], [59], [60], [61],
và phân tích những tương tác giữa các cá nhân trong đám đông [12], [29], [42],
[45], [52], [56], [57], [63]. Một đánh giá ngắn gọn được đưa ra như bên dưới.
Hiện đã có một lượng đáng kể các công trình về việc học các mẩu chuyển động của
các hành vi đám đông. Ali et al. [49] và Lin et al. [14], [15] đã mô hình hóa các
luồng đám đông với Lagrangian Coherent Structures (Tạm dịch: Cấu trúc liên kết
Lagrangian) hoặc đại số Lie (Lie algebra) dựa trên các vùng lưu lượng đã tính toán.
17


Mehran et al. [46] đã đề xuất một đại diện streakline cho các luồng đám đông.Với
chủ đề các mô hình, Wang et al.[66] đã khám phá sự xảy ra liên tục của các điểm
ảnh chuyển động để học các mẩu chuyển động trong đám đông. Chủ đề các mô hình
được bổ sung bằng cách thêm sự phụ thuộc không gian-thời gian (Spatio-Temporal)
giữa các mẩu chuyển động [43], [55]. Một vài hướng tiếp cận [3], [6], [7], [64], [65]
học các mẩu chuyển động thông qua việc gom cụm các quỹ đạo (Trajectory) hoặc
tracklets trong cảnh đông đúc. Ví dụ, Zhou et al. [7] đã dùng một sự kết hợp của các
hệ thống động để học hành vi người đi bộ và áp dụng nó để mô phỏng đám đông.
Tuy nhiên, không có hướng tiếp cân nào kể trên đã đo lường tính đồng nhất của các
hành vi đám đông hoặc khai thác các ứng dụng tiềm năng của nó.
Trong khi đó, việc dò tìm các hành vi (bất thường) dính liền và rời rạc trong đám
đông là những mối quan tâm lớn trong việc theo dõi và quản lý đám đông. Rabaud
et al. [60] và Brostow et al. [16] đã dò tìm các chuyển động độc lập để đếm các đối
tượng di chuyển. Zhou et al. [4] đã đề xuất một phương pháp dựa trên đồ thị để dò
tìm các chuyển động liền mạch từ các tracklet. Brox et al. [54] đã mở rộng cụm
quan phổ (Spectral Clustering) để gom nhóm các quỹ đạo dày đặc dài (Long-term

Dense Trajectories) cho phân đoạn của các đối tượng chuyển động trong video. Các
phương pháp dò tìm chuyển động liền mạch này trích xuất và gom cụm các mục
tiêu chuyển động đồng nhất từ các điểm di chuyển ngẫu nhiên. Một số phương pháp
đã được đề xuất để mô hình hóa các biến đổi không gian-thời gian cục bộ cho việc
dò tìm tính bất thường với kết cấu động [1], [59], HMM [28], sự phân bổ của năng
lượng hướng không gian–thời gian (Distributions of Spatio-temporal Oriented
Energy) [37], những bất biến hỗn loạn (Chaotic Invariants) [53], và các bộ mô tả
chuyển động cục bộ (Local Motion Descriptors) [61]. Những phương pháp này là
cảnh cụ thể và những đặc trưng hoặc mô tả của chúng không thể được sử dụng để so
sánh các video đám đông được bắt từ những cảnh khác nhau.
Các cá nhân trong các nhóm xã hội có cùng đích đến và mối quan hệ gần gũi hơn.
Họ có nhiều khả năng để hình thành những hành vi tập thể hơn. Để phân tích các
tương tác và ảnh hưởng xã hội giữa những người đi bộ, các mô hình lực lượng xã
hội, lần đầu tiên được đề xuất bởi Helbing et al. [12] cho sự mô phỏng đám đông,
18


đã được giới thiệu đến cộng đồng thị giác máy tính gần đây và đã được áp dụng cho
việc theo vết nhiều mục tiêu (Multi-target Tracking) [42] và dò tìm tính bất thường
(Abnormality Detection) [45]. Ge et al. [63] đã đề xuất một phương pháp gom cụm
phân cấp để dò tìm nhóm và Chang et al. [33] đề xuất một chiến lược ngẫu nhiên để
nhẹ nhàng gán các cá nhân thành các nhóm. Moussaid et al. [35] đã biến đổi các mô
hình lực lượng xã hội để giải thích cho sự ảnh hưởng của các nhóm xã hội. Lan et
al. [57] đã phân tích các hành vi cá nhân bằng cách xét bối cảnh của các nhóm xã
hội với các mô hình phân cấp. Gần đây Kratz et al. [29] đã đề xuất cách hiệu quả để
đo lường sự khác biệt giữa chuyển động thực tế và chuyển động ý định của người đi
bộ trong đám đông để theo dõi và dò tìm tính bất thường.
Trong đồ họa máy tính, mô phỏng các hành vi đồng nhất của các đám đông ảo đã
thu hút nhiều sự chú ý do tính ứng dụng rộng rãi của nó đến giải trí kỹ thuật số, đào
tạo khẩn cấp, và quy hoạch đô thị. Một cuộc khảo sát gần đây có thể được tìm thấy

trong [40]. Các Agent-based Model thì thường được sử dụng để mô hình hóa các
hành vi phức tạp của đám đông [9], [13], [27]. Các công trình ảnh hưởng mạnh của
Reynolds [9] đã chứng minh các cụm nổi bật và các hành vi đồng nhất khác bằng
cách sử dụng các quy tắc cục bộ đơn giản. Các Flow-based model đã được sử dụng
để mô phỏng các luồng di chuyển và hoạt động đám đông [47]. Một hướng tiếp cận
có thể học các thông số mô hình từ dữ liệu thực tế của các di chuyển của đám đông
sau đó mô phỏng đám đông [2]. Gần đây một độ đo lý thuyết-thông tin đã được đề
xuất để đo lường sự tương đồng của các kết quả giữa di chuyển của đám đông thực
và ảo [51]. Nó thì liên quan đến việc đo lường tính đồng nhất của phương pháp
State-of-The-Art. Thay vì trực tiếp so sánh sự di chuyển của đám đông như [51],
trước tiên chúng ta tính toán tính đồng nhất của một đám đông đơn, sau đó so sánh
tính đồng nhất của các đám đông khác. Nó sẽ rất thú vị để tích hợp hai phép đo này
trong tương lai để ước lượng chéo tính đồng nhất đám đông.

19


CHƯƠNG 3.

PHƯƠNG PHÁP ĐO LƯỜNG TÍNH ĐỒNG

NHẤT TRONG CHUYỂN ĐỘNG
Chương 3 trình bày tổng thể về các khái niệm cơ sở để phục vụ cho việc đo lường
tính đồng nhất trong chuyển động cũng như cách đo lường thuộc tính này và hạn
chế trong phương pháp của Zhou et al. [5].
Nội dung chính của chương được phân bố như sau:
 Các khái niệm cơ sở phục vụ cho phương pháp đo lường tính đồng nhất của
Zhou et al. [5].
 Phương pháp đo lường tính đồng nhất của Zhou et al. [5].
 Các hạn chế trong phương pháp của Zhou et al. [5].

3.1. Khái niệm cơ sở
Video:
Một đoạn video là một tập hợp gồm nhiều khung hình (frame) đặt liên tiếp nhau để
tạo nên sự chuyển động. Một khung hình có thể xem như là một ảnh tĩnh. Có nhiều
chuẩn video khác nhau, mỗi chuẩn có số khung hình khác nhau. Ví dụ: Tiêu chuẩn
PAL (Châu Âu, Châu Á, Úc…) và SECAM (Pháp, Nga…) là 25 khung
hình/giây,trong khi tiêu chuẩn NTSC (USA, Canada, Nhật Bản…) là 29,97 khung
hình. Tỷ lệ khung hình tối thiểu để tạo nên ảo giác một hình ảnh chuyển động là
khoảng mười sáu khung hình mỗi giây. Ngoài ra, việc nhận dạng và phân tích hành
vi của đối tượng trên một video không chỉ đơn thuần là xét từng khung hình riêng
biệt mà nó còn xét trên khía cạnh mối liên hệ của nhiều khung hình đặt liên tiếp
nhau theo thời gian.
Camera giám sát:
Camera giám sát là các loại máy quay video được sử dụng cho mục đích quan sát
một khu vực. Chúng thường được kết nối với một thiết bị thu (âm thanh, hình ảnh)
hoặc mạng IP, và có thể được theo dõi bởi nhân viên an ninh hoặc viên chức thi
hành luật của nhà nước.

20


Video giám sát: Các video thu được từ camera giám sát.
Đặc trưng chuyển động: Những thông tin về vị trí (x, y) của các cá nhân.
Trích xuất đặc trưng chuyển động:
Là việc trích xuất những thông tin chuyển động của các cá nhân qua nhiều khung
hình liên tiếp. Trong luận văn này học viên đã sử dụng KLT-Tracker từ [8] để trích
xuất các đặc trưng chuyển động. Tập các đặc trưng chuyển động đã được trích xuất
có thể được biểu diễn như sau:
X = {𝑥𝑦𝑖 }𝑛𝑖=1

(3.1)

Với:
 𝑥𝑦𝑖 : Tập chứa thông tin vị trí của các cá nhân trong đám đông tại thời điểm 𝑖
(Hình 3.1).

Hình 3.1: Tập X bao gồm tất cả các cá nhân trong tập 𝑥𝑦 tại 3 thời điểm t = {1, 2, 3}. Mỗi
một cá nhân trong tập 𝑥𝑦 tại từng thời điểm sẽ bao gồm đặc trưng chuyển động của chúng.

Chuyển động đồng nhất (Collective Motion):
Chuyển động đồng nhất là một trong những hiện tượng được quan sát nhiều trong
tự nhiên và tồn tại trong nhiều đám đông khác nhau. Trong một đám đông, chuyển
21


động đồng nhất thể hiện cho những hành vi của các cá nhân thành phần. Một ví dụ
điển hình là sự chuyển động cuộn tròn của đàn cá dưới áp lực của những kẻ săn mồi
hay chuyển động vòng cung như nhóm người chạy điền kinh (Hình 3.3).
Tính đồng nhất (Collectiveness): Theo Zhou et al. [5] gồm 2 loại
 Tính đồng nhất cá nhân (Individual Collectiveness): Tính đồng nhất cá nhân
được hiểu như là sự nhất quán hành vi của một cá nhân với tất cả cá nhân
khác trong cùng một đám đông.
 Tính đồng nhất đám đông (Crowd Collectiveness): Được hiểu là mức độ hoạt
động của các cá nhân như một tập thể (Union) trong đám đông.

Hình 3.2: Hình A minh họa cho sự hỗn loạn của đám đông trong chuyển động, các cá nhân
trong đám đông di chuyển tự do theo nhiều hướng mà không có một sự nhất quán nào.
Hình B minh họa cho sự đồng nhất trong chuyển động, các cá nhân di chuyển nhất quán
theo một hướng. Trong hình B cá nhân màu đỏ có tính đồng nhất cá nhân thấp do chuyển

động khác hướng với đám đông.

Collective Manifold (Tạm dịch: Đồng nhất đa nếp gấp):
Là chuyển động đồng nhất dựa trên Spatially Coherent Structures (Tam dịch: Các
cấu trúc liên kết không gian) như chuyển động vòng cung trong đám đông người,
đàn cá và đàn vi khuẩn (Hình 3.3).

22


Hình 3.3: Minh họa cho sự đồng nhất đa nếp gấp. Hình được sắp xếp theo thứ tự từ trái qua
phải là những chuyển động đồng nhất của người, đàn cá, đàn vi khuẩn và cấu trúc liên kết
không gian. Nguồn: Hình được trích dẫn từ [5].

3.2. Thách thức của bài toán đo lường tính đồng nhất
Việc đo lường tính đồng nhất vô cùng thách thức do sự đa dạng của đối tượng
chuyển động, loại chuyển động, che khuất, chất lượng của video giám sát cũng như
sự tồn tại của dữ liệu theo vết nhiễu (Hình 3.4).

23


Hình 3.4: Minh họa cho các trường hợp thách thức của việc đo lường tính đồng nhất với
các dạng chuyên động như chuyển động tự do trong các video hàng đầu, dạng vòng cung
trong video người chạy ma-ra-tông ở hàng 2, dạng sóng trong video người chạy bộ cùng
hướng nhìn ở hai video sau, chuyển động đồng nhất và chất lượng video thấp trong ba
video cuối cùng.

Hầu hết các công trình hiện tại đều chủ yếu tập trung vào mô hình và học hành vi
người đi bộ [7], [66] hay dò tìm các chuyển động đồng nhất từ các cụm đám đông

[4]. Một số khác thì tập trung vào việc phân tích hành vi đám đông trên các ứng
dụng giám sát như dò tìm hoạt động bất thường [59], phân tích vùng ngữ nghĩa [6].
Nhưng không có công trình nào kể trên tập trung vào việc đo lường định lượng tính
đồng nhất. Hướng tiếp cận State-of-The-Art của Zhou et al. [5] đã đề xuất được một
bộ mô tả dùng cho việc đo lường tính đồng nhất của đám đông nhưng theo các thực
nghiệm của học viên thì phương pháp này còn hạn chế dẫn đến sự thiếu chính xác
so với cảm nhận của con người đặt biệt trong các video chứa chuyển động dạng
sóng của người chạy bộ theo cùng hướng nhìn (video ở hàng 2, cột 2 trong Hình
3.4). Luận văn này hướng đến việc cải thiện độ chính xác của phương pháp trên.
24


3.3. Đo lường tính đồng nhất đám đông
3.3.1.

Sự nổi bật của Collective Manifolds trong các đám đông

Như trong Hình 3.3, từ những bầy đàn cấp thấp như vi khuẩn, cá, cừu cho tới những
đám đông người cấp cao đều hiện rõ lên một cấu trúc dính liền theo không gian thời gian hình thành từ những chuyển động đồng nhất của các cá nhân thành phần.
Chúng ta định nghĩa những cấu trúc đó như là đồng nhất đa nếp gấp (Collective
Manifold) của chuyển động đồng nhất. Có 2 thuộc tính mấu chốt của Collective
Manifold mà giúp phân biệt chuyển động đồng nhất với chuyển động tự do.
 Sự nhất quán hành vi trong vùng lân cận (Neighborhood): Các cá nhân lân
cận nhau có những hành vi nhất quán.
 Sự nhất quán toàn cục giữa các các cá nhân không lân cận: Mặc dù các cá
nhân thành phần có thể khác hành vi khi ở khoảng cách xa nhưng chúng có
sự tương quan với nhau bởi sự tương đồng hành vi thông qua các cá nhân
trung gian trong những vùng lân cận trên manifold.
Vì vậy những cá nhân trong một hệ thống đám đông điều phối những hành vi của
chúng trong vùng lân cận cục bộ, nhưng sự nhất quán hành vi giữa các cá nhân tại

một khoảng cách xa có thể có một số bất định, như là sự tương quan vận tốc thấp
giữa những cá nhân màu đỏ và màu xanh đã được minh họa như trong Hình 3.5.
Tính đồng nhất đám đông đo lường sự nhất quán hành vi toàn diện của Collective
Manifold. Trong khi đó, tính đồng nhất cá nhân đo lường sự nhất quán hành vi của
mỗi cá nhân với tất cả các cá nhân khác. Nhưng do sự bất định hành vi giữa những
cá nhân có khoảng cách xa làm cản trở việc ước lượng tính đồng nhất đám đông nên
chúng ta không thể đo lường trực tiếp tính đồng nhất cá nhân. Để xử lý vấn đề này,
chúng ta nghiên cứu sự nhất quán hành vi theo các đường (Path) trên Collective
Manifold. Vì vậy việc đo lường tính đồng nhất có thể được thực hiện theo một cách
từ dưới lên (Bottom-up): Từ sự nhất quán hành vi trong vùng lân cận của các cá
nhân tới sự nhất quán hành vi giữa các cặp cá nhân theo các đường trong đám đông,
từ tính đồng nhất cá nhân tới tính đồng nhất đám đông.
25