Ứng dụng xử lý ảnh để phát hiện, cảnh báo đám đông

1 HỘI NGHỊ TỔNG KẾT HOẠT ĐỘNG SINH VIÊN NGHIÊN CỨU KHOA HỌC VÀ NHÓM SRT NĂM HỌC 2019-2020

ỨNG DỤNG XỬ LÝ ẢNH ĐỂ PHÁT HIỆN, CẢNH BÁO ĐÁM ĐÔNG
DETECT AND ALERT THE CROWD USING IMAGE PROCESSING

SVTH: Đặng Sỹ Phi Hùng1, Nguyễn Duy Hà Sơn1, Nguyễn Hà Gia Hậu1, Trần Thanh Viện2,
Lê Nguyễn Hữu Phước2

1Lớp 17KTDT1, 2Lớp 17TDH1, Khoa Điện - Điện tử, Trường Đại học Sư phạm Kỹ thuật - Đại học Đà Nẵng

GVHD: ThS. Phạm Văn Phát
Khoa Điện - Điện tử, Trường Đại học Sư phạm Kỹ thuật - Đại học Đà Nẵng

Tóm tắt - Bài báo đề cập đến việc sử dụng kỹ thuật xử lý ảnh Abstract - The article mentions the using of image
để phát hiện, cảnh báo sự tụ tập đông người trong một phạm vi processing technology to detect and alert the gathering of people
cần giám sát. Nó sẽ phục vụ cho mục đích đảm bảo an tồn, in a monitored area. It will serve the purpose of safety, social
cách ly xã hội và đẩy lùi dịch bệnh Covid-19 trên thế giới. Trong isolation and prevention of Covid-19 around the world. In this
bài báo này, nhóm tác giả chọn phương pháp trừ nền – phát hiện paper, the authors chose the method of background subtraction -
tiền cảnh (Background Subtraction) để phát hiện và theo dõi đối foreground detection to detect and follow the movement of the
tượng người chuyển động từ một đoạn video được quay từ object from a video. As a result, counting the number of people in
camera tĩnh. Kết quả, đếm được số người trong mỗi khung hình. each frame. Compare results with pre-set conditions to give
So sánh kết quả với điều kiện được thiết lập sẵn để đưa ra cảnh warnings about people over allowed. Compare results with pre-
báo về số người vượt mức cho phép. Chương trình hoạt động set conditions to give an alert about the number of people in
cho kết quả chính xác khá cao nếu cho chạy thử nghiệm trong excess of the permitted area. The program works for fairly
các điều kiện ràng buộc [7 ]. accurate results if running the test under constrained conditions[7]

Từ khóa - xử lý ảnh, giản cách xã hội, phương pháp trừ nền, Key words - image processing, social distancing,
camera tĩnh, đám đông, ứng dụng matlab, background subtraction method, alert the crowd, matlab
application.

1. Đặt vấn đề cũng như những nghiên cứu về việc giám sát các đối

tượng nhằm hỗ trợ công tác quản lý dân cư, đô thị. Tuy
Với sự phát triển nhanh chóng của các loại máy móc nhiên những nghiên cứu này cịn riêng lẽ, chưa tích hợp
hiện đại như máy ảnh số, máy quay phim kỹ thuật số, máy được với nhau để tạo thành một hệ thống giám sát hồn
vi tính, điện thoại đi động… thì lượng thơng tin con người chỉnh và giá thành cho các ứng dụng thình cịn khá cao.
thu được dưới dạng hình ảnh là khá lớn. Trong thực tế
97% lượng thông tin mà con người thụ nhận qua thị giác Từ yêu cầu thực tế được đặt ra, trong bài báo này
đều bắt nguồn từ ảnh[6]. Để lượng thông tin này trở nên chúng tôi quan tâm đến việc xây dựng một hệ thống phát
có ích hơn con người cần phải tiến hành xử lý nó và từ đó hiện và theo vết (tracking) người từ dữ liệu video thu
tạo điều kiện cho sự phát triển không ngừng của các kỹ được thông qua hệ thống camera quan sát với sự hỗ trợ
thuật xử lý hình ảnh. Xử lý ảnh là một trong những công của kỹ thuật theo vết trong lĩnh vực thị giác máy tính
nghệ được ứng dụng rộng rãi hiện nay trong nhiều lĩnh (computer vision) là một điều cần thiết.
vực của đời sống xã hội. Không chỉ dừng lại ở việc xử lý 2. Phương pháp nghiên cứu
những vết nhòe, tái chế và phục hồi các ảnh cũ, ngày nay
công nghệ xử lý ảnh đã mang lại những tiến bộ vượt bậc Bằng phương pháp xây dựng cơ sở lý thuyết từ tìm
như nhận dạng vân tay, nhận dạng khuôn mặt, nhận dạng hiểu cách lập trình Matlab đến tìm hiểu phương pháp trừ
đối tượng khi nó kết hợp với lĩnh vực trí tuệ nhân tạo. nền (Background Subtractions)[4] để phát hiện đối tượng.

Bên cạnh đó, hệ thống camera quan sát ngày càng Sau đó, nghiên cứu đã được tiến hành phân tích và cài
được sử dụng một cách rộng rãi với mục đích hỗ trợ an đặt thực nghiệm để phát hiện, bám bắt và cảnh báo đối
ninh, giám sát cho các cửa hàng, công ty, ngân hàng,..v.v. tượng được theo dõi. Trong quá trình nghiên cứu, bài báo
Nhưng các camera này chỉ có khả năng để lưu giữ các dữ so sánh và đánh giá các kết quả thực hiện được.
liệu video và chúng ta cần tốn thêm chi phí để thuê các 3. Công nghệ camera số, video số:
nhân viên bảo vệ để quan sát và phát hiện khi có người
nào đó khả nghi, vượt cảnh báo quy định. Hình 1: Công nghệ camera số
Camera là một thiết bị ghi hình có thể ghi lại được
Hiện nay dịch CoVID-19 đang phát triển mạnh mẽ, những hình ảnh trong một khoảng thời gian nào đó, có
mặc dù Việt Nam đang dần kiểm soát được dịch bệnh khả năng lưu trữ các dữ liệu hình ảnh đó trong bộ ghi kỹ
nhưng các nước trên thế giới đang là sự đỉnh điểm và mất
kiểm soát của dịch, thế nên việc đảm bảo an toàn và cách
ly xã hội [3] là nhiệm vụ cấp thiết của mỗi cá nhân nói

riêng và cả cộng đồng nói chung [1].

Trên thới giới hiện nay cũng đã có những ứng dụng

Đặng Sỹ Phi Hùng, Nguyễn Duy Hà Sơn, Nguyễn Hà Gia Hậu, Trần Thanh Viện, Lê Nguyễn Hữu Phước 2

thuật số và mạng internet. 5. Mơ hình hoạt động

Dựa vào các đặc tính mà camera được phân loại gồm:

 Phân loại theo kỹ thuật hình ảnh.
 Phân loại theo đường truyền.
 Phân loại theo tính năng sử dụng.

Video là thuật ngữ dùng để chỉ nguồn thơng tin hình Matlab
ảnh trực quan (pictorial visual information), bao gồm một
chuổi các ảnh tĩnh (static image) liên tiếp nhau và được process Có quá
theo chiều thời gian. Các thông số cơ bản của video số
bao gồm: nhiều

 Video rate (tốc độ xử lý). người
 Khung hình video.
 Field của khung hình. Hình 3: Mơ hình hoạt động đang q
 Định dạng HD và SD. quy định ở

Để xác định được số lượng đối tượng nđâgyười trong
khung hình, phương pháp thực hiện được trình bày trong

sơ đồ:

Trong nghiên cứu để xử lý các video số cần phải quan
tâm đến các thông số hóa hình ảnh là: Pixcel, độ phân
giải, thơng số màu.

Các định dạng video số thông dụng trên máy tính là:
AVI (Audio Video Interleave), MP4, …

Hình 2: Video số Hình 4: Mơ tả cài đặt thuật toán

4. Kĩ thuật trừ nền phát hiện đối tượng 5.1. Khởi tạo background

Trong bối cảnh ứng dụng là một camera tĩnh (static Để tìm đối tượng chuyển động sử dụng phương pháp
camera) quan sát vùng (Field of View) không thay đổi, trừ nền, bước đầu tiên ta phải xây dựng mô hình
thao tác trích xuất chuyển động (motion detection) từ background tại thời điểm bắt đầu của video. Giả sử trường
video là thủ tục nền rất quan trọng trong nhiều ứng dụng hợp tại thời điểm bắt đầu khơng có đối tượng di chuyển.
phân tích video hiện nay. Gọi BM(x,y) là giá trị tại pixel (x,y) của background [4].

Mục tiêu của xử lý này là làm sao tách bạch được đâu 5.2. Trừ nền
là vùng chuyển động (motion, foreground) đâu là nền
(background) trong vùng không gian camera đang theo Sau khi thu được background từ bước khởi tạo, cần
dõi. Trong nhiều kĩ thuật thì Background Subtraction là tìm ra sự khác nhau giữa khung hình hiện tại và
một nhóm các giải pháp có thể giúp giải quyết vấn đề này background.
đang được sử dụng phổ biến. Ý tưởng chính của
Background subtraction là trước tiên đi xác định mơ hình Dt(x,y) = | It(x,y) – BMt-1(x,y) |
background (một hình, một tập tham số, hay một cơng Với – BMt-1(x,y) là cường độ của pixel(x,y) của
thức có khả năng mơ tả background) qua từng khung hình background tại thời điểm t-1, và It(x,y) là cường độ của
(frame) trong chuỗi các khung hình tuần tự của video, sau
đó dựa vào giá trị pixel của khung hình hiện tại mà tính
tốn sự khác biệt để suy ra foreground [5].

Kĩ thuật trừ nền: Để phát hiện ra được các đối tượng
chuyển động trong video chúng ta phải có được mơ hình
nền (background). Mơ hình nền này có thể được học qua
nhiều frame ảnh nếu nền bị thay đổi, ngược lại ta có thể
chọn một nền có sẵn nếu nền khơng bị thay đổi. Sau đó, ta
sẽ dùng mơ hình nền này để so sánh với frame ảnh hiện
tại và kết quả là ta sẽ nhận biết được đâu là vùng phần
nền, đâu là các phần chuyển động.

3 HỘI NGHỊ TỔNG KẾT HOẠT ĐỘNG SINH VIÊN NGHIÊN CỨU KHOA HỌC VÀ NHÓM SRT NĂM HỌC 2019-2020

pixel(x,y) trong khung hình hiện tại tại thời điểm t.
Sư khác biệt giữa D(x,y) được so sánh với một

ngưỡng Threshold để phân loại giữa foreground và
background. Nếu Dt(x,y) < Threshold thì pixel đó thuộc
về background, ngược lại thì pixel đó thuộc về
foreground.

5.3. Cập nhật background

Vì do các yếu đố động của background như độ sáng, Hình 6: Chương trình thiết kế
độ tương phản, các yếu tố ngoại cảnh như bóng mây, cây
cối. Nên các background phải liên tục cập nhật mỗi khi
nhảy qua frame mới.

6. Cài đặt chương trình hệ thống Từ dữ liệu video, chương trình cung cấp một các chức
năng sau:
Chương trình được xây dựng trên Matlab GUI, bất kì
máy tính nào có cài đặt Matlab đều có thể sử dụng được.  Thực hiện cảnh báo bằng âm thanh để thơng báo

Giao diện có các chức năng chọn file video cần xử lí, cho người dùng khi phát hiện số người chuyển
chọn ngưỡng để phân biệt foreground với background, động vượt mức hạn chế trong video.
cùng với chức năng cảnh báo khi quá giới hạn số người
cho phép.  Hệ thống cung cấp chức năng phát hiện người
chuyển động và đếm số người đang hiện diện trong
khung hình

Hình 5: Lập trình GUI trong matlab  Ngay khi phát hiện có người đang di chuyển trong
video, bộ đếm của chương trình sẽ hoạt động
[7] Tuy nhiên, để chương trình có thể hoạt động và
cho kết quả chính xác thì cần phải thỏa mãn một số điều 8. Kết luận
kiện sau:
 Tìm hiểu được các thuật toán về phát hiện chuyển
 Nền của video không được thay đổi động bằng phương pháp trừ nền: Frame Differrence,
 Camera được dùng để quay video phải đặt ở vị trí Running Gausian Average và Codebook. Tìm hiểu được
cách thức đếm được số lượng người ra vào trong một
cố định, ở phía trên cửa ra vào và khoảng cách với video.
người duy chuyển khoảng 1.5m đến 2m đối với
chức năng đếm người trong khung hình  Về cơ bản, đề tài đã hoàn thành được các chức
 Ánh sáng trong video phải ổn định, không quá tối năng được đặt ra như yêu cầu ban đầu như:
hoặc quá sáng thì các chức năng sẽ làm việc chính
xác hơn  Phát hiện được phần chuyển động qua từng
 Chương trình sẽ làm việc chính xác hơn với các frame của video.
video màu.  Hoàn thành chức năng cảnh báo người bằng
cách sử dụng âm thanh.
7. Kết quả đạt được  Hoàn thành được chức năng đếm số người ra
vào một khu vực nhất định từ dữ liệu video thu
Trong chương trình mà ta thiết kế, dữ liệu được xử lý được thơng qua camera, giúp ích cho việc thống
sẽ là đoạn video được quay từ một camera tĩnh, ghi lại với kê, giám sát, phát hiện và cảnh báo những khu vực
chuẩn AVI với điều kiện ánh sáng tốt và nền không thay có đơng người đang tập trung. Phù hợp cho công

đổi. Nếu dữ liệu được dùng cho việc cảnh báo người hoặc tác chống dịch Covid-19 thực tế hiện nay.
theo vết khuôn mặt thì camera sẽ được đặt trước cần quan  Sử dụng thành công các công cụ phục vụ cho
sát sao cho có thể thu được các khn mặt từ phía trước việc xử lý video như Motion Video, FLV
(khoảng cách từ camera đến khuôn mặt khoảng 2-5m). Converter để chuyển đối các định dạng video khác
Nếu dữ liệu được dùng cho việc đếm số người thì camera nhau về định dạng AVI để dễ dàng cho việc thao
được đặt với một khoảng cách cố định (khoảng 2m) so tác.
với nền nhà tại vị trí lặp đặt thiết bị theo dõi.
So sánh với các nhu cầu khác hiện nay, cho thấy bài
báo của nhóm tác giả sẽ có tính ứng dụng với phạm vi
rộng trong đời sống xã hội khác ngoài hạn chế, chặn sự
bùng dịch Covid-19, ví dụ như: Thống kê, giám sát số
lượng người trong các cửa hàng, tòa nhà, đường phố, khu

Đặng Sỹ Phi Hùng, Nguyễn Duy Hà Sơn, Nguyễn Hà Gia Hậu, Trần Thanh Viện, Lê Nguyễn Hữu Phước 4

vui chơi, giúp giảm chi phí thuê người giám sát với hiệu  Mở rộng thêm thuật tốn Camshift để có thể theo
dõi được nhiều đối tượng trong video cùng lúc và
quả khá cao trong việc phát hiện đối tượng chuyển động. thực hiện đếm được tổng số người xuất hiện trong
video thông qua chức năng này.
Bên cạnh những kết quả đã đạt được, đề tài vẫn cịn có
một số hạn chế cần phải được khắc phục như:  Xây dựng cơ sở dữ liệu giúp nhận dạng nhiều đối
tượng một cách tự động thông qua khuôn mặt.
 Tốc độ xử lý của chương trình cịn chậm khi xử lý
những video có độ phân giải cao và kích thước lớn.  Lấy dữ liệu video trực tiếp từ camera số làm nguồn
để chương trình xử lý. Tăng tính thời gian thực
 Chức năng đếm số người chỉ đếm dựa trên sự di (Real time) để hệ thống thêm tối ưu nhất.
chuyển của các đối tượng chuyển động ra vào,
không phân biệt đó là người hay là vật.  Phát triển nhiều nghiên cứu ứng dụng xử lý ảnh
mới, mang tính kế thừa của bài báo lần này mang
Hướng phát triển: Trong quá trình thực hiện nghiên tính khả thi trong phạm vị ứng dụng rỗng rãi hơn.

cứu, do những hạn chế về trình độ và thời gian thực hiện
có hạn, chương trình được xây dựng chỉ là phần demo các Tài liệu tham khảo
thuật toán phát hiện chuyển động và theo vết đối tượng
dựa vào video. Để triển khai trong thực tế nó địi hỏi cần [1] COVID-19 Research and Development with MATLAB and
phải cải tiến hơn nữa. Hy vọng trong tương lai, những
phát triển dưới đây sẽ giúp bài báo hoàn thiện hơn. Simulink, 2020,

 Kết hợp việc phát hiện khuôn mặt với việc phát /> hiện mắt, phát hiện hình dáng của con người.
development.html
 Xây dựng được thuật toán cải thiện chất lượng của
video như loại trừ nhiễu, loại trừ bóng mờ và tối ưu [2] Butler D., Sridharan S. Real-Time Adaptive Background
hóa các thuật tốn để tăng tốc độ của chương trình.
Segmentation, ICASSP 2003, 2003.
 Hỗ trợ các tùy chọn giúp người dùng có thể điều
chỉnh khoảng cách giữa camera và đối tượng tùy [3] The end of social confinement and COVID-19 re-emergence risk,
thuộc vào cấu trúc của vị trí mà họ sử dụng để đặt
camera quan sát. 2020, />
 Xử lý được việc che lấp đối tượng nhắm tạo kết [4] Background-Subtarctions,2019
quả chính xác cao hơn cho cho chức năng theo dõi
khuôn mặt người. />
[5] Maddalena L., Petrosino A. A self organizing approach to

background subtraction for visual surveillance applications, IEEE

Transactions on Image Processing, Volume17, No. 7, pages 1729–

1736, 2008 [334]Bouwmans T. Subspace Learning for Background

Modeling: A Survey, Recent Patents on Computer Science, Volume

2, No 3, pages 223-234, November 2009.

[6] Kỷ yếu hội thảo quốc gia, Một số vấn đề chọn lọc của công nghệ

thông tin, Nhà xuất bản khoa học và kỹ thuật, tháng 8-2005