Hệ thống xử lý ảnh

Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera

SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG

1





PHẦN MỞ ĐẦU

Trong thời đại ngày nay công nghệ thông tin hầu như đã thâm nhập vào toàn
bộ các lĩnh vực của đời sống xã hội. Xã hội ngày càng phát triển nên đòi hỏi
về nhu cầu về công nghệ thông tin ngày càng cao, vì vậy mà dữ liệu số không
còn xa lạ đối với mọi người. Trong mọi lĩnh vực các ứng dụng công nghệ
thông tin đã trợ giúp con người rất nhiều.
Hiện nay, thông tin hình ảnh đóng vai trò rất quan trọng trong trao
đổi
thông tin, bởi phần lớn các thông tin mà con người thu nhận được đều thông
qua thị giác. Trong lĩnh vực công nghệ thông tin thì lĩnh vực giám sát tự động
đã và đang thu hút được nhiều sự nghiên cứu. Cùng với sự phát triển của sức
mạnh máy tính, các hệ thống giám sát tự động ngày càng tinh vi và hiện đại
đã trợ giúp con người rất nhiều trong việc bảo vệ an ninh, giám sát giao
thông, …
Ở nước ta hiện nay, lĩnh vực giám sát tự
động cũng đã có những bước
phát triển đáng kể. Tuy nhiên, nó chỉ mới dựa trên nền tảng là phần cứng và
cũng chưa được ứng dụng nhiều trong thực tế vì điều kiện kinh tế xã hội. Việc
giải quyết bài toán này theo hướng tiếp cận sử dụng phần mềm chưa được
quan tâm phát triển. Do vậy em nghiên cứu đề tài: “Phát hiện đối tượng đột

nh
ập dưới sự trợ giúp của Camera”. Một trong những bài toán then chốt của
kĩnh vực giám sát tự động, trong khuôn khổ của đồ án em tập trung trình bày
về các kỹ thuật trừ ảnh và ứng dụng các kỹ thuật này để giải quyết bài toán
Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera

SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG

2
phát hiện đối tượng đột nhập thông qua WebCam. Nội dung của đồ án gồm
các chương sau:

Chương 1: Tổng quan về một hệ thống xử lý ảnh
Chương 2: Phát hiện đối tượng đột nhập
Chương 3 : Chương trình ứng dụng

Chương 1: TỔNG QUAN VỀ MỘT HỆ THỐNG XỬ LÝ ẢNH

1.1. TỔNG QUAN VỀ MỘT HỆ THỐNG XỬ LÝ Ả
NH
1.1.1. Xử lý ảnh là gì?
Xử lý ảnh là quá trình thu nhận ảnh nhằm biến đổi từ ảnh này sang
ảnh khác cho ra kết quả như mong muốn

Hình 1.1: Quá trình xử lý ảnh


1.1.2. Tổng quan về một hệ thống xử lý ảnh







Xử lý ảnh
Ảnh mong muốn
Kết luận
Ảnh đầuvào
Kết quả
CSDL
CAMERA
SENSOR
Thu nhận
ảnh
Tiền
xử lý
Đối
sánh
Trích chọn
đặc trưng
Kết quả
Hình 1.2: Các giai đoạn chính trong xử lý ảnh
Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera

SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG

3






1.1.3. Các vấn đề cơ bản trong xử lý ảnh
1.1.3.1. Một số khái niệm
• Pixel (Picture Element): phần tử ảnh
• Ảnh
• Mức xám(Grey Level)
• Lược đồ mức xám(Histogram)
1.1.3.2. Thu nhận ảnh
Để đưa ảnh vào trong máy tính chúng ta có thể dùng các thiết bị thu
nhận như: camera cộng với bộ chuyển đổi tương tự số AD(Analog to Digital)
hoặc máy quét chuyên dụng.
1.1.3.3. Biểu diễn ảnh
Sau quá trình số hoá ta s
ẽ thu được một ma trân tương ứng với ảnh cần
xét, mỗi phần tử của ma trận tương ứng với một điểm ảnh. Các điểm này
thường được đặc trưng bởi toạ độ màu RGB tương ứng với nó trong hệ toạ độ
màu cơ bản sau:

B
255 255
R
I
i
(R,G,B)
B
Th
i
(R,G,B)B
μ
i
(R,G,B)B
255
G
Hình 1.4:Hệ toạ độ màu RGB.

Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera

SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG

4



Ảnh có thể được biểu diễn theo một trong hai mô hình sau:

• Mô hình RASTER:
Ảnh được biểu diễn dưới dạng ma trận các điểm ảnh. Mô hình
RASTER phù hợp cho việc thu nhận và hiển thị ảnh.
• Mô hình VECTOR:
Người ta sử dụng hướng vector của các điểm ảnh lân cận để mã
hoá và tái tạo ảnh ban đầu.
Khi xử lý các ảnh Raster chúng ta có thể quan tâm Điểm 4- láng giềng và
điểm 8 láng gi
ềng:





1.2. TỔNG QUAN VỀ VIDEO
1.2.1.Một số khái niệm
Video là một tập hợp các khung hình(Frames), mỗi khung hình là một ảnh.
Shot(lia) là một đơn vị cơ sở của video. Một lia là một đơn vị vật lý
của dòng video, gồm chuỗi các khung hình liên tiếp, không thể chia nhỏ hơn.
Scene(cảnh) là các đơn vị logic của dòng video. Cấu trúc phân cấp của
video được mô tả trong hình vẽ:





. . . . .
· • • • ·
· • o • ·
· • • • ·

. . . . .

.

.

.

.

.
· · • · ·
· • o • ·
· ·

• · ·
.

.

.

. .

Hình 1.5: Điểm 4 - láng giềng và 8 - láng giềng
Hình 1.6: Cấu trúc phân cấp của video

Video

Scene

Shots

Lia

Frame
Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera

SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG

5





1.2.2.Một số thuộc tính đặc trưng của video
Video có 4 đặc tính chung là: màu(color), kết cấu(texture), hình
dáng(shape), chuyển động(motion).
1.2.2.1. Màu(Color)
Màu là một thuộc tính đặc trưng của ảnh. Biểu đồ màu, biểu diến sự
phân bố màu, là một đặc trưng màu phổ biến nhất hiện nay. Biểu đồ màu
không phụ thuộc vào sự quay, dịch chuyển ảnh cũng như chiều nhìn ảnh. Tuy
nhiên với biểu đồ màu không biể
u diễn thông tin về không gian phân bố các
điểm ảnh, do đó hai điểm ảnh có cùng biểu đồ màu có thể lại có nội dung
khác nhau.

Hình 1.8: Các ảnh khác nhau nhưng có cùng biểu đồ
r
k
Dark image
Bright image
Low-contrast image
High-contrast image
(a) (b)
(c) (d)
P(r
k
)
P(r
k
)
P(r
k
)
P(r

k
)
r
k
r
k
r
k
Hình 1.9: Các ảnh khác nhau nhưng có cùng biểu đồ
Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera

SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG

6





1.2.2.2. Kết cấu (Texture)
Đây là một đặc trưng quan trọng của bề mặt, nơi xảy ra việc lặp lại
mẫu cơ bản. Có hai dạng biểu diễn texture phổ biến đó là : biểu diễn dạng ma
trận đồng thời và biểu diễn Tamura.
1.2.2.3. Hình dáng (Shape)
Các đặc trưng hình dánh có thể được biểu diễn sử dụng phân tích
truyền thống như
bất biến mômen, mô tả Fourier, mô hình học tự động quay
lui, và các thuộc tính hình học.
1.2.2.4. Chuyển động (Motion)
Motion là một thuộc tính quan trọng của video. Thông tin về chuyển

động có thể được sinh ra bằng các kỹ thuật ghép khối hoặc luồng ánh sáng.

Chương 2: PHÁT HIỆN ĐỐI TƯỢNG ĐỘT NHẬP

Có 2 cách tiếp cận chính để giải quyết bài toán phát hiện đối tượng đột
nhập đó là:
-Dựa hoàn toàn vào phần cứ
ng.
-Dựa vào các kỹ thuật xử lý ảnh.
2.1. BÀI TOÁN PHÁT HIỆN ĐỐI TƯỢNG ĐỘT NHẬP
Sự phát triển của công nghệ thông tin đẩy nhanh sự phát triển của các
lĩnh vực xã hội khác. Với sự phát triển của phần cứng cả về phương diện thu
nhận và hiển thị cũng như tốc độ xử lý đã mở ra nhiều phương hướng cho sự
phát triển phần m
ềm. Trong đó phải kể đến lĩnh vực giám sát tự động.
Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera

SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG

7
Một trong những bài toán quan trọng và then chốt là bài toán phát hiện
đối tượng đột nhập dưới sự trợ giúp của camera.
Ở nước ta hiện nay, việc giải quyết bài toán phát hiện đối tượng đột
nhập còn chủ yếu dựa vào phần cứng và chưa được ứng dụng nhiều trong
thực tế. Trong phần tiếp theo chúng ta sẽ tìm hiểu từng cách tiếp cận để giải
quyết bài bài toán này.
2.2. PHÁT HIỆ
N ĐỐI TƯỢNG ĐỘT NHẬP DỰA VÀO PHẦN CỨNG
Trong cách tiếp cận này các hệ thống giám sát tự động này thường sử
dụng các camera có gắn chip cảm ứng và đặt tại các nơi nhạy cảm hoặc sử

dụng hệ thống các tia quét. Mỗi camera có thể được gắn với các thiết bị báo
động, khi phát hiện thấy có biến động thì nó sẽ tự động báo động.
Ưu điểm c
ủa hướng tiếp cận sử dụng phần cứng là cho độ chính xác và
độ tin cậy cao, tốc độ xử lý nhanh. Tuy nhiên nó có một nhược điểm là chi phí
cho một hệ thống giám sát có thể rất lớn không phù hợp với mức thu nhập của
người Việt Nam hiện nay.

2.3. PHÁT HIỆN ĐỐI TƯỢNG ĐỘT NHẬP DỰA VÀO CÁC KỸ THUẬT
XỬ LÝ ẢNH
Ta có thể sử dụng nhiều kỹ thuật xử lý ảnh khác nhau để phát hiện ra
đối tượng đột nhập như sử dụng phép trừ nền (background subtraction), dò
biên (edge detection),…
2.3.1 Các kỹ thuật trừ ảnh
Ký hiệu D(f
1
, f
2
) là sự sai khác nhau giữa hai khung hình f
1
,f
2
. Sự sai
khác này lớn hơn một ngưỡng nào đó sẽ xác định được có đối tượng chuyển
động giữa hai khung hình. Sự thay đổi trên khung hình được tính toán trên
một đặc trưng nhất định. Người ta thường dùng đặc trưng là nội dung màu
sắc, là biểu đồ (biểu đồ màu, biểu đồ mức xám), hoặc đôi khi là cạnh, vector
chuyển động, góc hay kết cấu (texture).
Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera

SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG

8
Như vậy khi thực hiện việc phát hiện có sự biến động giữa các khung
hình, trước hết ta phải xác định đặc trưng mang ra so sánh, thứ hai là xác định
công thức trừ ảnh D, và cuối cùng là quyết định ngưỡng sai khác T
b
. Giá trị
ngưỡng này thường được xác đinh trước. Hoặc đôi khi người ta cũng dùng
ngưỡng thích ứng. Chỉ những sai khác lớn hơn ngưỡng T
b
mới được xem xét
và xử lý.
Hiện nay có nhiều kỹ thuật trừ ảnh và có thể chia thành 5 loại như sau:
- Trừ ảnh dựa vào điểm ảnh.
- Trừ ảnh dựa vào khối.
- Trừ ảnh dựa vào biểu đồ.
- Trừ ảnh dựa vào đặc trưng.
- Trừ ảnh dựa vào thống kê.
Để thống nhất chúng ta gi
ả sử xét hai ảnh I
1
và I
2
có cùng kích thước.
Trừ hai ảnh I
1
và I
2
là thực hiện việc tính toán sự sai khác giữa hai ảnh đó.

2.3.1.1 Kỹ thuật trừ ảnh dựa vào điểm ảnh
Phương pháp đơn giản nhất để trừ hai khung hình là tính giá trị biểu
diễn sự chênh lệch tổng cộng về cường độ của tất cả các điểm ảnh tương ứng
trên hai khung hình:

() () ()
∑∑
−
=
−
=
−
×
=
1
0
21
1
0
21
,,
1
,
Y
y
X
x
yxfyxf
YX

ffD


So sánh giá trị tìm được với ngưỡng chuyển cảnh T
b
để xác định xem
có chuyển cảnh hay không.
Kỹ thuật trừ ảnh dựa vào điểm ảnh rất đơn giản. Nhược điểm lớn
nhất của kỹ thuật này là không phân biệt được sự thay đổi lớn trong một vùng
ảnh nhỏ và thay đổi nhỏ trong một vùng ảnh lớn. Nói chung tất cả các kỹ
thuật trừ giá trị điểm ảnh đều nhạy với nhi
ễu và các di chuyển camera. Có thể
cải tiến kỹ thuật này bằng cách đếm tổng số điểm ảnh có thay đổi lớn hơn một
Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera

SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG

9
ngưỡng nào đó và so sánh giá trị tính được với một ngưỡng khác để phát hiện
chuyển cảnh.


()
⎩
⎨
⎧
=
0
1
, yxDP

() ()
∑∑
−
=
−
=
×
=
1
0
1
0
21
,
1
,
Y
y
X
x
yxDP
YX
ffD


Nếu tỷ lệ số điểm ảnh thay đổi D(f

1
,f
2
) lớn hơn ngưỡng T
1
thì đã có sự
chuyển cảnh do cắt. Tuy các thay đổi không liên quan trong khung hình đã
được loại bỏ bớt nhưng hướng tiếp cận này vẫn nhạy với các di chuyển
camera và đối tượng. Chẳng hạn, khi camera quay theo đối tượng, rất nhiều
điểm ảnh được cho là thay đổi, dù cho có ít điểm ảnh dịch chuyển. Có thể
giảm tác động này bằng cách sử dụng một bộ lọc trơn: trước khi so sánh, m
ỗi
điểm ảnh được thay thế bằng giá trị trung bình của các điểm lân cận.

Một nhược điểm khác của kỹ thuật trừ điểm ảnh là độ nhạy của điểm
ảnh với việc chiếu sáng. Khi đó người ta điều chỉnh độ sai khác giá trị điểm
ảnh bằng cách chia nó cho cường độ của điểm ảnh trên khung hình thứ hai.
Hampapur[3] gọi ảnh thu được từ độ chênh lệch hiệu chỉnh là ảnh chromatic:


()
( )()
()
∑∑
−
=
−
=
−
×

=
1
0
2
21
1
0
21
,
,,
1
,
Y
y
X
x
yxf
yxfyxf
YX
ffD

Phương pháp trừ giá trị điểm ảnh là tính toán từ các giá trị điểm ảnh,
nhưng có thể mở rộng đối vưới các ảnh màu. Ví dụ với ảnh màu RGB, ta tính
tổng có trọng số các sai khác của ba giá trị Red, Green, Blue của các điểm ảnh.

, Nếu
( ) ( )
121
,, Tyxfyxf >−

, ngược lại
Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera

SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG

10


( ) () ()
{}
∑∑∑
∈==
−=
B,R,G
21
00
21
,,,
i
iii
Y
y
X
x
yxfyxfwffD


2.3.1.2 Trừ ảnh phân khối
Sử dụng các đặc tính độc lập với các di chuyển của camera và đối
tượng. Mỗi khung hình được chia làm b khối. Các khối trên khung hình f

1

được so sánh với các khối tương ứng trên khung hình f
2
.

Về cơ bản, độ chênh
lệch giữa hai khung hình được tính như sau:

() ( )
∑
=
=
b
k
k
kffDPCffD
1
2121
,,.,

Trong đó C
k
là hệ số cho trước, DP(f
1
,f
2
, k) là độ chênh lệch giữa hai
khối thứ k của hai khung hình f
1

và f
2.

Kasturi[4] đưa ra công thức:


kk
kkk
k
21
2
2
212k1
.
22
σσ
μμσσ
λ
⎥
⎥
⎦
⎤
⎢
⎢
⎣
⎡
⎟
⎠
⎞
⎜

⎝
⎛
−
+
+
=

Trong đó μ
1k

, μ
2k
là giá trị cường độ trung bình của khối thứ k σ
1k,
σ
2k

là độ chênh lệch tương ứng với hai khối đó.

()
⎩
⎨
⎧
=
0
1
,,
21
kffDP

Một cắt cảnh xảy ra khi số các khối thay đổi đủ lớn, nghĩa là D(f
1
,f
2
) >
T
2
và C
k
=1 cho tất cả các khối.
Một hướng tiếp cận khác nhau với kỹ thuật trừ ảnh phân phối do
Shaharay[5] đưa ra. Ông chia khung hình thành 12 miền và tìm miền thích
hợp nhất cho mỗi miền ở khung hình kia. Độ chênh lệch tính bằng kỹ thuật
trừ ảnh dựa vào điểm ảnh của từng miền được sắp xếp. Tổng có trọng số của
các chênh lệch đã được sắp xếp cho ta kế
t quả D cuối cùng.

Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera

SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG

11
Xiong[6] phát triển phương pháp trừ ảnh, gọi là so sánh thực, phát
hiện chuyển cánh do ngắt chỉ bằng viếc so sánh một phần của ảnh. Phương
pháp này chỉ ra rằng, sai sót mắc phải hoàn toàn có thể bỏ qua nếu ít hơn một
nửa số các cửa sổ cơ sở (các ô vuông chồng nhau) đều được kiểm tra. Với giả
thiết rằng, trong trường hợp thay đổi nhiều nhất giữa hai khung hình thì kích
thước các cử
a sổ được chọn đủ lớn để bất biến với các thay đổi không làm vỡ
và đủ nhỏ để có thể chứa thông tin về không gian chừng nào có thể. Các cửa

sổ cơ sở được so sánh và tính độ chênh lệch mức xám hoặc giá trị màu của
điểm ảnh. Khi giá trị chênh lệch lớn hơn một ngưỡng khác thì sự chuyển cảnh
so ngắt đã xảy ra. Thực nghiệm cho thấy rằ
ng hướng tiếp cận này cho tốc độ
nhanh hơn phương pháp so sánh từng cặp điểm.
B
00


B
0j


B
0n


B
i0


B
ij

B
in

B
m0

B
mj

B
mn


Một số nghiên cứu đã mở rộng ý tưởng lấy mẫu theo không gian và thời gian.
Thuật toán có sử dụng bước nhảy phát hiện cả chuyển cảnh đột ngột và
chuyển cảnh dần dần. Thuật toán này so sanh hai khung hình i và j, ở đó
j=i+step. Nếu không có sự thay đổi đáng kể nào, thì chuyển sang so sánh các
khung hình cách nửa bước nhảy, nghĩa là so sánh hai khung hình i+step/2 và
j+step/2. Ngược lại tìm kiếm nhị phân được dùng để định vị chuy
ển cảnh.
Nếu i và j liên tiếp nhau và sự chênh lệch của hai khung hình lơn hơn ngưỡng
thì đó là chuyển cảnh đột ngột do ngắt. Nếu không, sử dụng thuật toán trừ ảnh
dựa trên việc phát hiện cảnh để phát hiện chuyển cảnh dần dần. Thuật toán
này phụ thuộc vào bước nhảy step: bước nhảy lớn thì tăng hiệu quả nhưng
Hình 2.1:Các cửa sổ cơ sở trong thuật toán so sánh thực
Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera

SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG

12
cũng tăng khả năng sai sót, bước nhảy nhỏ quá sẽ bỏ qua những chuyển cảnh
dần dần. Thuật toán này có độ nhạy rất cao với sự di chuyển của đối tượng và
sự di chuyển của camera.

2.3.1.3 Phương pháp biểu đồ

Một bước xa hơn để giảm ảnh hưởng của sự chuyển camera và đối
tượng và thực hiện trừ ảnh dựa vào biểu đồ. Biểu đồ mô tả sự phân bố giá trị
điểm ảnh cuả khung hình. Ý tưởng của cách tiếp cận này là các ảnh có nền
không đổi và đối tượng không đổi sẽ có chênh lệch ít trong biểu đồ.Hơn nữa
biểu đồ bất biế
n với việc quay ảnh và thay đổi ít khi góc nhìn thay đổi.
Có thể dùng biểu đồ màu hoặc biểu đồ mức xám để tính sự sai khác
giữa hai khung hình. Biểu đồ màu(mức xám) của khung hình I là một vector
G chiều H
i
=(H
i
(1), H
i
(2),…, H
i
(G)). Trong đó G là số màu(mức xám), H
i
(j) là
số điểm ảnh của khung hình i có màu(mức xám) j. Phương pháp trừ ảnh dựa
trên biểu đồ có thể sử dụng biểu đồ toàn cục hoặc biểu đồ cục bộ. Biểu đồ
toàn cục là biểu đồ biểu diễn sự phân bố giá trị màu(mức xám) của toàn bộ
khung hình. Còn biểu đồ cục bộ chỉ mô tả sự phân bố của một phần nào đó
của khung hình mà thôi.

2.3.1.3.1. Biểu đồ toàn cục
Phương pháp đơn giản nhất là tính tổng sự sai khác các cột của biểu đồ

() ()()
∑
=
−=
G
k
kHkHffD
0
2121
,

Có thể sử dụng thêm trọng số nếu có một số màu(mức xám) quan
trọng hơn với mục tiêu so sánh.
( ) () () ()
∑
=
−=
G
k
kHkHkwffD
0
2121
,

Trong đó W(k) là trọng số ứng với giá trị màu (mức xám) k.