Hướng dẫn cải thiện ảnh phần 8 potx

Chơng 2: cảI thiện ảnh
88
Error =





2211
21
1
2
Tny,Tnx
N
i
ii
n,n
y,xSy,xf





(2.28)
Trong đó là những pixel trên đó f(x,y) đợc lấy xấp xỉ. Giải phơng tr ình (2.28) là
bài toán tuyến tính đơn giản, bởi vì
i
(x,y) cố định. Ưu điểm của phép nội suy đa thức
là

y,xf

c
trơn và việc định giá

x/y,xf

c

và

y/y,xf

c

đơn giản.

x/y,xf

c

và

y/y,xf

c

là các đạo hàm riêng đợc dùng trong những ứng dụng nh phát hiện
đờng biên và ớc lợng di động. Ngoài ra đem khớp một đa thức với số hệ số ít hơn số
pixel trong vùng ở công thức (2.28), có thể làm trơn nhiễu ở một mức độ nhất định.
Việc làm trơn nhiễu đặc biệt có lợi trong các ứng dụng có sử dụng đạo hàm riêng

x/y,xf

c

và

y/y,xf

c

.
Cũng có thể sử dụng algorit ớc lợng di động sẽ thảo luận trong tiết sau để phát
triển những sơ đồ nội suy không gian.
Hình 2.42 là một ví dụ phép nội suy ảnh. Hình 2.42(a) là ảnh 265 256 pixel
đợc tạo ra từ phép nội suy bậc không một ảnh gốc 64 64 pixel. Hình 2.42(b) là ảnh
256x256 pixel nhận đợc từ phép nội suy song tuyến tính một ảnh gốc 64 64 pixel.
Hình 2.41: Vùng ở đó f
c
(x,y) đợc
nội suy từ 4 pixel lân cận f
c
(n
1
T
1
,n
2
T
2

),
f
c
((n
1
+1)T
1
,n
2
T
2
), f
c
(n
1
T
1
,(n
2
+1)T
2
) ,
f
c
((n
1
+1)T
1
,(n
2

+1)T
2
).
(x,y)

y
T
2

x
T
1
n
2
T
2
(n
2
+1)T
2
y
n
1
T
1
x (n
1
+1)T
1
Chơng 2: cảI thiện ảnh

89
Hình 2.42: Ví dụ về phép nội suy không gian.
(a) ảnh 265 x 256 pixel đợc tạo ra từ ph ép
nội suy bậc-không một ảnh gốc 64 x 64 pixel;
(b) ảnh 256 x 256 pixel nhận đợc từ phép nội
suy song tuyến tính ảnh gốc đã sử dụng trong hình (a).
4.2. ớc lợng chuyển động
Có thể từ những khung hình đã có tạo ra các khung hình mới bằng nội suy thời
gian. Khác với nội suy không gian, nội suy thời gian yêu cầu lu trữ một khối lợng
lớn. Vì vậy, thờng phải tạo ra một khung mới giữa hai khung liền kề, một cái thuộc về
quá khứ, cái kia thuộc về tơng lai so với khung đợc tạo ra.
Phơng pháp đơn g iản nhất thờng dùng trong thực tế là phơng pháp bậc -
không (zero-order hold method) tạo ra một khung mới bằng cách lặp lại khung đã có ở
thời điểm gần kề nhất. Khi biến đổi ảnh động 24 khung/sec sang tín hiệu NTSC 60
trờng/sec, từ một khung ảnh động tạo ra 3 trờng kế tiếp nhau, sau đó từ khung ảnh
động kế theo lại tạo ra 2 trờng kế tiếp nhau nữa, quá trình cứ nh thế lặp lại cho đến
khi hết các ảnh động. Đó là phơng pháp gỡ dần 3:2 (3:2 pull-down method). Với đa số
cảnh (scene) không có chuyển động to àn bộ (global motion) lớn thì kết quả khá tốt.
Tuy vậy, khi có chuyển động toàn bộ lớn, sẽ có hiện tợng giật giật. Một cách để cải
thiện là bù chuyển động.
ảnh động hoặc truyền hình quảng bá là một dãy những khung tĩnh đợc hiển thị
liên tiếp nhau với tốc độ cao. Tốc độ (hay nhịp hiển thị) cần thiết để gây cảm nhận nh
chuyển động tự nhiên thờng phải khá cao, đủ đảm bảo một độ d thừa về thời gian
giữa các khung kề. Phần lớn biến thiên cờng độ từ khung này sang khung kế theo sau
là do đối tợng chuyển độ ng. Quá trình xác định vận động (movement) của các đối
tợng trong một dãy khung ảnh gọi là ớc lợng chuyển động . Xử lý ảnh có xét đến sự
tồn tại của chuyển động gọi là xử lý ảnh có bù chuyển động .
(a) (b)
Chơng 2: cảI thiện ảnh
90

Hình 2.43 : ảnh tịnh tiến với di chuyển (d
x
, d
y
).
(a) f(x, y, t
-1
);
(b) f(x, y, t
0
).
Xử lý ảnh có bù chuyển động có nhiều ứng dụng. Một ứng dụng là nội suy ảnh.
Bằng cách ớc lợng các thông số chuyển động ta có thể tạo ra một khung mới giữa hai
khung đã có. ứng dụng phép xử lý có bù chuyển động cho nội suy ảnh sẽ đợc thảo
luận ở tiết sau. Một ứng dụng nữa là phục hồi ảnh. Nếu có thể ớc lợng các thông số
chuyển động và nhận biết các vùng trong những khung khác nhau ở đó cờng độ ảnh
bằng hoặc gần bằng nhau, thì có thể lọc thời gian ở những vùn g đó. Những ứng dụng
cho phục hồi ảnh sẽ đợc thảo luận ở chơng 3. Xử lý ảnh có bù chuyển động cũng có
thể ứng dụng cho mã hoá ảnh. Bằng cách dựa vào các khung trớc đó dự báo cờng độ
khung đơng thời, có thể giới hạn mã hoá ở các hiệu số cờng độ giữa k hung đơng
thời và khung đơng thời dự báo. Ngoài ra, chúng ta cũng có thể loại bỏ vài khung và
xây dựng lại những khung bị loại bỏ bằng nội suy từ các khung đã mã hoá. Những ứng
dụng cho mã hoá ảnh sẽ thảo luận ở chơng 3.
Bài toán ớc lợng chuyển động m à ta xét ở đây là chuyển động tịnh tiến của
các đối tợng. Đặt f(x, y, t
-1
) và f(x, y, t
0
) theo thứ tự là cờng độ ảnh ở những thời điểm
t

-1
và t
0
. Ta gọi các khung f(x, y, t
-1
) và f(x, y, t
0
) là khung quá khứ và khung đang xét.
Giả thiết rằng:
f(x, y, t
0
) = f(x - d
x
, y - d
y
, t
-1
) (2.29)
d
x
d
y
(a) f(x, y, t
-1
)
(b) f(x, y, t
0
)
Chơng 2: cảI thiện ảnh
91

trong đó d
x
và d
y
là dịch chuyển ngang và thẳng đứng giữa t
-1
và t
0
. Hình 2.43 biểu diễn
một ví dụ của f(x, y, t
-1
) và f(x, y, t
0
) thoả mãn phơng trình (2.29). Giả sử có chuyển
động đều giữa t
-1
và t
0
,


111
t,ttvy,ttvxft,y,xf
yx
, t
-1
t t
0
(2.30)
trong đó v

x
và v
y
là các tốc độ theo phơng nằm ngang và phơng thẳng đứng.
Một hệ quả trực tiếp của (2.30) là một phơng trình vi phân liên hệ v
x
và v
y
với
f(x, y, t)/x, f(x, y, t)/y, f(x. y, t)/t có hiệu lực trên miền không - thời gian trong
đó giả thiết chuyển động là tịnh tiến đều. Để suy ra hệ thức này, ta ký hiệu f(x,y, t
-1
)
bằng s(x, y):

.,,,
1
tyxfyxs
(2.31)
Từ (2.30) và (2.31):

,t,y,x,t,y,xst,y,xf
t
-1
t t
0
(2.32)
trong đó

1

ttvxt,y,x
x

(2.32b)
và

1
ttvyt,y,x
y

(2.32c)
Từ (2.32), giả thiết rằng f(x, y, t)/x, f(x, y, t)/y, f(x. y, t)/t tồn tại, ta nhận đợc:

s
x
s
x
s
x
t,y,xf
(2.33a)



















s
y

s
y
s
y
t,y,xf
(2.33b)

.
s
v
s
v
t
s
t
s
t
t,y,xf
yx

(2.33c)
Từ (2.33),




x
t,y,xf
v
x




y
t,y,xf
v
y

.
t
t,y,xf
0


(2.34)
Chơng 2: cảI thiện ảnh
92
Phơng trình (2.34) gọi là phơng trình ràng buộc không - thời gian và có thể
đợc mở rộng để xét đến những loại chuyển động khác, nh phóng to, thu nhỏ ống kính
(zooming).
Giả thiết tịnh tiến đơn giản dẫn đến phơng trình (2.29) và giả thiết bổ sung coi
phép tịnh tiến có tốc độ đều dẫn đến (2.30) đã đặt ra nhiều hạn chế. Chẳng hạn, không
đợc cho đối tợng quay, không phóng to, thu nhỏ ống kính, các vùng không bị trùm
phủ bởi sự tịnh tiến đối tợng, các đối tợng không đợc chuyển động với những tốc
độ v
x
và v
y
khác nhau. Tuy vậy, bằng cách giả thiết chỉ có chuyển động tịnh tiến đều ở
cục bộ, và chỉ ớc lợng 2 thông số chuyển động (d
x
, d
y
) hay (v
x
, v
y
) ở mỗi pixel hay

ở mỗi hình con, các công thức (2.29) và (2.34) vẫn có hiệu lực ở những vùng nền không
bị ảnh hởng bởi chuyển động đối tợng.
Những vùng này chiếm một phần đáng kể của dãy khung hình. Ngoài ra, nếu ta
nhận biết những vùng ở đó ớc lợng chuyển động không chính x ác, có thể loại bỏ
phép xử lý bù chuyển động ở những vùng đó. Chẳng hạn trong nội suy ảnh, ta có thể
giả thiết v
x
= v
y
= 0.
Có thể phân các phơng pháp ớc lợng chuyển động thành hai nhóm lớn, là các
phơng pháp thích ứng vùng (region matching) và các p hơng pháp ràng buộc không -
thời gian. Các phơng pháp thích ứng vùng dựa trên (2.29) và các phơng pháp ràng
buộc không-thời gian dựa trên (2.34). Ta hãy thảo luận về các phơng pháp thích ứng
vùng trớc.
4.2.1. Các phơng pháp thích ứng vùng
Nội dung các phơng pháp thích ứng vùng là xét một vùng nhỏ trong khung hình
và tìm sự chuyển động có vẻ khớp nhất trong số những vùng có thể của khung hình
lân cận .Trong các phơng pháp thích ứng vùng, vector chuyển động (d
x
, d
y
) đợc ớc
lợng bằng cách lấ y cực tiểu:
Error =


Ry,x
C[f(x, y, t
0

), f(x - d
x
, y - d
y
, t
-1
)] dx dy (2.35)
trong đó R là vùng không gian cục bộ sử dụng để ớc lợng (d
x
, d
y
), và C[.
.
.] là một độ
đo để phân biệt s ự khác nhau giữa hai acgumen. Các tích phân trong công thức (2.35)
Chơng 2: cảI thiện ảnh
93
có thể thay thế bằng những tổng nếu đợc lấy mẫu ở biến không gian (x, y). Nếu ta ớc
lợng (d
x
, d
y
) ở thời điểm t
0
, vùng R là vùng không gian cục bộ bao quanh vị trí không
gian đặc biệt ở đó tiến hành ớc lợng (d
x
, d
y
). Kích cỡ của R phụ thuộc nhiều yếu tố.

Nếu chọn R quá lớn thì giả thiết (d
x
, d
y
) gần nh không đổi trên vùng R sẽ không còn
hiệu lực và sẽ phải tính toán nhiều để ớc lợng sai số. Nếu chọn R quá nhỏ thì các giá
trị ớc lợng có thể rất nhậy với tạp âm. Dựa theo những nhận định trên thì sự lựa chọn
phù hợp là 5 x 5 pixel. Có nhiều cách chọn hàm phân biệt C[.
.
.] khác nhau. Thông
thờng sử dụng hai cách chọn là hiệu bình phơng và hiệu tuyệt đối giữa hai acgumen.
Với những cách chọn đó (2.35) rút gọn lại là:
Error =


Ry,x
[f(x, y, t
0
) - f(x - d
x
, y - d
y
, t
-1
)]
2
dx dy (2.36)
Error =

Ry,x
|f(x, y, t
0
) - f(x - d
x
, y - d
y
, t
-1
)| dx dy (2.37)
Hàm f(x, y, t
0
) - f(x - d
x
, y - d
y
, t
-1
) đợc gọi là hàm dịch chuyển. Trong các ứng dụng
điển hình của phép xử lý bù chuyển động , sự lựa chọn hàm phân biệt không ảnh hởng
nhiều đến hiệu năng hệ thống. Trong phạm vi mà công thức (2.29) còn hiệu lực, thì
biểu thức sai số trong (2.36) hoặc (2.37) sẽ bằng 0 ở một giá trị thích đáng của (d
x
, d
y
).
Cực tiểu hoá Error trong (2.36) hoặc (2.37) là một bài toán phi tuyến. Có nhiều
nỗ lực để giải quyết bài toán phi tuyến đó, dẫn đến nhiều phơng pháp giải khác nhau,
nhng tựu trung có thể phân thành hai loại chính là phơng pháp thích ứng khối và
phơng pháp đệ quy. Ta thảo luận phơng pháp thích ứng khối trớc.

Một cách tiếp cận tr ực tiếp để giải quyết vấn đề cực tiểu trên là định giá Error
cho mọi vị trí (d
x
, d
y
) trên một phạm vi phù hợp và chọn (d
x
, d
y
) ở đó Error là cực tiểu.
Trong cách tiếp cận đó, một khối các cờng độ pixel ở thời gian t
0
đợc khớp phù hợp
trực tiếp (matched d irectly) với một khối ở thời gian t
-1
. Đó là cơ sở của các phơng
pháp thích ứng khối. Vì biểu thức Error phải đợc định giá ở nhiều giá trị của (d
x
, d
y
),
phơng pháp ớc lợng (d
x
, d
y
) này chi phí tính toán quá lớn và nhiều phơng pháp đã
đợc khai triển để làm giảm tính toán. Trong phơng pháp giản hoá đầu tiên, ta giả
thiết (d
x,
d

y
) là hằng số trên một khối 7 x 7 pixels. Với giả thiết đó, ta chia ảnh thành
nhiều khối và ớc lợng (d
x
, d
y
) cho mỗi khối. Mặc dù ta thờng chọn kích thớc khối
nh là kích cỡ của R trong (2.35), nhng cũng không nhất thiết phải làm nh vậy.
Trong một phơng pháp giản hoá khác, ta có thể giới hạn khoảng tìm kiếm ở các giá trị
nguyên của (d
x
, d
y
). Ngoài việc làm giảm khoảng tìm kiếm từ các biến (d
x
, d
y
) liên tục
Chơng 2: cảI thiện ảnh
94
sang các biến rời rạc, sự giới hạn khoảng tìm kiếm ở các giá trị nguyên cho phép ta xác
định f(n
1
- d
x
, n
2
- d
y
, t

-1
) cần thiết để ớc lợng biểu thức Error, mà không nội suy. Tuy
nhiên các giá trị ớc lợng (d
x
, d
y
) chỉ hạn chế ở những giá trị rời rạc.
Ta có thể làm giảm đòi hỏi tính toán ở các phơng pháp thích ứng khối hơn nữa
bằng cách sử dụng thủ tục tìm kiếm hiệu quả hơn. Một phơng pháp đợc gọi là
phơng pháp tìm kiếm ba bớc đợc minh hoạ trong Hình 2.44. Trong bớc đầu tiên
của phơng pháp này, biểu thức sai số đợc định giá ở 9 giá trị của (d
x
, d
y
), đợc đánh
dấu là 1 và dùng dấu chấm tròn ghi vị trí trên hệ toạ độ. Trong 9 giá trị (d
x
, d
y
) đó, ta
chọn cái ứng với Error nhỏ nhất. Giả sử đạt Error nhỏ nhất ở (d
x
= 3, d
y
=-3). Trong
bớc thứ hai, ta địn h giá biểu thức sai số ở 8 giá trị khác của (d
x
, d
y
), đợc đánh dấu là

2 và dùng dấu chấm vuông ghi vị trí trên hệ toạ độ. Bây giờ ta chọn (d
x
, d
y
) từ 9 giá
trị (8 giá trị mới và (d
x
=3, d
y
= -3)). Thủ tục này đợc lặp lại thêm một lần nữa. Đến
cuối bớc ba, ta có ớc lợng của (d
x
, d
y
). Thủ tục này có thể mở rộng ra trên ba bớc
để làm tăng phạm vi có thể của những vị trí (d
x
, d
y
). Một phơng pháp tìm kiếm khác là
thoạt tiên tìm d
x
bằng cách tìm (d
x
, 0). Khi đã ớc lợng đợc d
x
, chẳng hạn đó là
x
d

,
thì ớc lợng d
y
bằng cách tìm (
x
d

, d
y
). Nếu ta muốn cải thiện ớc lợng hơn nữa, thì
có thể ớc lợng lại d
x
bằng cách tìm (d
x
,
y
d

), trong đó
y
d

là ớc lợng của d
y
nhận
đợc trong bớc trớc. Mỗi bớc trong thủ tục đó, ta chỉ ớc lợng một tham số, đơn
giản hơn ớc lợng hai tham số đồng thời. Các phơng pháp kinh nghiệm (heuristic)
làm giảm khối lợng tính toán bằng cách làm giảm số các giá trị của (d
x
, d

y
) ở đó biểu
thức sai số đợc định giá. Tuy nhiên Error ở giá trị ớc lợng (d
x
, d
y
) có thể không phải
là một cực tiểu toàn bộ (global minimum). Trong các phơng pháp thích ứng khối, ta
ớc lợng (d
x
, d
y
) bằng cách định giá Error ở một vài bộ (d
x
, d
y
) xác định. Có một bi ến
thể của phơng pháp, là sử dụng các algorit giảm nh các phơng pháp Newton -
Raphson và Davidon -Fletcher-Powell để giải quyết bài toán phi tuyến tìm cực tiểu của
Error đối với (d
x
, d
y
). Trong loại này của các algorit, thủ tục đệ quy đợc sử dụng để cả i
thiện ớc lợng trong mỗi lần lặp, vì thế chúng đợc gọi là các phơng pháp đệ quy.
Gọi

kd

,kd

yx
là ớc lợng của (d
x
, d
y
) sau k lần lặp. ứơc lợng (d
x
, d
y
)
sau k+ 1 lần lặp là

11 kd

,kd

yx
biểu diễn là:
)k(u)k(d

)k(d

xxx
1
(2.38a)