Hướng dẫn cải thiện ảnh phần 9 potx

Chơng 2: cảI thiện ảnh
95
)k(u)k(d

)k(d

yyy
1
(2.38b)
trong đó
x
(k) ,
y
(k) là các số hạng cập nhật hoặc số hạng hiệu chỉnh. Các số hạng cập
nhật thay đổi theo phơng pháp giảm đợc sử dụng. Chẳng hạn, nếu ta dùng phơng
pháp giảm nhanh nhất , thì (2.38) trở thành :
)k(d

d),k(d

d
x
yx
xx
yyxx
d
)d,d(Error
)k(d

)k(d

1
(2.39a)
)k(d

d),k(d

d
y
yx
yy
yyxx
d
)d,d(Error
)k(d

)k(d




1
(2.39b)
trong đó là kích cỡ một bớc, có thể điều chỉnh đợc, và Error(d
x
, d
y
) là Error trong

công thức (2.35), hàm của d
x
và d
y
với mỗi giá trị đã cho R. Các phơng pháp đệ quy
thờng liên quan tớ i đạo hàm riêng và có khuynh hớng là nhậy cảm với sự tồn tại
nhiễu hoặc những chi tiết ảnh tinh vi. Làm trơn ảnh trớc khi ớc lợng chuyển động
thờng cải thiện hiệu năng các phơng pháp đệ quy .
Trong các phơng pháp đệ quy, (d
x
, d
y
) không bị giới hạn ở các giá trị nguyên và
có thể đợc ớc lợng chính xác trong điền ảnh con (subpixel). Các số hạng cập nhật
thờng liên quan đến sự định giá các đạo hàm riêng của Error(d
x
, d
y
), gồm việc định giá
f(x, y, t
-1
) và các đạo hàm riêng của nó ở một điểm tuỳ ý tr ong không gian. Trong thực
tế f(x, y, t
-1
) chỉ đợc biết khi x = n
1
T
1
và y = n
2

T
2
. Để định giá các đại lợng cần thiết
ở điểm không gian tuỳ ý (x, y), ta có thể sử dụng kỹ thuật nội suy không gian đợc thảo
luận trong tiết 1.4.1
3
n
2
+8
n
2
+7
n
2
+6
n
2
+5
n
2
+4
n
2
+3
n
2
+2
n
2
+1

n
1
+d
x
n
1
-8 n
1
-7 n
1
-6 n
1
-5 n
1
-4 n
1
-3 n
1
-2 n
1
-1 n
1
n
1
+1 n
1
+2 n
1
+3 n
1

+4 n
1
+5 n
1
+6 n
1
+7 n
1
+8
2
1
3
2
2
2
2
3
3
3
2
3
3
3
2
2
2
3
2
1
1

2
Chơng 2: cảI thiện ảnh
96
Trong các phơng pháp đệ quy, (d
x
, d
y
) thờng đợc ớc lợng ở mỗi pixel. Khi
sử dụng phép đệ quy liên quan tới công thức (2.38)

00
yx
d

,d

thờng nhận đợc
ớc lợng ở pixel kề trong cùng một đờng quét ngang, trong đờng quét ngang kề
theo hoặc trong khung kề theo. Các phơng pháp này đợc gọi là ớc lợng đệ quy pel
phân tử ảnh (picture element), theo thứ tự là đệ quy ngang, dọc và đệ quy thời gian. Khi
cho

kd

,kd

yx
, ta chỉ có thể sử dụng phép đệ quy liên quan công thức (2.38 ) một
lần cho mỗi pixel rồi chuyển động tới pixel tiếp theo. Hoặc là, ta cũng có thể sử dụng
phép đệ quy nhiều hơn một lần để ớc lợng (d

x
,d
y
) chính xác hơn trớc khi chuyển
động sang pixel tiếp theo.
Chơng 2: cảI thiện ảnh
97
Mặc dù ta phân loại các phơng pháp thích ứng vùng thành phơng pháp thích
ứng khối và phơng pháp đệ quy nh thờng làm trên báo chí khoa học, nhng đờng
ranh giới giữa hai loại chỉ là ranh giới mờ. Bằng cách chọn lới (grid) định giá biểu
thức sai số dày hơn, ta cũng có thể định giá (d
x
, d
y
) trên từng subpixel với các phơng
pháp thích ứng khối. Ngoài ra thủ tục tìm kiếm ba bớc ở trên có thể đợc xem nh
phơng pháp đệ quy ở đó ớc lợng đợc cải thiện bằng phép lặp. Nhợc điểm chính
của các phơng pháp thích ứng vùng là yêu cầu khối lợng tính toán lớn. Tuy chỉ phải
ớc lợng hai tham số d
x
và d
y
, việc giải bài toán phi tuyến ở mỗi pixel hoặc ở mỗi
ảnh con đều có thể đòi hỏi chi phí tính toán lớn.
4.2.2. các phơng pháp ràng buộc không - thời gian
Các algorit của loại này đợc dựa trên phơng trình ràng buộc không - thời gian
(2.34), có thể xem nh một phơng trình tuyến tính cho hai số cha biết v
x
và v
y

dới
giả thiết là f(x, y, t)/x, f(x, y, t)/y và f(x, y, t)/t đã biết. Bằng cách ớc lợng
f(x, y, t)/x, f(x, y, t)/y và f(x, y, t)/t ở nhiều điểm (x
i
, y
i
, t
i
) với 1 i N, ở đó v
x
và v
y
đợc giả định là hằng số, ta có thể nhận đợc một tập hợp phơng trình tuyến
tính quá xác định (overdetermined):
0








)t,y,x()t,y,x(y)t,y,x(x
iiiiiiiii
t
)t,y,x(f
y
)t,y,x(f
v

x
)t,y,x(f
v
, 1iN
(2.40)
các ớc lợng chuyển động có thể nhận đợc bằng cách lấy cực tiểu:

2
1
)t,y,x()t,y,x(y)t,y,x(x
N
i
iiiiiiiii
t
)t,y,x(f
y
)t,y,x(f
v
x
)t,y,x(f
vError

(2.41)
vì biểu thức sai số trong (2.41) là dạng toàn phơng của hai số cha biết v
x
và v
y,
phải
giải hai phơng trình tuyến tính để có đáp số. Tổng quát hơn, thờng giả thiết (2.34) là
đúng trong vùng không - thời gian cục bộ ký hiệu là . Để ớc lợng v
x
và v
y
ta lấy cực
tiểu:
Chơng 2: cảI thiện ảnh
98

.dtdydx
t
)t,y,x(f
y
)t,y,x(f
v
x
)t,y,x(f
vError
yx
)t,y,x(
2

(2.42)
Các tích phân trong (2.42) có thể đợc thay thế bằng các tổng. (2.41) là một ví dụ nh
thế. Lấy vi phân Error trong (2.42) đối với v
x
và v
y
và cho kết quả bằng không dẫn đến:
Wv
(2.43a)
trong đó

.dtdydx
x
)t,y,x(f
)t,y,x(
2

.dtdydx
y
)t,y,x(f
x
)t,y,x(f
)t,y,x(






W = (2.43b)
.dtdydx
y
)t,y,x(f
x
)t,y,x(f
)t,y,x(







.dtdydx
y
)t,y,x(f

)t,y,x(
2




v = [v
x
, v
y
]
T
(2.43c)
.dtdydx
t
)t,y,x(f
x
)t,y,x(f
)t,y,x(







(2.43d)
.dtdydx
t
)t,y,x(f

y
)t,y,x(f
)t,y,x(






Hai phơng trình tuyến tính trong (2.43) có thể có nhiều lời giải. giả sử f(x, y, t)
là hằng số trong vùng không gian thời gian , thì f(x, y, t)/x, f(x, y, t)/y và f(x, y,
t)/t tất cả đều bằng không và mọi phần tử trong W và trong (2.43) cũng bằng không,
nhờ đó bất kỳ (v
x
, v
y
) nào cũng sẽ thoả mãn (2.43a). Mọi tốc độ chuyển động trong
vùng độ cờng độ đồng đều sẽ không ảnh hởng đến f(x, y, t), do đó không thể từ f(x,
y, t) ớc lợng đợc tốc độ chuyển động thực tế. Giả sử f(x, y, t) là một mép bậc thang
lý tởng. Tốc độ chuyển động theo hớng song song với mép bậc thang sẽ không ảnh
hởng đến f(x, y, t) và do đó không thể ớc lợng đợc. Những bài toán này đã đợc
Chơng 2: cảI thiện ảnh
99
nghiên cứu và đã khai triển đợc một nghiêm [Martinez]. Gọi
1
và
2
là các giá trị
riêng của W và gọi
1

và
2
là các vectơ riêng trực chuẩn tơng ứng. Một nghiệm hợp
lý của phơng trình (2.43) là:
Trờng hợp 1 v = 0,

21
,
ngỡng (2.44a)
Trờng hợp 2 v =

1
11


T
,
21

(2.44b)
Trờng hợp 3 v = W
-1
, với các giá trị khác (otherwise) (2.44c)
Trờng hợp 1 bao gồm cả vùng cờn g độ đều, ở đó đặt tốc độ bằng không.
Trờng hợp 2 bao gồm vùng mép biên lý tởng và ớc lợng tốc độ trong (2.44b) đi
theo hớng vuông góc với mép biên.
Việc giải phơng trình tuyến tính (2.43) yêu cầu định giá f(x, y, t)/x, f(x, y,
t)/y và f(x, y, t)/t ở các vị trí không - thời gian tuỳ ý. Điều đó có thể đợc hoàn
thành bằng cách mở rộng phơng pháp nội suy đa thức không gian ra 3 -D, có u
điểm so với các cách tiếp cận khác là tính toán đơn giản và không nhậy cảm với tạp âm.

Trong phép nội suy đa thức 3-D, hàm nội suy
)t,y,x(f

là:



N
i
ii
).t,y,x(S)t,y,x(f

1

(2.45)
một ví dụ về
)t,y,x(
i

khi N = 9 là.
.yt,xt,xy,y,x,t,y,x,)t,y,x(
i
22
1
(2.46)
Hệ số S
i
có thể đợc xác định bằng cách lấy cực tiểu:
.Tnt,Tny,Tnx
)n,n,n(

N
i
ii
)t,y,x(S)t,y,x(fError
332211
321
2
1












(2.47)
Một lựa chọn hợp lý là vùng chứa đựng 50 pixels: 5 cho n
1
, 5 cho n
2
và 2 cho t. Để
lấy cực tiểu sai số trong (2.47) với S
i
phải giải một hệ phơng trình tuyến tính, Lu ý
rằng các đạo hàm riêng f(x, y, t)/x, f(x, y, t)/y và f(x, y, t)/t dùng trong (2.43) có

thể đợc tính trớc thành hàm của các số hạng S
i.
.
Các algorit ớc lợng chuyển động đợc thảo luận trên yêu cầu xác định các
vùng không - thời gian ký hiệu là trên đó có thể giả thiết là chuyển động đều. Vì
Chơng 2: cảI thiện ảnh
100
vùng không gian cục bộ trong một khung vào cỡ 5 x 5 pixel, để xác định một hợp lý
cần có một ớc lợng chuyển động ban đầu chỉ chênh lệch vài pixel so với dịch chuyển
thực. Trong thực tế, chuyển động giữa hai khung kề nhau thờng không quá 10 pixels.
Một cách tiếp cận để nhận đợc chuyển động (hay tốc độ) ban đầu là dùng tốc độ ở lân
cận đã tính trớc đó rồi xác định ra vùng thích hợp nh trên Hình 2.45. Một cách tiếp
cận khác là dùng phơng pháp cấp bậc (hierarchical) hoặc phơng pháp nhiều lới
(multigrid). Phơng pháp nhiều lới bất đầu với chuyển động đợc ớc lợng trên lới
thô. Lới thô nhận đợc từ khung gốc bằng lọc thông thấp và lấy mẫu down -sampling.
Phép lấy mẫu down -sampling làm cho chuyển động (hoặc tốc độ) co lại. Tốc độ
chuyển động lớn trong khung gốc sẽ bị giảm xuống theo một hệ số tỉ lệ bằng hệ số
down-sampling. Tốc độ chuyển động trong các khung down -sampling có thể ớc
lợng bằng cách sử dụng phơng pháp ràng buộc không - thời gian với giả thiết tốc độ
ban đầu bằng không. Các tốc độ ớc lợng đợc trên lới thô sẽ đem nội suy để sinh ra
các tốc độ ban đầu trên một lớ i tinh hơn. Có thể sử dụng phép nội suy song tuyến tính
để nội suy tốc độ. Phơng pháp nhiều lới có thể xem nh một ví dụ về xử lý hình
chóp (pyramid processing), khai thác một cấu trúc dữ liệu gọi là hình chóp. Một hình
chóp liên tiếp cung cấp những thô ng tin cô đọng của ảnh. Một ví dụ về hình chóp là ảnh
phân giải cao và những ảnh độ phân giải thấp hơn tiếp theo. Xử lý hình chóp có lợi
trong các ứng dụng khác nhau bao gồm kỹ thuật mã hoá ảnh sẽ đợc thảo luận trong
chơng 4 .
Một u điểm chính của các p hơng pháp ràng buộc không - thời gian so với các
phơng pháp thích ứng vùng là tính toán đơn giản . Ngoài ra, sự nghiên cứu sơ bộ dựa
vào cả dữ liệu tổng hợp và thực tế chỉ ra rằng phơng pháp ràng buộc không - thời gian

với phép nội suy đa thức cho f(x, y, t) cho kết quả không kém gì phơng pháp thích ứng
vùng cả ở các khung ảnh có nhiễu và không nhiễu.
Cả phơng pháp thích ứng vùng và phơng pháp ràng buộc không - thời gian,
đều có thể đa ra các sai số đáng kể trong ớc lợng chuyển động ở một vài vùng , có
thể là do tín hiệu f(x, y, t) không thể mô hình hoá bằng chuyển động đều hoặc là do
algorit ớc lợng chuyển động không hoàn hảo khi có nhiễu. Một phơng tiện để phát
hiện những sai số lớn là đem so sánh biểu thức sai số cho các phơng pháp thích ứ ng
vùng (2.35), hoặc biểu thức sai số cho các phơng pháp ràng buộc không - thời gian
(2.42) với một ngỡng nào đó. Các vùng ở đó sai số vợt trên ngỡng đợc tuyên bố là
Chơng 2: cảI thiện ảnh
101
vùng ớc lợng chuyển động không đáng tin và phép xử lý bù chuyển động ở các
vùng này phải huỷ bỏ.
Hình 2.45 : Vùng dùng trong (2,42) để ớc lợng (d
x
, d
y
) tại vị trí không gian (x
0
,
y
0
) và thời điểm t
0
. Giá trị ớc lợng

yx
d

,d

đại diện cho sự dịch chuyển tính ra
trớc đây ở vị trí lân cận
4.3. Phép nội suy thời gian có bù chuyển động
Gỉa sử ta có hai khung liên tiếp
121
t,n,n
và
021
t,n,n
nh trong Hình
2.46. Ta muốn tạo ra một khung mới
t,n,n
21
trong đó
01
ttt

. Một cách tiếp cận
đơn giản là chọn một khung gốc gần kề về thời gian với khung mong muốn. Một vấn
đề với cách tiếp cận này là, nếu dẫy khung có một chuyển động tổng lớn thì sẽ có hiện
tợng giật giật.
Một cách khác là sử dụng phép nội suy bù chuyển động , các algorit ớc lợng
đã thảo luận ở tiết trớc .Trong phép nội suy thời gian có bù chuyển động , ta giả thiết
x
d

y
d

t
-1
t
0
t
y
(x,y)
x
(x
-1
,y
-1
)
x
y